WO2022220373A1 - 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법 - Google Patents

외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법 Download PDF

Info

Publication number
WO2022220373A1
WO2022220373A1 PCT/KR2021/020316 KR2021020316W WO2022220373A1 WO 2022220373 A1 WO2022220373 A1 WO 2022220373A1 KR 2021020316 W KR2021020316 W KR 2021020316W WO 2022220373 A1 WO2022220373 A1 WO 2022220373A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
wearable electronic
sound
virtual object
user
Prior art date
Application number
PCT/KR2021/020316
Other languages
English (en)
French (fr)
Inventor
박정원
김철귀
김승년
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP21937106.9A priority Critical patent/EP4236351A4/en
Priority to US17/569,599 priority patent/US12062127B2/en
Publication of WO2022220373A1 publication Critical patent/WO2022220373A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/001—Adaptation of signal processing in PA systems in dependence of presence of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Definitions

  • Embodiments of the present invention relate to a wearable electronic device for controlling noise cancellation of an external wearable electronic device, and an operating method thereof.
  • Augmented reality may provide a better sense of reality and additional information by allowing a user to see a real environment.
  • the user may observe the image together with the actual environment, for example, may check information about the object in the currently observed environment.
  • the augmented reality device may be a wearable electronic device.
  • an electronic device in the form of AR glasses that can be worn on the face like glasses is popular.
  • a sound in which a real sound and a virtual sound are mixed may be heard by the user.
  • the real sound may act as noise.
  • an augmented reality device including a method of controlling a sound in reality using a noise canceling device in an augmented reality environment.
  • an electronic device may include: at least one display module; at least one communication module; at least one microphone; at least one camera; and a processor, wherein the processor captures at least one image through the at least one camera, and based at least in part on the at least one image, at least one Identifies an object, and confirms sound information resulting from the identified at least one object from first sound data input through the at least one microphone, and at a location corresponding to the identified at least one object, the at least control the at least one display module to display at least one virtual object corresponding to one object, wherein the position is determined based on the sound information; obtain a first user input, and determine a noise cancellation (NC) level of a first object corresponding to the first virtual object based on the first user input.
  • N noise cancellation
  • a method of operating an electronic device includes capturing at least one image through at least one camera of the electronic device, based at least in part on the at least one image, An operation of identifying at least one object located in the vicinity, an operation of identifying sound information resulting from the identified at least one object from first sound data input through at least one microphone of the electronic device, of the electronic device displaying at least one virtual object corresponding to the at least one object at a position corresponding to the at least one identified object through at least one display module, the position being determined based on the sound information; , obtaining a first user input associated with a first virtual object among the at least one virtual object, and based on the first user input, noise cancellation (NC) of a first object corresponding to the first virtual object It may include an operation of determining a level.
  • a wearable electronic device for controlling noise canceling of an external wearable electronic device and an operating method thereof, according to an embodiment, a user experiences a realistic augmented reality environment by controlling a virtual sound and a real sound in an augmented reality environment can do.
  • FIG. 1 illustrates a structure of a wearable electronic device according to embodiments.
  • FIG. 2 illustrates a structure of a display of a wearable electronic device and an eye tracking camera, according to embodiments.
  • FIG. 3 is a block diagram of a wearable electronic device according to embodiments.
  • FIG. 4 is a block diagram of an external wearable electronic device according to embodiments.
  • FIG. 5 is a block diagram of electronic devices in a network environment, according to embodiments.
  • FIG. 6 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • FIG. 7 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • FIG. 8 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • FIG. 9 is a diagram for explaining a method of operating a wearable electronic device.
  • FIG. 10 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • FIG. 11 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • FIG. 12 is a diagram for describing a method of operating a wearable electronic device according to embodiments.
  • FIG. 13 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • FIG. 14 is a flowchart illustrating a method of operating a wearable electronic device according to example embodiments.
  • 15 is a diagram for explaining a method of operating an external electronic device according to an embodiment.
  • 16 is a diagram for explaining a method of operating a wearable electronic device according to an embodiment.
  • 17 is a flowchart illustrating a method of operating a wearable electronic device according to example embodiments.
  • 18 is a diagram for explaining a method of operating a wearable electronic device.
  • FIG. 19 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • 20 is a flowchart illustrating a method of operating a wearable electronic device according to example embodiments.
  • 21 is a diagram for explaining a method of operating a wearable electronic device.
  • 22 is a block diagram of an electronic device in a network environment, according to embodiments.
  • Noise Canceling is a technology that cancels out or blocks external noise that interferes with listening to sound from an audio device.
  • the noise canceling technology includes an active noise canceling (ANC) method and a passive noise canceling (PNC) method.
  • the active noise canceling method is a method of canceling the noise by analyzing the wave of external noise and generating a wave whose phase is opposite to that of the wave.
  • the passive noise canceling method is a method of physically blocking noise.
  • a typical example is a passive noise canceling method applied to a headset that covers the ears.
  • the noise canceling device may be a wearable electronic device.
  • a noise canceling device that can be worn on or near the ear, such as a headset or earphone, is widespread.
  • FIG. 1 illustrates a structure of a wearable electronic device according to embodiments.
  • the wearable electronic device 100 includes a frame 105 , a first support part 101 , a second support part 102 , a first hinge part 103 connecting the frame 105 and the first support part 101 , and/or It may include a second hinge portion 104 connecting the frame 105 and the second support portion 102 .
  • the frame 105 includes one or more first cameras 111-1, 111-2, one or more second cameras 112-1, 112-2 and/or a third camera 113, and one or more light emitting elements 114. -1, 114-2), the first display 151, the second display 152, one or more sound input devices 162-1, 162-2, 162-3, or one or more transparent members 190-1 , 190-2) may be included.
  • the images acquired through the one or more first cameras 111-1 and 111-2 may be used for detecting a hand gesture by the user, tracking the user's head, and/or for spatial recognition.
  • the one or more first cameras 111-1 and 111-2 may be global shutter (GS) cameras.
  • the one or more first cameras 111-1 and 111-2 may perform a simultaneous localization and mapping (SLAM) operation through depth imaging.
  • SLAM simultaneous localization and mapping
  • One or more first cameras 111-1, 111-2 may perform spatial recognition for 6 degrees of freedom (DoF).
  • Images obtained through one or more second cameras 112-1 and 112-2 may be used to detect and track the user's pupils.
  • an image acquired through one or more second cameras 112-1 and 112-2 may be used to track the user's gaze direction.
  • the one or more second cameras 112-1 and 112-2 may be GS cameras.
  • the one or more second cameras 112-1 and 112-2 may correspond to the left eye and the right eye, respectively, and the performance of the one or more second cameras 112-1 and 112-2 may be substantially the same.
  • the one or more third cameras 113 may be high-resolution cameras.
  • the one or more third cameras 113 may perform an auto-focusing (AF) function or a shake correction function.
  • the one or more third cameras 113 may be a GS camera or a rolling shutter (RS) camera.
  • the wearable electronic device 100 may include one or more light emitting devices 114 - 1 and 114 - 2 .
  • the light emitting devices 114 - 1 and 114 - 2 are different from a light source, which will be described later, for irradiating light to a screen output area of the display.
  • the light emitting devices 114-1 and 114-2 emit light to facilitate pupil detection.
  • the light emitting devices 114 - 1 and 114 - 2 may include LEDs.
  • the light emitting devices 114 - 1 and 114 - 2 may emit light in the infrared region.
  • the light emitting devices 114 - 1 and 114 - 2 may be attached around the frame 105 of the wearable electronic device 100 .
  • the light emitting devices 114-1 and 114-2 are positioned around the one or more first cameras 111-1 and 111-2, and when the wearable electronic device 100 is used in a dark environment, the one or more first cameras 111- 1, 111-2) may assist in gesture detection, head tracking, and/or spatial recognition.
  • the light emitting devices 114 - 1 and 114 - 2 are located around the one or more third cameras 113 , and assist in image acquisition by the one or more third cameras 113 when the wearable electronic device 100 is used in a dark environment. can do.
  • the wearable electronic device 100 includes a first display 151 , a second display 152 , one or more input optical members 153 - 1 and 153 - 2 , and one or more transparent members 190 - positioned in a frame 105 . 1, 190-2), and/or one or more screen display portions 154-1 and 154-2.
  • the first display 151 and the second display 152 may be, for example, a liquid crystal display (LCD), a digital mirror device (DMD), or a liquid crystal on silicon device. ; LCoS), an organic light emitting diode (OLED), or a micro light emitting diode (micro LED).
  • the wearable electronic device 100 when the first display 151 and the second display 152 are formed of one of a liquid crystal display device, a digital mirror display device, or a silicon liquid crystal display device, the wearable electronic device 100 is a screen output area of the display. It may include a light source for irradiating light. According to another embodiment, when the first display 151 and/or the second display 152 can generate light by itself, for example, when it is made of one of an organic light emitting diode or a micro LED, the wearable electronic device 100 may provide a virtual image of good quality to the user even if a separate light source is not included.
  • the one or more transparent members 190-1 and 190-2 may be disposed to face the user's eyes when the user wears the wearable electronic device 100 .
  • the one or more transparent members 190-1 and 190-2 may include at least one of a glass plate, a plastic plate, and a polymer. According to an embodiment, when the user wears the wearable electronic device 100 , the user may see the outside world through one or more transparent members 190-1 and 190-2.
  • the one or more input optical members 153 - 1 and 153 - 2 may guide the light generated by the first display 151 and/or the second display 152 to the user's eyes.
  • the user can see the image formed on the one or more screen display portions 154-1 and 154-2.
  • the wearable electronic device 100 may include one or more optical waveguides (not shown).
  • the optical waveguide may transmit the light generated by the first display 151 and the second display 152 to the user's eyes.
  • the wearable electronic device 100 may include one optical waveguide, respectively, corresponding to the left eye and the right eye.
  • the optical waveguide may include at least one of glass, plastic, or polymer.
  • the optical waveguide may include a nanopattern, for example, a polygonal or curved grating structure formed on one surface of the inner or outer surface.
  • the optical waveguide may include a free-form type prism, and in this case, the optical waveguide may provide incident light to a user through a reflective mirror.
  • the optical waveguide includes at least one of at least one diffractive element (eg, a diffractive optical element (DOE), a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror), and at least one diffractive element included in the optical waveguide Elements or reflective elements may be used to direct the display light emitted from the light source to the user's eye.
  • the diffractive element may include an input/output optical member.
  • the reflective element may include a member causing total reflection.
  • the wearable electronic device 100 may include one or more sound input devices 162-1, 162-2, and 162-3 (eg, a microphone), and one or more sound input devices 162-1 and 162-2. 2, 162-3) may receive a user's sound or a sound generated in the vicinity of the wearable electronic device 100 .
  • the one or more sound input devices 162-1, 162-2, and 162-3 may receive a sound generated in the vicinity and transmit it to a processor (eg, the processor 320 of FIG. 3 ).
  • One or more supports may include a PCB (eg, the first PCB 170-1 and the second PCB 170-2), one or more sound output devices ( 163-1 and 163-2) and one or more batteries 135-1 and 135-2.
  • the first PCB 170 - 1 and the second PCB 170 - 2 are a first camera 211 , a second camera 212 , a third camera 213 , and a display module 250 to be described later with reference to FIG. 2 . ), the audio module 261 , and/or the sensor 280 may transmit an electrical signal to a component included in the wearable electronic device 100 .
  • the first PCB 170 - 1 and the second PCB 170 - 2 may be FPCBs.
  • the first PCB 170-1 and the second PCB 170-2 may include a first substrate, a second substrate, and an interposer disposed between the first substrate and the second substrate, respectively.
  • the wearable electronic device 100 may include batteries 135 - 1 and 135 - 2 .
  • the batteries 135 - 1 and 135 - 2 may store power for operating the remaining components of the wearable electronic device 100 .
  • One or more sound output devices 163 - 1 and 163 - 2 may output audio data to a user. For example, feedback on a user's command (or input) may be provided, or information on a virtual object may be provided to the user through audio data.
  • the wearable electronic device 100 may include one or more hinge parts (eg, a first hinge part 103 and a second hinge part 104 ).
  • first hinge part 103 the first support part 101 is coupled to the frame 105 and is rotatable based on the frame 105
  • second hinge part 104 is the second support part 102 .
  • first hinge part 103 the first support part 101 is coupled to the frame 105 and is rotatable based on the frame 105
  • the second hinge part 104 is the second support part 102 .
  • the wearable electronic device 100 may use noise cancellation to remove or reduce ambient noise.
  • the wearable electronic device 100 may acquire information about the surrounding environment from an external source, as well as use one of the cameras 111-1, 111-2, 112-1, 112-2, and/or 113. It is possible to obtain an image of the user's surrounding environment using The wearable electronic device 100 may identify objects in the surrounding environment using the aforementioned bar.
  • the wearable electronic device 100 may obtain sound data related to the objects, and accordingly, from the microphones 162-1, 162-2, and 162-3, the You can check the sound corresponding to the objects and cancel it.
  • the wearable electronic device 100 includes a display 221 , an input optical member 222 , a display optical waveguide 223 , an output optical member 224 , an eye tracking camera 210 , a first splitter 241 , and an eye tracking light. a waveguide 242 , and/or a second splitter 243 .
  • the display 221 may be either the first display 151 or the second display 152 illustrated in FIG. 1 .
  • the light output from the display 221 passes through the input optical member 222 (eg, the input optical members 153-1 and 153-2 of FIG. 1) and is incident on the display optical waveguide 223, and the display optical waveguide ( 223 and may be output through the output optical member 224 .
  • the light output from the output optical member 224 can be seen by the user's eye 230 .
  • the expression “displaying an object on the display” means that the light output from the display 221 is output through the output optical member 224 , and the light output through the output optical member 224 causes the user to It may mean that the shape of the object is seen in the eyes 230 of the
  • the expression “control the display to display the object” means that light output from the display 221 is output through the output optical member 224 and the shape of the object is visible to the user's eyes 230 on the display 221 . ) may mean controlling.
  • the light 235 reflected from the user's eye 230 passes through the first splitter 241 and is incident on the eye-tracking optical waveguide 242, passes through the eye-tracking optical waveguide 242, and passes through the second splitter 243. It may be output to the eye tracking camera 210 .
  • the light 235 reflected from the user's eye 230 may be light output from the light emitting devices 114 - 1 and 114 - 2 of FIG. 1 and reflected from the user's eye 230 .
  • the eye tracking camera 210 may be one or more second cameras 112-1 and 112-2 shown in FIG. 1 .
  • FIG. 3 is a block diagram of a wearable electronic device according to embodiments.
  • the wearable electronic device 100 includes a first camera 311 , a second camera 312 , a third camera 313 , a processor 320 , a PMIC 330 , and a battery. 335 , a memory 340 , a display module 350 , an audio module 361 , a sound input device 362 , a sound output device 363 , a communication module 370 , and/or a sensor 380 . can do.
  • the one or more first cameras 111-1, 111-2, one or more second cameras 112-1, 112-2, and one or more third cameras 113 described above with reference to FIG. 1 , according to an embodiment. ) may be applied substantially equally to each of the first camera 311 , the second camera 312 , and the third camera 313 .
  • the wearable electronic device 100 may include a plurality of at least one of a first camera 311 , a second camera 312 , and a third camera 313 .
  • the processor 320 includes other components of the wearable electronic device 100 , for example, the first camera 311 , the second camera 312 , the third camera 313 , the PMIC 330 , and the memory 340 . ), the display module 350 , the audio module 361 , the communication module 370 , and/or the sensor 380 may be controlled, and various data processing or calculations may be performed.
  • the PMIC 330 may convert power stored in the battery 335 to have a current or voltage required by other components of the wearable electronic device 100 and supply it to other components of the wearable electronic device 100 .
  • the memory 340 may store various data used by at least one component (eg, the processor 320 or the sensor module 380 ) of the wearable electronic device 100 .
  • the display module 350 may display a screen to be provided to the user.
  • the display module 350 includes the first display 151 , the second display 152 , one or more input optical members 153-1 and 153-2, and one or more transparent members 190-1 described above with reference to FIG. 1 . , 190 - 2 ), and/or one or more screen display portions 154 - 1 and 154 - 2 .
  • the audio module 361 is connected to the sound input device 362 and the sound output device 363 , converts data input through the sound input device 362 , and converts data to be output to the sound output device 363 . can do.
  • the sound output device 363 may include a speaker and an amplifier.
  • the sound output device 363 may refer to one or more sound output devices 163 - 1 and 163 - 2 of FIG. 1 .
  • the sound input device 362 may refer to one or more sound input devices 162-1, 162-2, and 162-3 of FIG. 1 .
  • the communication module 370 may support establishment of a wireless communication channel with an electronic device external to the wearable electronic device 100 and performing communication through the established communication channel.
  • the sensor 380 may include a six-axis sensor 381 , a magnetic sensor 382 , a proximity sensor 383 , and/or an optical sensor 384 .
  • the sensor 380 may include a sensor for acquiring a biosignal for detecting whether the wearable electronic device 100 is being worn by a user.
  • the sensor 380 may include at least one of a heart rate sensor, a skin sensor, and a temperature sensor.
  • the processor 320 may check the movement of the user wearing the wearable electronic device 100 through the 6-axis sensor 381 .
  • the 6-axis sensor 381 generates a sensor value by detecting a change in the direction that the user faces (eg, the direction the user looks at through the wearable electronic device 100), and generates the sensor value or the sensor value. may transmit the amount of change of to the processor 320 .
  • the audio module 361 may receive a sound generated in the vicinity of the wearable electronic device 100 (or a user) through the sound input device 362 , and transmit data converted from the received sound to the processor 320 . .
  • the communication module 370 may transmit/receive data to and from an external electronic device (eg, a wearable electronic device (eg, earphone) or an external electronic device (eg, a terminal)).
  • an external electronic device eg, a wearable electronic device (eg, earphone) or an external electronic device (eg, a terminal)
  • the wearable electronic device 100 may receive audio data received by the external wearable electronic device through the communication module 370 and transmit the received audio data to the processor 320 .
  • the wearable electronic device 100 may output image data based on data received from the external electronic device through the communication module 370 through the display module 350 .
  • the external wearable electronic device 410 may be an earphone type wearable electronic device.
  • the external wearable electronic device 410 may have a plurality of physically separated housings.
  • the external wearable electronic device 410 may include a first housing to be worn on the left ear and a second housing to be worn on the right ear.
  • each of the components shown in FIG. 4 may be included in one or more of the plurality of housings.
  • the external wearable electronic device 410 may correspond to the sound output devices 163-1 and 163-2.
  • the external wearable electronic device 410 may include a processor 415 , a memory 420 , a communication module 430 , an audio module 440 , a sensor module 450 , and/or a battery 460 .
  • the processor 415 includes other components of the external wearable electronic device 410 , for example, the memory 420 , the communication module 430 , the audio module 440 , the sensor module 450 , and/or the battery 460 . ), perform an operation based on the received data, and transmit a signal for controlling another component to another component.
  • the processor 415 may operate based on instructions stored in the memory 420 .
  • the memory 420 may include other components of the external wearable electronic device 410 , for example, the processor 415 , the communication module 430 , the audio module 440 , the sensor module 450 , and/or the battery 460 . ) can store instructions to perform a specified operation.
  • the memory 420 may store audio data acquired through the audio module 440 .
  • the communication module 430 may perform wireless communication with another electronic device (eg, the wearable electronic device 100 ).
  • the communication module 430 may transmit information obtained from the external wearable electronic device 410 to the wearable electronic device 100 .
  • the communication module 430 may receive audio data from the wearable electronic device 100 .
  • the type of communication supported by the communication module 430 is not limited.
  • the audio module 440 may include a plurality of microphones and/or one or more speakers.
  • the plurality of microphones may include a microphone facing toward the user's inner ear when the user wears the external wearable electronic device 410 and a microphone facing away from the user when the user wears the external wearable electronic device 410. .
  • the audio module 440 may obtain audio data through a plurality of microphones, respectively, and perform noise cancellation based on the audio data obtained through the plurality of microphones.
  • the audio module 440 may output audio data obtained from another electronic device (eg, the wearable electronic device 100 ) through the communication module 430 .
  • the audio module 440 may perform noise cancellation based on audio data obtained from another electronic device (eg, the wearable electronic device 100 ) through the communication module 430 .
  • the sensor module 450 may include a biosensor for detecting whether the user wears the external wearable electronic device 410 .
  • the biosensor may include at least one of a heart rate sensor, a skin sensor, and a temperature sensor.
  • the sensor module 450 may include a geomagnetic sensor.
  • the external wearable electronic device 410 may receive a data transmission request from the wearable electronic device 100 through the communication module 430 .
  • the external wearable electronic device 410 may receive a request to transmit audio data received through the audio module 440 .
  • a network environment includes a wearable electronic device 100 , an external wearable electronic device 410 , an external electronic device 520 (eg, an electronic device 2201 to be described later in FIG. 22 ), and/or Alternatively, it may include a server 530 (eg, a server 2208 to be described later in FIG. 22 ).
  • a server 530 eg, a server 2208 to be described later in FIG. 22 .
  • the wearable electronic device 100 may communicate with an external wearable electronic device 410 .
  • the wearable electronic device 100 may communicate with the external electronic device 520 .
  • the external electronic device 520 may communicate with the external wearable electronic device 410 .
  • the wearable electronic device 100 may indirectly communicate with the external wearable electronic device 410 through the external electronic device 520 .
  • the external electronic device 520 may communicate with the server 530 .
  • the wearable electronic device 100 may indirectly communicate with the server 530 through the external electronic device 520 .
  • the wearable electronic device 100 may directly communicate with the server 530 .
  • electronic devices in a network environment may communicate with each other, and there is no limitation on a communication method.
  • wearable electronic device 100 and the external wearable electronic device 410 are illustrated as being separated, this may be understood as one embodiment, and the wearable electronic device 100 and the external wearable electronic device 410 are a single device. can be implemented as Accordingly, communication between the wearable electronic device 100 and the external wearable electronic device 410 may be performed through an internal circuit.
  • FIG. 6 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • the wearable electronic device 100 (eg, the processor 320 ) includes at least one camera (eg, a first camera 311 , a second At least one image input through the second camera 312 and/or the third camera 313) may be acquired.
  • the wearable electronic device 100 may acquire at least one image including at least one object located in the vicinity of the wearable electronic device 100 through at least one camera.
  • the wearable electronic device 100 receives surrounding environment information from an external device (eg, the external electronic device 520 and/or the server 530 ) through the communication module 370 .
  • the surrounding environment information may include location information, sound information, and/or state information of at least one object located in the vicinity of the wearable electronic device 100 .
  • the location information of the at least one object may include global positioning system (GPS) coordinate information of the at least one object, and/or relative coordinate information between the wearable electronic device 100 and the at least one object (eg, , distance information, or direction information).
  • GPS global positioning system
  • the sound information of the at least one object may include information on the type of sound, the size of the sound, the frequency, the waveform, the amplitude, and/or the direction of the sound of the at least one object.
  • the state information of the at least one object may include an operation state of the at least one object (eg, a speaker output state of an external speaker, or a power operation state of a peripheral home appliance).
  • the wearable electronic device 100 transmits current location information of the wearable electronic device 100 to an external device (eg, the external electronic device 520 and/or the server 530 ) through the communication module 370 .
  • an external device it is possible to obtain surrounding environment information about an object (eg, an external speaker, a nearby home appliance, a nearby construction site, an external performance hall, a nearby airport, or a nearby road) located in the vicinity of the wearable electronic device 100 .
  • an object eg, an external speaker, a nearby home appliance, a nearby construction site, an external performance hall, a nearby airport, or a nearby road
  • the wearable electronic device 100 receives at least one camera (eg, the first camera 311 , the second camera 312 , and/or the third camera 313)) through at least one image (hereinafter, an input image), and/or an external device (eg, the external electronic device 520 and/or the server 530 through the communication module 370 in operation 603 ) )), at least one object (hereinafter, surrounding object) located in the vicinity of the wearable electronic device 100 may be identified based on the surrounding environment information (hereinafter referred to as surrounding environment information). For example, the wearable electronic device 100 may identify a surrounding object using only the input image.
  • the surrounding environment information hereinafter referred to as surrounding environment information
  • the wearable electronic device 100 may check the surrounding object included in the input image even when the surrounding environment information cannot be obtained.
  • the wearable electronic device 100 may identify a surrounding object using only surrounding environment information. For example, even when an input image is not input, the wearable electronic device 100 may identify a surrounding object based on surrounding environment information.
  • the wearable electronic device 100 may identify a surrounding object based on an input image and surrounding environment information.
  • the wearable electronic device 100 may check all of the surrounding objects included in the input image and surrounding objects identified based on surrounding environment information. As described above, either operation 601 or operation 603 may be omitted.
  • the blender can make significant noise.
  • the camera may acquire an image including the blender in operation 601 .
  • the wearable electronic device 100 may determine that the location of use is the kitchen using GPS coordinates. Furthermore, the wearable electronic device 100 may receive information on items commonly found in a kitchen, such as a blender, a dishwasher, and a microwave oven, and receive their general noise patterns.
  • the wearable electronic device 100 may determine that the image includes a blender.
  • the wearable electronic device 100 may include at least a surrounding object identified based on surrounding environment information obtained from an external device (eg, the external electronic device 520 and/or the server 530 ).
  • an external device eg, the external electronic device 520 and/or the server 530 .
  • the display module ( 350) a virtual object (eg, an icon corresponding to the airport when the surrounding object is an airport) corresponding to the surrounding object identified based on the surrounding environment information, the corresponding location identified based on the surrounding environment information can be displayed in
  • the wearable electronic device 100 determines a position corresponding to the surrounding object when the surrounding object identified based on the surrounding environment information is located outside the display range of the display module 350 of the wearable electronic device 100 .
  • a representing virtual object eg, an arrow object pointing to a location corresponding to a surrounding object
  • the wearable electronic device 100 may arrange a virtual object indicating a position relative to the user. For example, if an emergency exit exists behind the user's right, the wearable electronic device 100 may arrange a symbol corresponding to the emergency exit along with a display of “4:00” indicating a direction from the user.
  • FIG. 7 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • the wearable electronic device 100 (eg, the processor 320 ) includes at least one microphone (eg, the sound input device 362 of FIG. 3 ). )) to obtain the input first sound data.
  • the wearable electronic device 100 may obtain first sound data obtained by converting a sound from at least one object located in the vicinity of the wearable electronic device 100 through at least one microphone.
  • the wearable electronic device 100 receives a second from an external device (eg, the external wearable electronic device 410 and/or the external electronic device 520 ) through the communication module 370 .
  • 2 Sound data can be acquired.
  • the external wearable electronic device 410 may acquire second sound data obtained by converting a sound from at least one object located nearby, and the wearable electronic device 100 may use the communication module 370 to Through this, the second sound data may be received from the external wearable electronic device 410 .
  • the wearable electronic device 100 receives first sound data input through at least one microphone in operation 701 , and/or an external device (eg, through the communication module 370 in operation 703 ). For example, based on the second sound data obtained from the external wearable electronic device 410 and/or the external electronic device 520 , at least one object located in the vicinity of the wearable electronic device 100 (hereinafter referred to as a peripheral object) ) corresponding to the sound information (eg, information about the type of sound, the size of the sound, the frequency of the sound, the waveform, the amplitude, and/or the direction of the sound, corresponding to each of at least one object).
  • the sound information eg, information about the type of sound, the size of the sound, the frequency of the sound, the waveform, the amplitude, and/or the direction of the sound, corresponding to each of at least one object.
  • the wearable electronic device 100 may check sound information of a surrounding object using only the first sound data.
  • the wearable electronic device 100 may check sound information of a surrounding object using only the second sound data.
  • the wearable electronic device 100 may identify sound information of a surrounding object based on the first sound data and the second sound data.
  • the wearable electronic device 100 may obtain third sound data by processing the first sound data based on the second sound data, and check the sound information of each of the surrounding objects based on the third sound data.
  • the processing for acquiring the third sound data may be a noise canceling processing for removing ambient noise except for a sound corresponding to a surrounding object. As described above, either operation 701 or operation 703 may be omitted.
  • the microphone may acquire sound from the blender during operation.
  • the wearable electronic device 100 may acquire information on the sound characteristics of the blender, and during operation 705, the wearable electronic device 100 receives a portion of the signal obtained by the microphone due to the blender. it can be decided that
  • FIG. 8 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • FIG. 8 will be described with reference to FIG. 9 .
  • 9 is a diagram for explaining a method of operating a wearable electronic device.
  • the wearable electronic device 100 (eg, the processor 320 ) provides sound information (eg, the surrounding environment acquired in operation 603 of FIG. 6 ). Based on the sound information included in the information and/or the sound information confirmed in operation 705 of FIG. 7 ), through the display module 350 of the wearable electronic device 100, located in the vicinity of the wearable electronic device 100 At least one virtual object corresponding to the at least one object may be displayed at a position corresponding to the at least one object.
  • the wearable electronic device 100 may display the augmented reality screen 900 through the display module 350 .
  • the user sees at least one object (eg, the first object 910 corresponding to a person and/or an external speaker that is directly located in the vicinity through the user's eyes).
  • the second object 920 may be recognized, and the user may recognize the augmented reality screen 900 displayed through the display module 350 of the wearable electronic device 100 .
  • an object existing in reality eg, the first object 910 and/or the second object 920
  • the augmented reality screen 900 are ) displayed on the virtual object (eg, the first virtual object 911 and/or the second virtual object 921 )
  • the wearable electronic device 100 displays the first virtual object 911 corresponding to the first object 910 at a location corresponding to the first object (eg, a region near the first object 910), , the second virtual object 921 corresponding to the second object 920 may be displayed at a location corresponding to the second object (eg, a region near the second object 920 ).
  • the first virtual object 911 and/or the second virtual object 921 are virtual objects (eg, 912 and 922 ) indicating whether noise is blocked and/or the noise volume. It may include virtual objects for adjustment (eg, 914 and 924).
  • the virtual object 912 indicating whether to block noise included in the first virtual object 911 is a virtual object indicating whether to block the sound from the first object 910 corresponding to the first virtual object 911
  • the virtual object 922 indicating whether to block noise included in the second virtual object 921 may indicate whether to block the sound from the second object 920 corresponding to the second virtual object 921 . It may be a virtual object.
  • the virtual object 914 for adjusting the noise volume included in the first virtual object 911 is a virtual object representing a degree to which the output level of the sound from the first object 910 corresponding to the first virtual object 911 is adjusted.
  • the degree to which the virtual object 924 for adjusting the noise volume included in the second virtual object 921 adjusts the output size of the sound from the second object 920 corresponding to the second virtual object 921 . may be a virtual object representing
  • the wearable electronic device 100 includes at least one object (eg, the first object 910 of FIG. 9 , or a 2 Objects 920 or a specific object (for example, a specific object (for example, a surrounding object identified based on surrounding environment information obtained from the external electronic device 520 and/or the server 530)) from an external device
  • a specific object eg, the first object 910 based on the size of the sound included in the sound information corresponding to the first object 910) and/or whether the size of the sound exceeds a reference value It may be determined whether to display a virtual object (eg, the first virtual object 911) corresponding to .
  • the wearable electronic device 100 based on the fact that the volume of the sound included in the sound information corresponding to the specific object (eg, the first object 910) is greater than or equal to a set first size or less than or equal to a set second size, It may be determined to display a virtual object (eg, the first virtual object 911) corresponding to the object (eg, the first object 910).
  • the second size may be smaller than the first size.
  • the size of the sound included in the sound information corresponding to the first object 910 is less than or equal to the set second size, and A first virtual object 911 corresponding to the first object 910 and a second virtual object corresponding to the second object 920 are based on the sound included in the corresponding sound information being equal to or greater than the set first size. It can be determined by indicating (921). Alternatively, although not shown, in the wearable electronic device 100 , a sound included in the sound information corresponding to the first object 910 is equal to or less than a set second size, and sound information corresponding to the second object 920 .
  • the first virtual object 911 corresponding to the first object 910 is displayed and the second object 920 is displayed on the basis that the sound included in the sound is equal to or less than the set first size and equal to or greater than the set second size. It may be determined not to display the second virtual object 921 .
  • the wearable electronic device 100 includes one virtual object (eg, the first virtual object 911) among at least one virtual object (eg, 911 and 921 );
  • An associated user input eg, a first user input
  • the wearable electronic device 100 may input a user gesture through at least one camera (eg, the first camera 311 , the second camera 312 , and/or the third camera 313 ).
  • an input for selecting a specific virtual object (eg, 912 ) displayed on the augmented reality screen 900 by moving the user's hand to a specific location may be acquired.
  • the wearable electronic device 100 may provide a user with at least one camera (eg, the first camera 311 , the second camera 312 , and/or the third camera 313 ). By tracking the eye of the user, it is possible to obtain a user gaze input (eg, an input for selecting a virtual object (eg, 912 ) corresponding to the gaze direction of the user from among the virtual objects displayed on the augmented reality screen 900 ). have.
  • the wearable electronic device 100 may input a user's utterance (eg, a specific input corresponding to the user's utterance) through at least one microphone (eg, the sound input device 362 of FIG. 3 ).
  • a virtual object eg, an input for selecting 912
  • the wearable electronic device 100 may include an input device (eg, a keyboard device) that communicates with the wearable electronic device 100 through a separate input device (eg, the communication module 370 ). , a mouse device, a pad device, or a hand-held device), or an input device included in the wearable electronic device 100 (eg, a button input device included in the wearable electronic device 100 ) (not shown). ), or a touch input device (not shown)))).
  • a separate input device eg, the communication module 370
  • an input device included in the wearable electronic device 100 eg, a button input device included in the wearable electronic device 100
  • a touch input device not shown
  • the wearable electronic device 100 may provide a first virtual object 911 or a user gesture input for selecting a virtual object (eg, 912 or 914 ) included in the first virtual object 911, a user A gaze input, a user's speech input, or a user input through a separate input device may be acquired.
  • a virtual object eg, 912 or 914
  • the wearable electronic device 100 may display at least one virtual object (eg, a first virtual object 911 and/or a second virtual object) displayed on the augmented reality screen 900 . 921)), based on a user input (eg, first user input) associated with a specific virtual object (eg, first virtual object 911), a specific virtual object (eg, first virtual object 911)
  • a noise cancellation level hereinafter, referred to as an NC level
  • the NC level will be described in detail with reference to FIG. 12 to be described later.
  • the wearable electronic device 100 may determine whether to display a virtual object corresponding to a surrounding object based on the user's gaze. For example, the user may look at the object because of the noise it makes. Therefore, it may be effective to provide a virtual object for noise cancellation.
  • FIG. 10 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • FIG. 10 will be described with reference to FIG. 9 .
  • the wearable electronic device 100 may identify the gaze direction of the user.
  • the wearable electronic device 100 may use at least one camera (eg, the first camera 311 , the second camera 312 , and/or the third camera 313 ) through the user's eyeball. By tracking the user's gaze direction can be identified.
  • the wearable electronic device 100 tracks the user's eyeball, and tracks at least one object (eg, the first object 910 or the second object 920 of FIG.
  • the user's gaze direction toward the first object 910 may be identified.
  • the wearable electronic device 100 may determine whether to display at least one virtual object (eg, 911 and 921 of FIG. 9 ) based on the user's gaze direction. For example, the wearable electronic device 100 may display a virtual object (eg, first virtual object 911) corresponding to a specific object (eg, first object 910) corresponding to the user's gaze direction. ) can be determined by indicating whether to display at least one virtual object (eg, 911 and 921 of FIG. 9 ) based on the user's gaze direction. For example, the wearable electronic device 100 may display a virtual object (eg, first virtual object 911) corresponding to a specific object (eg, first object 910) corresponding to the user's gaze direction. ) can be determined by indicating
  • the wearable electronic device 100 may display a virtual object (eg, the second virtual object) corresponding to at least one other object (eg, the second object 920 ) that does not correspond to the user's gaze direction. It may be determined not to display the number 921. As another example, the wearable electronic device 100 may be configured to correspond to the user's gaze direction among at least one object located in the vicinity of the wearable electronic device 100 .
  • the wearable electronic device 100 may determine to display a virtual object (eg, the second virtual object 921) corresponding to at least one other object (eg, the second object 920) that does not correspond to the user's gaze direction. have.
  • the wearable electronic device 100 may determine whether to arrange the virtual object based on the user's gesture.
  • the wearable electronic device 100 may use a camera to observe the motion of the user's body. For example, when the user points in one direction, the wearable electronic device 100 may determine which object around the pointed direction is selected.
  • FIG. 11 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments. FIG. 11 will be described with reference to FIG. 9 .
  • the wearable electronic device 100 may identify at least a part of the user's body.
  • the wearable electronic device 100 may display the user's body through at least one camera (eg, the first camera 311 , the second camera 312 , and/or the third camera 313 ).
  • the position of at least a part of the user's body may be identified, and the user's gesture input may be identified.
  • the wearable electronic device 100 tracks at least a portion of the user's body, and at least one object (eg, the first object 910 of FIG. 9 ) located around the wearable electronic device 100 .
  • the augmented reality screen A user's gesture input for selecting a specific object (eg, the first object 910 ) from among the virtual objects displayed in 900 ) may be identified.
  • a camera looks at the user's hand and determines whether the user is pointing in a particular direction. can try The wearable electronic device 100 may determine that an object located in a specific direction is selected by the user.
  • the wearable electronic device 100 determines whether or not to display at least one virtual object (eg, 911 and 921 of FIG. 9 ) based on the location of at least a part of the user's body. can decide
  • the wearable electronic device 100 may include at least one object (eg, the first object 910 or the second object 920 of FIG.
  • the wearable electronic device 100 may include at least one other object (eg, the second object) that does not correspond to the user's gesture input (eg, does not correspond to the position of at least a portion of the user's body).
  • the wearable electronic device 100 may include the wearable electronic device 100 .
  • the wearable electronic device 100 does not correspond to the user's gesture input (eg, A virtual object (eg, the second virtual object 921) corresponding to at least one other object (eg, the second object 920) that does not correspond to the position of at least a part of the user's body is displayed it can be decided that
  • FIG. 12 is a diagram for describing a method of operating a wearable electronic device according to embodiments.
  • the wearable electronic device 100 may determine each NC level corresponding to each operation.
  • the steps (eg, steps 1 to 4) disclosed in FIG. 12 are exemplary for classifying each operation, and there is no limitation thereto. Each operation disclosed in FIG. 12 will be described as follows.
  • the operation of deactivating the noise cancellation (NC) function may mean an operation of performing a function of allowing the user to listen to the real sound as it is, without performing the noise canceling function on the real sound.
  • the wearable electronic device 100 may determine an NC level (eg, 100) corresponding to an NC function deactivation operation.
  • the wearable electronic device 100 may perform a user input (for example, the virtual object 912 or the virtual object 922 of FIG. 9 ) corresponding to the noise canceling function deactivation operation.
  • the object eg, the first object 910 or the second The NC level of the 2 objects 920
  • the object eg, the first object 910 or the second The NC level of the 2 objects 920
  • the wearable electronic device 100 may display a virtual object (eg, the virtual object 1530 of FIG. 15 ) corresponding to a hearing aid operation with respect to all surrounding noises. ) or a virtual object corresponding to the noise canceling function deactivation operation included in the virtual object 1630 of FIG. 16 ), the NC level of the wearable electronic device 100 is set to the noise canceling function deactivation operation The corresponding NC level (eg, 100) may be determined.
  • the operation of completely blocking noise may refer to an operation of performing a function of preventing the user from listening to real sound by performing a noise canceling function for real sound.
  • the wearable electronic device 100 may determine the NC level (eg, 0) corresponding to the operation to completely block noise.
  • the wearable electronic device 100 may perform a user input (eg, the virtual object 912 or the virtual object 922 of FIG. 9 ) corresponding to the complete noise blocking operation.
  • a virtual object eg, a user input that activates the virtual object 912 or 922 of FIG. 9
  • an object corresponding to the virtual object corresponding to the user input eg, FIG.
  • the NC level of the first object 910 or the second object 920 ) may be determined as an NC level (eg, 0) corresponding to the operation of completely blocking noise.
  • the wearable electronic device 100 may display a virtual object (eg, the virtual object ( 1540 ) or a virtual object corresponding to the operation to completely block noise included in the virtual object 1630 of FIG. 16 ), the NC level of the wearable electronic device 100 corresponds to the operation to completely block noise It can be determined as an NC level (eg, 0).
  • the operation of adjusting the volume may refer to an operation of adjusting the size of a real sound that the user hears.
  • the wearable electronic device 100 may determine an NC level (eg, 1 to 99) corresponding to a volume control operation.
  • the wearable electronic device 100 may perform a user input based on a user input for a virtual object corresponding to a volume control operation (eg, the virtual object 914 or the virtual object 924 of FIG. 9 ). NC level of an object (eg, the first object 910 or the second object 920 of FIG.
  • the wearable electronic device 100 may display a virtual object (eg, the virtual object ( 1550) or a virtual object corresponding to a volume control operation included in the virtual object 1630 of FIG. 16 ), the NC level of the wearable electronic device 100 is set to an NC corresponding to the volume control operation It can be determined by a level (eg, 1 to 99).
  • a virtual object eg, the virtual object ( 1550) or a virtual object corresponding to a volume control operation included in the virtual object 1630 of FIG. 16
  • the NC level of the wearable electronic device 100 is set to an NC corresponding to the volume control operation It can be determined by a level (eg, 1 to 99).
  • the operation of the hearing aid may refer to an operation in which the user listens to a sound having a size greater than that of a real sound.
  • sound data corresponding to real sound may be acquired through a microphone, and the acquired sound data may be amplified and output to a speaker, so that the user listens to a sound having a size larger than that of the real sound. can do.
  • the wearable electronic device 100 may determine an NC level (eg, 101 to 150) corresponding to the operation of the hearing aid. As the NC level corresponding to the operation of the hearing aid increases, it may mean that the volume of the sound heard by the user increases.
  • the wearable electronic device 100 responds to the user input based on a user input for a virtual object (eg, the virtual object 914 or the virtual object 924 of FIG. 9 ) corresponding to the operation of the hearing aid.
  • the NC level of the object eg, the first object 910 or the second object 920 of FIG. 9
  • the wearable electronic device 100 may display a virtual object (eg, the virtual object 1560 of FIG. 15 ) corresponding to a hearing aid operation with respect to all surrounding noises.
  • the NC level of the wearable electronic device 100 is set to the NC level corresponding to the hearing aid operation (eg, For example, 101 to 150) can be determined.
  • FIG. 13 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • the wearable electronic device 100 may determine an NC level. For example, as described above in operation 805 , the wearable electronic device 100 performs at least one object (eg, the first object 910 of FIG. 9 or the 2 objects 920 or surrounding objects identified based on surrounding environment information acquired from an external device (eg, the external electronic device 520 and/or the server 530) (hereinafter, the wearable electronic device 100) ) can determine the NC level corresponding to the surrounding object). As another example, as described below with reference to FIGS. 15 and 16 , the wearable electronic device 100 may determine one NC level corresponding to all surrounding objects of the wearable electronic device 100 .
  • the wearable electronic device 100 may determine one NC level corresponding to all surrounding objects of the wearable electronic device 100 .
  • the wearable electronic device 100 transmits a signal including information about the determined NC level to an external device (eg, directly to the external wearable electronic device 410 , or an external electronic device) It can be transmitted to the external wearable electronic device 410 through 520 .
  • the wearable electronic device 100 may transmit a signal including information on an NC level corresponding to a surrounding object of the wearable electronic device 100 to the external wearable electronic device 410 .
  • the external wearable electronic device 410 may perform an operation corresponding to the surrounding object (eg, each operation described with reference to FIG. 12 ) based on the NC level corresponding to the surrounding object.
  • the wearable electronic device 100 may provide information on a first NC level (eg, 0) corresponding to the first object 910 and a second NC level corresponding to the second object 920 .
  • a first signal including information on (eg, 100 ) may be transmitted to the external wearable electronic device 410 .
  • the first signal may include information indicating an object corresponding to each NC level.
  • the external wearable electronic device 410 performs an operation of deactivating the noise canceling function with respect to the first object 910 based on each NC level included in the first signal (eg, a user 910 ) may be performed, and an operation for completely blocking noise from the second object 920 (eg, from the second object 920 ) may be performed.
  • an operation for preventing the user from listening to the real sound from the second object 920 may be performed.
  • the wearable electronic device 100 may transmit a signal including information on one NC level corresponding to all surrounding objects of the wearable electronic device 100 to the external wearable electronic device 410 .
  • the external wearable electronic device 410 performs a corresponding operation (eg, one of the respective operations described with reference to FIG. 12 ) based on one NC level corresponding to all surrounding objects of the wearable electronic device 100 . operation) can be performed.
  • the wearable electronic device 100 transmits a second signal including information on one NC level (eg, 50) corresponding to all surrounding objects of the wearable electronic device 100 to the external wearable electronic device. It may transmit to 410 .
  • the second signal may include information indicating that the NC level included in the second signal corresponds to all surrounding objects of the wearable electronic device 100 .
  • the external wearable electronic device 410 controls the sound of the real world obtained from the surrounding objects of the wearable electronic device 100 based on the information on the NC level (eg, 50) included in the second signal.
  • the relative size is 100
  • the relative size of the real sound that the user hears may be adjusted to 50 by performing noise cancellation on the real sound.
  • FIG. 14 is a flowchart illustrating a method of operating a wearable electronic device according to example embodiments.
  • FIG. 14 will be described with reference to FIGS. 3, 5, and 9 .
  • the wearable electronic device 100 (eg, the processor of the wearable electronic device 100 (eg, the processor 320 of FIG. 3 )) includes: Based on at least one image input through at least one camera (eg, the first camera 311 , the second camera 312 , and/or the third camera 313 of FIG. 3 ), the wearable electronics At least one object (eg, the first object 910 or the second object 920 of FIG. 9 ) located in the vicinity of the device 100 may be identified. At least one camera (eg, the first camera 311 , the second camera 312 , and/or the third camera 313 of FIG. 3 ) may capture an image. The wearable electronic device 100 may identify at least one object located in the vicinity based at least in part on recognizing the object in the image through the processor 320 .
  • the wearable electronic device 100 may identify at least one object located in the vicinity based at least in part on recognizing the object in the image through the processor 320 .
  • the wearable electronic device 100 receives first sound data input through at least one microphone (eg, the sound input device 362 of FIG. 3 ) and/or at least one To the second sound data obtained from an external device (eg, the external wearable electronic device 410 and/or the external electronic device 520 ) through the communication module (eg, the communication module 370 of FIG. 3 ) Based on this, sound information corresponding to at least one object (eg, the first object 910 or the second object 920 of FIG. 9 ) located in the vicinity of the wearable electronic device 100 may be identified. For example, in the wearable electronic device 100, the at least one object identified from first sound data input through at least one microphone (eg, the sound input device 362 of FIG. 3 ) through the processor. You can check the sound information caused by .
  • the at least one object identified from first sound data input through at least one microphone eg, the sound input device 362 of FIG. 3
  • You can check the sound information caused by .
  • the wearable electronic device 100 performs the identified at least one object (eg, the first object 910 of FIG. 9 , or the second object ( 920)), displaying at least one virtual object (eg, the first virtual object 911 and/or the second virtual object 921 of FIG. 9 ) corresponding to the at least one object.
  • At least one display module eg, the display module 350 of FIG. 3
  • the wearable electronic device 100 receives a first user input associated with a first virtual object (eg, the first virtual object 911 of FIG. 9 ) among at least one virtual object. can be obtained
  • the wearable electronic device 100 performs a first corresponding to a first virtual object (eg, the first virtual object 911 of FIG. 9 ) based on a first user input.
  • a noise cancellation (NC) level of the object eg, the first object 910 of FIG. 9 ) may be determined.
  • the wearable electronic device 100 transmits a signal including information on the determined NC level through at least one communication module (eg, the communication module 370 of FIG. 3 ). At least one communication module (eg, FIG. 3 ) to transmit to an external device (eg, directly to the external wearable electronic device 410 , or to the external wearable electronic device 410 through the external electronic device 520 ) of the communication module 370).
  • at least one communication module eg, FIG. 3
  • an external device eg, directly to the external wearable electronic device 410 , or to the external wearable electronic device 410 through the external electronic device 520 .
  • the wearable electronic device 100 may adjust the sound output signal transmitted to the sound output device 363 based on the NC level determined during operation 1409 .
  • 15 is a diagram for explaining a method of operating an external electronic device according to an embodiment. 15 will be described with reference to FIGS. 5 and 9 .
  • an external electronic device 520 may display a screen ( 1520) can be displayed.
  • the screen 1520 may include an object 1530 corresponding to a noise canceling function deactivation operation, an object 1540 corresponding to an operation to completely block noise, an object 1550 corresponding to a volume control operation, and/or a hearing aid.
  • An object 1560 corresponding to an action may be included.
  • the wearable electronic device 100 may include at least one object (eg, the first object 910 or the second object 920 of FIG.
  • the first level of ambient noise is set
  • an external device for example, a surrounding object identified based on surrounding environment information acquired from the external electronic device 520 and/or the server 530
  • the first level of ambient noise is set
  • a signal may be transmitted to the external electronic device 520 and the external electronic device 520 may cause the screen 1520 to be displayed.
  • the wearable electronic device 100 may determine the NC level of the wearable electronic device 100 based on a user input to the screen 1520 displayed on the display module 1510 of the external electronic device 520 .
  • FIG. 16 is a diagram for explaining a method of operating a wearable electronic device according to an embodiment.
  • FIG. 16 will be described with reference to FIG. 3 .
  • the wearable electronic device 100 may display the augmented reality screen 1600 through the display module 350 .
  • the wearable electronic device 100 may display the augmented reality screen 1600 through the display module 350 .
  • at least one object eg, the first object 1610 corresponding to the TV
  • the second object 1620 corresponding to the external speaker may be recognized, and the user may recognize the augmented reality screen 1600 displayed through the display module 350 of the wearable electronic device 100 . .
  • the wearable electronic device 100 may display a virtual object 1630 on the augmented reality screen 1600 through the display module 350 .
  • the virtual object 1630 may include a virtual object corresponding to a noise canceling function deactivation operation, a virtual object corresponding to an operation to completely block noise, a virtual object corresponding to a volume control operation, and/or a virtual object corresponding to a hearing aid operation. It can contain objects.
  • the wearable electronic device 100 may determine that, based on sound information of at least one object located in the vicinity of the wearable electronic device 100, the level of ambient noise is greater than or equal to a set first level or less than or equal to a set second level. In this case, the virtual object 1630 may be displayed.
  • the wearable electronic device 100 may determine the NC level of the wearable electronic device 100 based on a user input for the virtual object 1630 .
  • the wearable electronic device 100 may preset a setting for configuring the first volume and the second volume of a place frequently visited by the user. For example, when the user is at home, the wearable electronic device 100 may have a setting to pre-configure the first volume and the second volume of an object encountered before based on the past history.
  • 17 is a flowchart illustrating a method of operating a wearable electronic device according to example embodiments. 17 will be described with reference to FIGS. 3 and 18 .
  • 18 is a diagram for explaining a method of operating a wearable electronic device.
  • a specific object might be an audio device with a volume setting.
  • the wearable electronic device 100 may directly control the volume of the device through, for example, Bluetooth or wireless local area network connection.
  • the wearable electronic device 100 inputs a user input to the augmented reality screen 1800 through the display module 350 .
  • a virtual object eg, virtual object 1830
  • the wearable electronic device 100 may obtain a user input, and on the augmented reality screen 1800 , at a location corresponding to the obtained user input, a virtual object 1830 corresponding to the user input (eg, For example, a virtual wall or a virtual object corresponding to a virtual curtain) may be displayed.
  • the user wearing the wearable electronic device 100 when the user wearing the wearable electronic device 100 is located in the living room and wants to remove the sound of the external speaker 1620 in order to listen to the sound of the TV 1810 , the user may use the augmented reality screen
  • a user input eg, a user gaze input, a user speech input, a user touch input, a user gesture input, or a user input through a separate input device
  • the wearable electronic device 100 may display the virtual object 1830 at a position corresponding to the user input.
  • the wearable electronic device 100 performs a specific object (eg, the wearable electronic device 100) based on a position where the virtual object (eg, the virtual object 1830) is displayed.
  • the signal for adjusting the sound of a specific object transmitted from the wearable electronic device 100 to the external wearable electronic device 410 includes display location information of the virtual object 1830 and/or the virtual object 1830 .
  • the wearable electronic device 100 may transmit a signal for adjusting the sound of a specific object (eg, the second object 1620) to the external wearable electronic device 410, and the external wearable electronic device (The display position information of the virtual object 1830 included in the signal received from the wearable electronic device 100 and/or the specific object 410 located beyond the virtual object 1830 (eg, the second object 1620) ))), the opposite wave corresponding to a wave of real sound from a specific object (eg, the second object 1620 ) based on the information (eg, location information of the second object 1620 ).
  • noise cancellation can be performed by generating a signal of
  • the wearable electronic device 100 may display the virtual object 1830 in the form of a virtual wall or a virtual curtain corresponding to the user input based on the user input in operation 1701 described above. have.
  • the wearable electronic device 100 may display a property set corresponding to the virtual object 1830 (eg, a user input). Based on the thickness, transparency, physical properties (eg, water, metal, or concrete material) and/or size of the virtual wall (or virtual curtain) selected in response to, a specific object (eg, a wearable A method of adjusting the sound of the second object 1620 positioned beyond the virtual object 1830 from the electronic device 100 may be determined.
  • the wearable electronic device 100 determines a sound adjustment method of the second object 1620 to allow the user to swim in the water. It can produce the same effect as hearing sound.
  • the wearable electronic device 100 may display a second object 1620 as compared to a case in which the virtual object 1830 is a virtual wall. By determining a low degree of noise cancellation for the sound of , it is possible to increase the relative size of the sound from the second object 1620 that the user listens to compared to the case where the virtual object 1830 is a virtual wall.
  • a method of determining an adjustment method of a sound from a specific object is exemplary, and there is no limitation thereto.
  • FIG. 19 is a flowchart illustrating a method of operating a wearable electronic device according to embodiments.
  • the wearable electronic device 100 may identify the type of an application executed in the wearable electronic device 100 .
  • the wearable electronic device 100 may determine the NC level of the wearable electronic device 100 based on the type of application executed in the wearable electronic device 100 . For example, when a movie watching application is executed, the wearable electronic device 100 may determine the NC level of the wearable electronic device 100 as an NC level (eg, 100) corresponding to the operation of completely blocking noise. . For example, when the augmented reality conference application is executed, the wearable electronic device 100 determines the NC level of the wearable electronic device 100 as an NC level (eg, 1 to 99) corresponding to the volume control operation.
  • an NC level eg, 100
  • the wearable electronic device 100 determines the NC level of the wearable electronic device 100 as an NC level (eg, 1 to 99) corresponding to the volume control operation.
  • the wearable electronic device 100 may determine the NC level of the wearable electronic device 100 as an NC level (eg, 101 to 150) corresponding to the hearing aid operation.
  • NC level eg, 101 to 150
  • the type of the executed application and the NC level corresponding thereto are exemplary, and there is no limitation thereto.
  • FIG. 20 is a flowchart illustrating a method of operating a wearable electronic device according to example embodiments.
  • FIG. 20 will be described with reference to FIG. 21 .
  • 21 is a diagram for explaining a method of operating a wearable electronic device.
  • the wearable electronic device 100 (eg, the processor of the wearable electronic device 100 (eg, the processor 320 of FIG. 3 )) includes: Sound data input through at least one microphone (eg, the sound input device 362 of FIG. 3 ) may be acquired.
  • the wearable electronic device 100 may include sound data corresponding to a sound from at least one object located in the vicinity of the wearable electronic device 100 (eg, a person 2130 located in the vicinity) and/or Alternatively, sound data corresponding to a sound from the user 2110 wearing the wearable electronic device 100 may be acquired.
  • Sound data input through at least one microphone eg, the sound input device 362 of FIG. 3
  • the wearable electronic device 100 may include sound data corresponding to a sound from at least one object located in the vicinity of the wearable electronic device 100 (eg, a person 2130 located in the vicinity) and/or Alternatively, sound data corresponding to a sound from the user 2110 wearing the wearable electronic device 100 may be acquired.
  • the wearable electronic device 100 includes a person 2130 and/or the wearable electronic device 100 that exist in the vicinity of the wearable electronic device 100 during an augmented reality conference. It is possible to obtain sound data corresponding to the sound from the user 2110 wearing the .
  • the wearable electronic device 100 may transmit sound data input through at least one microphone (eg, the sound input device 362 of FIG. 3 ) to an external device,
  • being able to transmit to an external device means, for example, that the wearable electronic device 100 transmits sound data input through at least one microphone (eg, the sound input device 362 of FIG. 3 ) to the wearable electronic device.
  • An external wearable electronic device eg, the external wearable electronic device 410 of FIG.
  • the wearable electronic device 100 performs a sound input through at least one microphone (eg, the sound input device 362 of FIG. 3 ) during an augmented reality conference.
  • Data is transferred to an external device (eg, an external wearable electronic device worn by the user 2110 wearing the wearable electronic device 100 (eg, the external wearable electronic device 410 of FIG. 4 ) and/or another user (For example, another user 2120)'s electronic device (for example, a wearable electronic device worn by another user (for example, the same type of electronic device as the external wearable electronic device 410 of FIG. 4 ); or the electronic device 2202, the electronic device 2204, or the server 2208 of FIG. 22).
  • the wearable electronic device 100 may include, among sound data input through at least one microphone of the wearable electronic device 100 (eg, the sound input device 362 of FIG.
  • the wearable electronic device Sound data corresponding to the sound from the person 2130 who exists in the vicinity of the device 100 is not transmitted to an external device, but sound data corresponding to the sound from the user 2110 wearing the wearable electronic device 100 can be transmitted to an external device. Accordingly, the user 2110 wearing the wearable electronic device 100 and/or the other user 2120 who does not exist in the vicinity of the wearable electronic device 100 but participates in the augmented reality conference, the wearable electronic device 100 ) of at least one microphone (eg, the sound input device 362 of FIG. 3 ) may listen to some of the sound data.
  • the wearable electronic device 100 may listen to some of the sound data.
  • the wearable electronic device 100 may include sound data corresponding to a sound from a person 2130 existing in the vicinity of the wearable electronic device 100 and a user 2110 wearing the wearable electronic device 100 . ) of all sound data corresponding to the sound from the external device (for example, the external wearable electronic device worn by the user 2110 wearing the wearable electronic device 100 (for example, the external wearable electronic device of FIG. 4 ) 410) and/or an electronic device of another user (eg, other user 2120) (eg, a wearable electronic device worn by another user (eg, external wearable electronic device 410 of FIG. 4 ) ), or the electronic device 2202, the electronic device 2204, or the server 2208 of FIG. 22)), those skilled in the art can understand.
  • the external device for example, the external wearable electronic device worn by the user 2110 wearing the wearable electronic device 100 (for example, the external wearable electronic device of FIG. 4 ) 410) and/or an electronic device of another user (eg, other user 2120) (eg,
  • the electronic device 2201 may refer to the external electronic device 520 of FIG. 5 .
  • the electronic device 2202 may mean the wearable electronic device 100 and/or the external wearable electronic device 410 of FIG. 5 .
  • the server 2208 may refer to the server 530 of FIG. 5 .
  • the wearable electronic device 100 of FIG. 5 , the external wearable electronic device 410 , and/or the server 530 may be implemented as the same type of electronic device as the electronic device 2201 of FIG. 22 .
  • the electronic device 2201 communicates with the electronic device 2202 through a first network 2298 (eg, a short-range wireless communication network) or a second network 2299 . It may communicate with the electronic device 2204 or the server 2208 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 2201 may communicate with the electronic device 2204 through the server 2208 .
  • a first network 2298 eg, a short-range wireless communication network
  • a second network 2299 e.g., a second network 2299
  • the electronic device 2204 or the server 2208 eg, a long-distance wireless communication network
  • the electronic device 2201 may communicate with the electronic device 2204 through the server 2208 .
  • the electronic device 2201 includes a processor 2220 , a memory 2230 , an input module 2250 , a sound output module 2255 , a display module 2260 , an audio module 2270 , and a sensor module ( 2276), interface 2277, connection terminal 2278, haptic module 2279, camera module 2280, power management module 2288, battery 2289, communication module 2290, subscriber identification module 2296 , or an antenna module 2297 .
  • at least one of these components eg, the connection terminal 2278
  • some of these components are integrated into one component (eg, display module 2260 ). can be
  • the processor 2220 for example, executes software (eg, a program 2240) to execute at least one other component (eg, hardware or software component) of the electronic device 2201 connected to the processor 2220. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 2220 converts commands or data received from other components (eg, the sensor module 2276 or the communication module 2290) to the volatile memory 2232 . may be stored in , process commands or data stored in the volatile memory 2232 , and store the result data in the non-volatile memory 2234 .
  • software eg, a program 2240
  • the processor 2220 converts commands or data received from other components (eg, the sensor module 2276 or the communication module 2290) to the volatile memory 2232 .
  • the volatile memory 2232 may be stored in , process commands or data stored in the volatile memory 2232 , and store the result data in the non-volatile memory 2234 .
  • the processor 2220 is the main processor 2221 (eg, a central processing unit or an application processor) or a secondary processor 2223 (eg, a graphics processing unit, a neural network processing unit) that can be operated independently or together with the main processor 2221 (eg, a central processing unit or an application processor).
  • a neural processing unit NPU
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the electronic device 2201 includes a main processor 2221 and a sub-processor 2223
  • the sub-processor 2223 uses less power than the main processor 2221 or is set to be specialized for a specified function.
  • the secondary processor 2223 may be implemented separately from or as part of the main processor 2221 .
  • the coprocessor 2223 may be, for example, on behalf of the main processor 2221 while the main processor 2221 is in an inactive (eg, sleep) state, or the main processor 2221 is active (eg, executing an application). ), together with the main processor 2221, at least one of the components of the electronic device 2201 (eg, the display module 2260, the sensor module 2276, or the communication module 2290) It is possible to control at least some of the related functions or states.
  • the coprocessor 2223 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 2280 or the communication module 2290). have.
  • the auxiliary processor 2223 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 2201 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 2208).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 2230 may store various data used by at least one component of the electronic device 2201 (eg, the processor 2220 or the sensor module 2276).
  • the data may include, for example, input data or output data for software (eg, the program 2240 ) and instructions related thereto.
  • the memory 2230 may include a volatile memory 2232 or a non-volatile memory 2234 .
  • the program 2240 may be stored as software in the memory 2230 , and may include, for example, an operating system 2242 , middleware 2244 , or an application 2246 .
  • the input module 2250 may receive a command or data to be used in a component (eg, the processor 2220 ) of the electronic device 2201 from the outside (eg, a user) of the electronic device 2201 .
  • the input module 2250 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 2255 may output a sound signal to the outside of the electronic device 2201 .
  • the sound output module 2255 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 2260 may visually provide information to the outside (eg, a user) of the electronic device 2201 .
  • the display module 2260 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display module 2260 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 2270 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 2270 acquires a sound through the input module 2250 or an external electronic device (eg, a sound output module 2255 ) directly or wirelessly connected to the electronic device 2201 .
  • the electronic device 2202 may output sound through (eg, a speaker or headphones).
  • the sensor module 2276 detects an operating state (eg, power or temperature) of the electronic device 2201 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 2276 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 2277 may support one or more specified protocols that may be used for the electronic device 2201 to directly or wirelessly connect with an external electronic device (eg, the electronic device 2202).
  • the interface 2277 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 2278 may include a connector through which the electronic device 2201 can be physically connected to an external electronic device (eg, the electronic device 2202 ).
  • the connection terminal 2278 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 2279 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 2279 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 2280 may capture still images and moving images. According to one embodiment, the camera module 2280 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 2288 may manage power supplied to the electronic device 2201 .
  • the power management module 2288 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 2289 may supply power to at least one component of the electronic device 2201 .
  • battery 2289 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 2290 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 2201 and an external electronic device (eg, the electronic device 2202, the electronic device 2204, or the server 2208). It can support establishment and communication performance through the established communication channel.
  • the communication module 2290 may include one or more communication processors that operate independently of the processor 2220 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 2290 includes a wireless communication module 2292 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 2294 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a corresponding communication module among these communication modules is a first network 2298 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 2299 (eg, legacy).
  • a first network 2298 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 2299 eg, legacy
  • the wireless communication module 2292 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 2296 within a communication network, such as the first network 2298 or the second network 2299 .
  • the electronic device 2201 may be identified or authenticated.
  • the wireless communication module 2292 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 2292 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 2292 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 2292 may support various requirements specified in the electronic device 2201 , an external electronic device (eg, the electronic device 2204 ), or a network system (eg, the second network 2299 ).
  • the wireless communication module 2292 includes a peak data rate (eg, 20 Gbps or more) for realization of eMBB, loss coverage for realization of mMTC (eg, 164 dB or less), or U-plane latency (for URLLC realization) ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
  • a peak data rate eg, 20 Gbps or more
  • mMTC eg, 164 dB or less
  • U-plane latency for URLLC realization
  • the antenna module 2297 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 2297 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 2297 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 2298 or the second network 2299 is connected from the plurality of antennas by, for example, the communication module 2290 . can be selected. A signal or power may be transmitted or received between the communication module 2290 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 2297 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 2201 and the external electronic device 2204 through the server 2208 connected to the second network 2299 .
  • Each of the external electronic devices 2202 or 2204 may be the same or a different type of the electronic device 2201 .
  • all or a part of operations executed in the electronic device 2201 may be executed in one or more external electronic devices 2202 , 2204 , or 2208 .
  • the electronic device 2201 may instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 2201 .
  • the electronic device 2201 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 2201 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 2204 may include an Internet of things (IoT) device.
  • the server 2208 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 2204 or the server 2208 may be included in the second network 2299 .
  • the electronic device 2201 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device 100 may include at least one display module (eg, the display module 350 of FIG. 3 ); at least one communication module (eg, communication module 370 of FIG. 3 ); at least one microphone (eg, sound input device 362 of FIG. 3 ); at least one camera (eg, first camera 311 , second camera 312 , and/or third camera 313 of FIG. 3 ); and a processor (320), wherein the processor captures at least one image through the at least one camera and, based at least in part on the at least one image, is located in the vicinity of the electronic device.
  • the display module eg, the display module 350 of FIG. 3
  • at least one communication module eg, communication module 370 of FIG. 3
  • at least one microphone eg, sound input device 362 of FIG. 3
  • at least one camera eg, first camera 311 , second camera 312 , and/or third camera 313 of FIG. 3
  • a processor 320
  • At least one object is identified, and sound information corresponding to the at least one identified object is identified from the first sound data input through the at least one microphone, and at a position corresponding to the at least one identified object. , control the at least one display module to display at least one virtual object corresponding to the at least one object, wherein the position is determined based on the sound information, a first virtual object of the at least one virtual object obtain a first user input associated with , and determine a noise cancellation (NC) level of a first object corresponding to the first virtual object based on the first user input.
  • N noise cancellation
  • the processor may be configured to identify the at least one object located in the vicinity of the electronic device based at least in part on the surrounding environment information obtained through the at least one communication module.
  • the processor may be configured to determine whether to display the first virtual object, based on a level of a sound included in the first sound information corresponding to the first object.
  • the processor may be configured to identify a gaze direction of the user of the electronic device using the at least one camera and determine whether to display the at least one virtual object based on the gaze direction.
  • the processor may identify at least a part of a body of the user of the electronic device using the at least one camera, and based on the location of the at least part of the user's body, the at least one virtual object may be set to determine whether to display.
  • the processor is configured to display, through the at least one display module, a second virtual object corresponding to a second user input (eg, the virtual object 1830 of FIG. 18 ).
  • a second object eg, a second object located beyond the virtual object 1830 from the wearable electronic device 100
  • the at least one communication module may be configured to transmit a signal for adjusting the sound of the object 1620) to the external device.
  • the processor may be configured to determine a sound adjustment method of the second object based on a preset attribute corresponding to the second virtual object.
  • the processor may be configured to identify a type of an application executed in the electronic device and determine the NC level based on the type of the application.
  • the processor may be configured to control the at least one communication module to transmit the first sound data input through the at least one microphone to the external device.
  • the processor obtains second sound data from an external device (eg, the external wearable electronic device 410 of FIG. 5 ) through the at least one communication module, and adds the second sound data to the second sound data. and identify the sound information attributable to the identified at least one object from the first sound data, based at least in part.
  • an external device eg, the external wearable electronic device 410 of FIG. 5
  • the processor may be configured to control the at least one communication module to transmit a signal including information on the determined NC level to the external device through the at least one communication module.
  • the method of operating the electronic device 100 includes at least one camera (eg, the first camera 311 of FIG. 3 , the second camera 312 , and/or the third camera) of the electronic device.
  • At least one virtual object corresponding to the at least one object is displayed at a position corresponding to the identified at least one object through at least one display module (eg, the display module 350 of FIG.
  • the method may include determining a noise cancellation (NC) level of the first object corresponding to the virtual object.
  • N noise cancellation
  • the identifying of the at least one object located in the vicinity of the electronic device may include identifying the at least one object based at least in part on surrounding environment information obtained through the at least one communication module. It may include an action to
  • the method may further include determining whether to display the first virtual object based on a level of a sound included in the first sound information corresponding to the first object.
  • the method includes: identifying a gaze direction of the user of the electronic device using the at least one camera; and determining whether to display the at least one virtual object based on the gaze direction It may further include an action.
  • the method may include using the at least one camera to identify at least a part of the user's body of the electronic device, and based on the location of the at least part of the user's body, the at least one virtual object It may further include an operation of determining whether to display.
  • the method includes displaying a second virtual object (eg, the virtual object 1830 of FIG. 18 ) corresponding to a second user input through the at least one display module; A sound of a second object (eg, a second object 1620 positioned beyond the virtual object 1830 from the wearable electronic device 100) among the at least one object based on the displayed position of the second virtual object
  • the method may further include the operation of transmitting a signal for adjusting the signal to the external device through the at least one communication module.
  • the method may further include determining a sound adjustment method of the second object based on a preset attribute corresponding to the second virtual object.
  • the method may further include checking a type of an application executed by the electronic device, and determining the NC level based on the type of the application.
  • the method may include transmitting the first sound data input through the at least one microphone to an external device (eg, the external wearable electronic device of FIG. 5 ) through at least one communication module of the electronic device. 410)) may further include an operation of transmitting.
  • an external device eg, the external wearable electronic device of FIG. 5
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart watch
  • a home appliance device e.g., a smart bracelet
  • the electronic device according to the embodiment of the present document is not limited to the above-described devices.
  • first, second, or first or second may simply be used to distinguish an element from other elements in question, and may refer elements to other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in the embodiments of this document may include a unit implemented in hardware, software, or firmware, and is, for example, used interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Embodiments of this document include one or more instructions stored in a storage medium (eg, internal memory 2236 or external memory 2238) readable by a machine (eg, electronic device 2201). It may be implemented as included software (eg, program 2240).
  • a processor eg, processor 2220
  • a device eg, electronic device 2201
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to the embodiments disclosed in this document may be included in a computer program product (computer program product) and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones).
  • a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예에 따라서, 전자 장치는, 적어도 하나의 디스플레이 모듈; 적어도 하나의 통신 모듈; 적어도 하나의 마이크; 적어도 하나의 카메라; 및 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 카메라를 통해 입력되는 적어도 하나의 이미지에 기반하여, 상기 전자 장치의 주변에 위치한 적어도 하나의 객체를 확인하고, 상기 적어도 하나의 마이크를 통해 입력되는 제 1 사운드 데이터 및/또는 상기 적어도 하나의 통신 모듈을 통하여 외부 장치로부터 획득되는 제 2 사운드 데이터에 기반하여, 상기 전자 장치의 주변에 위치한 상기 적어도 하나의 객체에 대응하는 사운드 정보를 확인하고, 상기 사운드 정보에 기반하여, 상기 적어도 하나의 객체에 대응하는 위치에, 상기 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트를 표시하도록 상기 적어도 하나의 디스플레이 모듈을 제어하고, 상기 적어도 하나의 가상 오브젝트 중 제 1 가상 오브젝트와 연관된 제 1 사용자 입력을 획득하고, 상기 제 1 사용자 입력에 기반하여, 상기 제 1 가상 오브젝트에 대응하는 제 1 객체의 NC(noise cancellation) 레벨을 결정하고, 상기 적어도 하나의 통신 모듈을 통하여, 상기 결정된 NC 레벨에 대한 정보를 포함하는 신호를 상기 외부 장치로 전송하도록 상기 적어도 하나의 통신 모듈을 제어하도록 설정될 수 있다. 이외에 실시 예들이 가능할 수 있다.

Description

외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법
본 발명의 실시 예들은, 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법에 관한 것이다.
증강 현실(augmented reality, AR)은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공할 수 있다. 사용자는, 실제의 환경과 함께, 이미지를 관찰할 수 있어, 예를 들어 현재 관찰하는 환경 내의 대상물에 대한 정보를 확인할 수 있다.
증강 현실 장치는 웨어러블 전자 장치일 수 있다. 예를 들어, 안경처럼 얼굴에 착용할 수 있는 AR 글래스 형태의 전자 장치가 보급되고 있다.
그러나, AR 장치의 사운드는 종종 가상 사운드와 주변 소음이 혼합된다. 주변 소음은 주의를 산만하게 하고 사용자 경험을 저하시킬 수 있다.
상기 정보는 본 개시 내용의 이해를 돕기 위한 배경 정보로서만 제공된다. 상기 중 어느 것이 본 개시와 관련하여 선행 기술로서 적용될 수 있는지 여부에 대한 결정이 이루어지지 않았으며 어떠한 주장도 이루어지지 않는다.
증강 현실 장치를 이용한 증강 현실 환경에서는 현실의 사운드와 가상의 사운드가 혼합된 사운드가 사용자에 귀에 들릴 수 있다. 이때, 증강 현실 환경에서 가상의 사운드를 청취하고자 하는 경우, 현실의 사운드는 노이즈로 작용할 수 있다.
본 발명의 실시 예들에 따르면, 증강 현실 환경에서 노이즈 캔슬링 장치를 이용하여 현실의 사운드를 컨트롤 하는 방법을 포함하는 증강 현실 장치를 제공할 수 있다.
실시예에 따라서, 전자 장치는, 적어도 하나의 디스플레이 모듈; 적어도 하나의 통신 모듈; 적어도 하나의 마이크; 적어도 하나의 카메라; 및 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 카메라를 통해 적어도 하나의 이미지를 캡쳐(capture)하고, 상기 적어도 하나의 이미지에 적어도 부분적으로 기반하여, 상기 전자 장치의 주변에 위치한 적어도 하나의 객체를 확인하고, 상기 적어도 하나의 마이크를 통해 입력되는 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 기인하는 사운드 정보를 확인하고, 상기 확인된 적어도 하나의 객체에 대응하는 위치에, 상기 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트를 표시하도록 상기 적어도 하나의 디스플레이 모듈을 제어하고-상기 위치는 상기 사운드 정보에 기반하여 결정됨-, 상기 적어도 하나의 가상 오브젝트 중 제 1 가상 오브젝트와 연관된 제 1 사용자 입력을 획득하고, 상기 제 1 사용자 입력에 기반하여, 상기 제 1 가상 오브젝트에 대응하는 제 1 객체의 NC(noise cancellation) 레벨을 결정하도록 설정될 수 있다.
실시예에 따라서, 전자 장치의 동작 방법은, 상기 전자 장치의 적어도 하나의 카메라를 통해 적어도 하나의 이미지를 캡쳐(capture)하는 동작, 상기 적어도 하나의 이미지에 적어도 부분적으로 기반하여, 상기 전자 장치의 주변에 위치한 적어도 하나의 객체를 확인하는 동작, 상기 전자 장치의 적어도 하나의 마이크를 통해 입력되는 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 기인하는 사운드 정보를 확인하는 동작, 상기 전자 장치의 적어도 하나의 디스플레이 모듈을 통하여, 상기 확인된 적어도 하나의 객체에 대응하는 위치에, 상기 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트를 표시하는 동작-상기 위치는 상기 사운드 정보에 기반하여 결정됨-, 상기 적어도 하나의 가상 오브젝트 중 제 1 가상 오브젝트와 연관된 제 1 사용자 입력을 획득하는 동작, 및 상기 제 1 사용자 입력에 기반하여, 상기 제 1 가상 오브젝트에 대응하는 제 1 객체의 NC(noise cancellation) 레벨을 결정하는 동작을 포함할 수 있다.
실시예에 따른, 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법을 제공함으로써, 증강 현실 환경에서 가상의 사운드와 현실의 사운드를 컨트롤 하여 사용자가 현실감 있는 증강 현실 환경을 경험하게 할 수 있다.
도 1은, 실시예들에 따른, 웨어러블 전자 장치의 구조를 도시한다.
도 2는, 실시예들에 따른, 웨어러블 전자 장치의 디스플레이 및 안구 추적 카메라의 구조를 도시한다.
도 3은, 실시예들에 따른, 웨어러블 전자 장치의 블록도를 도시한다.
도 4는, 실시예들에 따른, 외부 웨어러블 전자 장치의 블록도이다.
도 5는, 실시예들에 따른, 네트워크 환경 내의 전자 장치들의 블록도이다.
도 6은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 7은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 8은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 9는, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 10은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 11은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 12는, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 13은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 14는, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 15는, 실시예에 따른, 외부 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 16은, 실시예에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 17은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 18은, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 19는, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 20은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 21은, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 22는, 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
노이즈 캔슬링(Noise Canceling, NC)은 음향기기에서 소리를 청취할 때 방해되는 외부 소음을 상쇄하거나 차단하는 기술이다. 노이즈 캔슬링 기술에는 액티브 노이즈 캔슬링(active noise canceling, ANC) 방식과 패시브 노이즈 캔슬링(passive noise canceling, PNC) 방식이 있다. 액티브 노이즈 캔슬링 방식은 외부 소음의 파동을 분석하여 그와 위상이 반대인 파동을 발생시킴으로써 소음을 상쇄하는 방식이다. 패시브 노이즈 캔슬링 방식은 물리적으로 소음을 차단하는 방식이다. 대표적으로 귀를 덮는 헤드셋에 적용된 패시브 노이즈 캔슬링 방식이 있다.
노이즈 캔슬링 장치는 웨어러블 전자 장치일 수 있다. 예를 들어, 헤드셋이나 이어폰처럼 귀 또는 귀 근처에 착용할 수 있는 노이즈 캔슬링 장치가 보급되어 있다.도 1은, 실시예들에 따른, 웨어러블 전자 장치의 구조를 도시한다. 웨어러블 전자 장치(100)는 프레임(105), 제 1 지지부(101), 제 2 지지부(102), 프레임(105)과 제 1 지지부(101)를 연결하는 제 1 힌지부(103) 및/또는 프레임(105)과 제 2 지지부(102)를 연결하는 제 2 힌지부(104)를 포함할 수 있다.
프레임(105)은 하나 이상의 제 1 카메라(111-1, 111-2), 하나 이상의 제 2 카메라(112-1, 112-2) 및/또는 제 3 카메라(113), 하나 이상의 발광 소자(114-1, 114-2), 제 1 디스플레이(151), 제 2 디스플레이(152), 하나 이상의 소리 입력 장치(162-1, 162-2, 162-3), 또는 하나 이상의 투명 부재(190-1, 190-2)를 포함할 수 있다.
하나 이상의 제 1 카메라(111-1, 111-2)를 통하여 획득된 이미지는 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및/또는 공간 인식에 이용될 수 있다. 하나 이상의 제 1 카메라(111-1, 111-2)는 GS(Global shutter) 카메라일 수 있다. 하나 이상의 제 1 카메라(111-1, 111-2)는 깊이 촬영을 통한 SLAM(simultaneous localization and mapping) 연산을 수행할 수 있다. 하나 이상의 제 1 카메라(111-1, 111-2)는 6DoF(degrees of freedom)를 위한 공간 인식을 수행할 수 있다.
하나 이상의 제 2 카메라(112-1, 112-2)를 통하여 획득된 이미지는 사용자의 눈동자를 검출하고 추적하는 데 이용될 수 있다. 예를 들어, 하나 이상의 제 2 카메라(112-1, 112-2)를 통하여 획득된 이미지는 사용자의 시선 방향을 추적하는 데 이용될 수 있다. 하나 이상의 제 2 카메라(112-1, 112-2)는 GS 카메라일 수 있다. 하나 이상의 제 2 카메라(112-1, 112-2)는 각각 좌안 및 우안에 대응될 수 있고, 하나 이상의 제 2 카메라(112-1, 112-2)의 성능은 실질적으로 동일할 수 있다.
하나 이상의 제 3 카메라(113)는 고해상도의 카메라일 수 있다. 하나 이상의 제 3 카메라(113)는 자동 포커싱(auto-focusing, AF) 기능, 또는 떨림 보정 기능을 수행할 수 있다. 하나 이상의 제 3 카메라(113)는 GS 카메라이거나, RS(rolling shutter) 카메라일 수 있다.
웨어러블 전자 장치(100)는 하나 이상의 발광 소자(114-1, 114-2)을 포함할 수 있다. 발광 소자(114-1, 114-2)는 디스플레이의 화면 출력 영역으로 빛을 조사하는, 후술할 광원과는 상이하다. 발광 소자(114-1, 114-2)는 하나 이상의 제 2 카메라(112-1, 112-2)를 통하여 사용자의 눈동자를 검출하고 추적하는 데 있어서, 눈동자 검출을 용이하게 하기 위한 빛을 조사할 수 있다. 발광 소자(114-1, 114-2)는 LED를 포함할 수 있다. 발광 소자(114-1, 114-2)는 적외선 영역의 빛을 조사할 수 있다. 발광 소자(114-1, 114-2)는 웨어러블 전자 장치(100)의 프레임(105) 주변에 부착될 수 있다. 발광 소자(114-1, 114-2)는 하나 이상의 제 1 카메라(111-1, 111-2) 주변에 위치하고, 웨어러블 전자 장치(100)가 어두운 환경에서 사용될 때 하나 이상의 제 1 카메라(111-1, 111-2)에 의한 제스처 검출, 머리 추적, 및/또는 공간 인식을 보조할 수 있다. 발광 소자(114-1, 114-2)는 하나 이상의 제 3 카메라(113) 주변에 위치하고, 웨어러블 전자 장치(100)가 어두운 환경에서 사용될 때 하나 이상의 제 3 카메라(113)에 의한 이미지 획득을 보조할 수 있다.
웨어러블 전자 장치(100)는 프레임(105)에 위치되는 제 1 디스플레이(151), 제 2 디스플레이(152), 하나 이상의 입력 광학 부재(153-1, 153-2), 하나 이상의 투명 부재(190-1, 190-2), 및/또는 하나 이상의 화면 표시 부분(154-1, 154-2)을 포함할 수 있다. 제 1 디스플레이(151) 및 제 2 디스플레이(152)는 예를 들면, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다. 실시예에 따라서, 제 1 디스플레이(151) 및 제 2 디스플레이(152)가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 웨어러블 전자 장치(100)는 디스플레이의 화면 출력 영역으로 빛을 조사하는 광원을 포함할 수 있다. 다른 실시예에 따라서, 제 1 디스플레이(151) 및/또는 제 2 디스플레이(152)가 자체적으로 빛을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 웨어러블 전자 장치(100)는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다.
하나 이상의 투명 부재(190-1, 190-2)는 사용자가 웨어러블 전자 장치(100)를 착용하였을 때 사용자의 눈에 대면하게 배치될 수 있다. 하나 이상의 투명 부재(190-1, 190-2)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머 중 적어도 하나를 포함할 수 있다. 실시예에 따라서, 사용자는 웨어러블 전자 장치(100)를 착용하였을 때 하나 이상의 투명 부재(190-1, 190-2)를 통하여 외부 세계를 볼 수 있다. 실시예에 따라서, 하나 이상의 입력 광학 부재(153-1, 153-2)는 제 1 디스플레이(151) 및/또는 제 2 디스플레이(152)에서 생성한 빛을 사용자의 눈으로 유도할 수 있다. 하나 이상의 투명 부재(190-1, 190-2) 위의 하나 이상의 화면 표시 부분(154-1, 154-2) 위에 제 1 디스플레이(151) 및 제 2 디스플레이(152)에서 생성한 빛에 기초한 상이 맺히고, 사용자는 하나 이상의 화면 표시 부분(154-1, 154-2) 위에 맺힌 상을 볼 수 있다.
웨어러블 전자 장치(100)는 하나 이상의 광도파로(미도시)를 포함할 수 있다. 광도파로는 제 1 디스플레이(151) 및 제 2 디스플레이(152)에서 생성한 빛을 사용자의 눈으로 전달할 수 있다. 웨어러블 전자 장치(100)는 좌안 및 우안에 대응하여 각각 하나씩의 광도파로를 포함할 수 있다. 광도파로는 글래스, 플라스틱 또는 폴리머 중 적어도 하나를 포함할 수 있다. 광도파로는 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 광도파로는 free-form형 프리즘을 포함할 수 있고, 이 경우, 광도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다. 광도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함하고, 광도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 실시 예에 따라, 회절 요소는 입력/출력 광학 부재를 포함할 수 있다. 실시 예에 따라, 반사 요소는 전반사를 일으키는 부재를 포함할 수 있다.
웨어러블 전자 장치(100)는 하나 이상의 소리 입력 장치(162-1, 162-2, 162-3)(예를 들어, 마이크)를 포함할 수 있고, 하나 이상의 소리 입력 장치(162-1, 162-2, 162-3)를 사용자의 소리 또는 웨어러블 전자 장치(100)의 주변에서 발생된 소리를 입력 받을 수 있다. 예를 들어, 하나 이상의 소리 입력 장치(162-1, 162-2, 162-3)는 주변에서 발생된 소리를 입력 받아 프로세서(예: 도 3의 프로세서(320))로 전달할 수 있다.
하나 이상의 지지부(예: 제 1 지지부(101), 제 2 지지부(102))는 PCB(예: 제 1 PCB(170-1) 및 제 2 PCB(170-2)), 하나 이상의 소리 출력 장치(163-1, 163-2), 하나 이상의 배터리(135-1, 135-2)를 포함할 수 있다. 제 1 PCB(170-1) 및 제 2 PCB(170-2)는 도 2를 참조하여 후술할 제 1 카메라(211), 제 2 카메라(212), 제 3 카메라(213), 디스플레이 모듈(250), 오디오 모듈(261), 및/또는 센서(280)와 같은, 웨어러블 전자 장치(100)에 포함되는 구성 요소에 전기 신호를 전달할 수 있다. 제 1 PCB(170-1) 및 제 2 PCB(170-2)는 FPCB일 수 있다. 실시예에 따라서, 제 1 PCB(170-1) 및 제 2 PCB(170-2)는 각각 제 1 기판, 제 2 기판, 및 제 1 기판과 상기 제 2 기판 사이에 배치된 인터포저를 포함할 수 있다. 웨어러블 전자 장치(100)는 배터리(135-1, 135-2)를 포함할 수 있다. 배터리(135-1, 135-2)는 웨어러블 전자 장치(100)의 나머지 구성요소들을 동작시키기 위한 전력을 저장할 수 있다. 하나 이상의 소리 출력 장치(163-1, 163-2)(예를 들어, 스피커)는 사용자에게 오디오 데이터를 출력할 수 있다. 예를 들어, 사용자의 명령(또는 입력)에 대한 피드백을 제공하거나, 가상 객체에 대한 정보를 오디오 데이터를 통해 사용자에게 제공할 수 있다.
웨어러블 전자 장치(100)는 하나 이상의 힌지부(예: 제 1 힌지부(103), 제 2 힌지부(104))를 포함할 수 있다. 예를 들어, 제 1 힌지부(103)는 제 1 지지부(101)가 프레임(105)과 결합되고 프레임(105)을 기준으로 회동 가능하고, 제 2 힌지부(104)는 제 2 지지부(102)가 프레임(105)과 결합되고 프레임(105)을 기분으로 회동 가능하도록 할 수 있다.
상술한 바와 같이, 웨어러블 전자 장치(100)는 주변 잡음을 제거하거나 감소시키기 위해 노이즈 캔슬링을 이용할 수 있다. 웨어러블 전자 장치(100)는, 외부 소스로부터 주변 환경에 대한 정보를 획득할 수 있을 뿐만 아니라, 카메라(111-1, 111-2, 112-1, 112-2, 및/또는 113) 중 하나를 이용하여 사용자의 주변 환경의 이미지를 획득할 수 있다. 웨어러블 전자 장치(100)는 전술한 바를 이용하여 주변 환경의 물체들을 확인할 수 있다.
주변 환경의 물체들에 대한 확인과 함께, 웨어러블 전자 장치(100)는 상기 물체들과 관련된 사운드 데이터를 획득할 수 있고, 이에 따라 마이크(162-1, 162-2, 및 162-3)로부터 상기 물체들에 대응하는 사운드를 확인하고, 이를 캔슬링 할 수 있다.
도 2는, 실시예들에 따른, 웨어러블 전자 장치의 디스플레이 및 안구 추적 카메라의 구조를 도시한다. 웨어러블 전자 장치(100)는 디스플레이(221), 입력 광학 부재(222), 디스플레이 광도파로(223), 출력 광학 부재(224), 안구 추적 카메라(210), 제 1 스플리터(241), 안구 추적 광도파로(242), 및/또는 제 2 스플리터(243)를 포함할 수 있다.
웨어러블 전자 장치(100)에서, 디스플레이(221)는 도 1에서 도시된 제 1 디스플레이(151) 또는 제 2 디스플레이(152) 중 하나일 수 있다. 디스플레이(221)에서 출력된 빛은 입력 광학 부재(222)(예: 도 1의 입력 광학 부재(153-1, 153-2))를 지나 디스플레이 광도파로(223)에 입사되고, 디스플레이 광도파로(223)를 지나 출력 광학 부재(224)를 통하여 출력될 수 있다. 출력 광학 부재(224)에서 출력된 빛은 사용자의 눈(230)에 보일 수 있게 된다. 이하 본 명세서에서, "디스플레이 상에 오브젝트를 표시"한다는 표현은 디스플레이(221)에서 출력된 빛이 출력 광학 부재(224)를 통하여 출력되고, 출력 광학 부재(224)를 통하여 출력된 빛에 의해 사용자의 눈(230)에 오브젝트의 형상이 보인다는 의미일 수 있다. 또한, "오브젝트를 표시하도록 디스플레이를 제어"한다는 표현은 디스플레이(221)에서 출력된 빛이 출력 광학 부재(224)를 통하여 출력되고, 사용자의 눈(230)에 오브젝트의 형상이 보이게 하도록 디스플레이(221)를 제어한다는 의미일 수 있다.
사용자의 눈(230)으로부터 반사된 빛(235)은 제 1 스플리터(241)를 지나 안구 추적 광도파로(242)에 입사되고, 안구 추적 광도파로(242)를 지나 제 2 스플리터(243)를 통하여 안구 추적 카메라(210)에 출력될 수 있다. 사용자의 눈(230)으로부터 반사된 빛(235)은 도 1의 발광 소자(114-1, 114-2)에서 출력되고 사용자의 눈(230)에서 반사된 빛일 수 있다. 안구 추적 카메라(210)는 도 1에 도시된 하나 이상의 제 2 카메라(112-1, 112-2)일 수 있다.
도 3은, 실시예들에 따른, 웨어러블 전자 장치의 블록도를 도시한다.
도 3을 참조하면, 실시예에 따라서, 웨어러블 전자 장치(100)는 제 1 카메라(311), 제 2 카메라(312), 제 3 카메라(313), 프로세서(320), PMIC(330), 배터리(335), 메모리(340), 디스플레이 모듈(350), 오디오 모듈(361), 소리 입력 장치(362), 소리 출력 장치(363), 통신 모듈(370), 및/또는 센서(380)를 포함할 수 있다.
실시예에 따라서, 도 1을 참조하여 상술한 하나 이상의 제 1 카메라(111-1, 111-2), 하나 이상의 제 2 카메라(112-1, 112-2), 및 하나 이상의 제 3 카메라(113)의 세부 사항이 제 1 카메라(311), 제 2 카메라(312), 및 제 3 카메라(313)에 각각 실질적으로 동일하게 적용될 수 있다. 웨어러블 전자 장치(100)는 제 1 카메라(311), 제 2 카메라(312), 및 제 3 카메라(313) 중 적어도 하나를 복수 개 포함할 수 있다.
프로세서(320)는 웨어러블 전자 장치(100)의 다른 구성요소들, 예를 들어, 제 1 카메라(311), 제 2 카메라(312), 제 3 카메라(313), PMIC(330), 메모리(340), 디스플레이 모듈(350), 오디오 모듈(361), 통신 모듈(370), 및/또는 센서(380)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.
PMIC(330)는 배터리(335)에 저장된 전력을 웨어러블 전자 장치(100)의 다른 구성요소들이 요구하는 전류 또는 전압을 갖도록 변환하여 웨어러블 전자 장치(100)의 다른 구성요소들에 공급할 수 있다.
메모리(340)는, 웨어러블 전자 장치(100)의 적어도 하나의 구성요소(예: 프로세서(320) 또는 센서 모듈(380))에 의해 사용되는 다양한 데이터를 저장할 수 있다.
디스플레이 모듈(350)은 사용자에게 제공할 화면을 표시할 수 있다. 디스플레이 모듈(350)은 도 1을 참조하여 상술한 제 1 디스플레이(151), 제 2 디스플레이(152), 하나 이상의 입력 광학 부재(153-1, 153-2), 하나 이상의 투명 부재(190-1, 190-2), 및/또는 하나 이상의 화면 표시 부분(154-1, 154-2)을 포함할 수 있다.
오디오 모듈(361)은 소리 입력 장치(362) 및 소리 출력 장치(363)에 연결되어, 소리 입력 장치(362)를 통하여 입력된 데이터를 변환하고, 소리 출력 장치(363)에 출력할 데이터를 변환할 수 있다. 소리 출력 장치(363)는 스피커 및 증폭기를 포함할 수 있다. 소리 출력 장치(363)는, 도 1의 하나 이상의 소리 출력 장치(163-1, 163-2)를 의미할 수 있다. 소리 입력 장치(362)는, 도 1의 하나 이상의 소리 입력 장치(162-1, 162-2, 162-3)를 의미할 수 있다.
통신 모듈(370)은 웨어러블 전자 장치(100) 외부의 전자 장치와의 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
센서(380)는 6축 센서(381), 자기 센서(382), 근접 센서(383), 및/또는 광 센서(384)를 포함할 수 있다. 센서(380)는 웨어러블 전자 장치(100)가 사용자에 의하여 착용되고 있는지를 검출하기 위한 생체 신호를 획득하기 위한 센서를 포함할 수 있다. 예를 들어, 센서(380)는 심박 센서, 피부 센서, 또는 온도 센서 중 적어도 하나를 포함할 수 있다.
프로세서(320)는 6축 센서(381)를 통하여 웨어러블 전자 장치(100)를 착용한 사용자의 움직임을 확인할 수 있다. 예를 들어, 6축 센서(381)는 사용자가 향하는 방향(예: 사용자가 웨어러블 전자 장치(100)를 통해 바라보는 방향)의 변화를 감지하여 센서 값을 생성하고, 생성된 센서 값 또는 센서 값의 변화량을 프로세서(320)로 전달할 수 있다.
오디오 모듈(361)는 소리 입력 장치(362)를 통해 웨어러블 전자 장치(100)(또는 사용자)의 주변에서 발생되는 소리를 수신하고, 수신된 소리를 변환한 데이터를 프로세서(320)로 전달할 수 있다.
통신 모듈(370)은 외부 전자 장치(예: 웨어러블 전자 장치(예: 이어폰) 또는 외부 전자 장치(예: 단말))와 데이터를 송수신할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는 통신 모듈(370)을 통해 외부 웨어러블 전자 장치가 수신한 오디오 데이터를 수신하고, 수신한 오디오 데이터를 프로세서(320)로 전달할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(100)는 통신 모듈(370)을 통해 외부 전자 장치로부터 수신한 데이터에 기반한 이미지 데이터를 디스플레이 모듈(350)을 통해 출력할 수 있다.
도 4는, 실시예들에 따른, 외부 웨어러블 전자 장치의 블록도이다. 외부 웨어러블 전자 장치(410)는 이어폰 형태의 웨어러블 전자 장치일 수 있다. 외부 웨어러블 전자 장치(410)는 물리적으로 분리된 복수의 하우징을 가질 수 있다. 예를 들어, 외부 웨어러블 전자 장치(410)가 이어폰 형태의 웨어러블 전자 장치인 경우에, 외부 웨어러블 전자 장치(410)는 왼쪽 귀에 착용되기 위한 제 1 하우징 및 오른쪽 귀에 착용되기 위한 제 2 하우징을 포함할 수 있고, 이 경우, 도 4에 도시된 각 구성요소들은 복수의 하우징중 하나 이상에 포함될 수 있다. 실시예에 따라서, 외부 웨어러블 전자 장치(410)는 소리 출력 장치(163-1, 163-2)에 대응할 수 있다.
외부 웨어러블 전자 장치(410)는 프로세서(415), 메모리(420), 통신 모듈(430), 오디오 모듈(440), 센서 모듈(450), 및/또는 배터리(460)를 포함할 수 있다.
프로세서(415)는 외부 웨어러블 전자 장치(410)의 다른 구성요소, 예를 들어, 메모리(420), 통신 모듈(430), 오디오 모듈(440), 센서 모듈(450), 및/또는 배터리(460)로부터 데이터를 수신하고, 수신된 데이터에 기초하여 연산을 수행하고, 다른 구성요소를 제어하기 위한 신호를 다른 구성요소에 전달할 수 있다. 프로세서(415)는 메모리(420)에 저장된 인스트럭션에 기초하여 동작할 수 있다.
메모리(420)는 외부 웨어러블 전자 장치(410)의 다른 구성요소, 예를 들어, 프로세서(415), 통신 모듈(430), 오디오 모듈(440), 센서 모듈(450), 및/또는 배터리(460)가 지정된 동작을 수행하도록 하는 인스트럭션들을 저장할 수 있다. 메모리(420)는 오디오 모듈(440)을 통해 획득된 오디오 데이터를 저장할 수 있다.
통신 모듈(430)은 다른 전자 장치(예를 들어, 웨어러블 전자 장치(100))와 무선통신을 수행할 수 있다. 통신 모듈(430)은 웨어러블 전자 장치(100)에 외부 웨어러블 전자 장치(410)에서 획득된 정보를 송신할 수 있다. 또 다른 예로, 통신 모듈(430)은 웨어러블 전자 장치(100)로부터 오디오 데이터를 수신 할 수 있다. 통신 모듈(430)이 지원하는 통신의 종류는 제한되지 않는다.
오디오 모듈(440)은 복수의 마이크 및/또는 하나 이상의 스피커를 포함할 수 있다. 복수의 마이크는 사용자가 외부 웨어러블 전자 장치(410)를 착용하였을 때 사용자의 내이 방향으로 향하는 마이크 및 사용자가 외부 웨어러블 전자 장치(410)를 착용하였을 때 사용자로부터 멀어지는 방향으로 향하는 마이크를 포함할 수 있다. 오디오 모듈(440)은 복수의 마이크를 통하여 각각 오디오 데이터를 획득하고, 복수의 마이크를 통하여 획득된 오디오 데이터에 기반하여 노이즈 캔슬링을 수행할 수 있다. 오디오 모듈(440)은, 통신 모듈(430)을 통하여 다른 전자 장치(예를 들어, 웨어러블 전자 장치(100))로부터 획득된 오디오 데이터를 출력할 수 있다. 또 다른 예로, 오디오 모듈(440)은, 통신 모듈(430)을 통하여 다른 전자 장치(예를 들어, 웨어러블 전자 장치(100))로부터 획득된 오디오 데이터에 기반하여 노이즈 캔슬링을 수행할 수도 있다.
센서 모듈(450)은 사용자가 외부 웨어러블 전자 장치(410)를 착용하였는지 여부를 검출하기 위한 생체 센서를 포함할 수 있다. 예를 들어, 생체 센서는 심박 센서, 피부 센서, 또는 온도 센서 중 적어도 하나를 포함할 수 있다. 센서 모듈(450)은 지자계 센서를 포함할 수 있다.
외부 웨어러블 전자 장치(410)는 웨어러블 전자 장치(100)로부터 통신 모듈(430)을 통해 데이터 전송 요청을 수신할 수 있다. 예를 들어, 외부 웨어러블 전자 장치(410)는 오디오 모듈(440)을 통해 수신한 오디오 데이터에 대한 전송을 요청 받을 수 있다.
도 5는, 실시예들에 따른, 네트워크 환경 내의 전자 장치들의 블록도이다. 도 5를 참조하면, 네트워크 환경은, 웨어러블 전자 장치(100), 외부 웨어러블 전자 장치(410), 외부 전자 장치(520)(예를 들어, 도 22에서 후술하는 전자 장치(2201)), 및/또는 서버(530)(예를 들어, 도 22에서 후술하는 서버(2208))를 포함할 수 있다.
도 5를 참조하면, 실시예에 따라서, 웨어러블 전자 장치(100)는, 외부 웨어러블 전자 장치(410)와 통신을 수행할 수 있다. 웨어러블 전자 장치(100)는, 외부 전자 장치(520)과 통신을 수행할 수 있다. 외부 전자 장치(520)는, 외부 웨어러블 전자 장치(410)와 통신을 수행할 수 있다. 웨어러블 전자 장치(100)는, 외부 전자 장치(520)를 통하여 외부 웨어러블 전자 장치(410)와 간접적으로 통신을 수행할 수도 있다. 외부 전자 장치(520)는, 서버(530)과 통신을 수행할 수 있다. 웨어러블 전자 장치(100)는, 외부 전자 장치(520)를 통하여 서버(530)와 간접적으로 통신을 수행할 수도 있다. 웨어러블 전자 장치(100)는, 서버(530)와 직접 통신을 수행할 수도 있다. 도 5를 참조하면, 네트워크 환경 내의 전자 장치들은 서로 통신을 수행할 수 있으며, 통신 방식에는 제한이 없다. 웨어러블 전자 장치(100)와 외부 웨어러블 전자 장치(410)가 분리된 것으로 도시되어 있으나, 이는 하나의 실시예로 이해될 수 있고, 웨어러블 전자 장치(100)와 외부 웨어러블 전자 장치(410)는 단일 장치로 구현될 수 있다. 따라서, 웨어러블 전자 장치(100)와 외부 웨어러블 전자 장치(410) 사이의 통신은, 내부 회로를 통할 수 있다.
도 6은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 601 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 적어도 하나의 카메라(예를 들어, 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 입력되는 적어도 하나의 이미지를 획득할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 적어도 하나의 카메라를 통하여, 웨어러블 전자 장치(100)의 주변에 위치한 적어도 하나의 객체를 포함하는 적어도 하나의 이미지를 획득할 수 있다.
603 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 통신 모듈(370)을 통해 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 주변 환경 정보를 획득할 수 있다. 예를 들어, 주변 환경 정보는, 웨어러블 전자 장치(100)의 주변에 위치한 적어도 하나의 객체의 위치 정보, 사운드 정보, 및/또는 상태 정보를 포함할 수 있다. 예를 들어, 적어도 하나의 객체의 위치 정보는, 적어도 하나의 객체의 GPS(global positioning system) 좌표 정보, 및/또는 웨어러블 전자 장치(100)와 적어도 하나의 객체 사이의 상대적인 좌표 정보(예를 들어, 거리 정보, 또는 방향 정보)를 포함할 수 있다. 예를 들어, 적어도 하나의 객체의 사운드 정보는, 적어도 하나의 객체의 사운드의 종류, 사운드의 크기, 사운드의 주파수, 파형, 진폭 및/또는 사운드의 방향에 대한 정보를 포함할 수 있다. 예를 들어, 적어도 하나의 객체의 상태 정보는, 적어도 하나의 객체의 작동 상태(예를 들어, 외부 스피커의 스피커 출력 상태, 또는 주변 가전 기기의 전원 동작 상태)를 포함할 수 있다. 웨어러블 전자 장치(100)는, 통신 모듈(370)을 통해, 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로 웨어러블 전자 장치(100)의 현재 위치 정보를 전송할 수 있고, 외부 장치로부터 웨어러블 전자 장치(100)의 주변에 위치한 객체(예를 들어, 외부 스피커, 주변 가전 기기, 주변 공사장, 외부 공연장, 주변 공항, 또는 주변 도로)에 관한 주변 환경 정보를 획득할 수 있다.
605 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 601 동작에서 적어도 하나의 카메라(예를 들어, 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 입력되는 적어도 하나의 이미지(이하, 입력 이미지), 및/또는 603 동작에서 통신 모듈(370)을 통해 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 획득되는 주변 환경 정보(이하, 주변 환경 정보)에 기반하여, 웨어러블 전자 장치(100)의 주변에 위치한 적어도 하나의 객체(이하, 주변 객체)를 확인할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 입력 이미지만을 이용하여 주변 객체를 확인할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 주변 환경 정보를 획득하지 못하는 경우에도, 입력 이미지에 포함된 주변 객체를 확인할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 주변 환경 정보만을 이용하여 주변 객체를 확인할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 입력 이미지가 입력되지 않는 경우에도, 주변 환경 정보에 기반하여 주변 객체를 확인할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 입력 이미지 및 주변 환경 정보에 기반하여 주변 객체를 확인할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 입력 이미지에 포함된 주변 객체 및 주변 환경 정보에 기반하여 확인되는 주변 객체를 모두 확인할 수 있다. 상술한 바와 같이, 601 동작 또는 603 동작 중 어느 하나가 생략될 수도 있다.
예를 들어, 사용자가 주방에 위치하고 블렌더(blender)가 작동 중이라면, 블렌더는 상당한 소음을 발생시킬 수 있다. 카메라는 601 동작에서 블렌더를 포함하는 이미지를 획득할 수 있다. 603 동작 동안, 웨어러블 전자 장치(100)는 GPS 좌표(coordinates)를 이용하여 사용의 위치가 주방인 것을 결정할 수 있다. 나아가, 웨어러블 전자 장치(100)는 블렌더, 식기세척기, 마이크로 오븐과 같이 주방에서 흔히 발견되는 소물에 대한 정보를 수신하고, 그들의 일반적인 소음 패턴을 수신할 수 있다. 605 동작 동안, 웨어러블 전자 장치(100)는 이미지가 블렌더를 포함하는 것으로 결정할 수 있다.
실시예에 따라서, 웨어러블 전자 장치(100)는, 외부 장치 (예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 획득한 주변 환경 정보에 기반하여 확인되는 주변 객체가, 적어도 하나의 카메라(예를 들어, 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 입력되는 적어도 하나의 이미지에 포함되지 않는 경우에는, 디스플레이 모듈(350)을 통해, 주변 환경 정보에 기반하여 확인되는 주변 객체에 대응하는 가상 오브젝트(예를 들어, 주변 객체가 공항인 경우, 공항에 대응하는 아이콘)를, 주변 환경 정보에 기반하여 확인되는 대응 위치에 표시할 수 있다. 이때, 웨어러블 전자 장치(100)는, 주변 환경 정보에 기반하여 확인되는 주변 객체가, 웨어러블 전자 장치(100)의 디스플레이 모듈(350)의 표시 범위 바깥에 위치하는 경우, 주변 객체에 대응하는 위치를 나타내는 가상 오브젝트(예를 들어, 주변 객체에 대응하는 위치를 가리키는 화살표 오브젝트)를 표시할 수 있다.
예를 들어, 사용자의 등 뒤에 주목할 대상이 존재하면, 웨어러블 전자 장치(100)는 사용자에 대해 상대적인 위치를 가리키는 가상 오브젝트를 배치할 수 있다. 예를 들어, 사용자의 오른쪽 뒤쪽에 비상구가 존재하면, 웨어러블 전자 장치(100)는 사용자로부터의 방향을 가리키는 “4:00”의 표시와 함께 비상구에 해당하는 심볼을 배치할 수 있다.
도 7은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 701 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 제 1 사운드 데이터를 획득할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 적어도 하나의 마이크를 통하여, 웨어러블 전자 장치(100)의 주변에 위치한 적어도 하나의 객체로부터의 소리를 변환한 제 1 사운드 데이터를 획득할 수 있다.
703 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 통신 모듈(370)을 통해 외부 장치(예를 들어, 외부 웨어러블 전자 장치(410) 및/또는 외부 전자 장치(520))로부터 제 2 사운드 데이터를 획득할 수 있다. 예를 들어, 외부 웨어러블 전자 장치(410)는, 주변에 위치한 적어도 하나의 객체로부터의 소리를 변환한 제 2 사운드 데이터를 획득할 수 있고, 웨어러블 전자 장치(100)는, 통신 모듈(370)을 통해, 외부 웨어러블 전자 장치(410)로부터 제 2 사운드 데이터를 수신할 수 있다.
705 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 701 동작에서 적어도 하나의 마이크를 통해 입력되는 제 1 사운드 데이터, 및/또는 703 동작에서 통신 모듈(370)을 통해 외부 장치(예를 들어, 외부 웨어러블 전자 장치(410) 및/또는 외부 전자 장치(520))로부터 획득되는 제 2 사운드 데이터에 기반하여, 웨어러블 전자 장치(100)의 주변에 위치한 적어도 하나의 객체(이하, 주변 객체)에 대응하는 사운드 정보(예를 들어, 적어도 하나의 객체 각각에 대응하는, 사운드의 종류, 사운드의 크기, 사운드의 주파수, 파형, 진폭 및/또는 사운드의 방향에 대한 정보)를 확인할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 제 1 사운드 데이터만을 이용하여 주변 객체의 사운드 정보를 확인할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 제 2 사운드 데이터만을 이용하여 주변 객체의 사운드 정보를 확인할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 제 1 사운드 데이터 및 제 2 사운드 데이터에 기반하여 주변 객체의 사운드 정보를 확인할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 제 2 사운드 데이터에 기반하여 제 1 사운드 데이터를 처리함으로써 제 3 사운드 데이터를 획득하고, 제 3 사운드 데이터에 기반하여 주변 객체 각각의 사운드 정보를 확인할 수 있다. 예를 들어, 제3 사운드 데이터를 획득하기 위한 처리는 주변 객체에 대응하는 소리를 제외한 주변 소음을 제거하기 위한 노이즈 캔슬링 처리일 수 있다. 상술한 바와 같이, 701 동작 또는 703 동작 중 어느 하나가 생략될 수도 있다.
사용자가 블렌더가 있는 주방에 존재하는 예시에서, 701 동작 동안, 마이크는 동작 중에 블렌더로부터의 사운드를 획득할 수 있다. 703 동작 동안, 웨어러블 전자 장치(100)는, 블렌더의 소리 특성에 대한 정보를 획득할 수 있고, 705 동작 동안, 웨어러블 전자 장치(100)는, 마이크에 의해 획득되는 신호 의 일부를 블렌더에 기인하는 것으로 결정할 수 있다.
도 8은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다. 도 8은, 도 9를 참조하여 설명하도록 한다. 도 9는 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 801 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 사운드 정보(예를 들어, 도 6의 603 동작에서 획득한 주변 환경 정보에 포함된 사운드 정보, 및/또는 도 7의 705 동작에서 확인한 사운드 정보)에 기반하여, 웨어러블 전자 장치(100)의 디스플레이 모듈(350)을 통하여, 웨어러블 전자 장치(100)의 주변에 위치하는 적어도 하나의 객체에 대응하는 위치에, 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트를 표시할 수 있다.
예를 들어, 도 9를 참조하면, 웨어러블 전자 장치(100)는, 디스플레이 모듈(350)을 통하여, 증강 현실 화면(900)을 표시할 수 있다. 사용자는, 웨어러블 전자 장치(100)를 착용한 상태에서, 사용자의 눈을 통해 직접 주변에 위치한 적어도 하나의 객체(예를 들어, 사람에 대응하는 제 1 객체(910) 및/또는 외부 스피커에 대응하는 제 2 객체(920))를 인식할 수 있고, 또한, 사용자는, 웨어러블 전자 장치(100)의 디스플레이 모듈(350)을 통하여 표시되는 증강 현실 화면(900)을 인식할 수 있다. 이에 따라, 사용자는, 웨어러블 전자 장치(100)를 착용한 상태에서, 현실에 존재하는 객체(예를 들어, 제 1 객체(910) 및/또는 제 2 객체(920))와 증강 현실 화면(900)에 표시되는 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911) 및/또는 제 2 가상 오브젝트(921))를 인식할 수 있다. 웨어러블 전자 장치(100)는, 제 1 객체(910)에 대응하는 제 1 가상 오브젝트(911)는 제 1 객체에 대응하는 위치(예를 들어, 제 1 객체(910)의 근처 영역)에 표시하고, 제 2 객체(920)에 대응하는 제 2 가상 오브젝트(921)는 제 2 객체에 대응하는 위치(예를 들어, 제 2 객체(920)의 근처 영역)에 표시할 수 있다.
예를 들어, 도 9를 참조하면, 제 1 가상 오브젝트(911) 및/또는 제 2 가상 오브젝트(921)는, 소음 차단 여부를 나타내는 가상 오브젝트(예를 들어, 912, 922) 및/또는 소음 볼륨 조절용 가상 오브젝트(예를 들어, 914, 924)를 포함할 수 있다. 제 1 가상 오브젝트(911)에 포함된 소음 차단 여부를 나타내는 가상 오브젝트(912)는, 제 1 가상 오브젝트(911)에 대응하는 제 1 객체(910)로부터의 사운드를 차단할지 여부를 나타내는 가상 오브젝트일 수 있고, 제 2 가상 오브젝트(921)에 포함된 소음 차단 여부를 나타내는 가상 오브젝트(922)는, 제 2 가상 오브젝트(921)에 대응하는 제 2 객체(920)로부터의 사운드를 차단할지 여부를 나타내는 가상 오브젝트일 수 있다. 제 1 가상 오브젝트(911)에 포함된 소음 볼륨 조절용 가상 오브젝트(914)는, 제 1 가상 오브젝트(911)에 대응하는 제 1 객체(910)로부터의 사운드의 출력 크기를 조절하는 정도를 나타내는 가상 오브젝트일 수 있고, 제 2 가상 오브젝트(921)에 포함된 소음 볼륨 조절용 가상 오브젝트(924)는, 제 2 가상 오브젝트(921)에 대응하는 제 2 객체(920)로부터의 사운드의 출력 크기를 조절하는 정도를 나타내는 가상 오브젝트일 수 있다.
웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 웨어러블 전자 장치(100)의 주변에 위치하는 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910), 또는 제 2 객체(920), 또는 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 획득한 주변 환경 정보에 기반하여 확인되는 주변 객체) 중에서 특정 객체(예를 들어, 제 1 객체(910))에 대응하는 사운드 정보에 포함되는 사운드의 크기 및/또는 상기 사운드의 상기 크기가 기준값을 초과하는지 여부에 기반하여, 특정 객체(예를 들어, 제 1 객체(910))에 대응하는 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))의 표시 여부를 결정할 수 있다.
웨어러블 전자 장치(100)는, 특정 객체(예를 들어, 제 1 객체(910))에 대응하는 사운드 정보에 포함되는 사운드의 크기가 설정된 제 1 크기 이상이거나 설정된 제 2 크기 이하인 것에 기반하여, 특정 객체(예를 들어, 제 1 객체(910))에 대응하는 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))를 표시하는 것으로 결정할 수 있다. 이때, 제 2 크기는 제 1 크기 보다 작을 수 있다. 예를 들어, 도 9를 참조하면, 웨어러블 전자 장치(100)는, 제 1 객체(910)에 대응하는 사운드 정보에 포함되는 사운드의 크기가 설정된 제 2 크기 이하이고, 제 2 객체(920)에 대응하는 사운드 정보에 포함되는 사운드의 크기가 설정된 제 1 크기 이상인 것에 기반하여, 제 1 객체(910)에 대응하는 제 1 가상 오브젝트(911) 및 제 2 객체(920)에 대응하는 제 2 가상 오브젝트(921)를 표시하는 것으로 결정할 수 있다. 또는, 도시하지는 않았지만, 웨어러블 전자 장치(100)는, 제 1 객체(910)에 대응하는 사운드 정보에 포함되는 사운드의 크기가 설정된 제 2 크기 이하이고, 제 2 객체(920)에 대응하는 사운드 정보에 포함되는 사운드의 크기가 설정된 제 1 크기 이하이고 설정된 제 2 크기 이상인 것에 기반하여, 제 1 객체(910)에 대응하는 제 1 가상 오브젝트(911)를 표시하고 제 2 객체(920)에 대응하는 제 2 가상 오브젝트(921)를 표시하지 않는 것으로 결정할 수 있다.
803 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 적어도 하나의 가상 오브젝트(예를 들어, 911, 921) 중 하나의 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))와 연관된 사용자 입력(예를 들어, 제 1 사용자 입력)을 획득할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 적어도 하나의 카메라(예를 들어, 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 사용자 제스처 입력(예를 들어, 사용자의 손을 특정 위치로 이동시켜 증강 현실 화면(900)에 표시된 특정 가상 오브젝트(예를 들어, 912)를 선택하는 입력)을 획득할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 적어도 하나의 카메라(예를 들어, 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 사용자의 안구를 추적하여, 사용자 시선 입력(예를 들어, 증강 현실 화면(900)에 표시된 가상 오브젝트 중에서 사용자의 시선 방향에 대응하는 가상 오브젝트(예를 들어, 912)를 선택하는 입력)을 획득할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 사용자 발화 입력(예를 들어, 사용자의 발화에 대응하는 특정 가상 오브젝트(예를 들어, 912)를 선택하는 입력)을 획득할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 별도의 입력 장치(예를 들어, 통신 모듈(370)을 통해 웨어러블 전자 장치(100)와 통신을 수행하는 입력 장치(예를 들어, 키보드 장치, 마우스 장치, 패드 장치, 또는 핸드헬드(Hand-Held)장치), 또는 웨어러블 전자 장치(100)에 포함되는 입력 장치(예를 들어, 웨어러블 전자 장치(100)에 포함되는 버튼 입력 장치(미도시), 또는 터치 입력 장치(미도시)))를 통해 사용자 입력을 획득할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 제 1 가상 오브젝트(911) 또는 제 1 가상 오브젝트(911)에 포함된 가상 오브젝트(예를 들어, 912, 또는 914)를 선택하는 사용자 제스처 입력, 사용자 시선 입력, 사용자 발화 입력, 또는 별도의 입력 장치를 통한 사용자 입력을 획득할 수 있다.
805 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 증강 현실 화면(900)에 표시된 적어도 하나의 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911) 및/또는 제 2 가상 오브젝트(921)) 중에서 특정 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))와 연관된 사용자 입력(예를 들어, 제 1 사용자 입력)에 기반하여, 특정 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))에 대응하는 객체(예를 들어, 제 1 객체(910))의 노이즈 캔슬링 레벨(Noise Cancellation 레벨, 이하 NC 레벨)을 결정할 수 있다. NC 레벨에 대해서는 후술하는 도 12를 참조하여 상세히 설명하도록 한다.
실시예에 따라, 웨어러블 전자 장치(100)는 사용자의 시선에 기반하여 주변의 객체에 대응하는 가상 오브젝트를 표시할지 여부를 결정할 수 있다. 예를 들어, 객체가 발생시키는 소음 때문에 사용자는 객체를 바라볼 수 있다. 따라서, 노이즈 캔슬링을 위해 가상 오브젝트를 제공하는 것이 효과적일 수 있다.
도 10은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다. 도 10은, 도 9를 참조하여 설명하도록 한다.
도 10을 참조하면, 1001 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 사용자의 시선 방향을 식별할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 적어도 하나의 카메라(예를 들어, 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 사용자의 안구를 추적하여, 사용자의 시선 방향을 식별할 수 있다. 웨어러블 전자 장치(100)는, 사용자의 안구를 추적하여, 주변의 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920), 또는 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 획득한 주변 환경 정보에 기반하여 확인되는 주변 객체에 대응하여 증강 현실 화면(900)에 표시된 가상 오브젝트) 중에서 특정 객체(예를 들어, 제 1 객체(910))를 향하는 사용자의 시선 방향을 식별할 수 있다.
1003 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 사용자의 시선 방향에 기반하여, 적어도 하나의 가상 오브젝트(예를 들어, 도 9의 911, 921)의 표시 여부를 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 사용자의 시선 방향에 대응하는 특정 객체(예를 들어, 제 1 객체(910))에 대응하는 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))를 표시하는 것으로 결정할 수 있다.
이 경우, 웨어러블 전자 장치(100)는, 사용자의 시선 방향에 대응하지 않는 다른 적어도 하나의 객체(예를 들어, 제 2 객체(920))에 대응하는 가상 오브젝트(예를 들어, 제 2 가상 오브젝트(921)는 표시하지 않는 것으로 결정할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변에 위치하는 적어도 하나의 객체 중에서, 사용자의 시선 방향에 대응하는 특정 객체(예를 들어, 제 1 객체(910))에 대응하는 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))를 표시하지 않는 것으로 결정할 수 있다. 이 경우, 웨어러블 전자 장치(100)는, 사용자의 시선 방향에 대응하지 않는 다른 적어도 하나의 객체(예를 들어, 제 2 객체(920))에 대응하는 가상 오브젝트(예를 들어, 제 2 가상 오브젝트(921)는 표시하는 것으로 결정할 수 있다.
실시예에 따라, 웨어러블 전자 장치(100)는, 사용자의 제스처에 기반하여 가상 오브젝트를 배치할지 여부를 결정할 수 있다. 웨어러블 전자 장치(100)는, 사용자의 신체의 모션을 관찰하기 위하여 카메라를 이용할 수 있다. 예를 들어, 사용자가 한 방향을 가리키면, 웨어러블 전자 장치(100)는 가리킨 방향 주변의 어떤 객체를 선택한 것인지 결정할 수 있다.
도 11은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다. 도 11은, 도 9를 참조하여 설명하도록 한다.
도 11을 참조하면, 1101 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 사용자의 신체의 적어도 일부를 식별할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 적어도 하나의 카메라(예를 들어, 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 사용자의 신체의 적어도 일부를 추적하여, 사용자의 신체의 적어도 일부의 위치를 식별할 수 있고, 사용자의 제스처 입력을 식별할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 사용자의 신체의 적어도 일부를 추적하여, 웨어러블 전자 장치(100) 주변에 위치하는 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920), 또는 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 획득한 주변 환경 정보에 기반하여 확인되는 주변 객체에 대응하여 증강 현실 화면(900)에 표시된 가상 오브젝트) 중에서 특정 객체(예를 들어, 제 1 객체(910))를 선택하는 사용자의 제스처 입력을 식별할 수 있다.
예를 들어, 카메라(예를 들어, 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313)) 사용자의 손을 바라보고, 사용자가 특정 방향을 가리키는지에 대한 판단을 시도할 수 있다. 웨어러블 전자 장치(100)는, 사용자에 의해 특정 방향에 위치한 객체가 선택된 것으로 결정할 수 있다.
1103 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 사용자의 신체의 적어도 일부의 위치에 기반하여, 적어도 하나의 가상 오브젝트(예를 들어, 도 9의 911, 921)의 표시 여부를 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변에 위치하는 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920), 또는 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 획득한 주변 환경 정보에 기반하여 확인되는 주변 객체에 대응하는 가상 오브젝트) 중에서, 사용자의 제스처 입력에 대응하는(예를 들어, 사용자의 신체의 적어도 일부의 위치에 대응하는) 특정 객체(예를 들어, 제 1 객체(910))에 대응하는 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))를 표시하는 것으로 결정할 수 있다. 이 경우, 웨어러블 전자 장치(100)는, 사용자의 제스처 입력에 대응하지 않는(예를 들어, 사용자의 신체의 적어도 일부의 위치에 대응하지 않는) 다른 적어도 하나의 객체(예를 들어, 제 2 객체(920))에 대응하는 가상 오브젝트(예를 들어, 제 2 가상 오브젝트(921)는 표시하지 않는 것으로 결정할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변에 위치하는 적어도 하나의 객체 중에서, 사용자의 제스처 입력에 대응하는(예를 들어, 사용자의 신체의 적어도 일부의 위치에 대응하는) 특정 객체(예를 들어, 제 1 객체(910))에 대응하는 가상 오브젝트(예를 들어, 제 1 가상 오브젝트(911))를 표시하지 않는 것으로 결정할 수 있다. 이 경우, 웨어러블 전자 장치(100)는, 사용자의 제스처 입력에 대응하지 않는(예를 들어, 사용자의 신체의 적어도 일부의 위치에 대응하지 않는) 다른 적어도 하나의 객체(예를 들어, 제 2 객체(920))에 대응하는 가상 오브젝트(예를 들어, 제 2 가상 오브젝트(921)는 표시하는 것으로 결정할 수 있다.
도 12는, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 각각의 동작에 대응하는 각각의 NC 레벨을 결정할 수 있다. 도 12에 개시된 단계(예를 들어, 1 단계 내지 4 단계)는, 각각의 동작을 구분하기 위한 예시적인 것으로서, 그 제한은 없다. 도 12에 개시된 각각의 동작에 대해 설명하면 다음과 같다.
예를 들어, 노이즈 캔슬링(noise cancellation, NC) 기능 비활성화 동작은, 현실의 사운드에 대한 노이즈 캔슬링 기능을 수행하지 않고, 사용자가 현실의 사운드를 그대로 청취할 수 있도록 하는 기능을 수행하는 동작을 의미할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, NC 기능 비활성화 동작에 대응하는 NC 레벨(예를 들어, 100)을 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 노이즈 캔슬링 기능 비활성화 동작에 대응하는 가상 오브젝트(예를 들어, 도 9의 가상 오브젝트(912) 또는 가상 오브젝트(922))에 대한 사용자 입력(예를 들어, 가상 오브젝트(예를 들어, 도 9의 가상 오브젝트(912) 또는 가상 오브젝트(922))를 비활성화 하는 사용자 입력)에 기반하여, 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920))의 NC 레벨을 결정할 수 있다.
또 다른 예를 들어, 후술하는 도 15 또는 도 16을 참조하면, 웨어러블 전자 장치(100)는, 주변의 모든 소음에 대한 보청기 동작에 대응하는 가상 오브젝트(예를 들어, 도 15의 가상 오브젝트(1530), 또는 도 16의 가상 오브젝트(1630)에 포함되는 노이즈 캔슬링 기능 비활성화 동작에 대응하는 가상 오브젝트)에 대한 사용자 입력에 기반하여, 웨어러블 전자 장치(100)의 NC 레벨을, 노이즈 캔슬링 기능 비활성화 동작에 대응하는 NC 레벨(예를 들어, 100)로 결정할 수 있다.
일 실시예에서, 노이즈 완전 차단 동작은, 현실의 사운드에 대한 노이즈 캔슬링 기능을 수행함으로써, 사용자가 현실의 사운드를 청취할 수 없도록 하는 기능을 수행하는 동작을 의미할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 노이즈 완전 차단 동작에 대응하는 NC 레벨(예를 들어, 0)을 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 노이즈 완전 차단 동작에 대응하는 가상 오브젝트(예를 들어, 도 9의 가상 오브젝트(912) 또는 가상 오브젝트(922))에 대한 사용자 입력(예를 들어, 가상 오브젝트(예를 들어, 도 9의 가상 오브젝트(912) 또는 가상 오브젝트(922))를 활성화 하는 사용자 입력)에 기반하여, 사용자 입력에 대응하는 가상 오브젝트에 대응하는 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920))의 NC 레벨을, 노이즈 완전 차단 동작에 대응하는 NC 레벨(예를 들어, 0)로 결정할 수 있다. 또 다른 예를 들어, 후술하는 도 15 또는 도 16을 참조하면, 웨어러블 전자 장치(100)는, 주변의 모든 소음에 대한 완전 차단 동작에 대응하는 가상 오브젝트(예를 들어, 도 15의 가상 오브젝트(1540), 또는 도 16의 가상 오브젝트(1630)에 포함되는 노이즈 완전 차단 동작에 대응하는 가상 오브젝트)에 대한 사용자 입력에 기반하여, 웨어러블 전자 장치(100)의 NC 레벨을, 노이즈 완전 차단 동작에 대응하는 NC 레벨(예를 들어, 0)로 결정할 수 있다.
일 실시예에 따르면, 볼륨 조절 동작은, 사용자가 청취하는 현실의 사운드의 크기를 조정하는 동작을 의미할 수 있다. 예를 들어, 현실의 사운드의 상대적인 크기가 100인 경우라도, 현실의 사운드에 대한 노이즈 캔슬링을 수행하여 사용자가 청취하는 현실의 사운드의 상대적인 크기를 1 내지 99 로 조정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 볼륨 조절 동작에 대응하는 NC 레벨(예를 들어, 1 내지 99)을 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 볼륨 조절 동작에 대응하는 가상 오브젝트(예를 들어, 도 9의 가상 오브젝트(914) 또는 가상 오브젝트(924))에 대한 사용자 입력에 기반하여, 사용자 입력에 대응하는 가상 오브젝트에 대응하는 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920))의 NC 레벨을, 볼륨 조절 동작에 대응하는 NC 레벨(예를 들어, 1 내지 99)로 결정할 수 있다. 또 다른 예를 들어, 후술하는 도 15 또는 도 16을 참조하면, 웨어러블 전자 장치(100)는, 주변의 모든 소음에 대한 볼륨 조절 동작에 대응하는 가상 오브젝트(예를 들어, 도 15의 가상 오브젝트(1550), 또는 도 16의 가상 오브젝트(1630)에 포함되는 볼륨 조절 동작에 대응하는 가상 오브젝트)에 대한 사용자 입력에 기반하여, 웨어러블 전자 장치(100)의 NC 레벨을, 볼륨 조절 동작에 대응하는 NC 레벨(예를 들어, 1 내지 99)로 결정할 수 있다.
일 실시예에 따르면, 보청기 동작은, 사용자가 현실의 사운드의 크기 보다 더 큰 크기의 사운드를 청취하도록 하는 동작을 의미할 수 있다. 예를 들어, 마이크를 통해 현실의 사운드에 대응하는 사운드 데이터를 획득하고, 획득한 사운드 데이터를 증폭하여 스피커로 출력할 수 있고, 이에 따라 사용자는 현실의 사운드의 크기 보다 더 큰 크기의 사운드를 청취할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 보청기 동작에 대응하는 NC 레벨(예를 들어, 101 내지 150)을 결정할 수 있다. 보청기 동작에 대응하는 NC 레벨이 증가할수록 사용자가 청취하는 사운드의 크기가 증가하는 것을 의미할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 보청기 동작에 대응하는 가상 오브젝트(예를 들어, 도 9의 가상 오브젝트(914) 또는 가상 오브젝트(924))에 대한 사용자 입력에 기반하여, 사용자 입력에 대응하는 가상 오브젝트에 대응하는 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920))의 NC 레벨을, 보청기 동작에 대응하는 NC 레벨(예를 들어, 101 내지 150)로 결정할 수 있다. 또는, 예를 들어, 후술하는 도 15 또는 도 16을 참조하면, 웨어러블 전자 장치(100)는, 주변의 모든 소음에 대한 보청기 동작에 대응하는 가상 오브젝트(예를 들어, 도 15의 가상 오브젝트(1560), 또는 도 16의 가상 오브젝트(1630)에 포함되는 보청기 동작에 대응하는 가상 오브젝트)에 대한 사용자 입력에 기반하여, 웨어러블 전자 장치(100)의 NC 레벨을, 보청기 동작에 대응하는 NC 레벨(예를 들어, 101 내지 150)로 결정할 수 있다.
도 13은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 13을 참조하면, 1301 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, NC 레벨을 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 805 동작에서 전술한 바와 같이, 웨어러블 전자 장치(100) 주변에 위치하는 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920), 또는 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 획득한 주변 환경 정보에 기반하여 확인되는 주변 객체)(이하, 웨어러블 전자 장치(100)의 주변 객체)에 대응하는 NC 레벨을 결정할 수 있다. 또 다른 예를 들어, 도 15 및 도 16을 참조하여 후술하는 바와 같이, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변 객체 전부에 대응하는 하나의 NC 레벨을 결정할 수도 있다.
1303 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 결정된 NC 레벨에 대한 정보를 포함하는 신호를 외부 장치로(예를 들어, 외부 웨어러블 전자 장치(410)로 직접, 또는 외부 전자 장치(520)를 통하여 외부 웨어러블 전자 장치(410)로) 전송할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변 객체에 대응하는 NC 레벨에 대한 정보를 포함하는 신호를 외부 웨어러블 전자 장치(410)로 전송할 수 있다. 이 경우, 외부 웨어러블 전자 장치(410)는, 주변 객체에 대응하는 NC 레벨에 기반하여, 주변 객체에 대응하는 동작(예를 들어, 도 12에서 설명한 각각의 동작)을 수행할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 제 1 객체(910)에 대응하는 제 1 NC 레벨(예를 들어, 0)에 대한 정보, 및 제 2 객체(920)에 대응하는 제 2 NC 레벨(예를 들어, 100)에 대한 정보를 포함하는 제 1 신호를 외부 웨어러블 전자 장치(410)로 전송할 수 있다. 예를 들어, 제 1 신호에는 각각의 NC 레벨이 대응하는 객체를 나타내는 정보가 포함될 수 있다. 이 경우, 외부 웨어러블 전자 장치(410)는, 제 1 신호에 포함된 각각의 NC 레벨에 기반하여, 제 1 객체(910)에 대해서는 노이즈 캔슬링 기능 비활성화 동작(예를 들어, 사용자가 제 1 객체(910)로부터의 현실의 사운드를 그대로 청취할 수 있도록 하는 기능을 수행하는 동작)을 수행할 수 있고, 제 2 객체(920)에 대해서는 노이즈 완전 차단 동작(예를 들어, 제 2 객체(920)로부터의 현실의 사운드에 대한 노이즈 캔슬링 기능을 수행함으로써, 사용자가 제 2 객체(920)로부터의 현실의 사운드를 청취할 수 없도록 하는 기능을 수행하는 동작)을 수행할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변 객체 전부에 대응하는 하나의 NC 레벨에 대한 정보를 포함하는 신호를 외부 웨어러블 전자 장치(410)로 전송할 수 있다. 이 경우, 외부 웨어러블 전자 장치(410)는, 웨어러블 전자 장치(100)의 주변 객체 전부에 대응하는 하나의 NC 레벨에 기반하여, 대응하는 동작(예를 들어, 도 12에서 설명한 각각의 동작 중 하나의 동작)을 수행할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변 객체 전부에 대응하는 하나의 NC 레벨(예를 들어, 50)에 대한 정보를 포함하는 제 2 신호를 외부 웨어러블 전자 장치(410)로 전송할 수 있다. 예를 들어, 제 2 신호에는, 제 2 신호에 포함된 NC 레벨이 웨어러블 전자 장치(100)의 주변 객체 전부에 대응함을 나타내는 정보가 포함될 수 있다. 이 경우, 외부 웨어러블 전자 장치(410)는, 제 2 신호에 포함된 NC 레벨(예를 들어, 50)에 대한 정보에 기반하여, 웨어러블 전자 장치(100)의 주변 객체로부터 획득되는 현실의 사운드의 상대적인 크기가 100인 경우, 현실의 사운드에 대한 노이즈 캔슬링을 수행하여 사용자가 청취하는 현실의 사운드의 상대적인 크기를 50으로 조정할 수 있다.
도 14는, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다. 도 14는, 도 3, 도 5, 및 도 9를 참조하여 설명하도록 한다.
도 14를 참조하면, 1401 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 웨어러블 전자 장치(100)의 프로세서(예를 들어, 도 3의 프로세서(320)))는, 적어도 하나의 카메라(예를 들어, 도 3의 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 입력되는 적어도 하나의 이미지에 기반하여, 웨어러블 전자 장치(100)의 주변에 위치한 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910), 또는 제 2 객체(920))를 확인할 수 있다. 적어도 하나의 카메라(예를 들어, 도 3의 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))는 이미지를 캡쳐할 수 있다. 웨어러블 전자 장치(100)는 프로세서(320)를 통해 이미지 속의 객체를 인식함에 적어도 부분적으로 기반하여 주변에 위치한 적어도 하나의 객체를 확인할 수 있다.
1403 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 제 1 사운드 데이터 및/또는 적어도 하나의 통신 모듈(예를 들어, 도 3의 통신 모듈(370))을 통하여 외부 장치(예를 들어, 외부 웨어러블 전자 장치(410) 및/또는 외부 전자 장치(520))로부터 획득되는 제 2 사운드 데이터에 기반하여, 웨어러블 전자 장치(100)의 주변에 위치한 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910), 또는 제 2 객체(920))에 대응하는 사운드 정보를 확인할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는 프로세서를 통해, 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 기인하는 사운드 정보를 확인할 수 있다.
1405 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 사운드 정보에 기반하여, 상기 확인된 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910), 또는 제 2 객체(920))에 대응하는 위치에, 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트(예를 들어, 도 9의 제 1 가상 오브젝트(911), 및/또는 제 2 가상 오브젝트(921))를 표시하도록 적어도 하나의 디스플레이 모듈(예를 들어, 도 3의 디스플레이 모듈(350))을 제어할 수 있다.
1407 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 적어도 하나의 가상 오브젝트 중 제 1 가상 오브젝트(예를 들어, 도 9의 제 1 가상 오브젝트(911))와 연관된 제 1 사용자 입력을 획득할 수 있다.
1409 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 제 1 사용자 입력에 기반하여, 제 1 가상 오브젝트(예를 들어, 도 9의 제 1 가상 오브젝트(911))에 대응하는 제 1 객체(예를 들어, 도 9의 제 1 객체(910))의 NC(noise cancellation) 레벨을 결정할 수 있다.
1411 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 적어도 하나의 통신 모듈(예를 들어, 도 3의 통신 모듈(370))을 통하여, 결정된 NC 레벨에 대한 정보를 포함하는 신호를 외부 장치로(예를 들어, 외부 웨어러블 전자 장치(410)로 직접, 또는 외부 전자 장치(520)를 통하여 외부 웨어러블 전자 장치(410)로) 전송하도록 적어도 하나의 통신 모듈(예를 들어, 도 3의 통신 모듈(370))을 제어할 수 있다.
실시예에 따라, 1411 동작을 대신하여, 웨어러블 전자 장치(100)는, 1409 동작 동안 결정된 NC 레벨에 기반하여, 소리 출력 장치(363)로 전달되는 소리 출력 신호를 조정할 수 있다.
도 15는, 실시예에 따른, 외부 전자 장치의 동작 방법을 설명하기 위한 도면이다. 도 15는, 도 5 및 도 9를 참조하여 설명하도록 한다.
도 15를 참조하면, 실시예에 따라서, 외부 전자 장치(520)(예를 들어, 외부 전자 장치(520)의 프로세서)는, 외부 전자 장치(520)의 디스플레이 모듈(1510)을 통하여, 화면(1520)을 표시할 수 있다. 예를 들어, 화면(1520)은, 노이즈 캔슬링 기능 비활성화 동작에 대응하는 오브젝트(1530), 노이즈 완전 차단 동작에 대응하는 오브젝트(1540), 볼륨 조절 동작에 대응하는 오브젝트(1550), 및/또는 보청기 동작에 대응하는 오브젝트(1560)를 포함할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변에 위치하는 적어도 하나의 객체(예를 들어, 도 9의 제 1 객체(910) 또는 제 2 객체(920), 또는 외부 장치(예를 들어, 외부 전자 장치(520) 및/또는 서버(530))로부터 획득한 주변 환경 정보에 기반하여 확인되는 주변 객체)의 사운드 정보에 기반하여, 주변 소음의 크기가 설정된 제 1 크기 이상이거나 설정된 제 2 크기 이하인 경우, 외부 전자 장치(520)로 신호를 전송할 수 있고, 외부 전자 장치(520)가 화면(1520)을 표시하도록 야기할 수 있다. 웨어러블 전자 장치(100)는, 외부 전자 장치(520)의 디스플레이 모듈(1510)에 표시된 화면(1520)에 대한 사용자 입력에 기반하여, 웨어러블 전자 장치(100)의 NC 레벨을 결정할 수 있다.
도 16은, 실시예에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다. 도 16은, 도 3을 참조하여 설명하도록 한다.
도 16을 참조하면, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 디스플레이 모듈(350)을 통하여, 증강 현실 화면(1600)을 표시할 수 있다. 예를 들어, 사용자는, 웨어러블 전자 장치(100)를 착용한 상태에서, 사용자의 눈을 통해 직접 주변에 위치한 적어도 하나의 객체(예를 들어, TV에 대응하는 제 1 객체(1610) 및/또는 외부 스피커에 대응하는 제 2 객체(1620))를 인식할 수 있고, 또한, 사용자는, 웨어러블 전자 장치(100)의 디스플레이 모듈(350)을 통하여 표시되는 증강 현실 화면(1600)을 인식할 수 있다.
도 16을 참조하면, 실시예에 따라서, 웨어러블 전자 장치(100)는, 디스플레이 모듈(350)을 통하여, 증강 현실 화면(1600)에 가상 오브젝트(1630)를 표시할 수 있다. 예를 들어, 가상 오브젝트(1630)는, 노이즈 캔슬링 기능 비활성화 동작에 대응하는 가상 오브젝트, 노이즈 완전 차단 동작에 대응하는 가상 오브젝트, 볼륨 조절 동작에 대응하는 가상 오브젝트, 및/또는 보청기 동작에 대응하는 가상 오브젝트를 포함할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변에 위치하는 적어도 하나의 객체의 사운드 정보에 기반하여, 주변 소음의 크기가 설정된 제 1 크기 이상이거나 설정된 제 2 크기 이하인 경우, 가상 오브젝트(1630)를 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 가상 오브젝트(1630)에 대한 사용자 입력에 기반하여, 웨어러블 전자 장치(100)의 NC 레벨을 결정할 수 있다.
실시예에 따라, 웨어러블 전자 장치(100)는, 사용자가 자주 찾는 장소의 제 1 볼륨 및 제 2 볼륨을 구성을 하는 설정을 기설정할 수 있다. 예를 들어, 사용자가 집에 있을 때, 웨어러블 전자 장치(100)는 이전에 조우한 객체의 제 1 볼륨 및 제 2 볼륨을 과거 이력에 기초하여 미리 구성하는 설정을 가질 수 있다.
도 17은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다. 도 17은, 도 3 및 도 18을 참조하여 설명하도록 한다. 도 18은 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
특정 객체는 볼륨 설정이 있는 오디오 장치일 수 있습니다. 실시예에서, 웨어러블 전자 장치(100)는 예를 들어 블루투스 또는 무선 근거리 통신망 연결을 통해 이러한 장치의 볼륨을 직접 제어할 수 있다.
도 17을 참조하면, 1701 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 디스플레이 모듈(350)을 통하여, 증강 현실 화면(1800)에 사용자 입력에 대응하는 가상 오브젝트(예를 들어, 가상 오브젝트(1830))를 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 사용자 입력을 획득할 수 있고, 증강 현실 화면(1800) 상에서, 획득한 사용자 입력에 대응하는 위치에, 사용자 입력에 대응하는 가상 오브젝트(1830)(예를 들어, 가상의 벽, 또는 가상의 커튼에 대응하는 가상 오브젝트)를 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(100)를 착용한 사용자가 거실에 위치한 상태에서, TV(1810)의 사운드를 청취하기 위하여, 외부 스피커(1620)의 사운드를 제거하고자 하는 경우, 사용자는 증강 현실 화면(1800) 상의 원하는 위치를 지정하는 사용자 입력(예를 들어, 사용자 시선 입력, 사용자 발화 입력, 사용자 터치 입력, 사용자 제스처 입력, 또는 별도의 입력 장치를 통한 사용자 입력)을 입력할 수 있다. 이 경우, 웨어러블 전자 장치(100)는, 사용자 입력에 대응하는 위치에 가상 오브젝트(1830)를 표시할 수 있다.
1703 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 가상 오브젝트(예를 들어, 가상 오브젝트(1830))가 표시된 위치에 기반하여, 특정 객체(예를 들어, 웨어러블 전자 장치(100)로부터 가상 오브젝트(1830) 너머에 위치하는 제 2 객체(1620))의 사운드를 조정하기 위한 신호를 외부 장치로(예를 들어, 외부 웨어러블 전자 장치(410)로 직접, 또는 외부 전자 장치(520)를 통하여 외부 웨어러블 전자 장치(410)로) 전송할 수 있다. 예를 들어, 웨어러블 전자 장치(100)로부터 외부 웨어러블 전자 장치(410)로 전송되는, 특정 객체의 사운드를 조정하기 위한 신호는, 가상 오브젝트(1830)의 표시 위치 정보 및/또는 가상 오브젝트(1830) 너머에 위치하는 특정 객체(예를 들어, 제 2 객체(1620))를 나타내는 정보(예를 들어, 제 2 객체(1620)의 위치 정보)를 포함하는 신호를 의미할 수 있다. 이 경우, 웨어러블 전자 장치(100)는, 특정 객체(예를 들어, 제 2 객체(1620))의 사운드를 조정하기 위한 신호를 외부 웨어러블 전자 장치(410)로 전송할 수 있고, 외부 웨어러블 전자 장치(410)는, 웨어러블 전자 장치(100)로부터 수신된 신호에 포함된 가상 오브젝트(1830)의 표시 위치 정보 및/또는 가상 오브젝트(1830) 너머에 위치하는 특정 객체(예를 들어, 제 2 객체(1620))를 나타내는 정보(예를 들어, 제 2 객체(1620)의 위치 정보)에 기반하여, 특정 객체(예를 들어, 제 2 객체(1620))로부터의 현실의 사운드의 파동에 대응하는 반대 파동의 신호를 생성하여 노이즈 캔슬링을 수행할 수 있다.
실시예에 따라서, 웨어러블 전자 장치(100)는, 전술한 1701 동작에서, 사용자 입력에 기반하여, 가상 오브젝트(1830)를 사용자 입력에 대응하는 가상의 벽, 또는 가상의 커튼의 형상으로 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 가상 오브젝트(1830)가 가상의 벽, 또는 가상의 커튼의 형상으로 표시되는 경우, 가상 오브젝트(1830)에 대응하여 설정된 속성(예를 들어, 사용자 입력에 대응하여 선택되는 가상의 벽(또는 가상의 커튼)의 두께, 투명도, 물성(예를 들어, 물, 금속, 또는 콘크리트 재질) 및/또는 크기)에 기반하여, 특정 객체(예를 들어, 웨어러블 전자 장치(100)로부터 가상 오브젝트(1830) 너머에 위치하는 제 2 객체(1620))의 사운드의 조정 방식을 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 사용자 입력에 대응하여 표시되는 가상 오브젝트(1830)의 물성이 물인 경우, 제 2 객체(1620)의 사운드의 조정 방식을 결정함으로써, 사용자가 물 속에서 소리를 듣는 것과 같은 효과를 발생시킬 수 있다. 다른 예를 들어, 웨어러블 전자 장치(100)는, 사용자 입력에 대응하여 표시되는 가상 오브젝트(1830)가 가상의 커튼인 경우, 가상 오브젝트(1830)가 가상의 벽인 경우에 비하여 제 2 객체(1620)의 사운드에 대한 노이즈 캔슬링의 정도를 낮게 결정함으로써, 가상 오브젝트(1830)가 가상의 벽인 경우에 비하여 사용자가 청취하는 제 2 객체(1620)로부터의 사운드의 상대적인 크기가 커지도록 할 수 있다. 특정 객체로부터의 사운드의 조정 방식을 결정하는 방식은 예시적인 것으로서, 그 제한은 없다.
도 19는, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 19를 참조하면, 1901 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 프로세서(320))는, 웨어러블 전자 장치(100)에서 실행되는 어플리케이션의 종류를 확인할 수 있다.
1903 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)에서 실행되는 어플리케이션의 종류에 기반하여, 웨어러블 전자 장치(100)의 NC 레벨을 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 영화 감상 어플리케이션이 실행되는 경우, 웨어러블 전자 장치(100)의 NC 레벨을 노이즈 완전 차단 동작에 대응하는 NC 레벨(예를 들어, 100)로 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 증강 현실 회의 어플리케이션이 실행되는 경우, 웨어러블 전자 장치(100)의 NC 레벨을 볼륨 조절 동작에 대응하는 NC 레벨(예를 들어, 1 내지 99)로 결정할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 보청 어플리케이션이 실행되는 경우, 웨어러블 전자 장치(100)의 NC 레벨을 보청기 동작에 대응하는 NC 레벨(예를 들어, 101 내지 150)로 결정할 수 있다. 실행되는 어플리케이션의 종류 및 그에 대응하는 NC 레벨은 예시적인 것으로서, 그 제한은 없다.
도 20은, 실시예들에 따른, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 흐름도이다. 도 20는, 도 21을 참조하여 설명하도록 한다. 도 21은, 웨어러블 전자 장치의 동작 방법을 설명하기 위한 도면이다.
도 20을 참조하면, 2001 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)(예를 들어, 웨어러블 전자 장치(100)의 프로세서(예를 들어, 도 3의 프로세서(320)))는, 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 사운드 데이터를 획득할 수 있다. 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변에 위치하는 적어도 하나의 객체(예를 들어, 주변에 위치한 사람(2130))으로부터의 소리에 대응하는 사운드 데이터 및/또는 웨어러블 전자 장치(100)를 착용한 사용자(2110)로부터의 소리에 대응하는 사운드 데이터를 획득할 수 있다. 예를 들어, 도 21을 참조하면, 웨어러블 전자 장치(100)는, 증강 현실 회의를 진행하는 도중, 웨어러블 전자 장치(100)의 주변에 실존하는 사람(2130) 및/또는 웨어러블 전자 장치(100)를 착용한 사용자(2110)로부터의 소리에 대응하는 사운드 데이터를 획득할 수 있다.
2003 동작에서, 실시예에 따라서, 웨어러블 전자 장치(100)는, 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 사운드 데이터를 외부 장치로 전송할 수 있고, 이때 외부 장치로 전송할 수 있다는 것은, 예를 들어, 웨어러블 전자 장치(100)는, 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 사운드 데이터를, 웨어러블 전자 장치(100)를 착용한 사용자(2110)가 착용하는 외부 웨어러블 전자 장치(예를 들어, 도 5의 외부 웨어러블 전자 장치(410)) 및/또는 다른 사용자(예를 들어, 다른 사용자(2120))의 전자 장치(예를 들어, 다른 사용자가 착용하는 웨어러블 전자 장치(예를 들어, 도 5의 외부 웨어러블 전자 장치(410)와 같은 종류의 전자 장치), 또는 도 22의 전자 장치(2202), 전자 장치(2204), 또는 서버(2208))로 전송할 수 있다는 것을 의미할 수 있다. 예를 들어, 도 21을 참조하면, 웨어러블 전자 장치(100)는, 증강 현실 회의를 진행하는 도중, 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 사운드 데이터를 외부 장치(예를 들어, 웨어러블 전자 장치(100)를 착용한 사용자(2110)가 착용하는 외부 웨어러블 전자 장치(예를 들어, 도 4의 외부 웨어러블 전자 장치(410)) 및/또는 다른 사용자(예를 들어, 다른 사용자(2120))의 전자 장치(예를 들어, 다른 사용자가 착용하는 웨어러블 전자 장치(예를 들어, 도 4의 외부 웨어러블 전자 장치(410)와 같은 종류의 전자 장치), 또는 도 22의 전자 장치(2202), 전자 장치(2204), 또는 서버(2208)))로 전송할 수 있다. 이때, 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 사운드 데이터 중에서, 웨어러블 전자 장치(100)의 주변에 실존하는 사람(2130)으로부터의 소리에 대응하는 사운드 데이터는 외부 장치로 전송하지 않고, 웨어러블 전자 장치(100)를 착용한 사용자(2110)로부터의 소리에 대응하는 사운드 데이터만을 외부 장치로 전송할 수도 있다. 이에 따라, 웨어러블 전자 장치(100)를 착용한 사용자(2110), 및/또는 웨어러블 전자 장치(100)의 주변에 실재하지는 않지만 증강 현실 회의에 참석한 다른 사용자(2120)는, 웨어러블 전자 장치(100)의 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 사운드 데이터 중 일부를 청취할 수 있다. 또 다른 예를 들어, 웨어러블 전자 장치(100)는, 웨어러블 전자 장치(100)의 주변에 실존하는 사람(2130)으로부터의 소리에 대응하는 사운드 데이터 및 웨어러블 전자 장치(100)를 착용한 사용자(2110)로부터의 소리에 대응하는 사운드 데이터를 모두 외부 장치(예를 들어, 웨어러블 전자 장치(100)를 착용한 사용자(2110)가 착용하는 외부 웨어러블 전자 장치(예를 들어, 도 4의 외부 웨어러블 전자 장치(410)) 및/또는 다른 사용자(예를 들어, 다른 사용자(2120))의 전자 장치(예를 들어, 다른 사용자가 착용하는 웨어러블 전자 장치(예를 들어, 도 4의 외부 웨어러블 전자 장치(410)와 같은 종류의 전자 장치), 또는 도 22의 전자 장치(2202), 전자 장치(2204), 또는 서버(2208)))로 전송할 수도 있음을 당업자는 이해할 수 있다.
이하에서, 도 22를 참조하여, 전자 장치의 적어도 하나의 구성을 더욱 상세히 설명하도록 한다. 도 22에서 전자 장치(2201)는, 도 5의 외부 전자 장치(520)를 의미할 수 있다. 도 22에서 전자 장치(2202)는, 도 5의 웨어러블 전자 장치(100) 및/또는 외부 웨어러블 전자 장치(410)를 의미할 수 있다. 도 22에서 서버(2208)는, 도 5의 서버(530)를 의미할 수 있다. 또는, 도 5의 웨어러블 전자 장치(100), 외부 웨어러블 전자 장치(410), 및/또는 서버(530)는, 도 22의 전자 장치(2201)와 동일한 종류의 전자 장치로 구현될 수도 있다.
도 22는, 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다. 도 22를 참조하면, 네트워크 환경(2200)에서 전자 장치(2201)는 제 1 네트워크(2298)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(2202)와 통신하거나, 또는 제 2 네트워크(2299)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(2204) 또는 서버(2208)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(2201)는 서버(2208)를 통하여 전자 장치(2204)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(2201)는 프로세서(2220), 메모리(2230), 입력 모듈(2250), 음향 출력 모듈(2255), 디스플레이 모듈(2260), 오디오 모듈(2270), 센서 모듈(2276), 인터페이스(2277), 연결 단자(2278), 햅틱 모듈(2279), 카메라 모듈(2280), 전력 관리 모듈(2288), 배터리(2289), 통신 모듈(2290), 가입자 식별 모듈(2296), 또는 안테나 모듈(2297)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(2201)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(2278))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(2276), 카메라 모듈(2280), 또는 안테나 모듈(2297))은 하나의 구성요소(예: 디스플레이 모듈(2260))로 통합될 수 있다.
프로세서(2220)는, 예를 들면, 소프트웨어(예: 프로그램(2240))를 실행하여 프로세서(2220)에 연결된 전자 장치(2201)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(2220)는 다른 구성요소(예: 센서 모듈(2276) 또는 통신 모듈(2290))로부터 수신된 명령 또는 데이터를 휘발성 메모리(2232)에 저장하고, 휘발성 메모리(2232)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(2234)에 저장할 수 있다. 일실시예에 따르면, 프로세서(2220)는 메인 프로세서(2221)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(2223)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(2201)가 메인 프로세서(2221) 및 보조 프로세서(2223)를 포함하는 경우, 보조 프로세서(2223)는 메인 프로세서(2221)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(2223)는 메인 프로세서(2221)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(2223)는, 예를 들면, 메인 프로세서(2221)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(2221)를 대신하여, 또는 메인 프로세서(2221)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(2221)와 함께, 전자 장치(2201)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(2260), 센서 모듈(2276), 또는 통신 모듈(2290))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(2223)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(2280) 또는 통신 모듈(2290))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(2223)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(2201) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(2208))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(2230)는, 전자 장치(2201)의 적어도 하나의 구성요소(예: 프로세서(2220) 또는 센서 모듈(2276))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(2240)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(2230)는, 휘발성 메모리(2232) 또는 비휘발성 메모리(2234)를 포함할 수 있다.
프로그램(2240)은 메모리(2230)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(2242), 미들 웨어(2244) 또는 어플리케이션(2246)을 포함할 수 있다.
입력 모듈(2250)은, 전자 장치(2201)의 구성요소(예: 프로세서(2220))에 사용될 명령 또는 데이터를 전자 장치(2201)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(2250)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(2255)은 음향 신호를 전자 장치(2201)의 외부로 출력할 수 있다. 음향 출력 모듈(2255)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(2260)은 전자 장치(2201)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(2260)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(2260)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(2270)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(2270)은, 입력 모듈(2250)을 통해 소리를 획득하거나, 음향 출력 모듈(2255), 또는 전자 장치(2201)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(2202))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(2276)은 전자 장치(2201)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(2276)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(2277)는 전자 장치(2201)가 외부 전자 장치(예: 전자 장치(2202))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(2277)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(2278)는, 그를 통해서 전자 장치(2201)가 외부 전자 장치(예: 전자 장치(2202))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(2278)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(2279)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(2279)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(2280)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(2280)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(2288)은 전자 장치(2201)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(2288)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(2289)는 전자 장치(2201)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(2289)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(2290)은 전자 장치(2201)와 외부 전자 장치(예: 전자 장치(2202), 전자 장치(2204), 또는 서버(2208)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(2290)은 프로세서(2220)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(2290)은 무선 통신 모듈(2292)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(2294)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(2298)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(2299)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(2204)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(2292)은 가입자 식별 모듈(2296)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(2298) 또는 제 2 네트워크(2299)와 같은 통신 네트워크 내에서 전자 장치(2201)를 확인 또는 인증할 수 있다.
무선 통신 모듈(2292)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(2292)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(2292)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(2292)은 전자 장치(2201), 외부 전자 장치(예: 전자 장치(2204)) 또는 네트워크 시스템(예: 제 2 네트워크(2299))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(2292)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(2297)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(2297)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(2297)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(2298) 또는 제 2 네트워크(2299)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(2290)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(2290)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(2297)의 일부로 형성될 수 있다.
안테나 모듈(2297)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(2299)에 연결된 서버(2208)를 통해서 전자 장치(2201)와 외부의 전자 장치(2204)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(2202, 또는 2204) 각각은 전자 장치(2201)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(2201)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(2202, 2204, 또는 2208) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(2201)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(2201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(2201)로 전달할 수 있다. 전자 장치(2201)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(2201)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(2204)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(2208)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(2204) 또는 서버(2208)는 제 2 네트워크(2299) 내에 포함될 수 있다. 전자 장치(2201)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
실시예에 따라서, 전자 장치(100)는, 적어도 하나의 디스플레이 모듈(예를 들어, 도 3의 디스플레이 모듈(350)); 적어도 하나의 통신 모듈(예를 들어, 도 3의 통신 모듈(370)); 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362)); 적어도 하나의 카메라(예를 들어, 도 3의 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313)); 및 프로세서(320)를 포함하고, 상기 프로세서는, 상기 적어도 하나의 카메라를 통해 적어도 하나의 이미지를 캡쳐(capture)하고, 상기 적어도 하나의 이미지에 적어도 부분적으로 기반하여, 상기 전자 장치의 주변에 위치한 적어도 하나의 객체를 확인하고, 상기 적어도 하나의 마이크를 통해 입력되는 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 대응하는 사운드 정보를 확인하고, 상기 확인된 적어도 하나의 객체에 대응하는 위치에, 상기 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트를 표시하도록 상기 적어도 하나의 디스플레이 모듈을 제어하고-상기 위치는 상기 사운드 정보에 기반하여 결정됨-, 상기 적어도 하나의 가상 오브젝트 중 제 1 가상 오브젝트와 연관된 제 1 사용자 입력을 획득하고, 상기 제 1 사용자 입력에 기반하여, 상기 제 1 가상 오브젝트에 대응하는 제 1 객체의 NC(noise cancellation) 레벨을 결정하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 적어도 하나의 통신 모듈을 통하여 획득되는 주변 환경 정보에 적어도 부분적으로 기반하여, 상기 전자 장치의 주변에 위치한 상기 적어도 하나의 객체를 확인하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 제 1 객체에 대응하는 제 1 사운드 정보에 포함되는 사운드의 크기에 기반하여, 상기 제 1 가상 오브젝트의 표시 여부를 결정하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 사용자의 시선 방향을 식별하고, 상기 시선 방향에 기반하여, 상기 적어도 하나의 가상 오브젝트의 표시 여부를 결정하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 사용자의 신체의 적어도 일부를 식별하고, 상기 사용자의 신체의 적어도 일부의 위치에 기반하여, 상기 적어도 하나의 가상 오브젝트의 표시 여부를 결정하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 적어도 하나의 디스플레이 모듈을 통하여, 제 2 사용자 입력에 대응하는 제 2 가상 오브젝트(예를 들어, 도 18의 가상 오브젝트(1830))를 표시하도록 상기 적어도 하나의 디스플레이 모듈을 제어하고, 상기 제 2 가상 오브젝트가 표시된 위치에 기반하여, 상기 적어도 하나의 객체 중에서 제 2 객체(예를 들어, 웨어러블 전자 장치(100)로부터 가상 오브젝트(1830) 너머에 위치하는 제 2 객체(1620))의 사운드를 조정하기 위한 신호를 상기 외부 장치로 전송하도록 상기 적어도 하나의 통신 모듈을 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 제 2 가상 오브젝트에 대응하여 미리 설정된 속성에 기반하여, 상기 제 2 객체의 사운드의 조정 방식을 결정하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 전자 장치에서 실행되는 어플리케이션의 종류를 확인하고, 상기 어플리케이션의 종류에 기반하여, 상기 NC 레벨을 결정하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 적어도 하나의 마이크를 통해 입력되는 상기 제 1 사운드 데이터를 상기 외부 장치로 전송하도록 상기 적어도 하나의 통신 모듈을 제어하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 적어도 하나의 통신 모듈을 통하여 외부 장치(예를 들어, 도 5의 외부 웨어러블 전자 장치(410))로부터 제 2 사운드 데이터를 획득하고, 상기 제 2 사운드 데이터에 적어도 부분적으로 기반하여, 상기 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 기인하는 상기 사운드 정보를 확인하도록 설정될 수 있다.
실시예에 따라서, 상기 프로세서는, 상기 적어도 하나의 통신 모듈을 통하여, 상기 결정된 NC 레벨에 대한 정보를 포함하는 신호를 상기 외부 장치로 전송하도록 상기 적어도 하나의 통신 모듈을 제어하도록 설정될 수 있다.
실시예에 따라서, 전자 장치(100)의 동작 방법은, 상기 전자 장치의 적어도 하나의 카메라(예를 들어, 도 3의 제 1 카메라(311), 제 2 카메라(312), 및/또는 제 3 카메라(313))를 통해 적어도 하나의 이미지를 캡쳐(capture)하는 동작, 상기 적어도 하나의 이미지에 적어도 부분적으로 기반하여, 상기 전자 장치의 주변에 위치한 적어도 하나의 객체를 확인하는 동작, 상기 전자 장치의 적어도 하나의 마이크(예를 들어, 도 3의 소리 입력 장치(362))를 통해 입력되는 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 기인하는 사운드 정보를 확인하는 동작, 상기 전자 장치의 적어도 하나의 디스플레이 모듈(예를 들어, 도 3의 디스플레이 모듈(350))을 통하여, 상기 확인된 적어도 하나의 객체에 대응하는 위치에, 상기 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트를 표시하는 동작-상기 위치는 상기 사운드 정보에 기반하여 결정됨-, 상기 적어도 하나의 가상 오브젝트 중 제 1 가상 오브젝트와 연관된 제 1 사용자 입력을 획득하는 동작, 및 상기 제 1 사용자 입력에 기반하여, 상기 제 1 가상 오브젝트에 대응하는 제 1 객체의 NC(noise cancellation) 레벨을 결정하는 동작을 포함할 수 있다.
실시예에 따라서, 상기 전자 장치의 주변에 위치한 상기 적어도 하나의 객체를 확인하는 동작은, 상기 적어도 하나의 통신 모듈을 통하여 획득되는 주변 환경 정보에 적어도 부분적으로 기반하여, 상기 적어도 하나의 객체를 확인하는 동작을 포함할 수 있다.
실시예에 따라서, 상기 방법은, 상기 제 1 객체에 대응하는 제 1 사운드 정보에 포함되는 사운드의 크기에 기반하여, 상기 제 1 가상 오브젝트의 표시 여부를 결정하는 동작을 더 포함할 수 있다.
실시예에 따라서, 상기 방법은, 상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 사용자의 시선 방향을 식별하는 동작, 및 상기 시선 방향에 기반하여, 상기 적어도 하나의 가상 오브젝트의 표시 여부를 결정하는 동작을 더 포함할 수 있다.
실시예에 따라서, 상기 방법은, 상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 사용자의 신체의 적어도 일부를 식별하고, 상기 사용자의 신체의 적어도 일부의 위치에 기반하여, 상기 적어도 하나의 가상 오브젝트의 표시 여부를 결정하는 동작을 더 포함할 수 있다.
실시예에 따라서, 상기 방법은, 상기 적어도 하나의 디스플레이 모듈을 통하여, 제 2 사용자 입력에 대응하는 제 2 가상 오브젝트(예를 들어, 도 18의 가상 오브젝트(1830))를 표시하는 동작, 및 상기 제 2 가상 오브젝트가 표시된 위치에 기반하여, 상기 적어도 하나의 객체 중에서 제 2 객체(예를 들어, 웨어러블 전자 장치(100)로부터 가상 오브젝트(1830) 너머에 위치하는 제 2 객체(1620))의 사운드를 조정하기 위한 신호를 상기 적어도 하나의 통신 모듈을 통하여 상기 외부 장치로 전송하는 동작을 더 포함할 수 있다.
실시예에 따라서, 상기 방법은, 상기 제 2 가상 오브젝트에 대응하여 미리 설정된 속성에 기반하여, 상기 제 2 객체의 사운드의 조정 방식을 결정하는 동작을 더 포함할 수 있다.
실시예에 따라서, 상기 방법은, 상기 전자 장치에서 실행되는 어플리케이션의 종류를 확인하는 동작, 및 상기 어플리케이션의 종류에 기반하여, 상기 NC 레벨을 결정하는 동작을 더 포함할 수 있다.
실시예에 따라서, 상기 방법은, 상기 적어도 하나의 마이크를 통해 입력되는 상기 제 1 사운드 데이터를 상기 전자 장치의 적어도 하나의 통신 모듈을 통하여 외부 장치(예를 들어, 도 5의 외부 웨어러블 전자 장치(410))로 전송하는 동작을 더 포함할 수 있다.
본 문서에 개시된 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 실시예들은 기기(machine)(예: 전자 장치(2201)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(2236) 또는 외장 메모리(2238))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(2240))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(2201))의 프로세서(예: 프로세서(2220))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 디스플레이 모듈;
    적어도 하나의 통신 모듈;
    적어도 하나의 마이크;
    적어도 하나의 카메라; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 적어도 하나의 카메라를 통해 적어도 하나의 이미지를 캡쳐(capture)하고,
    상기 적어도 하나의 이미지에 적어도 부분적으로 기반하여, 상기 전자 장치의 주변에 위치한 적어도 하나의 객체를 확인하고,
    상기 적어도 하나의 마이크를 통해 입력되는 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 기인하는 사운드 정보를 확인하고,
    상기 확인된 적어도 하나의 객체에 대응하는 위치에, 상기 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트를 표시하도록 상기 적어도 하나의 디스플레이 모듈을 제어하고-상기 위치는 상기 사운드 정보에 기반하여 결정됨-,
    상기 적어도 하나의 가상 오브젝트 중 제 1 가상 오브젝트와 연관된 제 1 사용자 입력을 획득하고,
    상기 제 1 사용자 입력에 기반하여, 상기 제 1 가상 오브젝트에 대응하는 제 1 객체의 NC(noise cancellation) 레벨을 결정하도록 설정된, 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 통신 모듈을 통하여 획득되는 주변 환경 정보에 적어도 부분적으로 기반하여, 상기 적어도 하나의 객체를 확인하도록 설정된, 전자 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 제 1 객체에 대응하는 제 1 사운드 정보에 포함되는 사운드의 크기에 기반하여, 상기 제 1 가상 오브젝트의 표시 여부를 결정하도록 설정된, 전자 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 사용자의 시선 방향을 식별하고,
    상기 시선 방향에 기반하여, 상기 적어도 하나의 가상 오브젝트의 표시 여부를 결정하도록 설정된, 전자 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 사용자의 신체의 적어도 일부를 식별하고,
    상기 사용자의 신체의 적어도 일부의 위치에 기반하여, 상기 적어도 하나의 가상 오브젝트의 표시 여부를 결정하도록 설정된, 전자 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 디스플레이 모듈을 통하여, 제 2 사용자 입력에 대응하는 제 2 가상 오브젝트를 표시하도록 상기 적어도 하나의 디스플레이 모듈을 제어하고,
    상기 제 2 가상 오브젝트가 표시된 위치에 기반하여, 상기 적어도 하나의 객체 중에서 제 2 객체의 사운드를 조정하기 위한 신호를 상기 외부 장치로 전송하도록 상기 적어도 하나의 통신 모듈을 제어하도록 설정된, 전자 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 제 2 가상 오브젝트에 대응하여 미리 설정된 속성에 기반하여, 상기 제 2 객체의 사운드의 조정 방식을 결정하도록 설정된, 전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 전자 장치에서 실행되는 어플리케이션의 종류를 확인하고, 상기 어플리케이션의 종류에 기반하여, 상기 NC 레벨을 결정하도록 설정된, 전자 장치.
  9. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 마이크를 통해 입력되는 상기 제 1 사운드 데이터를 외부 장치로 전송하도록 상기 적어도 하나의 통신 모듈을 제어하도록 설정된, 전자 장치.
  10. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 통신 모듈을 통하여 외부 장치로부터 제 2 사운드 데이터를 획득하고,
    상기 제 2 사운드 데이터에 적어도 부분적으로 기반하여, 상기 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 기인하는 상기 사운드 정보를 확인하도록 설정된, 전자 장치.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 통신 모듈을 통하여, 상기 결정된 NC 레벨에 대한 정보를 포함하는 신호를 상기 외부 장치로 전송하도록 상기 적어도 하나의 통신 모듈을 제어하도록 설정된, 전자 장치.
  12. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 적어도 하나의 카메라를 통해 적어도 하나의 이미지를 캡쳐(capture)하는 동작,
    상기 적어도 하나의 이미지에 적어도 부분적으로 기반하여, 상기 전자 장치의 주변에 위치한 적어도 하나의 객체를 확인하는 동작,
    상기 전자 장치의 적어도 하나의 마이크를 통해 입력되는 제 1 사운드 데이터로부터 상기 확인된 적어도 하나의 객체에 기인하는 사운드 정보를 확인하는 동작,
    상기 전자 장치의 적어도 하나의 디스플레이 모듈을 통하여, 상기 확인된 적어도 하나의 객체에 대응하는 위치에, 상기 적어도 하나의 객체에 대응하는 적어도 하나의 가상 오브젝트를 표시하는 동작-상기 위치는 상기 사운드 정보에 기반하여 결정됨-,
    상기 적어도 하나의 가상 오브젝트 중 제 1 가상 오브젝트와 연관된 제 1 사용자 입력을 획득하는 동작, 및
    상기 제 1 사용자 입력에 기반하여, 상기 제 1 가상 오브젝트에 대응하는 제 1 객체의 NC(noise cancellation) 레벨을 결정하는 동작을 포함하는, 방법.
  13. 제 12 항에 있어서,
    상기 전자 장치의 주변에 위치한 상기 적어도 하나의 객체를 확인하는 동작은,
    상기 전자 장치의 적어도 하나의 통신 모듈을 통하여 획득되는 주변 환경 정보에 적어도 부분적으로 기반하여, 상기 적어도 하나의 객체를 확인하는 동작을 포함하는, 방법.
  14. 제 12 항에 있어서,
    상기 제 1 객체에 대응하는 제 1 사운드 정보에 포함되는 사운드의 크기에 기반하여, 상기 제 1 가상 오브젝트의 표시 여부를 결정하는 동작을 더 포함하는, 방법.
  15. 제 12 항에 있어서,
    상기 적어도 하나의 카메라를 이용하여 상기 전자 장치의 사용자의 시선 방향을 식별하는 동작, 및
    상기 시선 방향에 기반하여, 상기 적어도 하나의 가상 오브젝트의 표시 여부를 결정하는 동작을 더 포함하는, 방법.
PCT/KR2021/020316 2021-04-13 2021-12-30 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법 WO2022220373A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21937106.9A EP4236351A4 (en) 2021-04-13 2021-12-30 PORTABLE ELECTRONIC DEVICE FOR CONTROLLING THE NOISE REDUCTION OF AN EXTERNAL PORTABLE ELECTRONIC DEVICE AND METHOD OF OPERATING THE SAME
US17/569,599 US12062127B2 (en) 2021-04-13 2022-01-06 Wearable electronic device controlling noise canceling of external wearable electronic device and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210048034A KR20220141657A (ko) 2021-04-13 2021-04-13 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법
KR10-2021-0048034 2021-04-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/569,599 Continuation US12062127B2 (en) 2021-04-13 2022-01-06 Wearable electronic device controlling noise canceling of external wearable electronic device and method of operating the same

Publications (1)

Publication Number Publication Date
WO2022220373A1 true WO2022220373A1 (ko) 2022-10-20

Family

ID=83640381

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020316 WO2022220373A1 (ko) 2021-04-13 2021-12-30 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법

Country Status (2)

Country Link
KR (1) KR20220141657A (ko)
WO (1) WO2022220373A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
KR20170069790A (ko) * 2015-12-11 2017-06-21 삼성전자주식회사 가상 현실 서비스에서 오디오 신호를 처리하는 방법 및 이를 위한 전자 장치
KR20170099088A (ko) * 2016-02-23 2017-08-31 엘지전자 주식회사 전자 기기 및 그 제어방법
JP2017184048A (ja) * 2016-03-30 2017-10-05 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
JP2019033426A (ja) * 2017-08-09 2019-02-28 イアフレド株式会社 映像音響再生装置およびその方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
KR20170069790A (ko) * 2015-12-11 2017-06-21 삼성전자주식회사 가상 현실 서비스에서 오디오 신호를 처리하는 방법 및 이를 위한 전자 장치
KR20170099088A (ko) * 2016-02-23 2017-08-31 엘지전자 주식회사 전자 기기 및 그 제어방법
JP2017184048A (ja) * 2016-03-30 2017-10-05 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
JP2019033426A (ja) * 2017-08-09 2019-02-28 イアフレド株式会社 映像音響再生装置およびその方法

Also Published As

Publication number Publication date
KR20220141657A (ko) 2022-10-20

Similar Documents

Publication Publication Date Title
WO2022131549A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022019636A1 (ko) 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2022014988A1 (ko) 전자 장치 및 전력 제어 방법
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022059968A1 (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 그의 동작 방법
WO2022220373A1 (ko) 외부 웨어러블 전자 장치의 노이즈 캔슬링을 제어하는 웨어러블 전자 장치 및 이의 동작 방법
WO2023017986A1 (ko) 영상 데이터 및 오디오 데이터 출력 방법 및 전자 시스템
WO2022220659A1 (ko) 전자 장치 및 전자 장치에서 외부 전자 장치를 이용하여 정보를 입력하는 방법
WO2022177334A1 (ko) 웨어러블 전자 장치
WO2022149748A1 (ko) 콘텐츠를 표시하기 위한 전자 장치 및 그의 동작 방법
WO2021201429A1 (ko) 전자 장치 및 그의 오디오 출력을 제어하는 방법
WO2023038225A1 (ko) 적어도 하나의 외부 장치를 제어하는 전자 장치 및 이의 동작 방법
WO2022181996A1 (ko) 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
WO2022231160A1 (ko) 손 제스처에 기반하여 기능을 실행하는 전자 장치 및 그 작동 방법
WO2024106796A1 (ko) 오디오 설정을 제어하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024071694A1 (ko) 위험을 감지하는 전자 장치, 그의 동작 방법 및 프로그램을 저장하는 저장 매체
WO2022050638A1 (ko) 디스플레이의 설정 변경 방법 및 전자 장치
WO2022211514A1 (ko) 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 헤드 마운티드 디스플레이 장치
WO2024034867A1 (ko) 렌즈들 사이의 거리를 조정하기 위한 웨어러블 전자 장치
WO2024106995A1 (ko) 가상 현실 공간 상에 가상 객체를 제공하기 위한 전자 장치 및 방법
WO2024058446A1 (ko) 가상 현실 컨텐츠를 제어하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024043438A1 (ko) 카메라 모듈을 제어하는 웨어러블 전자 장치 및 그 동작 방법
WO2024043519A1 (ko) 복수의 디스플레이들을 제어하는 방법 및 이를 지원하는 전자 장치
WO2024076058A1 (ko) 센서를 포함하는 웨어러블 전자 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21937106

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021937106

Country of ref document: EP

Effective date: 20230523

NENP Non-entry into the national phase

Ref country code: DE