KR20230094926A

KR20230094926A - Method and electronic device for connecting external electronic device

Info

Publication number: KR20230094926A
Application number: KR1020220030927A
Authority: KR
Inventors: 조남민; 김현수; 김승년; 최보근; 황호철
Original assignee: 삼성전자주식회사
Priority date: 2021-12-21
Filing date: 2022-03-11
Publication date: 2023-06-28

Abstract

다양한 실시예에 따르면, 전자 장치는, 외부 전자 장치와의 연결을 위한 통신 모듈, 적어도 하나의 제 1 마이크, 메모리, 및 상기 통신 모듈, 상기 적어도 하나의 제 1 마이크, 및 상기 메모리에 전기적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 외부 전자 장치로부터 전송된 착용 신호의 수신에 응답하여, 상기 외부 전자 장치가 인체에 착용되었음을 확인하고, 상기 외부 전자 장치의 착용에 응답하여, 상기 메모리에 저장된, 상기 외부 전자 장치의 타입을 확인하고, 상기 확인된 타입을 기반으로, 상기 적어도 하나의 제 1 마이크 및 상기 인체에 착용된 외부 전자 장치에 포함된 적어도 하나의 제 2 마이크 중에서, 적어도 하나의 마이크를 선택하고, 상기 선택된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득할 수 있다. 그 밖에 다양한 실시예들이 가능할 수 있다.According to various embodiments, an electronic device includes a communication module for connection with an external electronic device, at least one first microphone, a memory, and electrically connected to the communication module, the at least one first microphone, and the memory. may include a processor. The processor, in response to receiving a wearing signal transmitted from the external electronic device, confirms that the external electronic device is worn on the human body, and in response to wearing the external electronic device, the external electronic device stored in the memory. checks the type of , selects at least one microphone from among the at least one first microphone and at least one second microphone included in the external electronic device worn on the human body, based on the identified type; An audio signal may be obtained using at least one selected microphone. Other various embodiments may be possible.

Description

Connection method and electronic device with external electronic device {METHOD AND ELECTRONIC DEVICE FOR CONNECTING EXTERNAL ELECTRONIC DEVICE}

본 발명의 다양한 실시 예는 외부 전자 장치와의 연결 방법 및 전자 장치에 관한 것이다.Various embodiments of the present disclosure relate to a method for connecting to an external electronic device and an electronic device.

디지털 기술의 발달과 함께 이동통신 단말기, PDA(personal digital assistant), 전자수첩, 스마트 폰, 태블릿 PC(personal computer), 웨어러블 디바이스(wearable device)와 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 이러한, 전자 장치는 기능 지지 및 증대를 위해, 전자 장치의 하드웨어 및/또는 소프트웨어가 지속적으로 개량되고 있다.With the development of digital technology, various types of electronic devices such as mobile communication terminals, personal digital assistants (PDAs), electronic notebooks, smart phones, tablet PCs (personal computers), and wearable devices have been widely used. In order to support and increase functions of such electronic devices, hardware and/or software of electronic devices are continuously being improved.

일례로, 전자 장치는 컴퓨터로 만들어 놓은 가상의 세계에서 사용자가 실제와 같은 체험을 할 수 있도록 하는 가상 현실(virtual reality; VR)을 제공할 수 있다. 또한, 전자 장치는 현실 세계에 가상 정보(또는 객체)를 더해 보여주는 증강 현실(augmented reality; AR), 가상 현실과 증강 현실을 혼합한 혼합 현실(mixed reality; MR)을 제공할 수 있다. 전자 장치는 이러한, 가상 현실 및 증강 현실을 제공하기 위한 AR(augmented reality) 전자 장치(예: 헤드업 디스플레이(head up display))를 포함할 수 있다.For example, an electronic device may provide virtual reality (VR), which allows a user to experience the same as real life in a virtual world created by a computer. In addition, the electronic device may provide augmented reality (AR) in which virtual information (or objects) is added to the real world and mixed reality (MR) in which virtual reality and augmented reality are mixed. The electronic device may include an augmented reality (AR) electronic device (eg, a head-up display) for providing virtual reality and augmented reality.

AR 전자 장치는 사용자의 머리 부분에 착용이 가능하며, 사용자에게 가상 현실을 제공하기 위한 디스플레이 모듈을 포함할 수 있다. AR 전자 장치는 디스플레이 모듈이 사용자의 눈 위치에 대응하여 배치되도록, 사용자의 귀에 적어도 부분적으로 거치될 수 있다. 일 실시예에 따르면, AR 전자 장치를 사용 중에 다른 종류의 외부 전자 장치(예: 주변 전자 장치, 무선 이어폰, 및/또는 TWS(true wireless stereo))와 통신하는 상황(예: WiFi 통신, BT 통신 및/또는 BLE 통신)이 발생할 수 있으며, AR 전자 장치와 외부 전자 장치 간의 통신 설정을 위한 정책이 필요할 수 있다. The AR electronic device may be worn on a user's head and may include a display module for providing virtual reality to the user. The AR electronic device may be mounted at least partially on the user's ear so that the display module is disposed corresponding to the user's eye position. According to an embodiment, a situation in which an AR electronic device communicates with another type of external electronic device (eg, a peripheral electronic device, a wireless earphone, and/or a true wireless stereo (TWS)) while in use (eg, WiFi communication, BT communication) and/or BLE communication) may occur, and a policy for establishing communication between an AR electronic device and an external electronic device may be required.

전자 장치(예: AR 전자 장치)는 외부 오디오를 수신하기 위한 마이크를 포함하고 있고, 전자 장치와 통신 연결된 외부 전자 장치(예: 주변 전자 장치, 무선 이어폰)도 외부 오디오를 수신하기 위한 마이크를 포함할 수 있다. An electronic device (e.g., an AR electronic device) includes a microphone for receiving external audio, and an external electronic device (e.g., peripheral electronic device, wireless earphone) in communication with the electronic device includes a microphone for receiving external audio. can do.

전자 장치와 외부 전자 장치가 연동되어 동작할 때, 전자 장치 및 외부 전자 장치에 포함된 마이크 사용에 대한 정책이 적용되지 않는 경우, 전자 장치는 사용자에게 충분한 오디오 서비스를 제공하지 못할 수 있다. 예를 들어, 하나의 장치가 권한을 위임 받아 단독으로 오디오 관련 동작을 수행할 지, 또는, 복수 개의 장치가 함께 오디오 관련 동작을 수행할 지에 대한 정책이 필요할 수 있다.When an electronic device and an external electronic device interlock and operate, if a policy for using a microphone included in the electronic device and the external electronic device is not applied, the electronic device may not be able to provide a sufficient audio service to the user. For example, a policy may be required regarding whether one device receives authority and performs an audio-related operation alone, or whether a plurality of devices perform an audio-related operation together.

일 실시예에 따르면, 전자 장치는 외부 전자 장치와의 연결 시, 전자 장치에 포함된 제 1 마이크 및 외부 전자 장치에 포함된 제 2 마이크 중에서 적어도 하나의 마이크를 선택하여 오디오 신호를 획득할 수 있다.According to an embodiment, when connecting to an external electronic device, the electronic device may acquire an audio signal by selecting at least one microphone from among a first microphone included in the electronic device and a second microphone included in the external electronic device. .

다양한 실시예에 따르면, 전자 장치는, 외부 전자 장치와의 연결을 위한 통신 모듈, 적어도 하나의 제 1 마이크, 메모리, 및 상기 통신 모듈, 상기 적어도 하나의 제 1 마이크, 및 상기 메모리에 전기적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 외부 전자 장치로부터 전송된 착용 신호의 수신에 응답하여, 상기 외부 전자 장치가 인체에 착용되었음을 확인하고, 상기 외부 전자 장치의 착용에 응답하여, 상기 메모리에 저장된, 상기 외부 전자 장치의 타입을 확인하고, 상기 확인된 타입을 기반으로, 상기 적어도 하나의 제 1 마이크 및 상기 인체에 착용된 외부 전자 장치에 포함된 적어도 하나의 제 2 마이크 중에서, 적어도 하나의 마이크를 선택하고, 상기 선택된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득할 수 있다. According to various embodiments, an electronic device includes a communication module for connection with an external electronic device, at least one first microphone, a memory, and electrically connected to the communication module, the at least one first microphone, and the memory. may include a processor. The processor, in response to receiving a wearing signal transmitted from the external electronic device, confirms that the external electronic device is worn on the human body, and in response to wearing the external electronic device, the external electronic device stored in the memory. checks the type of , selects at least one microphone from among the at least one first microphone and at least one second microphone included in the external electronic device worn on the human body, based on the identified type; An audio signal may be obtained using at least one selected microphone.

다양한 실시예에 따른 방법에 있어서, 외부 전자 장치로부터 전송된 착용 신호의 수신에 응답하여, 상기 외부 전자 장치가 인체에 착용되었음을 확인하는 동작, 상기 외부 전자 장치의 착용에 응답하여, 상기 외부 전자 장치의 타입을 확인하는 동작, 상기 확인된 타입을 기반으로, 전자 장치에 포함된 적어도 하나의 제 1 마이크 및 상기 인체에 착용된 외부 전자 장치에 포함된 적어도 하나의 제 2 마이크 중에서, 적어도 하나의 마이크를 선택하는 동작, 및 상기 선택된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득하는 동작을 포함할 수 있다.In the method according to various embodiments, an operation of confirming that the external electronic device is worn on a human body in response to receiving a wearing signal transmitted from the external electronic device; and, in response to wearing the external electronic device, the external electronic device Operation of checking the type of at least one microphone among at least one first microphone included in the electronic device and at least one second microphone included in the external electronic device worn on the human body, based on the identified type It may include an operation of selecting, and an operation of obtaining an audio signal using the selected at least one microphone.

본 발명의 다양한 실시예들은 전자 장치와 외부 전자 장치(예: 주변 전자 장치)가 연결될 때, 전자 장치에 포함된 제 1 마이크 및/또는 외부 전자 장치에 포함된 제 2 마이크를 기반으로, 사용자에게 향상된 오디오 서비스를 제공하기 위한 마이크를 결정할 수 있다. Various embodiments of the present disclosure provide information to a user based on a first microphone included in the electronic device and/or a second microphone included in the external electronic device when an electronic device and an external electronic device (eg, a peripheral electronic device) are connected. A microphone for providing an enhanced audio service may be determined.

일 실시예에 따르면, 전자 장치는 외부 전자 장치에 포함된 제 2 마이크의 위치를 확인할 수 있고, 복수 개의 마이크(예: 제 1 마이크 및/또는 제 2 마이크)를 활용하여, 외부 오디오를 효율적으로 획득할 수 있다. According to an embodiment, the electronic device may check the position of the second microphone included in the external electronic device, and utilize a plurality of microphones (eg, the first microphone and/or the second microphone) to efficiently receive external audio. can be obtained

일 실시예에 따르면, 전자 장치는 사용자가 응시하는 방향 및/또는 위치를 확인하고, 확인된 방향 및/또는 위치에 대한 빔포밍 동작을 수행할 수 있다. 전자 장치는 사용자에게 향상된 오디오 서비스를 제공할 수 있다. According to an embodiment, the electronic device may check the direction and/or location of the user's gaze and perform a beamforming operation for the checked direction and/or location. An electronic device may provide an enhanced audio service to a user.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition to this, various effects identified directly or indirectly through this document may be provided.

도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 본 발명의 다양한 실시예들에 따른 전자 장치와 외부 전자 장치 간의 통신 연결을 도시한 예시도이다.
도 2는 본 발명의 다양한 실시예에 따른 적어도 하나의 마이크가 포함된 전자 장치의 전체 구성도이다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 블록도이다.
도 4는 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치의 연결에 따른 마이크를 설정하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 다양한 실시예에 따른 사용자가 응시하는 위치에 기반한 빔포밍 동작을 수행하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 복수 개의 마이크를 기반으로 빔포밍 동작을 수행하는 방법을 도시한 흐름도이다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 빔포밍 동작을 수행하는 도중, 외부 전자 장치와의 연결이 해제되는 경우의 빔포밍 동작을 수행하는 방법을 도시한 흐름도이다.
도 8은 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 오디오 신호가 출력되는 도중, 외부 전자 장치와의 연결이 해제되는 경우의 동작을 수행하는 방법을 도시한 흐름도이다.
도 9는 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 spatial 방식의 오디오 신호가 출력되는 도중, 외부 전자 장치가 인체 일부로부터 탈착되는 경우 stereo 방식의 오디오 신호를 출력하는 방법을 도시한 흐름도이다.
도 10은 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 오디오 신호가 출력되는 도중, 전자 장치가 인체 일부로부터 탈착되는 경우의 동작을 수행하는 방법을 도시한 흐름도이다.
도 11a는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 사용자의 시선 방향 및/또는 동공의 움직임을 추적하는 방법을 도시한 제 1 예시도이다.
도 11b는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 사용자의 시선 방향 및/또는 동공의 움직임을 추적하는 방법을 도시한 제 2 예시도이다.
도 12a는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 동공의 움직임에 따른 초점 위치를 확인하는 방법을 도시한 제 1 예시도이다.
도 12b는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 동공의 움직임에 따른 초점 위치를 확인하는 방법을 도시한 제 2 예시도이다.
도 12c는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 동공의 움직임에 따른 초점 위치를 확인하는 방법을 도시한 제 3 예시도이다.
도 12d는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 동공의 움직임에 따른 초점 위치를 확인하는 방법을 도시한 제 4 예시도이다.
도 13a는 본 발명의 다양한 실시예에 따른 2D 기반으로 사용자의 초점 위치를 확인하는 방법을 도시한 예시도이다.
도 13b는 본 발명의 다양한 실시예에 따른 3D 기반으로 사용자의 초점 위치를 확인하는 방법을 도시한 예시도이다.
도 14는 본 발명의 다양한 실시예에 따른 가상 현실에서 구현된 가상의 객체를 기반으로, 사용자의 초점 위치를 확인하는 방법을 도시한 예시도이다.
도 15는 본 발명의 다양한 실시예들에 따른 제 1 전자 장치, 제 2 전자 장치 및/또는 휴대용 전자 장치 간의 통신 연결을 도시한 예시도이다.
도 16a는 본 발명의 다양한 실시예들에 따른 복수 개의 마이크를 기반으로, 오디오 신호가 발생하는 위치를 확인하고, 적어도 하나의 마이크를 선택하는 방법을 도시한 제 1 예시도이다.
도 16b는 본 발명의 다양한 실시예들에 따른 복수 개의 마이크를 기반으로, 오디오 신호가 발생하는 위치를 확인하고, 적어도 하나의 마이크를 선택하는 방법을 도시한 제 2 예시도이다.In connection with the description of the drawings, the same or similar reference numerals may be used for the same or similar elements.
1 is an exemplary diagram illustrating a communication connection between an electronic device and an external electronic device according to various embodiments of the present disclosure.
2 is an overall configuration diagram of an electronic device including at least one microphone according to various embodiments of the present disclosure.
3 is a block diagram of an electronic device and an external electronic device according to various embodiments of the present disclosure.
4 is a flowchart illustrating a method of setting a microphone according to connection between an electronic device and an external electronic device according to various embodiments of the present disclosure.
5 is a flowchart illustrating a method of performing a beamforming operation based on a user's gaze position according to various embodiments of the present invention.
6 is a flowchart illustrating a method of performing a beamforming operation based on a plurality of microphones in a state in which an electronic device and an external electronic device are connected according to various embodiments of the present disclosure.
7 illustrates a method of performing a beamforming operation when a connection with an external electronic device is disconnected while performing a beamforming operation in a state in which an electronic device and an external electronic device are connected according to various embodiments of the present invention. It is a flow chart.
8 is a flowchart illustrating a method of performing an operation when a connection with an external electronic device is disconnected while an audio signal is being output while the electronic device and the external electronic device are connected according to various embodiments of the present disclosure.
9 is a method of outputting a stereo-type audio signal when an external electronic device is detached from a part of a human body while a spatial-type audio signal is being output in a state in which an electronic device and an external electronic device are connected according to various embodiments of the present invention. It is a flow chart showing
10 is a flowchart illustrating a method of performing an operation when an electronic device is detached from a part of a human body while an audio signal is being output while an electronic device and an external electronic device are connected according to various embodiments of the present disclosure.
11A is a first exemplary diagram illustrating a method of tracking a user's gaze direction and/or pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.
11B is a second exemplary diagram illustrating a method of tracking a user's gaze direction and/or pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.
12A is a first exemplary diagram illustrating a method of checking a focal position according to pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.
12B is a second exemplary diagram illustrating a method of checking a focal position according to pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.
12C is a third exemplary diagram illustrating a method of checking a focus position according to pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.
12D is a fourth exemplary view illustrating a method of checking a focus position according to pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.
13A is an exemplary diagram illustrating a method of determining a user's focus position based on 2D according to various embodiments of the present disclosure.
13B is an exemplary view illustrating a method of determining a user's focus position based on 3D according to various embodiments of the present disclosure.
14 is an exemplary diagram illustrating a method of confirming a focus position of a user based on a virtual object implemented in virtual reality according to various embodiments of the present disclosure.
15 is an exemplary diagram illustrating a communication connection between a first electronic device, a second electronic device, and/or a portable electronic device according to various embodiments of the present disclosure.
16A is a first exemplary diagram illustrating a method of identifying a location where an audio signal is generated and selecting at least one microphone based on a plurality of microphones according to various embodiments of the present invention.
FIG. 16B is a second exemplary diagram illustrating a method of determining a location where an audio signal is generated based on a plurality of microphones and selecting at least one microphone according to various embodiments of the present disclosure.

도 1은 본 발명의 다양한 실시예들에 따른 전자 장치와 외부 전자 장치 간의 통신 연결을 도시한 예시도이다.1 is an exemplary diagram illustrating a communication connection between an electronic device and an external electronic device according to various embodiments of the present disclosure.

도 1을 참조하면, 전자 장치(101)는 사용자의 인체 일부에 착용 가능한 웨어러블 전자 장치(wearable electronic device)를 포함할 수 있다. 예를 들어, 전자 장치(101)는 AR 글래스(glass)(예: AR 전자 장치 및/또는 AR 안경 장치)를 포함하며, 사용자에게 AR(augment reality), VR(virtual reality), MR(mixed reality), 및/또는, XR(extend reality) 중 적어도 하나의 경험을 제공할 수 있다. 전자 장치(101)는 사용자의 양쪽 귀에 거치되는 형태로 착용될 수 있고, 사용자의 눈에 인접한 렌즈를 통해, AR 서비스(예: 가상 현실 서비스, 증강 현실 서비스)를 제공할 수 있다. 전자 장치(101)는 외부 오디오 신호를 수신하기 위한 적어도 하나의 마이크를 포함할 수 있고, 외부로 오디오 신호를 출력하기 위한 적어도 하나의 스피커를 포함할 수 있다. 전자 장치(101)는 다른 전자 장치(예: 외부 전자 장치(102), 주변 전자 장치)와의 통신을 위한 통신 모듈을 포함할 수 있다.Referring to FIG. 1 , the electronic device 101 may include a wearable electronic device that can be worn on a part of a user's body. For example, the electronic device 101 includes an AR glass (eg, an AR electronic device and/or an AR glasses device), and provides a user with augmented reality (AR), virtual reality (VR), and mixed reality (MR). ), and/or, at least one experience of XR (extend reality) may be provided. The electronic device 101 may be worn on both ears of the user, and may provide AR services (eg, virtual reality service, augmented reality service) through lenses adjacent to the user's eyes. The electronic device 101 may include at least one microphone for receiving an external audio signal and may include at least one speaker for outputting an audio signal to the outside. The electronic device 101 may include a communication module for communication with other electronic devices (eg, the external electronic device 102 and peripheral electronic devices).

전자 장치(101)는 통신 모듈을 통해, 외부 전자 장치(102)(예: 오디오 장치(audio device), 및/또는 무선 이어폰(wireless ear phone))와 작동적으로 연결될 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치인 오디오 장치(102)와 연동될 수 있으며, 사용자에게 오디오 서비스를 제공하기 위한 셋팅(setting)(예: 환경 설정, 오디오 서비스와 관련된 입출력 설정)을 수행할 수 있다. 오디오 장치(102)는 사용자의 인체 일부(예: 귀)에 착용되는 웨어러블 전자 장치일 수 있으며, 착용 시, 귓 속(예: 외이도)으로 오디오 신호를 출력할 수 있다. 오디오 장치(102)는 외부 오디오 신호를 수신하기 위한 마이크 및 오디오 신호를 출력하기 위한 스피커를 포함할 수 있다.The electronic device 101 may be operatively connected to an external electronic device 102 (eg, an audio device and/or a wireless ear phone) through a communication module. For example, the electronic device 101 may be interlocked with the audio device 102, which is an external electronic device, and set settings for providing audio services to users (eg, environment settings, input/output settings related to audio services). can be performed. The audio device 102 may be a wearable electronic device worn on a part of the user's body (eg, ear), and output an audio signal into the ear (eg, ear canal) when worn. The audio device 102 may include a microphone for receiving an external audio signal and a speaker for outputting an audio signal.

전자 장치(101) 및 오디오 장치(102)는 통신 연결(예: Bluetooth, WiFi)을 통해 상호 간에 연동될 수 있고, 사용자에게 최적의 오디오 서비스를 제공하기 위한 셋팅을 필요로 할 수 있다. 예를 들어, 오디오 신호를 출력할 때, 전자 장치(101)는 전자 장치(101) 및 오디오 장치(102) 중 적어도 하나의 장치를 선택할 수 있고, 선택된 장치를 통해, 단독으로 오디오 신호를 출력하거나, 또는 전자 장치(101)와 오디오 장치(102)가 동시에 오디오 신호를 출력할 수 있다. 또한, 외부 오디오 신호를 수신할 때, 전자 장치(101)는 전자 장치(101)의 마이크(예: 제 1 마이크) 및/또는 오디오 장치(102)의 마이크(예: 제 2 마이크) 중 어느 마이크를 사용할지를 결정할 수 있다.The electronic device 101 and the audio device 102 may interwork with each other through a communication connection (eg, Bluetooth, WiFi), and may require settings to provide optimal audio services to users. For example, when outputting an audio signal, the electronic device 101 may select at least one of the electronic device 101 and the audio device 102, output the audio signal alone through the selected device, or Alternatively, the electronic device 101 and the audio device 102 may simultaneously output an audio signal. Also, when receiving an external audio signal, the electronic device 101 selects a microphone (eg, a first microphone) of the electronic device 101 and/or a microphone (eg, a second microphone) of the audio device 102 . You can decide whether to use .

일 실시예에 따르면, 전자 장치(101)는 외부 전자 장치(예: 오디오 장치(102), 주변 전자 장치)와 작동적으로 연결(예: 무선 통신 연결)될 때, 사용자에게 향상된 오디오 서비스를 제공하기 위해, 오디오 모듈(예: 마이크, 스피커)과 관련된 환경 설정을 수행할 수 있다.According to an embodiment, when the electronic device 101 is operatively connected (eg, wireless communication connection) with an external electronic device (eg, the audio device 102 and a peripheral electronic device), an improved audio service is provided to the user. To do this, environment settings related to the audio module (eg, microphone, speaker) may be performed.

도 2는 본 발명의 다양한 실시예에 따른 적어도 하나의 마이크(microphone)가 포함된 전자 장치(예: 도 1의 전자 장치(101), 웨어러블 장치(wearable device), 및/또는 웨어러블 안경(wearable glasses))의 전체 구성도이다.FIG. 2 illustrates an electronic device including at least one microphone according to various embodiments of the present disclosure (eg, the electronic device 101 of FIG. 1 , a wearable device, and/or wearable glasses) )) is the overall configuration diagram.

도 2를 참조하면, 다양한 실시예에서, 전자 장치(101)는 사용자의 머리 부분에 착용되어, 사용자에게 증강 현실 서비스와 관련된 영상을 제공하는 형태로 제작된 전자 장치(101)일 수 있다. 예를 들어, 전자 장치(101)는 안경(glasses), 고글(goggles), 헬멧 및/또는 모자 중 적어도 하나의 형태로 구현될 수 있으나, 이에 한정되지는 않는다.Referring to FIG. 2 , in various embodiments, the electronic device 101 may be an electronic device 101 manufactured in a form worn on a user's head to provide an image related to an augmented reality service to the user. For example, the electronic device 101 may be implemented in the form of at least one of glasses, goggles, a helmet, and/or a hat, but is not limited thereto.

일 실시예에 따르면, 전자 장치(101)는 사용자의 시야각(FoV, field of view)으로 판단되는 영역을 기반으로 적어도 하나의 가상 객체가 겹쳐 보이도록 출력하는 증강 현실 서비스(augmented reality; AR)와 관련된 영상을 제공할 수 있다. 예를 들어, 사용자의 시야각으로 판단되는 영역은 전자 장치(101)를 착용한 사용자가 전자 장치(101)를 통해 인지할 수 있다고 판단되는 영역으로, 전자 장치(101)의 디스플레이 모듈(예: 도 3의 디스플레이 모듈(160))의 전체 또는 적어도 일부를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자의 양안(예: 좌안 및/또는 우안), 각각에 대응하는 복수 개의 투명 부재(예: 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230))를 포함할 수 있다. 복수 개의 투명 부재는 디스플레이 모듈(예: 도 3의 디스플레이 모듈(160))의 적어도 일부를 포함할 수 있다. 예를 들어, 사용자의 좌안에 대응되는 제 1 투명 부재(220)에는 제 1 디스플레이 모듈이 포함되고, 사용자의 우안에 대응되는 제 2 투명 부재(230)에는 제 2 디스플레이 모듈이 포함될 수 있다. 제 1 디스플레이 모듈 및 제 2 디스플레이 모듈은 실질적으로 동일하게 구성되며, 전자 장치(101)의 디스플레이 모듈에 포함될 수 있다.According to an embodiment, the electronic device 101 includes an augmented reality (AR) service that outputs at least one virtual object so that it overlaps based on an area determined by a user's field of view (FoV) and Related images can be provided. For example, an area determined by the user's viewing angle is an area determined to be recognizable by a user wearing the electronic device 101 through the electronic device 101, and a display module (eg, a drawing) of the electronic device 101. It may include all or at least part of the display module 160 of 3). According to an embodiment, the electronic device 101 includes a plurality of transparent members (eg, the first transparent member 220 and/or the second transparent member) corresponding to both eyes (eg, left and/or right eyes) of the user. (230)). The plurality of transparent members may include at least a portion of a display module (eg, the display module 160 of FIG. 3 ). For example, the first display module may be included in the first transparent member 220 corresponding to the user's left eye, and the second display module may be included in the second transparent member 230 corresponding to the user's right eye. The first display module and the second display module have substantially the same configuration and may be included in the display module of the electronic device 101 .

도 2를 참조하면, 전자 장치(101)는 적어도 하나의 투명 부재(예: 제 1 투명 부재(220), 제 2 투명 부재(230)), 적어도 하나의 디스플레이 모듈(예: 제 1 디스플레이 모듈(214-1), 제 2 디스플레이 모듈(214-2)), 카메라 모듈(예: 촬영용 카메라(213), 동공 추적 카메라(212), 인식용 카메라(211-1, 211-2), 도 3의 카메라 모듈(180)), 오디오 모듈(예: 스피커, 마이크, 도 3의 오디오 모듈(170)), 제 1 지지부(221), 및/또는 제 2 지지부(222)를 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 사용자의 시야각(FoV, field of view)에 대응되는 영상을 촬영하거나 및/또는 객체와의 거리를 측정하기 위한 촬영용 카메라(213), 사용자가 바라보는 시선의 방향을 확인하기 위한 동공 추적 카메라(eye tracking camera)(212), 및/또는 일정 공간을 인식하기 위한 인식용 카메라(gesture camera)(211-1, 211-2)를 포함할 수 있다. 일 실시예에 따르면, 제 1 지지부(221) 및/또는 제 2 지지부(222)는 적어도 부분적으로 인쇄 회로 기판(PCB, printed circuit board)(231-1, 231-2), 스피커(speaker)(232-1, 232-2), 마이크(microphone)(241-1, 241-2, 241-3, 241-4) 및/또는 배터리(233-1, 233-2)를 포함할 수 있다.Referring to FIG. 2 , the electronic device 101 includes at least one transparent member (eg, a first transparent member 220 and a second transparent member 230), and at least one display module (eg, a first display module ( 214-1), a second display module 214-2), a camera module (eg, a photographing camera 213, a pupil tracking camera 212, a recognition camera 211-1, 211-2), in FIG. It may include a camera module 180), an audio module (eg, a speaker, a microphone, the audio module 170 of FIG. 3), a first support part 221, and/or a second support part 222. According to an embodiment, the camera module 180 includes a photographing camera 213 for capturing an image corresponding to a user's field of view (FoV) and/or measuring a distance to an object, An eye tracking camera 212 for checking the direction of gaze and/or gesture cameras 211-1 and 211-2 for recognizing a certain space may be included. According to one embodiment, the first support part 221 and / or the second support part 222 is at least partially printed circuit board (PCB, printed circuit board) (231-1, 231-2), speaker (speaker) 232-1 and 232-2, microphones 241-1, 241-2, 241-3 and 241-4, and/or batteries 233-1 and 233-2.

도 2를 참조하면, 전자 장치(101)는 본체부(223), 지지부(예: 제 1 지지부(221), 및/또는 제 2 지지부(222)), 및/또는 힌지부(예: 제1 힌지부(240-1), 제2 힌지부(240-2))로 구성될 수 있고, 본체부(223)와 지지부(221, 222)는 힌지부(240-1, 240-2)를 통해 작동적으로 연결될 수 있다. 본체부(223)는 제 1 투명 부재(220), 제 2 투명 부재(230) 및/또는 적어도 하나의 카메라(예: 인식용 카메라(211-1, 211-2), 동공 추적 카메라(212), 촬영용 카메라(213))를 포함할 수 있다. 본체부(223)는 사용자의 코에 적어도 부분적으로 거치될 수 있고, 디스플레이 모듈(예: 도 3의 디스플레이 모듈(160)) 및 카메라 모듈(예: 도 3의 카메라 모듈(180))을 적어도 부분적으로 포함할 수 있다. 지지부(221, 222)는 사용자의 귀에 거치되는 지지 부재를 포함하고, 왼쪽 귀에 거치되는 제 1 지지부(221) 및/또는 오른쪽 귀에 거치되는 제 2 지지부(222)를 포함할 수 있다. 일 실시예에 따르면, 제 1 지지부(221) 또는 제 2 지지부(222)는 적어도 부분적으로 배터리(예: 제 1 배터리(233-1), 및/또는 제 2 배터리(233-2))를 포함할 수 있다. 배터리(233-1, 233-2)는 전력 관리 모듈과 전기적으로 연결될 수 있다. 일 실시예에 따르면, 제 1 배터리(233-1)는 제 1 배터리(233-1)로부터 방전되는 전류를 적어도 부분적으로 제어하기 위한 제 1 전류 제어 모듈에 전기적으로 연결될 수 있다. 제 2 배터리(233-2)는 제 2 배터리(233-2)로부터 방전되는 전류를 적어도 부분적으로 제어하기 위한 제 2 전류 제어 모듈에 전기적으로 연결될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 복수 개의 배터리(233-1, 233-2), 각각에 대응되는 제 1 전류 제어 모듈 및/또는 제 2 전류 제어 모듈을 포함할 수 있다. 예를 들어, 복수 개의 전류 제어 모듈은 복수 개의 인쇄 회로 기판(231-1, 231-2)에 개별적으로 배치될 수 있고, 복수 개의 배터리로부터 방전되는 전류를 적어도 부분적으로 제어할 수 있다.Referring to FIG. 2 , the electronic device 101 includes a body part 223, a support part (eg, a first support part 221 and/or a second support part 222), and/or a hinge part (eg, a first support part 221 ). The hinge part 240-1 and the second hinge part 240-2) may be configured, and the body part 223 and the support parts 221 and 222 are connected through the hinge parts 240-1 and 240-2. can be operatively linked. The main body 223 includes a first transparent member 220, a second transparent member 230, and/or at least one camera (eg, recognition cameras 211-1 and 211-2) and a pupil tracking camera 212. , a photographing camera 213). The body portion 223 may be mounted at least partially on the user's nose, and at least partially include a display module (eg, the display module 160 of FIG. 3 ) and a camera module (eg, the camera module 180 of FIG. 3 ). can be included as The support parts 221 and 222 include a support member mounted on the user's ear, and may include a first support part 221 mounted on the left ear and/or a second support part 222 mounted on the right ear. According to one embodiment, the first support 221 or the second support 222 at least partially includes a battery (eg, the first battery 233-1 and/or the second battery 233-2). can do. The batteries 233-1 and 233-2 may be electrically connected to the power management module. According to one embodiment, the first battery 233-1 may be electrically connected to a first current control module for at least partially controlling the current discharged from the first battery 233-1. The second battery 233-2 may be electrically connected to a second current control module for at least partially controlling the current discharged from the second battery 233-2. According to an embodiment, the electronic device 101 may include a plurality of batteries 233-1 and 233-2, a first current control module and/or a second current control module corresponding to each. For example, the plurality of current control modules may be individually disposed on the plurality of printed circuit boards 231-1 and 231-2, and may at least partially control the current discharged from the plurality of batteries.

일 실시예에 따르면, 제 1 힌지부(240-1)는 제 1 지지부(221)가 본체부(223)에 대해 회전 가능하도록 제 1 지지부(221)와 본체부(223)를 연결할 수 있다. 제 2 힌지부(240-2)는 제 2 지지부(222)가 본체부(223)에 대해 회전 가능하도록 제 2 지지부(222)와 본체부(223)를 연결할 수 있다. 다른 실시예에 따르면, 전자 장치(101)의 힌지부(240-1, 240-2)는 생략될 수도 있으며, 본체부(223)와 지지부(221, 222)는 직접적으로 연결될 수도 있다.According to one embodiment, the first hinge part 240 - 1 may connect the first support part 221 and the body part 223 such that the first support part 221 is rotatable with respect to the body part 223 . The second hinge part 240 - 2 may connect the second support part 222 and the body part 223 such that the second support part 222 is rotatable with respect to the body part 223 . According to another embodiment, the hinge parts 240-1 and 240-2 of the electronic device 101 may be omitted, and the body part 223 and the support parts 221 and 222 may be directly connected.

도 2의 전자 장치(101)는 디스플레이 모듈(214-1, 214-2)에서 생성된 광이 투명 부재(예: 제 1 투명 부재(220), 제 2 투명 부재(230))에 투영되어 정보를 표시할 수 있다. 예를 들어, 제1 디스플레이 모듈(214-1)에서 생성된 광은 제1 투명 부재(220)에 투영될 수 있고, 제2 디스플레이 모듈(214-2)에서 생성된 광은 제2 투명 부재(230)에 투영될 수 있다. 적어도 일부가 투명한 소재로 형성된 투명 부재(220, 230)에 가상 객체를 표시할 수 있는 광이 투영됨으로써, 사용자는 가상 객체가 중첩된 현실을 인지할 수 있다. 전자 장치(101)의 디스플레이 모듈(160)은 디스플레이 모듈(214-1, 214-2) 및 투명 부재(220, 230)를 포함하는 것으로 이해될 수 있다. 다만, 본 발명에서 설명되는 전자 장치(101)가 앞서 설명한 방식을 통해 정보를 표시하는 것으로 한정되는 것은 아니다. 전자 장치(101)에 포함될 수 있는 디스플레이 모듈은 다양한 방식의 정보 표시 방법을 포함하는 디스플레이 모듈로 변경될 수 있다. 예를 들어, 투명 부재(220, 230) 자체에 투명 소재의 발광 소자를 포함하는 디스플레이 패널이 내장된 경우에는 별도의 디스플레이 모듈(예: 제1 디스플레이 모듈(214-1), 제2 디스플레이 모듈(214-2))없이 정보를 표시할 수도 있다. 이 경우, 디스플레이 모듈(160)은 투명 부재(220, 230)와 투명 부재(220, 230)를 포함되는 디스플레이 패널을 의미할 수 있다.In the electronic device 101 of FIG. 2 , light generated by the display modules 214-1 and 214-2 is projected onto a transparent member (eg, the first transparent member 220 and the second transparent member 230) to provide information can be displayed. For example, light generated by the first display module 214-1 may be projected onto the first transparent member 220, and light generated by the second display module 214-2 may be projected onto the second transparent member ( 230) can be projected. As light capable of displaying virtual objects is projected onto the transparent members 220 and 230 at least partially formed of a transparent material, the user can perceive a reality in which the virtual objects overlap. The display module 160 of the electronic device 101 may be understood to include display modules 214-1 and 214-2 and transparent members 220 and 230. However, the electronic device 101 described in the present invention is not limited to displaying information through the method described above. A display module that may be included in the electronic device 101 may be changed to a display module including various information display methods. For example, when a display panel including a light emitting element made of a transparent material is embedded in the transparent members 220 and 230, separate display modules (eg, the first display module 214-1, the second display module ( Information may be displayed without 214-2)). In this case, the display module 160 may mean a display panel including the transparent members 220 and 230 and the transparent members 220 and 230 .

일 실시예에 따르면, 디스플레이 모듈(214-1, 214-2)을 통해 출력되는 가상 객체는 전자 장치(101)에서 실행되는 어플리케이션 프로그램과 관련된 정보 및/또는 사용자가 투명 부재(220, 230)를 통해 인지하는 실제 공간에 위치한 외부 객체와 관련된 정보를 포함할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다. 사용자가 투명 부재(220, 230)를 통해 인지하는 실제 공간을 이하에서는 사용자의 시야각(field of view; FoV) 영역으로 호칭하기로 한다. 예를 들어, 전자 장치(200)는 전자 장치(200)의 카메라 모듈(예: 촬영용 카메라 모듈(213))을 통해 획득한 실제 공간과 관련된 영상 정보에서 사용자의 시야각(FoV)으로 판단되는 영역의 적어도 일부에 포함된 외부 객체를 확인할 수 있다. 전자 장치(200)는 확인한 외부 객체와 관련된 가상 객체를 디스플레이 모듈(214-1, 214-2)을 통해 출력할 수 있다.According to an embodiment, the virtual object output through the display modules 214-1 and 214-2 is information related to an application program running on the electronic device 101 and/or a user's view of the transparent members 220 and 230. It may include information related to an external object located in a real space recognized through External objects may include objects existing in a real space. A real space perceived by the user through the transparent members 220 and 230 will be referred to as a field of view (FoV) area of the user. For example, the electronic device 200 determines the area determined by the user's field of view (FoV) in image information related to the real space acquired through a camera module (eg, the camera module 213 for photographing) of the electronic device 200. It is possible to check external objects included in at least some of them. The electronic device 200 may output a virtual object related to the checked external object through the display modules 214-1 and 214-2.

일 실시예에 따르면, 디스플레이 모듈(160)은 제 1 투명 부재(220) 및 제 2 투명 부재(230)를 포함하고, 상기 제 1 투명 부재(220) 및 상기 제 2 투명 부재(230)를 통해 사용자에게 시각적인 정보를 제공할 수 있다. 전자 장치(101)는 좌안에 대응하는 제 1 투명 부재(220) 및/또는 우안에 대응하는 제 2 투명 부재(230)를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 디스플레이 패널, 보호 패널(예: 보호 레이어(layer)) 및/또는 렌즈를 포함할 수 있다. 예를 들어, 디스플레이 패널은 유리 또는 플라스틱과 같은 투명한 재질을 포함할 수 있다.According to one embodiment, the display module 160 includes a first transparent member 220 and a second transparent member 230, and through the first transparent member 220 and the second transparent member 230 Visual information can be provided to the user. The electronic device 101 may include a first transparent member 220 corresponding to the left eye and/or a second transparent member 230 corresponding to the right eye. According to an embodiment, the display module 160 may include a display panel, a protection panel (eg, a protection layer), and/or a lens. For example, the display panel may include a transparent material such as glass or plastic.

일 실시예에 따르면, 투명 부재(예: 제 1 투명 부재(220) 및 제 2 투명 부재(230))는 집광 렌즈(미도시) 및/또는 도파관(미도시)(예: 가상 객체의 표시를 위한 도파관(예: RGB 도파관), 및/또는, IR(infrared ray, 적외선) 광의 전달을 위한 도파관(예: IR 도파관)을 포함하고 가상 객체가 표시되는 표시 영역(예: 표시 영역(220-1) 및/또는 표시 영역(230-1))을 포함할 수 있다. 예를 들어, 표시 영역(220-1)은 제1 투명 부재(220)에 부분적으로 위치할 수 있고, 표시 영역(230-1)은 제2 투명 부재(230)에 부분적으로 위치할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(214-1, 214-2)에서 방출된 광은 투명 부재(220, 230)에 포함된 표시 영역(220-1, 230-1)의 일면으로 입사될 수 있다. 투명 부재(220, 230)에 포함된 표시 영역(220-1, 230-1)의 일면으로 입사된 광은 표시 영역(220-1, 230-1)내에 위치한 도파관(미도시)을 통해 사용자에게 전달될 수 있다. 예를 들어, 표시 영역(220-1, 230-1)에 포함된 도파관은 글래스, 플라스틱, 또는 폴리머로 제작될 수 있으며, 내부 또는 외부의 일표면에 형성된 나노 패턴을 포함할 수 있다. 예를 들어, 나노 패턴은 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에 따르면, 투명 부재(220, 230)에 포함된 표시 영역(220-1, 230-1)의 일면으로 입사된 광은 나노 패턴에 의해 도파관 내부에서 전파 또는 반사되어 사용자에게 전달될 수 있다. 일 실시예에 따르면, 표시 영역(220-1, 230-1)에 포함된 도파관은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 표시 영역(220-1, 230-1)에 포함된 도파관은 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이 모듈(214-1, 214-2)로부터 방출된 광을 사용자의 눈동자로 유도할 수 있다.According to an embodiment, the transparent member (eg, the first transparent member 220 and the second transparent member 230) may be a condensing lens (not shown) and/or a waveguide (not shown) (eg, display of a virtual object). A display area including a waveguide (eg, RGB waveguide) and/or a waveguide (eg, IR waveguide) for transmitting IR (infrared ray) light and displaying virtual objects (eg, display area 220-1 ) and/or the display area 230-1. For example, the display area 220-1 may be partially positioned on the first transparent member 220, and the display area 230-1 1) may be partially positioned on the second transparent member 230. According to an embodiment, the light emitted from the display modules 214-1 and 214-2 is included in the transparent members 220 and 230. It may be incident on one side of the display areas 220-1 and 230-1 Light incident on one side of the display areas 220-1 and 230-1 included in the transparent members 220 and 230 may be incident on the display area ( It may be transmitted to the user through waveguides (not shown) located in the display areas 220-1 and 230-1 For example, the waveguides included in the display areas 220-1 and 230-1 may be glass, plastic, or polymer. In an embodiment, the nanopattern may include a polygonal or curved grating structure. According to this, light incident on one surface of the display areas 220-1 or 230-1 included in the transparent members 220 or 230 may be propagated or reflected inside the waveguide by the nano-pattern to be transmitted to the user. According to an example, the waveguides included in the display areas 220-1 and 230-1 may include at least one diffractive element (eg, a diffractive optical element (DOE) or a holographic optical element (HOE)) or a reflective element (eg, a reflective mirror). . 214-2) may guide the light emitted from the pupil of the user.

일 실시예에 따르면, 디스플레이 모듈(160)에 포함된 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230)는 제 1 표시 영역 및 제 2 표시 영역으로 구분될 수 있다. 예를 들어, 제 1 표시 영역은 사용자에게 증강 현실 서비스가 제공되는 영역으로 정의될 수 있고, 표시 영역(220-1, 230-1)을 포함할 수 있다. 제 2 표시 영역은 적어도 하나의 투명 부재(220, 230)에 포함되고, 상기 제 1 표시 영역(예: 표시 영역(220-1, 230-1))을 제외한 나머지 영역으로 정의될 수 있다. 일 실시예에 따르면, 사용자는 제 1 표시 영역 및 제 2 표시 영역을 기반으로, 증강 현실 서비스에 의해 생성된 가상 객체 및 실제 객체를 볼 수 있다.According to an embodiment, the first transparent member 220 and/or the second transparent member 230 included in the display module 160 may be divided into a first display area and a second display area. For example, the first display area may be defined as an area where an augmented reality service is provided to a user, and may include display areas 220-1 and 230-1. The second display area may be included in at least one transparent member 220 or 230 and may be defined as an area other than the first display area (eg, display areas 220 - 1 and 230 - 1 ). According to an embodiment, a user may view a virtual object and a real object generated by an augmented reality service based on the first display area and the second display area.

일 실시예에 따르면, 전자 장치(101)는 제 1 지지부(221)에 포함된 제 1 배터리(233-1) 및 제 2 지지부(222)에 포함된 제 2 배터리(233-2)를 사용하여, 제 1 표시 영역(예: 표시 영역(220-1, 230-1))에 대한 증강 현실 서비스를 제공할 수 있다. 전자 장치(101)는 제 1 배터리(233-1) 및 제 2 배터리(233-2)로부터 방전되는 전류량을 통합하여, 증강 현실 서비스를 제공할 수 있다. 다른 실시예에 따르면, 전자 장치(101)는 제 1 배터리(233-1)로부터 방전되는 제 1 전류 및 제 2 배터리(233-2)로부터 방전되는 제 2 전류를 각각 독립적으로 운용할 수도 있다. 예를 들어, 전자 장치(101)는 개별적으로 제 1 전류를 기반으로 좌측 표시 영역(220-1)에 대한 증강 현실 서비스를 제공하고, 제 2 전류를 기반으로 우측 표시 영역(230-1)에 대한 증강 현실 서비스를 제공할 수도 있다.According to an embodiment, the electronic device 101 uses the first battery 233-1 included in the first support 221 and the second battery 233-2 included in the second support 222. , Augmented reality service for the first display area (eg, the display areas 220-1 and 230-1) may be provided. The electronic device 101 may provide an augmented reality service by integrating the amount of current discharged from the first battery 233-1 and the second battery 233-2. According to another embodiment, the electronic device 101 may independently operate the first current discharged from the first battery 233-1 and the second current discharged from the second battery 233-2. For example, the electronic device 101 individually provides an augmented reality service to the left display area 220-1 based on the first current and to the right display area 230-1 based on the second current. Augmented reality services may be provided.

일 실시예에 따르면, 도파관(waveguide)은 제 1 표시 영역을 기반으로, 증강 현실 서비스에 따른 가상 객체를 표시하기 위한 도파관(예: RGB 도파관) 및 제 2 표시 영역을 기반으로, IR광(예: 적외선)을 전달하기 위한 도파관(예: IR 도파관)으로 구분될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제 1 표시 영역에 배치되는 도파관을 통해, 사용자에게 가상 객체를 제공할 수 있다. 예를 들어, 제 1 표시 영역은 가상 객체가 표시되는 영역일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제 2 표시 영역에 배치되는 도파관을 통해, 사용자의 시선을 추적할 수 있다. 예를 들어, 제 2 표시 영역은 가상 객체가 표시되지 않는 영역으로, 실제 객체가 표시될 수 있다. According to an embodiment, a waveguide (eg, an RGB waveguide) for displaying a virtual object according to an augmented reality service based on a first display area and an IR light (eg, an IR light) based on a second display area. : Infrared) can be divided into waveguides for transmitting (e.g. IR waveguides). According to an embodiment, the electronic device 101 may provide a virtual object to the user through a waveguide disposed in the first display area. For example, the first display area may be an area where virtual objects are displayed. According to an embodiment, the electronic device 101 may track the user's gaze through the waveguide disposed in the second display area. For example, the second display area is an area in which virtual objects are not displayed, and real objects may be displayed.

일 실시예에 따르면, 제 1 표시 영역(예: 표시 영역(220-1, 230-1))은 투명 부재(220, 230)의 적어도 일부에 위치하는 도파관(예: RGB 도파관)을 통해, 방출된 광을 기반으로, 증강 현실 서비스와 관련된 적어도 하나의 객체가 표시되는 영역일 수 있다. According to an embodiment, the first display area (eg, the display areas 220-1 and 230-1) emits light through a waveguide (eg, an RGB waveguide) positioned on at least a part of the transparent members 220 and 230. It may be an area where at least one object related to the augmented reality service is displayed based on the generated light.

일 실시예에 따르면, 광원 모듈(미도시)로부터 생성된 광이 제 2 표시 영역에 위치하는 도파관(예: IR 도파관)에 형성된 패턴에 의해 반사되어, 사용자의 눈동자에서 반사되더라도, 실질적으로 사용자는 상기 방출된 광을 감지하지 못할 수 있다. 광원 모듈(310)로부터 방출된 광(예: 적외선, IR 광)은 제 2 표시 영역에 배치된 도파관(미도시)을 기반으로, 사용자의 눈동자에 전달되므로, 사용자는 상기 광이 전달되는 상황을 감지할 수 없다. 일 실시예에 따르면, 전자 장치(101)는 사용자의 눈동자로 전달된 광을 기반으로, 사용자의 눈동자의 움직임(예: 시선)을 감지할 수 있다.According to an embodiment, even if the light generated from the light source module (not shown) is reflected by a pattern formed on a waveguide (eg, an IR waveguide) located in the second display area and reflected from the user's pupil, substantially the user The emitted light may not be detected. Since the light emitted from the light source module 310 (eg, infrared light, IR light) is transmitted to the user's pupil based on a waveguide (not shown) disposed in the second display area, the user can monitor the transmission of the light. Undetectable. According to an embodiment, the electronic device 101 may detect a movement (eg, gaze) of the user's pupil based on light transmitted to the user's pupil.

다른 실시예에 따르면, 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230)는 투명 소자로 구성될 수 있고, 사용자가 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230)를 통해, 후면의 실제 공간을 인지할 수 있다. 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230)는 사용자에게 실제 공간의 적어도 일부에 가상 객체가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역(예: 표시 영역(220-1, 230-1))에 가상 객체를 표시할 수 있다. 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230)는 사용자의 양안(예: 좌안(left eye) 및/또는 우안(right eye)), 각각에 대응하여, 복수의 패널을 포함할 수 있다. 다른 실시예에 따르면, 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230)가 투명 uLED인 경우 투명 부재 내에 도파관 구성이 생략될 수도 있다. 일 실시예에 따르면, 전자 장치(101)는 VR(virtual reality) 장치(예: 가상 현실 장치)를 포함할 수 있다. According to another embodiment, the first transparent member 220 and/or the second transparent member 230 may be composed of transparent elements, and a user may use the first transparent member 220 and/or the second transparent member 230 ), it is possible to recognize the real space of the rear. The first transparent member 220 and/or the second transparent member 230 may be applied to at least a portion of the transparent element (eg, the display areas 220-1 and 230) so that the user sees that the virtual object is added to at least a portion of the real space. -1)) can display virtual objects. The first transparent member 220 and/or the second transparent member 230 may include a plurality of panels corresponding to both eyes (eg, left eye and/or right eye) of the user. can According to another embodiment, when the first transparent member 220 and/or the second transparent member 230 are transparent uLEDs, the waveguide configuration in the transparent member may be omitted. According to an embodiment, the electronic device 101 may include a virtual reality (VR) device (eg, a virtual reality device).

도 2를 참조하면, 제 1 지지부(221) 및/또는 제 2 지지부(222)는 전자 장치(101)의 각 구성요소에 전기적 신호를 전달하기 위한 인쇄 회로 기판(231-1, 231-2), 오디오 신호를 출력하기 위한 스피커(예: 제 1 스피커(232-1), 제 2 스피커(232-2)), 배터리(233-1, 233-2) 및/또는 전자 장치(101)의 본체부(223)에 적어도 부분적으로 결합하기 위한 힌지부(240-1, 240-2)를 포함할 수 있다. 일 실시예에 따르면, 스피커(232-1, 232-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제 1 스피커(232-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제 2 스피커(232-2)를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 복수 개의 배터리(예: 제 1 배터리(233-1) 및/또는 제 2 배터리(233-2))가 구비될 수 있고, 전력 관리 모듈을 통해, 인쇄 회로 기판(예: 제 1 인쇄 회로 기판(231-1) 및/또는 제 2 인쇄 회로 기판(231-2))에 전력을 공급할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제 1 배터리(233-1)로부터 방전되는 제 1 전류를 제어하기 위한 제 1 전류 제어 모듈 및/또는 제 2 배터리(233-2)로부터 방전되는 제 2 전류를 제어하기 위한 제 2 전류 제어 모듈을 포함할 수 있다. 예를 들어, 제 1 전류 제어 모듈은 제 1 인쇄 회로 기판(231-1)에 배치될 수 있고, 제 1 배터리(233-1)에 전기적으로 연결될 수 있다. 제 2 전류 제어 모듈은 제 2 인쇄 회로 기판(231-2)에 배치될 수 있고, 제 2 배터리(233-2)에 전기적으로 연결될 수 있다.Referring to FIG. 2 , the first support part 221 and/or the second support part 222 are printed circuit boards 231-1 and 231-2 for transmitting electrical signals to each component of the electronic device 101. , speakers for outputting audio signals (eg, the first speaker 232-1 and the second speaker 232-2), batteries 233-1 and 233-2, and/or the body of the electronic device 101 It may include hinge parts 240-1 and 240-2 for at least partially coupling to the part 223. According to an embodiment, the speakers 232-1 and 232-2 include a first speaker 232-1 for transmitting audio signals to the user's left ear and a second speaker (232-1) for transmitting audio signals to the user's right ear ( 232-2) may be included. According to an embodiment, the electronic device 101 may include a plurality of batteries (eg, the first battery 233-1 and/or the second battery 233-2), and through a power management module, Power may be supplied to the printed circuit board (eg, the first printed circuit board 231-1 and/or the second printed circuit board 231-2). According to an embodiment, the electronic device 101 may include a first current control module for controlling the first current discharged from the first battery 233-1 and/or the first current discharged from the second battery 233-2. 2 may include a second current control module for controlling the current. For example, the first current control module may be disposed on the first printed circuit board 231-1 and electrically connected to the first battery 233-1. The second current control module may be disposed on the second printed circuit board 231-2 and electrically connected to the second battery 233-2.

도 2를 참조하면, 전자 장치(101)는 사용자의 음성 및 주변 소리를 수신하기 위한 적어도 하나의 마이크(microphone)(241-1, 241-2, 241-3, 241-4)를 포함할 수 있다. 예를 들어, 마이크(241-1, 241-2, 241-3, 241-4)는 도 3의 오디오 모듈(170)에 포함될 수 있다. 마이크는 제 1 지지부(221)에 포함된 제 1 마이크(241-1, 241-2) 및 제2 지지부(222)에 포함된 제 2 마이크(241-3, 241-4)로 구분될 수 있다. Referring to FIG. 2 , the electronic device 101 may include at least one microphone 241-1, 241-2, 241-3, and 241-4 for receiving the user's voice and ambient sound. there is. For example, the microphones 241-1, 241-2, 241-3, and 241-4 may be included in the audio module 170 of FIG. The microphones may be divided into first microphones 241-1 and 241-2 included in the first support part 221 and second microphones 241-3 and 241-4 included in the second support part 222. .

일 실시예에 따르면, 전자 장치(101)는 주변 밝기를 확인하기 위한 조도 센서(242-1, 242-2)를 포함할 수 있다. 전자 장치(101)는 오브젝트(예: 주변에 위치한 피사체)에 대한 근접 여부를 감지하기 위한 근접 센서를 포함할 수 있다. 다른 예를 들어, 전자 장치(101)는 오브젝트와의 거리 감지가 가능한 카메라 모듈(예: 촬영용 카메라(213))을 근접 센서로 활용할 수도 있다. 도시하지 않았지만, 전자 장치(101)는 사용자의 머리 움직임을 감지하기 위한 적어도 하나의 모션 센서(예: 자이로 센서 및/또는 가속도 센서)를 포함할 수 있다. 전자 장치(101)는 적어도 하나의 모션 센서를 사용하여, 머리의 이동 방향 및/또는 움직임을 확인할 수 있다.According to an embodiment, the electronic device 101 may include illuminance sensors 242-1 and 242-2 for checking ambient brightness. The electronic device 101 may include a proximity sensor for detecting proximity to an object (eg, a nearby subject). For another example, the electronic device 101 may utilize a camera module capable of detecting a distance to an object (eg, the photographing camera 213) as a proximity sensor. Although not shown, the electronic device 101 may include at least one motion sensor (eg, a gyro sensor and/or an acceleration sensor) for detecting a user's head movement. The electronic device 101 may check the movement direction and/or movement of the head using at least one motion sensor.

도 3은 본 발명의 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 블록도이다.3 is a block diagram of an electronic device and an external electronic device according to various embodiments of the present disclosure.

도 3의 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 3의 외부 전자 장치(301)는 도 1의 오디오 장치(102)와 적어도 일부 유사하거나, 오디오 장치(102)의 다른 실시예들을 더 포함할 수 있다.The electronic device of FIG. 3 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 (eg, an AR device or a wearable electronic device) of FIG. Examples may include more. The external electronic device 301 of FIG. 3 is at least partially similar to the audio device 102 of FIG. 1 , or may further include other embodiments of the audio device 102 .

일 실시예에 따르면, 전자 장치(101)는 사용자의 머리 부분에 착용되어, 증강 현실 서비스를 제공하는 AR(augmented reality) 전자 장치를 포함할 수 있다. 예를 들어, 전자 장치(101)는 안경(glasses), 고글(goggles), 헬멧 및/또는 모자 중 적어도 하나의 형태로 구성될 수 있으나, 이에 한정되지는 않는다. 일 실시예에 따르면, 외부 전자 장치(301)는 인체의 일부(예: 귀)에 착용되는 웨어러블 전자 장치를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 외부 전자 장치(301)가 인체의 일부(예: 귀)에 착용되는 상황에 응답하여, 외부 전자 장치(301)와 작동적으로 연결(예: 무선 통신 연결)될 수 있고, 외부 전자 장치(301)를 적어도 부분적으로 제어할 수 있다. 예를 들어, 외부 전자 장치(301)의 센서 모듈(376)(예: 모션 센서(377), 근접 센서)을 통해, 외부 전자 장치(301)가 인체의 일부에 착용이 완료되었음이 확인되면, 전자 장치(101)는 오디오 모듈(170)에 포함된 제 1 마이크(171)(예: 제 1-1 마이크(171-1) 및/또는 제 1-2 마이크(171-2)) 및 착용이 완료된 외부 전자 장치(301)의 오디오 모듈(370)에 포함된 제 2 마이크(371)(예: 제 2-1 마이크(371-1) 및/또는 제 2-2 마이크(371-2)) 중 적어도 하나의 마이크를 선택할 수 있다. 예를 들어, 전자 장치(101)는 오디오 신호를 생성하는 오브젝트의 위치를 기준으로, 상대적으로 가깝게 배치된, 적어도 하나의 마이크를 선택할 수 있다. 전자 장치(101)는 선택된 적어도 하나의 마이크를 기반으로 빔포밍 동작을 수행할 수 있다. 예를 들어, 빔포밍 동작은 전자 장치(101)에 의해 선택된 적어도 하나의 마이크를 이용하여 오디오 신호를 수신하는 경우, 수신되는 오디오 채널 및/또는, 오디오 신호가 발생한 방향(예: 오브젝트(피사체)가 위치한 방향, 오브젝트의 위치)에 가중치를 부여하는 동작을 포함할 수 있다. 전자 장치(101)는 빔포밍 동작의 수행 시, 선택된 적어도 하나의 마이크의 하드웨어 설정을 변경하거나, 및/또는, 소프트웨어(예: 명령어)를 이용하여 선택된 적어도 하나의 마이크의 설정 정보를 변경할 수 있다. 빔포밍 동작의 수행 시, 전자 장치(101)는 선택된 적어도 하나의 마이크를 사용하여, 특정 채널 및/또는 특정 방향에 대응되는 오디오 신호를 획득할 수 있다. 전자 장치(101)는 빔포밍 동작에 따른 향상된 오디오 서비스를 사용자에게 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 빔포밍 동작에 따른, 적어도 하나의 마이크의 설정 정보(예: 마이크에 대한 오디오 수신 gain값)를 변경할 수 있고, 상기 설정 정보가 변경된 적어도 하나의 마이크를 사용하여, 외부의 오디오 신호(예: 오브젝트(피사체)로부터 생성된 오디오 신호)를 획득할 수 있다.According to an embodiment, the electronic device 101 may include an augmented reality (AR) electronic device that is worn on a user's head and provides an augmented reality service. For example, the electronic device 101 may be configured in the form of at least one of glasses, goggles, a helmet, and/or a hat, but is not limited thereto. According to an embodiment, the external electronic device 301 may include a wearable electronic device worn on a part of the human body (eg, an ear). According to an embodiment, the electronic device 101 operably connects (eg, wirelessly) with the external electronic device 301 in response to a situation in which the external electronic device 301 is worn on a part of the human body (eg, an ear). communication connection) and at least partially control the external electronic device 301 . For example, when it is confirmed through the sensor module 376 (eg, motion sensor 377, proximity sensor) of the external electronic device 301 that the external electronic device 301 is worn on a part of the human body, The electronic device 101 includes a first microphone 171 included in the audio module 170 (eg, a first-first microphone 171-1 and/or a first-second microphone 171-2) and wearable Of the second microphone 371 (eg, the 2-1 microphone 371-1 and/or the 2-2 microphone 371-2) included in the audio module 370 of the completed external electronic device 301 At least one microphone can be selected. For example, the electronic device 101 may select at least one microphone disposed relatively close to the position of an object generating an audio signal. The electronic device 101 may perform a beamforming operation based on at least one selected microphone. For example, the beamforming operation is performed when an audio signal is received using at least one microphone selected by the electronic device 101, the received audio channel and/or the direction in which the audio signal is generated (eg, object (subject)). It may include an operation of assigning a weight to the direction in which the object is located, the location of the object). When performing a beamforming operation, the electronic device 101 may change hardware settings of at least one selected microphone and/or change setting information of at least one selected microphone using software (eg, a command). . When performing the beamforming operation, the electronic device 101 may obtain an audio signal corresponding to a specific channel and/or a specific direction using at least one selected microphone. The electronic device 101 may provide an enhanced audio service according to a beamforming operation to a user. According to an embodiment, the electronic device 101 may change setting information (eg, an audio reception gain value for the microphone) of at least one microphone according to a beamforming operation, and the at least one microphone having the changed setting information An external audio signal (eg, an audio signal generated from an object (subject)) can be obtained by using .

일 실시예에 따르면, 전자 장치(101)는 복수 개의 마이크들(예: 전자 장치(101)의 제 1 마이크(171)(예: 제 1-1 마이크(171-1) 및/또는 제 1-2 마이크(171-2)) 및/또는 외부 전자 장치(301)의 제 2 마이크(371)(예: 제 2-1 마이크(371-1) 및/또는 제 2-2 마이크(371-2)) 중에서, 빔포밍 동작에 따른 적어도 하나의 마이크를 선별할 수 있다. 전자 장치(101)는 상기 선별된 적어도 하나의 마이크에 대한 설정 정보를 변경할 수 있고, 상기 설정 정보가 변경된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자에게 향상된 오디오 서비스를 제공하기 위해 적어도 하나의 마이크를 선별할 수 있고, 선별된 적어도 하나의 마이크를 사용하여, 오디오 신호를 획득할 수 있다. 예를 들어, 오디오 서비스는 획득된 오디오 신호를 처리하여 미디어 데이터로 변환하고, 변환된 미디어 데이터(예: 녹음 및/또는 통화를 위한 음성 데이터)를 메모리(130)에 적어도 일시적으로 저장하는 동작을 포함할 수 있다.According to an embodiment, the electronic device 101 includes a plurality of microphones (eg, the first microphone 171 of the electronic device 101 (eg, the 1-1 microphone 171-1) and/or the 1- 2 microphone 171-2) and/or the second microphone 371 of the external electronic device 301 (eg, the 2-1 microphone 371-1 and/or the 2-2 microphone 371-2) ), at least one microphone may be selected according to the beamforming operation The electronic device 101 may change setting information for the selected at least one microphone, and select at least one microphone having the changed setting information. According to an embodiment, the electronic device 101 may select at least one microphone to provide an improved audio service to the user, and use the selected at least one microphone. For example, the audio service processes the obtained audio signal and converts it into media data, and stores the converted media data (eg, voice data for recording and/or communication) in the memory 130. ) at least temporarily.

도 3을 참조하면, 전자 장치(101)는 프로세서(120), 메모리(130), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 카메라 모듈(180), 및/또는 통신 모듈(190)을 포함할 수 있다. 외부 전자 장치(301)는 프로세서(320), 오디오 모듈(370), 센서 모듈(376), 및/또는 통신 모듈(390)을 포함할 수 있다.Referring to FIG. 3 , the electronic device 101 includes a processor 120, a memory 130, a display module 160, an audio module 170, a sensor module 176, a camera module 180, and/or communication. module 190. The external electronic device 301 may include a processor 320 , an audio module 370 , a sensor module 376 , and/or a communication module 390 .

일 실시예에 따르면, 전자 장치(101)의 프로세서(120)는 메모리(130)에 저장된 프로그램(예: 도 1의 프로그램(140))을 실행하여, 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 및/또는 연산을 수행할 수 있다. 예를 들어, 프로세서(120)는 메모리(130)에 저장된 오디오 모듈(170)에 대한 설정 정보(예: 마이크에 대한 오디오 수신 gain값 및/또는 스피커에 대한 오디오 출력값)를 기반으로, 오디오 모듈(170)에 포함된 제 1 마이크(171)(예: 제 1-1 마이크(171-1) 및/또는 제 1-2 마이크(171-2)) 및 스피커(173)에 대한 셋팅을 수행할 수 있다. 프로세서(120)는 카메라 모듈(180)에 포함된 동공 추적 카메라(181)(예: 도 2의 동공 추적 카메라(212))를 사용하여, 동공에 대한 움직임 및 시선 방향을 추적할 수 있고, 추적된 정보에 기초하여, 오브젝트(예: 피사체)의 위치를 확인할 수 있다. 프로세서(120)는 확인된 오브젝트의 위치에 기반하여 빔포밍 동작을 수행할 수 있고, 빔포밍 동작에 따른, 오디오 모듈(170)에 대한 설정 정보(예: 오디오 수신 gain값)를 변경할 수 있다. According to an embodiment, the processor 120 of the electronic device 101 executes a program (eg, the program 140 of FIG. 1) stored in the memory 130, and executes at least one other component (eg, hardware or software component), and can perform various data processing and/or calculations. For example, the processor 120, based on setting information (eg, an audio reception gain value for a microphone and/or an audio output value for a speaker) of the audio module 170 stored in the memory 130, the audio module ( Settings for the first microphone 171 (eg, the first microphone 171-1 and/or the first-second microphone 171-2) and the speaker 173 included in the 170 may be performed. there is. The processor 120 may use the pupil tracking camera 181 (eg, the pupil tracking camera 212 of FIG. 2 ) included in the camera module 180 to track the movement and gaze direction of the pupil, and tracking. Based on the obtained information, the location of the object (eg, subject) may be confirmed. The processor 120 may perform a beamforming operation based on the location of the identified object, and may change setting information (eg, an audio reception gain value) of the audio module 170 according to the beamforming operation.

일 실시예에 따르면, 전자 장치(101)는 통신 모듈(190)을 통해, 외부 전자 장치(301)(예: 웨어러블 전자 장치, 무선 이어폰)와 무선 통신을 수행할 수 있고, 외부 전자 장치(301)의 오디오 모듈(370)에 대한 설정 정보를 조정할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(301)의 오디오 모듈(371)에 포함된 제2 마이크(371)(예: 제 2-1 마이크(371-1) 및/또는 제 2-2 마이크(371-2))에 대한 셋팅을 수행할 수 있다. 전자 장치(101)는 전자 장치(101)에 대한 사용자 정보, 환경 정보 및/또는 외부 오디오 신호에 대한 정보(예: 오디오 신호가 발생된 위치(예: 오브젝트(피사체)의 위치) 및/또는 영역에 대한 정보) 중 적어도 일부에 기반하여, 오디오 모듈(370)에 대한 설정 정보(예: 오디오 수신 gain값)를 조정할 수 있다.According to an embodiment, the electronic device 101 may perform wireless communication with the external electronic device 301 (eg, a wearable electronic device or a wireless earphone) through the communication module 190, and the external electronic device 301 It is possible to adjust setting information for the audio module 370 of ). For example, the electronic device 101 may include a second microphone 371 included in the audio module 371 of the external electronic device 301 (eg, the second-first microphone 371-1 and/or the second-second microphone 371-1). 2 Settings for the microphone (371-2) can be performed. The electronic device 101 may include user information, environment information, and/or information about an external audio signal (eg, a location where the audio signal was generated (eg, a location of an object (subject))) and/or an area of the electronic device 101. Based on at least some of the information about), setting information (eg, an audio reception gain value) of the audio module 370 may be adjusted.

메모리(130)는 오디오 모듈(170)에 포함된 제 1 마이크(171) 및/또는 스피커(173)에 대한 설정 정보(예: 제 1 마이크(171) 및/또는 스피커(173)에 대한 최초 설정 정보(예: default 값, 마이크의 수신 gain 값, 및/또는 스피커의 오디오 출력값)를 저장할 수 있다. 예를 들어, 프로세서(120)는 오디오 모듈(170)이 활성화되는 경우, 메모리(130)에 저장된 설정 정보를 기반으로, 오디오 모듈(170)에 대한 셋팅을 수행할 수 있다. 일 실시예에 따르면, 설정 정보는 제 1 마이크(171)(예: 제 1-1 마이크(171-1) 및/또는 제 1-2 마이크(171-2))에 대한 위치 정보와 빔포밍할 대상인 오브젝트의 상대적인 위치 정보(예: 카메라 모듈(180)을 통해 확인된 오브젝트의 위치 정보)를 기반으로 결정된 제 1 마이크(171)에 대한 설정 정보(예: 오디오 수신 gain값)를 포함할 수 있다. 예를 들어, 설정 정보는 제 1 마이크(171)를 사용하여 오디오 신호를 획득할 때, 제 1 마이크(171)에 대한 오디오 설정값(예: 수신 gain값)을 포함할 수 있다. 설정 정보는 적어도 하나의 마이크(예: 제 1 마이크(171))와 오브젝트 간의 상대적인 배치 위치에 따라, 결정된 테스트 데이터(예: 빔포밍 파라미터)를 포함하고, 테이블 형태로 메모리(130)에 미리 저장될 수 있다.The memory 130 stores setting information for the first microphone 171 and/or speaker 173 included in the audio module 170 (eg, initial settings for the first microphone 171 and/or speaker 173). Information (eg, a default value, a reception gain value of a microphone, and/or an audio output value of a speaker) may be stored in the memory 130 when the audio module 170 is activated. Based on the stored setting information, it is possible to perform settings for the audio module 170. According to an embodiment, the setting information includes the first microphone 171 (eg, the 1-1 microphone 171-1 and / or the first and second microphones 171-2) determined based on relative position information of an object to be beamformed (eg, position information of an object confirmed through the camera module 180) It may include setting information (eg, an audio reception gain value) for the microphone 171. For example, the setting information may include the first microphone 171 when an audio signal is obtained using the first microphone 171. ) may include an audio setting value (eg, a reception gain value). The setting information may include test data (eg, a test data determined according to a relative arrangement position between at least one microphone (eg, the first microphone 171) and an object). : beamforming parameters), and may be previously stored in the memory 130 in the form of a table.

일 실시예에 따르면, 메모리(130)는 외부 전자 장치(301)(예: 도 1의 오디오 장치(102), 무선 이어폰)에 대한 타입(type) 정보(예: 모델명, 모델 정보, 제품 정보) 및/또는 외부 전자 장치(301)에 포함된 오디오 모듈(370)과 관련된 정보(예: 제 2 마이크(371)(예: 제 2-1 마이크(371-1) 및/또는 제 2-2 마이크(371-2))에 대한 설정 정보)를 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 외부 전자 장치(301)와 무선 통신을 하는 경우, 메모리(130)에 저장된 외부 전자 장치(301)에 대한 타입 정보를 확인할 수 있고, 확인된 타입 정보를 기반으로 외부 전자 장치(301)에 실장된 마이크(예: 제 2 마이크(371))의 위치를 확인할 수 있다.According to an embodiment, the memory 130 may include type information (eg, model name, model information, and product information) for the external electronic device 301 (eg, the audio device 102 of FIG. 1 and the wireless earphone). and/or information related to the audio module 370 included in the external electronic device 301 (eg, the second microphone 371 (eg, the 2-1 microphone 371-1 and/or the 2-2 microphone) (371-2)) may be stored. According to an embodiment, when performing wireless communication with the external electronic device 301, the processor 120 may check type information about the external electronic device 301 stored in the memory 130 and send the checked type information to the external electronic device 301. Based on this, the position of the microphone (eg, the second microphone 371) mounted on the external electronic device 301 can be checked.

프로세서(120)는 전자 장치(101)의 오디오 모듈(170)에 포함된 제 1 마이크(171)(예: 제 1-1 마이크(171-1) 및/또는 제 1-2 마이크(171-2)) 및/또는 외부 전자 장치(301)의 오디오 모듈(370)에 포함된 제 2 마이크(371)(예: 제 2-1 마이크(371-1) 및/또는 제 2-2 마이크(371-2)) 중에서 적어도 하나의 마이크를 선택할 수 있고, 선택된 적어도 하나의 마이크를 사용하여, 오디오 신호를 획득할 수 있다. 프로세서(120)는 획득된 오디오 신호를 기반으로 사용자에게 오디오 서비스(예: 오디오 신호 출력, 오디오 신호 수신 및/또는 녹음)를 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 복수 개의 마이크들 중에서 적어도 하나의 마이크를 선별할 수 있고, 선별된 적어도 하나의 마이크에 대한 빔포밍 동작을 수행할 수 있다. 전자 장치(101)는 빔포밍 동작에 따른 향상된 오디오 서비스를 사용자에게 제공할 수 있다.The processor 120 includes a first microphone 171 included in the audio module 170 of the electronic device 101 (eg, the 1-1 microphone 171-1 and/or the 1-2 microphone 171-2). )) and/or the second microphone 371 included in the audio module 370 of the external electronic device 301 (eg, the 2-1 microphone 371-1 and/or the 2-2 microphone 371- At least one microphone may be selected from among 2)), and an audio signal may be acquired using the selected at least one microphone. The processor 120 may provide an audio service (eg, audio signal output, audio signal reception and/or recording) to the user based on the obtained audio signal. According to an embodiment, the electronic device 101 may select at least one microphone from among a plurality of microphones and perform a beamforming operation on the selected at least one microphone. The electronic device 101 may provide an enhanced audio service according to a beamforming operation to a user.

디스플레이 모듈(160)은 사용자에게 시각적인 정보(예: GUI(graphical user interface))를 표시하는 구성부로서, 좌안에 대응되는 제 1 투명 부재(예: 도 2의 제 1 투명 부재(220)) 및 우안에 대응되는 제 2 투명 부재(예: 도 2의 제 2 투명 부재(230))를 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이 모듈(160)을 통해, 오디오 설정과 관련된 정보를 사용자에게 제공할 수 있다. 예를 들어, 전자 장치(101)가 외부 전자 장치(301)와 작동적으로 연결되는 경우, 전자 장치(101)는 디스플레이 모듈(160)을 통해, 외부 전자 장치(301)와 관련된 다양한 정보(예: 외부 전자 장치의 모델명, 모델 정보, 및/또는 제품 정보)를 표시할 수 있다. 전자 장치(101)는 외부 전자 장치(301)가 인체 일부(예: 귀)로부터 탈착되는 상황을 확인할 수 있고, 디스플레이 모듈(160)을 통해, 상기 외부 전자 장치(301)에 대한 탈착 관련 정보(예: 탈착 알림 메시지)를 표시할 수 있다. 예를 들어, 외부 전자 장치(301)는 센서 모듈(376)(예: 모션 센서(377), 근접 센서(미도시)) 중 적어도 일부를 사용하여, 외부 전자 장치(301)가 인체로부터 탈착되었음을 감지할 수 있고, 탈착 신호를 전자 장치(101)에 전송할 수 있다. 전자 장치(101)는 외부 전자 장치(301)로부터 탈착 신호가 수신되는 경우, 디스플레이 모듈(160)을 통해, 외부 전자 장치(301)가 인체 일부로부터 탈착되었음을 알리는 탈착 알림 메시지를 표시할 수 있다.The display module 160 is a component that displays visual information (eg, graphical user interface (GUI)) to a user, and includes a first transparent member (eg, the first transparent member 220 of FIG. 2 ) corresponding to the left eye. and a second transparent member (eg, the second transparent member 230 of FIG. 2 ) corresponding to the right eye. According to an embodiment, the processor 120 may provide information related to audio settings to the user through the display module 160 . For example, when the electronic device 101 is operatively connected to the external electronic device 301, the electronic device 101 displays various information (e.g., : Model name, model information, and/or product information) of the external electronic device may be displayed. The electronic device 101 may check a situation in which the external electronic device 301 is detached from a part of the human body (eg, the ear), and through the display module 160, information related to detachment of the external electronic device 301 ( Example: detachment notification message) can be displayed. For example, the external electronic device 301 detects that the external electronic device 301 is detached from the human body by using at least some of the sensor modules 376 (eg, a motion sensor 377 and a proximity sensor (not shown)). It can detect and transmit a detachment signal to the electronic device 101. When a detachment signal is received from the external electronic device 301, the electronic device 101 may display a detachment notification message notifying that the external electronic device 301 is detached from a part of the human body through the display module 160.

오디오 모듈(170)은 외부의 오디오 신호를 수신하기 위한 제 1 마이크(171)(예: 제 1-1 마이크(171-1) 및/또는 제 1-2 마이크(171-2)) 및 오디오 신호를 외부 환경으로 출력하기 위한 스피커(미도시)를 포함할 수 있다. 예를 들어, 제 1 마이크(171)는 도 2의 전자 장치(101)의 제 1 지지부(221)(예: 좌측 안경 다리)를 기반으로 배치된 제 1-1 마이크(171-1)(예: 도 2의 마이크(241-1, 241-2)) 및/또는 제 2 지지부(222)(예: 우측 안경 다리)를 기반으로 배치된 제 1-2 마이크(171-2)(예: 도 2의 마이크(241-3, 241-4))를 포함할 수 있다. The audio module 170 includes a first microphone 171 (eg, a first-first microphone 171-1 and/or a first-second microphone 171-2) and an audio signal for receiving an external audio signal. It may include a speaker (not shown) for outputting to an external environment. For example, the first microphone 171 may be the 1-1 microphone 171-1 (eg, the left temple) disposed based on the first support part 221 (eg, the left temple of the glasses) of the electronic device 101 of FIG. : The microphones 241-1 and 241-2 of FIG. 2) and/or the 1st and 2nd microphones 171-2 (eg, FIG. Two microphones 241-3 and 241-4) may be included.

일 실시예에 따르면, 전자 장치(101)는 외부의 오디오 신호를 수신할 때, 제 1 마이크(171)(예: 제 1-1 마이크(171-1) 및/또는 제 1-2 마이크(171-2))를 사용하여 오디오 신호가 발생된 발원지의 방향 및/또는 영역을 확인할 수 있고, 상기 확인된 방향 및/또는 영역에 대응되는 적어도 하나의 마이크를 선택하여, 오디오 신호를 수신할 수 있다. 예를 들어, 전자 장치(101)를 착용한 사용자가 전방을 응시할 때, 전자 장치(101)(예: 전방을 향해 배치된 전자 장치(101))를 기준으로, 좌측 방향에서 제 1 오디오 신호가 발생했다면, 프로세서(120)는 좌측 방향에 대응하여 배치된 제 1-1 마이크(171-1)를 선택할 수 있고, 선택된 제 1-1 마이크(171-1)를 사용하여 제 1 오디오 신호를 획득할 수 있다. 다른 예를 들어, 전자 장치(101)를 착용한 사용자가 전방을 응시할 때, 전자 장치(101)(예: 전방을 향해 배치된 전자 장치(101))를 기준으로 우측 방향에서 제 2 오디오 신호가 발생했다면, 프로세서(120)는 우측 방향에 대응하여 배치된 제 1-2 마이크(171-2)를 선택할 수 있고, 선택된 제 1-2 마이크(171-2)를 사용하여 제 2 오디오 신호를 획득할 수 있다. 일 실시예에 따르면, 마이크 및 스피커에 대한 개수 및 배치 위치는 한정되지 않으며, 다양한 방식으로 구현될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 복수 개의 마이크를 사용하여, 오디오 신호가 발생된 발원지에 대한 방향 및/또는 위치(영역)를 확인할 수 있고, 복수 개의 마이크 중에서 적어도 하나의 마이크를 선별할 수 있다. 전자 장치(101)는 선별된 적어도 하나의 마이크를 사용하여, 오디오 신호의 발원지가 위치한 방향 및/또는 영역을 기반으로, 빔포밍 동작을 수행할 수 있고, 빔포밍 동작의 수행에 따른 선별된 적어도 하나의 마이크에 대한 설정 정보(예: 마이크에 대한 오디오 수신 gain값)를 조정할 수 있다. 전자 장치(101)는 설정 정보가 조정된, 적어도 하나의 마이크를 통해, 오디오 신호를 획득할 수 있고, 향상된 오디오 서비스를 사용자에게 제공할 수 있다. 예를 들어, 오디오 서비스는 획득된 오디오 신호를 처리하여 미디어 데이터로 변환하고, 변환된 미디어 데이터(예: 녹음 및/또는 통화를 위한 음성 데이터)를 메모리(130)에 적어도 일시적으로 저장하는 동작을 포함할 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은 하드웨어 모듈(예: 하드웨어 구성 요소)로 해석되거나, 또는, 개념적으로 소프트웨어 모듈(예: 소프트웨어 구성 요소)로 해석될 수 있다.According to an embodiment, when the electronic device 101 receives an external audio signal, the first microphone 171 (eg, the 1-1 microphone 171-1 and/or the 1-2 microphone 171 -2)) can be used to check the direction and / or region of the origin of the audio signal, and select at least one microphone corresponding to the identified direction and / or region to receive the audio signal . For example, when a user wearing the electronic device 101 gazes forward, a first audio signal is generated in a left direction based on the electronic device 101 (eg, the electronic device 101 disposed toward the front). If so, the processor 120 may select the 1-1 microphone 171-1 disposed corresponding to the left direction, and obtain the first audio signal using the selected 1-1 microphone 171-1. can do. For another example, when a user wearing the electronic device 101 gazes forward, a second audio signal is generated in a right direction based on the electronic device 101 (eg, the electronic device 101 disposed toward the front). If so, the processor 120 may select the 1-2 microphone 171-2 disposed corresponding to the right direction, and acquire the second audio signal using the selected 1-2 microphone 171-2. can do. According to one embodiment, the number and arrangement positions of the microphones and speakers are not limited, and may be implemented in various ways. According to an embodiment, the electronic device 101 may use a plurality of microphones to determine the direction and/or location (region) of the source of the audio signal, and select at least one microphone from among the plurality of microphones. can do. The electronic device 101 may perform a beamforming operation based on the direction and/or region where the source of the audio signal is located using the selected at least one microphone, and the selected at least one microphone according to the beamforming operation may be performed. You can adjust the setting information for one microphone (eg, the audio reception gain value for the microphone). The electronic device 101 may obtain an audio signal through at least one microphone with adjusted setting information, and may provide an improved audio service to the user. For example, the audio service processes an acquired audio signal, converts it into media data, and at least temporarily stores the converted media data (eg, voice data for recording and/or phone call) in the memory 130. can include According to one embodiment, the audio module 170 may be interpreted as a hardware module (eg, a hardware component) or conceptually interpreted as a software module (eg, a software component).

센서 모듈(176)은 전자 장치(101)의 움직임(예: 이동 방향, 이동 속도, 및/또는 자세)을 감지하기 위한 모션 센서(177)를 포함할 수 있다. 예를 들어, 모션 센서(177)는 자이로(gyro) 센서(미도시) 및/또는 가속도 센서(미도시)를 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)는 모션 센서(177)를 사용하여 전자 장치(101)의 움직임을 확인할 수 있다. 전자 장치(101)는 사용자의 머리 부분에 착용되는 웨어러블 장치로, 사용자 머리에 착용된 상태인지, 또는 사용자 머리로부터 탈착된 상태인지 여부를 확인할 수도 있다. 프로세서(120)는 센서 모듈(176)을 사용하여, 사용자의 머리가 향하는 방향을 확인할 수 있고, 확인된 방향에 기반하여 빔포밍 동작을 수행할 수 있다.The sensor module 176 may include a motion sensor 177 for detecting a movement (eg, movement direction, movement speed, and/or posture) of the electronic device 101 . For example, the motion sensor 177 may include a gyro sensor (not shown) and/or an acceleration sensor (not shown). According to an embodiment, the processor 120 may check the movement of the electronic device 101 using the motion sensor 177 . The electronic device 101 is a wearable device worn on the user's head, and may check whether the electronic device 101 is worn on the user's head or detached from the user's head. The processor 120 may use the sensor module 176 to check the direction the user's head is facing, and perform a beamforming operation based on the checked direction.

카메라 모듈(180)은 전자 장치(101)에 적어도 부분적으로 배치된 다양한 종류의 카메라를 포함할 수 있다. 카메라 모듈(180)은 사용자의 시야각(FoV, field of view)에 대응되는 영상을 촬영하거나 및/또는 객체(예: 오브젝트)와의 거리를 측정하기 위한 촬영용 카메라(예: 도 2의 촬영용 카메라(213)), 사용자가 바라보는 시선의 방향 및 영역을 확인하기 위한 동공 추적 카메라(181)(예: 도 2의 동공 추적 카메라(212)), 및/또는 일정 공간을 인식하기 위한 인식용 카메라(예: 도 2의 인식용 카메라(211-1, 211-2) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 동공 추적 카메라(181)는 사용자의 동공의 움직임을 추적할 수 있으며, 좌안에 대한 동공 움직임을 추적하기 위한 제 1 동공 추적 카메라 및/또는 우안에 대한 동공 움직임을 추적하기 위한 제 2 동공 추적 카메라를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 동공 추적 카메라(181)를 사용하여, 사용자가 응시하는 시선 방향, 및 시선 영역을 추적할 수 있다. 전자 장치(101)는 2D(dimension)에 기반한 시선 방향 및/또는 3D에 기반한 시선 영역을 기반으로 오디오 모듈(170)에 대한 설정 정보의 적어도 일부를 조정할 수 있다.The camera module 180 may include various types of cameras disposed at least partially in the electronic device 101 . The camera module 180 is a photographing camera (eg, the photographing camera 213 of FIG. 2 ) for capturing an image corresponding to a user's field of view (FoV) and/or measuring a distance to an object (eg, an object). )), a pupil tracking camera 181 (eg, the pupil tracking camera 212 of FIG. 2) for checking the direction and area of the user's gaze, and/or a camera for recognizing a certain space (eg : may include at least one of the recognition cameras 211-1 and 211-2 of Fig. 2. According to an embodiment, the pupil tracking camera 181 may track the movement of the user's pupil, and The electronic device 101 may include a first pupil tracking camera for tracking the pupil movement for the right eye and/or a second pupil tracking camera for tracking the pupil movement for the right eye. The gaze direction and gaze area in which the user gazes may be tracked using the camera 181. The electronic device 101 may track audio based on a gaze direction based on 2D (dimension) and/or a gaze area based on 3D. At least some of the configuration information for module 170 may be adjusted.

통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(301)(예: 도 1의 외부 전자 장치(102), 무선 이어폰) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및/또는 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 예를 들어, 전자 장치(101)는 통신 모듈(190)을 통해, 외부 전자 장치(301)와 작동적으로 연결(예: 무선 통신 연결)되는 경우, 외부 전자 장치(301)를 적어도 부분적으로 제어할 수 있다. 예를 들어, 프로세서(120)는 외부 전자 장치(301)에 포함된 오디오 모듈(370)(예: 제 2 마이크(371))에 대한 설정 정보의 적어도 일부를 조정할 수 있다. 프로세서(120)는 메모리(130)에 저장된, 외부 전자 장치(301)에 대한 설정 정보(예: 오디오 수신 gain값)를 확인하고, 변경된 설정 정보가 포함된 신호를 외부 전자 장치(301)에 전송할 수 있다. 외부 전자 장치(301)의 프로세서(320)는 상기 전송된 신호를 기반으로 제 2 마이크(371)(예: 제 2-1 마이크(371-1) 및/또는 제 2-2 마이크(371-2))에 대한 설정 정보를 조정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)의 제 1 마이크(171) 및/또는 외부 전자 장치(301)의 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택할 수 있고, 상기 선택된 적어도 하나의 마이크에 대한 설정 정보를 변경할 수 있다. 전자 장치(101)는 설정 정보가 변경된 적어도 하나의 마이크를 사용하여, 오디오 신호를 획득할 수 있다. 전자 장치(101)는 획득된 오디오 신호를 기반으로, 향상된 오디오 서비스를 사용자에게 제공할 수 있다.The communication module 190 establishes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and the external electronic device 301 (eg, the external electronic device 102 of FIG. 1 and the wireless earphone), and/or support communication through an established communication channel. For example, when the electronic device 101 is operatively connected (eg, wireless communication connection) with the external electronic device 301 through the communication module 190, it at least partially controls the external electronic device 301. can do. For example, the processor 120 may adjust at least a portion of setting information for the audio module 370 (eg, the second microphone 371) included in the external electronic device 301. The processor 120 checks the setting information (eg, audio reception gain value) for the external electronic device 301 stored in the memory 130, and transmits a signal including the changed setting information to the external electronic device 301. can The processor 320 of the external electronic device 301 uses the second microphone 371 (eg, the 2-1 microphone 371-1 and/or the 2-2 microphone 371-2) based on the transmitted signal. )) can be adjusted. According to an embodiment, the electronic device 101 may select at least one microphone from among the first microphone 171 of the electronic device 101 and/or the second microphone 371 of the external electronic device 301, Setting information for the at least one selected microphone may be changed. The electronic device 101 may acquire an audio signal using at least one microphone whose setting information is changed. The electronic device 101 may provide an enhanced audio service to the user based on the acquired audio signal.

도 3을 참조하면, 외부 전자 장치(301)는 프로세서(320), 오디오 모듈(370), 센서 모듈(376), 및/또는 통신 모듈(390)을 포함할 수 있다. 외부 전자 장치(301)는 전자 장치(101)와 작동적으로 연결(예: 무선 통신 연결)될 수 있으며, 전자 장치(101)의 제어 하에, 오디오 모듈(370) 및/또는 센서 모듈(376)의 기능이 적어도 부분적으로 제어될 수 있다.Referring to FIG. 3 , the external electronic device 301 may include a processor 320, an audio module 370, a sensor module 376, and/or a communication module 390. The external electronic device 301 may be operatively connected to the electronic device 101 (eg, wireless communication connection), and under the control of the electronic device 101, the audio module 370 and/or the sensor module 376 The function of may be at least partially controlled.

일 실시예에 따르면, 전자 장치(101)(예: 제 1 전자 장치)의 프로세서(120)는 통신 모듈(190)을 통해 외부 전자 장치(301)(예: 제 2 전자 장치)와 작동적으로 연결(예: 무선 통신 연결)될 수 있고, 외부 전자 장치(301)에 대한 타입을 확인할 수 있다. 예를 들어, 프로세서(120)는 외부 전자 장치(301)의 타입을 기반으로, 외부 전자 장치(301)의 하우징에 적어도 부분적으로 배치된 오디오 모듈(370)과 관련된 정보(예: 제 2 마이크(371)(예: 제 2-1 마이크(371-1) 및/또는 제 2-2 마이크(371-2))의 배치 위치, 스피커(미도시)의 배치 위치)를 확인할 수 있다. 프로세서(120)는 전자 장치(101)의 제 1 마이크(171)의 위치 정보 및/또는 외부 전자 장치(301)의 제 2 마이크(371)의 위치 정보를 기반으로 적어도 하나의 마이크를 선별할 수 있고, 상기 선별된 적어도 하나의 마이크에 대한 설정 정보를 조정할 수 있다.According to an embodiment, the processor 120 of the electronic device 101 (eg, the first electronic device) operates with the external electronic device 301 (eg, the second electronic device) through the communication module 190. It can be connected (eg, wireless communication connection), and the type of the external electronic device 301 can be checked. For example, based on the type of the external electronic device 301, the processor 120 may provide information (eg, a second microphone ( 371) (eg, the location of the 2-1 microphone 371-1 and/or the 2-2 microphone 371-2) and the location of speakers (not shown) can be checked. The processor 120 may select at least one microphone based on location information of the first microphone 171 of the electronic device 101 and/or location information of the second microphone 371 of the external electronic device 301. and setting information for the selected at least one microphone may be adjusted.

일 실시예에 따르면, 전자 장치(101)의 프로세서(120)는 카메라 모듈(180)에 포함된 동공 추적 카메라(181)를 통해 사용자의 시선 방향 및/또는 시선 영역을 확인할 수 있다. 프로세서(120)는 확인된 시선 방향 및/또는 시선 영역을 기반으로, 선별된 적어도 하나의 마이크에 대한 빔포밍 동작을 수행할 수 있다. 예를 들어, 프로세서(120)는 사용자에게 향상된 오디오 서비스가 제공되도록, 선별된 적어도 하나의 마이크에 대한 설정 정보를 조정할 수 있다.According to an embodiment, the processor 120 of the electronic device 101 may check the user's gaze direction and/or gaze area through the pupil tracking camera 181 included in the camera module 180 . The processor 120 may perform a beamforming operation for at least one selected microphone based on the checked gaze direction and/or gaze region. For example, the processor 120 may adjust setting information for at least one selected microphone so as to provide an improved audio service to the user.

일 실시예에 따르면, 프로세서(120)는 외부 전자 장치(301)의 타입이 확인되지 않는 경우, 전자 장치(101)의 제 1 마이크(171) 및/또는 외부 전자 장치(301)의 제 2 마이크(371)를 기반으로, 외부 오디오 신호를 수신할 수 있고, 수신된 외부 오디오 신호를 기반으로 외부 오디오 신호가 발생된 발원지에 대한 위치 정보 및 영역 정보를 확인할 수 있다. 프로세서(120)는 확인된 위치 정보 및 영역 정보를 기반으로 적어도 하나의 마이크를 선별할 수 있고, 선별된 적어도 하나의 마이크에 대한 빔포밍 동작을 수행할 수 있다. 프로세서(120)는 선별된 적어도 하나의 마이크에 대한 설정 정보를 조정할 수 있다.According to an embodiment, when the type of the external electronic device 301 is not identified, the processor 120 determines the first microphone 171 of the electronic device 101 and/or the second microphone of the external electronic device 301. Based on step 371, an external audio signal may be received, and location information and area information regarding the origin of the external audio signal may be checked based on the received external audio signal. The processor 120 may select at least one microphone based on the checked location information and area information, and may perform a beamforming operation on the selected at least one microphone. The processor 120 may adjust setting information for at least one selected microphone.

일 실시예에 따르면, 프로세서(120)는 빔포밍 동작에 따른 향상된 오디오 서비스를 사용자에게 제공하는 중에, 인체에 착용된 전자 장치(101)의 탈착 및/또는 인체 일부(예: 귀)에 착용된 외부 전자 장치(301)의 탈착을 확인할 수 있다. 프로세서(120)는 전자 장치(101) 및/또는 외부 전자 장치(301) 중에서 탈착된 장치를 확인하고, 아직 탈착되지 않은 장치에 대한 오디오 설정 정보를 조정할 수 있다. 예를 들어, 외부 전자 장치(301)가 인체 일부로부터 탈착되는 경우, 전자 장치(101)는 전자 장치(101)의 제 1 마이크(171)에 대한 설정 정보를 변경할 수 있고, 변경된 설정 정보를 기반으로 오디오 신호를 획득(또는, 수신)할 수 있다. 다른 예를 들어, 전자 장치(101)가 인체로부터 탈착되는 경우, 전자 장치(101)는 외부 전자 장치(301)의 제 2 마이크(371)에 대한 설정 정보를 변경할 수 있고, 변경된 설정 정보를 기반으로 오디오 신호를 획득할 수 있다.According to an embodiment, while providing an enhanced audio service according to a beamforming operation to the user, the processor 120 may attach or detach the electronic device 101 worn on the human body and/or the electronic device 101 worn on a part of the human body (eg, the ear). Detachment of the external electronic device 301 may be confirmed. The processor 120 may check a detached device among the electronic device 101 and/or the external electronic device 301 and adjust audio setting information for a device that has not yet been detached. For example, when the external electronic device 301 is detached from a part of the human body, the electronic device 101 may change setting information for the first microphone 171 of the electronic device 101, and based on the changed setting information It is possible to obtain (or receive) an audio signal with For another example, when the electronic device 101 is detached from the human body, the electronic device 101 may change setting information for the second microphone 371 of the external electronic device 301 and based on the changed setting information. An audio signal can be obtained with

다양한 실시예에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는, 외부 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))와의 연결을 위한 통신 모듈(예: 도 3의 통신 모듈(190)), 적어도 하나의 제 1 마이크(예: 도 3의 제 1 마이크(171)), 메모리(예: 도 3의 메모리(130)), 및 상기 통신 모듈(190), 상기 적어도 하나의 제 1 마이크(171), 및 상기 메모리(130)에 전기적으로 연결된 프로세서(예: 도 3의 프로세서(120))를 포함할 수 있다. 상기 프로세서(120)는, 상기 외부 전자 장치(301)로부터 전송된 착용 신호의 수신에 응답하여, 상기 외부 전자 장치(301)가 인체에 착용되었음을 확인하고, 상기 외부 전자 장치(301)의 착용에 응답하여, 상기 메모리(130)에 저장된, 상기 외부 전자 장치(301)의 타입(예: 오디오 관련 정보)을 확인하고, 상기 확인된 타입을 기반으로, 상기 적어도 하나의 제 1 마이크(171) 및 상기 인체에 착용된 외부 전자 장치(301)에 포함된 적어도 하나의 제 2 마이크(예: 도 3의 제 2 마이크(371)) 중에서, 적어도 하나의 마이크를 선택하고, 상기 선택된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득할 수 있다.According to various embodiments, an electronic device (eg, the electronic device 101 of FIG. 1 ) is connected to an external electronic device (eg, the external electronic device 102 of FIG. 1 or the external electronic device 301 of FIG. 3 ) A communication module (for example, the communication module 190 of FIG. 3), at least one first microphone (for example, the first microphone 171 of FIG. 3), a memory (for example, the memory 130 of FIG. 3), and a processor (eg, the processor 120 of FIG. 3 ) electrically connected to the communication module 190 , the at least one first microphone 171 , and the memory 130 . The processor 120, in response to receiving the wearing signal transmitted from the external electronic device 301, confirms that the external electronic device 301 is worn on the human body, and confirms that the external electronic device 301 is worn. In response, the type (eg, audio related information) of the external electronic device 301 stored in the memory 130 is checked, and based on the checked type, the at least one first microphone 171 and At least one microphone is selected from among at least one second microphone (eg, the second microphone 371 of FIG. 3 ) included in the external electronic device 301 worn on the human body, and the selected at least one microphone is selected. can be used to obtain an audio signal.

일 실시예에 따른 전자 장치(101)는 동공 움직임을 추적하기 위한 동공 추적 카메라(예: 도 3의 동공 추적 카메라(181))를 더 포함하고, 상기 프로세서(120)는, 상기 동공 추적 카메라(181)를 사용하여 사용자의 시선 방향 및 위치를 확인하고, 상기 확인된 사용자의 시선 방향 및 위치를 기반으로, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서 상기 적어도 하나의 마이크를 선택할 수 있다.The electronic device 101 according to an embodiment further includes a pupil tracking camera (eg, the pupil tracking camera 181 of FIG. 3 ) for tracking a pupil movement, and the processor 120 includes the pupil tracking camera ( 181) is used to determine the direction and position of the user's gaze, and based on the identified direction and position of the user's gaze, among the at least one first microphone 171 and the at least one second microphone 371 The at least one microphone may be selected.

일 실시예에 따른 전자 장치(101)는 상기 전자 장치(101)의 움직임을 감지하기 위한 센서 모듈(예: 도 3의 센서 모듈(176))을 더 포함하고, 상기 프로세서(120)는, 상기 센서 모듈(176)을 사용하여 상기 전자 장치(101)가 향하는 방향 및 상기 전자 장치(101)의 자세를 확인하고, 상기 확인된 전자 장치(101)가 향하는 방향 및 상기 전자 장치(101)의 자세를 기반으로 선택된, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서 상기 적어도 하나의 마이크를 선택할 수 있다.The electronic device 101 according to an embodiment further includes a sensor module (eg, the sensor module 176 of FIG. 3 ) for detecting a motion of the electronic device 101, and the processor 120 The direction the electronic device 101 is facing and the posture of the electronic device 101 are checked using the sensor module 176, and the direction the electronic device 101 is facing and the posture of the electronic device 101 are confirmed. The at least one microphone may be selected from among the at least one first microphone 171 and the at least one second microphone 371 selected based on .

일 실시예에 따르면, 상기 프로세서(120)는, 상기 외부 전자 장치(301)로부터 전송된 탈착 신호의 수신에 응답하여, 상기 외부 전자 장치(301)가 상기 인체로부터 탈착되었는지 여부를 확인하고, 상기 외부 전자 장치(301)의 탈착에 응답하여, 상기 동공 추적 카메라(181)를 사용하여 상기 사용자의 시선 방향 및 위치를 확인하고, 상기 확인된 사용자의 시선 방향 및 위치를 기반으로, 상기 적어도 하나의 제 1 마이크(171)를 선택할 수 있다.According to an embodiment, the processor 120 determines whether the external electronic device 301 is detached from the human body in response to receiving the detachment signal transmitted from the external electronic device 301, and In response to the attachment or detachment of the external electronic device 301, the pupil tracking camera 181 is used to determine the direction and position of the user's gaze, and based on the identified direction and position of the user's gaze, the at least one The first microphone 171 can be selected.

일 실시예에 따르면, 상기 프로세서(120)는, 상기 확인된 사용자의 시선 방향 및 위치에 대응하여 적어도 하나의 오브젝트를 확인하고, 상기 적어도 하나의 오브젝트가 가상 객체인지 여부를 확인하고, 상기 적어도 하나의 오브젝트가 상기 가상 객체인 경우, 상기 가상 객체를 기반으로 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371)에 대한 설정 정보를 결정할 수 있다.According to an embodiment, the processor 120 checks at least one object corresponding to the identified user's gaze direction and position, determines whether the at least one object is a virtual object, and determines whether the at least one object is a virtual object. If the object of is the virtual object, setting information for the at least one first microphone 171 and the at least one second microphone 371 may be determined based on the virtual object.

일 실시예에 따르면, 상기 프로세서(120)는, 상기 센서 모듈(176)을 통해, 상기 전자 장치(101)가 상기 인체로부터 탈착되었는지 여부를 확인하고, 상기 전자 장치(101)의 탈착에 응답하여, 상기 외부 전자 장치(301)에 포함된 상기 적어도 하나의 제 2 마이크(371)를 기반으로, 상기 오디오 신호가 생성된 오브젝트의 방향 및 위치를 확인하고, 상기 확인된 오브젝트의 방향 및 위치를 기반으로 상기 적어도 하나의 제 2 마이크(371)를 선택할 수 있다.According to an embodiment, the processor 120 checks whether the electronic device 101 is detached from the human body through the sensor module 176, and responds to the detachment of the electronic device 101. , Based on the at least one second microphone 371 included in the external electronic device 301, the direction and position of the object from which the audio signal is generated is confirmed, and based on the direction and position of the identified object It is possible to select the at least one second microphone 371 by .

일 실시예에 따르면, 상기 프로세서(120)는, 상기 외부 전자 장치(301)의 타입이 상기 메모리(130)에 저장되지 않은 경우, 상기 적어도 하나의 제 1 마이크(171)를 통한 제 1 오디오 신호 및 상기 적어도 하나의 제 2 마이크(371)를 통한 제 2 오디오 신호를 획득하고, 상기 획득된 제 1 오디오 신호 및 제 2 오디오 신호를 기반으로 상기 적어도 하나의 제 2 마이크(371)의 위치를 확인하고, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서, 상기 적어도 하나의 마이크를 선택할 수 있다.According to one embodiment, the processor 120, when the type of the external electronic device 301 is not stored in the memory 130, the first audio signal through the at least one first microphone 171 and acquiring a second audio signal through the at least one second microphone 371, and determining a location of the at least one second microphone 371 based on the obtained first and second audio signals. and select the at least one microphone from among the at least one first microphone 171 and the at least one second microphone 371 .

일 실시예에 따르면, 상기 외부 전자 장치(301)의 타입(예: 오디오 관련 정보)은 상기 외부 전자 장치(301)에 포함된 상기 적어도 하나의 제 2 마이크(371)에 대한 위치 정보, 상기 외부 전자 장치(301)에 포함된 스피커에 대한 위치 정보, 및 상기 제 2 마이크(371) 및 상기 스피커에 대한 설정 정보를 포함할 수 있다.According to an embodiment, the type (eg, audio-related information) of the external electronic device 301 is location information about the at least one second microphone 371 included in the external electronic device 301, the external electronic device 301 Location information about the speaker included in the electronic device 301 and setting information about the second microphone 371 and the speaker may be included.

일 실시예에 따르면, 상기 프로세서(120)는, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371)를 활성화하고, 상기 적어도 하나의 제 1 마이크(171)를 통해 획득된 제 1 오디오 신호 및 상기 적어도 하나의 제 2 마이크(371)를 통해 획득된 제 2 오디오 신호를 기반으로, 상기 오디오 신호가 생성된 오브젝트의 방향 및 위치를 확인하고, 상기 확인된 오브젝트의 방향 및 위치를 기반으로, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서, 적어도 하나의 마이크를 선택할 수 있다.According to an embodiment, the processor 120 activates the at least one first microphone 171 and the at least one second microphone 371, and through the at least one first microphone 171 Based on the obtained first audio signal and the second audio signal obtained through the at least one second microphone 371, the direction and position of the object from which the audio signal is generated are identified, and the direction of the identified object is determined. And based on the location, at least one microphone may be selected from among the at least one first microphone 171 and the at least one second microphone 371 .

일 실시예에 따른 전자 장치(101)는 상기 오디오 신호가 생성된 오브젝트와의 거리를 측정하기 위한 거리 측정 카메라를 더 포함하고, 상기 프로세서(120)는, 상기 거리 측정 카메라를 사용하여 상기 오브젝트와의 거리를 측정하고, 상기 측정된 거리를 기반으로, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서, 적어도 하나의 마이크를 선택할 수 있다.The electronic device 101 according to an embodiment further includes a distance measuring camera for measuring a distance to an object from which the audio signal is generated, and the processor 120 uses the distance measuring camera to determine the distance between the object and the object. A distance of is measured, and based on the measured distance, at least one microphone may be selected from among the at least one first microphone 171 and the at least one second microphone 371 .

일 실시예에 따르면, 상기 전자 장치(101)는 사용자의 머리에 거치되는 형태로 인체에 착용되는 AR(augmented reality) 전자 장치를 포함하고, 상기 외부 전자 장치(301)는 사용자의 귀에 삽입되는 형태로 인체에 착용되는 무선 이어폰을 포함할 수 있다.According to an embodiment, the electronic device 101 includes an augmented reality (AR) electronic device worn on the human body in a form mounted on the user's head, and the external electronic device 301 is inserted into the user's ear. It may include wireless earphones worn on the human body.

도 4는 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치의 연결에 따른 마이크를 설정하는 방법을 도시한 흐름도이다.4 is a flowchart illustrating a method of setting a microphone according to connection between an electronic device and an external electronic device according to various embodiments of the present disclosure.

도 4의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 4의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 4의 제 2 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 4의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 4 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 of FIG. 2 (eg, an AR device or a wearable electronic device), or Other embodiments may be further included. The first electronic device 101 of FIG. 4 may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 4 (eg, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (eg, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 4 may include at least one component included in the external electronic device 301 of FIG. 3 .

동작 401에서 제 1 전자 장치(101)의 프로세서(예: 도 3의 프로세서(120))는 제 2 전자 장치(301)의 착용에 응답하여, 제 1 전자 장치(101) 및 제 2 전자 장치(301) 간의 무선 통신 연결을 수행할 수 있다. 예를 들어, 제 1 전자 장치(101)는 사용자의 머리에 착용되는AR 글래스를 포함하며, 단독으로 사용자에게 오디오 서비스를 제공하는 상태에서, 제 2 전자 장치(301)가 인체 일부(예: 귀)에 착용되었음을 확인할 수 있다. 예를 들어, 제 2 전자 장치(301)의 프로세서(예: 도 3의 프로세서(320))는 센서 모듈(376)을 사용하여, 제 2 전자 장치(301)가 인체 일부에 착용되었음을 감지할 수 있고, 착용 정보가 포함된 신호를 제 1 전자 장치(101)에 전송할 수 있다. 제 1 전자 장치(101)는 제 2 전자 장치(301)로부터 전송된 신호를 기반으로, 제 2 전자 장치(301)가 인체 일부에 착용되었음을 확인할 수 있다.In operation 401, the processor (for example, the processor 120 of FIG. 3 ) of the first electronic device 101 responds to the wearing of the second electronic device 301, and the first electronic device 101 and the second electronic device ( 301) may perform a wireless communication connection between them. For example, the first electronic device 101 includes AR glasses worn on the user's head, and in a state in which an audio service is provided to the user alone, the second electronic device 301 is a part of the human body (eg, the ear). ) can be confirmed. For example, the processor of the second electronic device 301 (eg, the processor 320 of FIG. 3 ) may use the sensor module 376 to detect that the second electronic device 301 is worn on a part of the human body. and may transmit a signal including wearing information to the first electronic device 101 . The first electronic device 101 can confirm that the second electronic device 301 is worn on a part of the human body based on the signal transmitted from the second electronic device 301 .

제 1 전자 장치(101)의 프로세서(120)는 제 2 전자 장치(301)의 착용에 응답하여, 통신 모듈(예: 도 3의 통신 모듈(190))을 통해, 제 2 전자 장치(301)와의 무선 통신 연결(예: Bluetooth 연결)을 수행할 수 있다.In response to the wearing of the second electronic device 301, the processor 120 of the first electronic device 101 sends the second electronic device 301 through a communication module (eg, the communication module 190 of FIG. 3). A wireless communication connection (eg Bluetooth connection) can be made with

다른 예를 들면, 제 1 전자 장치(101)는 제 2 전자 장치(301)와의 무선 통신 연결(예: Bluetooth 연결) 수립 절차가 완료되면, 제 2 전자 장치(301)와 작동적으로 연결될 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 제 2 전자 장치(301)가 사용자에게 착용되었는지 여부를 더 확인할 수 있다. 예를 들어, 제 2 전자 장치(301)는 센서 모듈(예: 도 3의 센서 모듈(376), 착용 감지 센서, 근접 센서)을 통해, 제 2 전자 장치(301)가 인체 일부(예: 귀)에 물리적으로 접촉되었는지 여부를 확인할 수 있다. 제 2 전자 장치(301)가 설정된 시간 동안 인체 일부에 접촉된 상태를 유지하는 경우, 제 2 전자 장치(301)는 착용이 완료되었음을 나타내는 신호를 제 1 전자 장치(101)에 전송할 수 있다. 제 1 전자 장치(101)는 상기 신호의 수신에 응답하여, 제 2 전자 장치(301)와 작동적으로 연결된 것으로 결정할 수 있다.For another example, the first electronic device 101 may be operatively connected to the second electronic device 301 when a wireless communication connection (eg, Bluetooth connection) establishment procedure with the second electronic device 301 is completed. . According to an embodiment, the first electronic device 101 may further check whether the second electronic device 301 is worn by the user. For example, the second electronic device 301 is a part of the human body (eg, the ear) through a sensor module (eg, the sensor module 376 of FIG. 3 , a wearing detection sensor, or a proximity sensor). ) can be checked whether it has been physically contacted. When the second electronic device 301 remains in contact with a part of the human body for a set time, the second electronic device 301 may transmit a signal indicating that the wearing is completed to the first electronic device 101 . In response to receiving the signal, the first electronic device 101 may determine that it is operatively connected to the second electronic device 301 .

동작 403에서 프로세서(120)는 제 2 전자 장치(301)와의 연결에 응답하여, 제 2 전자 장치(301)에 대한 타입(예: 모델 정보)을 확인할 수 있다. 예를 들어, 프로세서(120)는 메모리(130)에 저장된 제 2 전자 장치(301)의 관련 정보를 기반으로, 제 2 전자 장치(301)에 대한 타입을 확인할 수 있다. 제 1 전자 장치(101)는 제 2 전자 장치(301)의 관련 정보(예: 오디오 관련 정보)가 메모리(130)에 이미 저장된 상태일 수 있다. 제 1 전자 장치(101)는 외부 전자 장치(예: 웨어러블 전자 장치, 주변 전자 장치)로 활용 가능한 제 2 전자 장치(301)에 대한 리스트 정보를 메모리(130)에 저장할 수 있고, 이는 동작 401 이전에 수행될 수 있다. 일 실시예에 따르면, 제 2 전자 장치(301)의 타입을 확인하는 것은 제 2 전자 장치(301)에 포함된 오디오 모듈(예: 도 3의 오디오 모듈(370), 제 2 마이크(371))과 관련된 정보(예: 오디오 관련 정보, 위치 정보, 설정 정보)를 확인하는 것을 의미할 수 있다.In operation 403, the processor 120 may check the type (eg, model information) of the second electronic device 301 in response to the connection with the second electronic device 301. For example, the processor 120 may determine the type of the second electronic device 301 based on information related to the second electronic device 301 stored in the memory 130 . The first electronic device 101 may be in a state in which related information (eg, audio related information) of the second electronic device 301 is already stored in the memory 130 . The first electronic device 101 may store in the memory 130 list information about the second electronic device 301 usable as an external electronic device (eg, a wearable electronic device, a peripheral electronic device), which is stored prior to operation 401. can be performed on According to an embodiment, checking the type of the second electronic device 301 is an audio module included in the second electronic device 301 (eg, the audio module 370 of FIG. 3 and the second microphone 371). It may mean checking information related to (eg, audio related information, location information, setting information).

동작 405에서 프로세서(120)는 제 2 전자 장치(301)의 타입에 따른 마이크 정보(예: 제 2 마이크(371)의 위치 정보)가 확인되는지 여부를 판단할 수 있다. 예를 들어, 제 2 전자 장치(301)의 타입에 따른 마이크 정보는 제 2 전자 장치(301)에 포함된 마이크(예: 제 2 마이크(371))의 종류, 개수, 배치 위치, 및/또는 설정 정보를 포함할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 제 2 전자 장치(301)(예: 외부 전자 장치, 주변 전자 장치)와 관련하여, 마이크(예: 제 2 마이크(371))의 타입 정보 및 타입 정보에 따른 오디오 설정 정보가 메모리(130)에 저장된 상태일 수 있다. 다른 예를 들어, 메모리(130)에는 제 1 전자 장치(101)의 제 1 마이크(171)의 위치, 제 2 전자 장치(301)의 제 2 마이크(371)의 위치, 및/또는 오디오 신호를 생성하는 오브젝트의 위치를 기반으로 결정된, 빔포밍 동작에 최적화된 테스트 데이터(예: 빔포밍 파라미터(parameter) 정보)가 저장될 수 있다. 예를 들어, 테스트 데이터는 제 1 마이크(171), 제 2 마이크(371), 오브젝트에 대한 상대적인 위치를 기반으로, 빔포밍 동작에 이용되는, 제 1 마이크(171)의 설정 정보 및/또는 제 2 마이크(371)의 설정 정보를 포함할 수 있다. 테스트 데이터는 빔포밍 동작에 따른 오디오 신호의 수신 감도를 높여주는 계산값 및/또는 실험값을 포함할 수 있다. In operation 405, the processor 120 may determine whether microphone information (eg, location information of the second microphone 371) according to the type of the second electronic device 301 is confirmed. For example, the microphone information according to the type of the second electronic device 301 is the type, number, arrangement position, and/or number of microphones included in the second electronic device 301 (eg, the second microphone 371). It may contain configuration information. According to an embodiment, the first electronic device 101 provides type information of a microphone (eg, the second microphone 371) in relation to the second electronic device 301 (eg, an external electronic device or a peripheral electronic device). and audio setting information according to the type information may be stored in the memory 130 . For another example, the memory 130 stores the position of the first microphone 171 of the first electronic device 101, the position of the second microphone 371 of the second electronic device 301, and/or an audio signal. Test data (eg, beamforming parameter information) optimized for a beamforming operation determined based on the position of an object to be created may be stored. For example, the test data is based on the relative positions of the first microphone 171, the second microphone 371, and an object, and setting information and/or the first microphone 171 used for the beamforming operation. 2 may include setting information of the microphone 371. The test data may include a calculated value and/or an experimental value that increases reception sensitivity of an audio signal according to a beamforming operation.

동작 405에서 제 2 전자 장치(301)의 타입에 따른 마이크 정보가 확인되면(동작 405-Yes), 동작 407에서 프로세서(120)는 제 1 전자 장치(101)의 오디오 모듈(170)에 포함된 제 1 마이크(171) 및/또는 제 2 전자 장치(301)의 오디오 모듈(370)에 포함된 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택할 수 있다. 예를 들어, 제 1 전자 장치(101)와 제 2 전자 장치(301)가 상호 간에 연동된 상태(예: 무선 통신 연결된 상태)에서, 프로세서(120)는 복수 개의 마이크들(예: 제 1 전자 장치(101)의 제 1 마이크(171) 및/또는 제 2 전자 장치(301)의 제 2 마이크(371)) 중에서 적어도 하나의 마이크를 선택할 수 있다. 예를 들어, 프로세서(120)는 오브젝트에서 발생된 오디오 신호를 획득함에 있어서, 오브젝트의 상대적인 위치를 기반으로, 적어도 하나의 마이크를 선택할 수 있다. 프로세서(120)는 상대적으로 오브젝트와 더 가까운 위치에 배치된, 적어도 하나의 마이크를 선택할 수 있다.If the microphone information according to the type of the second electronic device 301 is confirmed in operation 405 (operation 405-Yes), the processor 120 in operation 407 includes the audio module 170 of the first electronic device 101. At least one microphone may be selected from among the first microphone 171 and/or the second microphone 371 included in the audio module 370 of the second electronic device 301 . For example, in a state in which the first electronic device 101 and the second electronic device 301 are interlocked with each other (eg, wireless communication connection state), the processor 120 operates a plurality of microphones (eg, the first electronic device 301). At least one microphone may be selected from among the first microphone 171 of the device 101 and/or the second microphone 371 of the second electronic device 301 . For example, in obtaining an audio signal generated from an object, the processor 120 may select at least one microphone based on a relative position of the object. The processor 120 may select at least one microphone disposed at a location relatively closer to the object.

동작 409에서 프로세서(120)는 선택된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득할 수 있다. 예를 들어, 오디오 신호는 오브젝트에서 발생된 오디오 신호를 포함할 수 있다. In operation 409, the processor 120 may acquire an audio signal using at least one selected microphone. For example, the audio signal may include an audio signal generated from an object.

동작 405에서 제 2 전자 장치(301)의 타입에 따른 마이크 정보가 확인되지 않으면(동작 407-No), 동작 411에서 프로세서(120)는 제 1 전자 장치(101)의 제 1 마이크(171)를 통해 획득된 제 1 오디오 신호 및/또는 제 2 전자 장치(301)의 제 2 마이크(371)를 통해 획득된 제 2 오디오 신호를 비교 및/또는 분석할 수 있다. 예를 들어, 프로세서(120)는 제 2 전자 장치(301)에 포함된 마이크 정보(예: 마이크의 종류, 개수, 배치된 위치 및/또는 설정 정보)가 확인되지 않으므로, 제 1 마이크(171)에 대한 제 1 오디오 신호 및/또는 제 2 마이크(371)에 대한 제 2 오디오 신호를 비교하거나, 또는 분석하여, 제 2 마이크(371)의 위치를 확인할 수 있다.If the microphone information according to the type of the second electronic device 301 is not confirmed in operation 405 (operation 407-No), the processor 120 selects the first microphone 171 of the first electronic device 101 in operation 411. The first audio signal obtained through the first audio signal and/or the second audio signal obtained through the second microphone 371 of the second electronic device 301 may be compared and/or analyzed. For example, since the processor 120 does not check microphone information included in the second electronic device 301 (eg, the type, number, location, and/or setting information of the microphones), the first microphone 171 The position of the second microphone 371 may be determined by comparing or analyzing the first audio signal for the first audio signal and/or the second audio signal for the second microphone 371 .

동작 413에서 프로세서(120)는 동작 411에서의 비교 및/또는 분석을 기반으로, 제 2 전자 장치(301)의 제 2 마이크(371)의 위치를 확인할 수 있다. 예를 들어, 제 1 전자 장치(101)의 제 1 마이크(171)의 위치를 기준으로, 제 2 전자 장치(301)의 제 2 마이크(371)가 상대적으로 상기 제 1 마이크(171) 대비, 어느 방향에 위치하는지 여부를 확인할 수 있다. 프로세서(120)는 제 1 마이크(171) 및/또는 제 2 마이크(371) 중에서, 상대적으로 오브젝트에 보다 가깝게 위치한 마이크를 확인할 수 있다. 다른 예를 들어, 제 1 전자 장치(101)의 제 1 마이크(171)의 위치를 기준으로, 제 2 전자 장치(301)의 제 2 마이크(371)가 오디오 신호가 발생된 발원지(예: 오브젝트)로부터 상대적으로 가깝게 위치하는지, 및/또는 상대적으로 멀리 위치하는지 여부를 확인할 수 있다.In operation 413, the processor 120 may check the position of the second microphone 371 of the second electronic device 301 based on the comparison and/or analysis in operation 411. For example, based on the position of the first microphone 171 of the first electronic device 101, the second microphone 371 of the second electronic device 301 is relatively relative to the first microphone 171, You can check which direction it is located. The processor 120 may identify a microphone located relatively closer to the object among the first microphone 171 and/or the second microphone 371 . For another example, based on the location of the first microphone 171 of the first electronic device 101, the second microphone 371 of the second electronic device 301 is the source of the audio signal (eg, an object). ), it can be determined whether it is relatively close and/or relatively far away.

동작 413에서 제 2 전자 장치(301)의 제 2 마이크(371)의 위치가 확인되면, 동작 407에서 프로세서(120)는 제 1 전자 장치(101)의 제 1 마이크(171) 및/또는 제 2 전자 장치(301)의 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택할 수 있다.When the location of the second microphone 371 of the second electronic device 301 is confirmed in operation 413, the processor 120 controls the first microphone 171 and/or the second microphone 171 of the first electronic device 101 in operation 407. At least one microphone may be selected from among the second microphones 371 of the electronic device 301 .

일 실시예에 따르면, 제 1 전자 장치(101)는 제 2 전자 장치(301)가 인체 일부(예: 귀)에 착용되는 상황에 응답하여, 제 2 전자 장치(301)와 무선 통신 연결될 수 있다. 제 1 전자 장치(101)는 제 2 전자 장치(301)와의 연결에 따른 제 2 전자 장치(301)의 타입(예: 오디오 모듈(370)의 정보)을 확인할 수 있다. 제 2 전자 장치(301)에 대한 타입이 확인(예: 제 2 전자 장치(301)의 제 2 마이크(371)의 위치가 확인)되면, 제 1 전자 장치(101)는 제1 전자 장치(101)의 제 1 마이크(171) 및/또는 제 2 전자 장치(301)의 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택할 수 있다. 예를 들어, 제 1 전자 장치(101)는 오디오 신호를 생성하는 오브젝트의 위치를 기준으로, 상대적으로 가깝게 배치된, 적어도 하나의 마이크를 선택할 수 있다. 제 1 전자 장치(101)는 선택된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득(또는, 수신)할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 복수 개의 마이크들(예: 제 1 마이크(171) 및/또는 제 2 마이크(371)) 중에서, 빔포밍 동작에 최적화된 적어도 하나의 마이크를 선별할 수 있고, 선별된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득할 수 있다. 제 1 전자 장치(101)는 획득된 오디오 신호를 기반으로 사용자에게 오디오 서비스를 제공할 수 있다. 사용자는 향상된 오디오 서비스를 제공받을 수 있다.According to an embodiment, the first electronic device 101 may wirelessly communicate with the second electronic device 301 in response to a situation in which the second electronic device 301 is worn on a part of the human body (eg, the ear). . The first electronic device 101 may check the type of the second electronic device 301 (eg, information on the audio module 370) according to the connection with the second electronic device 301. When the type of the second electronic device 301 is confirmed (eg, the position of the second microphone 371 of the second electronic device 301 is confirmed), the first electronic device 101 At least one microphone may be selected from among the first microphone 171 of ) and/or the second microphone 371 of the second electronic device 301 . For example, the first electronic device 101 may select at least one microphone disposed relatively close to the object generating the audio signal. The first electronic device 101 may obtain (or receive) an audio signal using at least one selected microphone. According to an embodiment, the first electronic device 101 selects at least one microphone optimized for a beamforming operation from among a plurality of microphones (eg, the first microphone 171 and/or the second microphone 371). It may be selected, and an audio signal may be acquired using the selected at least one microphone. The first electronic device 101 may provide an audio service to the user based on the obtained audio signal. The user may be provided with an improved audio service.

도 5는 본 발명의 다양한 실시예에 따른 사용자가 응시하는 위치에 기반한 빔포밍 동작을 수행하는 방법을 도시한 흐름도이다.5 is a flowchart illustrating a method of performing a beamforming operation based on a user's gaze position according to various embodiments of the present invention.

도 5의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 5의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 5의 제 2 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 5의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 5 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 of FIG. 2 (eg, an AR device or a wearable electronic device), or Other embodiments may be further included. The first electronic device 101 of FIG. 5 may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 5 (eg, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (eg, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 5 may include at least one component included in the external electronic device 301 of FIG. 3 .

동작 501에서 제 1 전자 장치(101)의 프로세서(예: 도 3의 프로세서(120)는 카메라 모듈(예: 도 3의 카메라 모듈(180))을 사용하여 사용자의 동공 움직임(예: 시선 방향)을 추적할 수 있다. 제 1 전자 장치(101)는 AR 글래스를 포함하고, 카메라 모듈(180)은 사용자의 좌안에 대응되는 제 1 동공 추적 카메라(212-1) 및/또는 사용자의 우안에 대응되는 제 2 동공 추적 카메라(212-2)를 포함할 수 있다. 제 1 동공 추적 카메라(212-1)는 좌안의 움직임을 추적할 수 있고, 제 2 동공 추적 카메라(212-2)는 우안의 움직임을 추적할 수 있다. 예를 들어, 프로세서(120)는 좌안에 기반한 동공 움직임 및/또는 우안에 기반한 동공 움직임을 개별적으로 및/또는 종합적으로 분석할 수 있고, 사용자의 동공 움직임을 추적할 수 있다. In operation 501, the processor (eg, the processor 120 of FIG. 3 ) of the first electronic device 101 uses a camera module (eg, the camera module 180 of FIG. 3 ) to move the user's pupil (eg, a gaze direction). The first electronic device 101 includes AR glasses, and the camera module 180 includes a first pupil tracking camera 212-1 corresponding to the user's left eye and/or the user's right eye. The first pupil tracking camera 212-1 can track the movement of the left eye, and the second pupil tracking camera 212-2 can track the movement of the right eye. Movements may be tracked For example, the processor 120 may individually and/or collectively analyze left eye-based pupil movement and/or right-eye pupil movement, and may track the pupil movement of the user. there is.

동작 503에서 프로세서(120)는 사용자가 응시하는 방향 및/또는 위치를 확인할 수 있다. 예를 들어, 프로세서(120)는 좌안에 의한 제 1 시선 방향 및/또는 우안에 의한 제 2 시선 방향을 기반으로, 제 1 시선 방향 및/또는 제 2 시선 방향이 적어도 부분적으로 일치하는 방향, 지점 및/또는 영역 중 적어도 일부를 확인할 수 있다. 예를 들어, 프로세서(120)는 2D에 기반한 사용자의 응시 방향을 확인하거나, 또는 3D에 기반한 사용자의 응시 위치(예: 영역)를 확인할 수 있다.In operation 503, the processor 120 may check the direction and/or location of the user's gaze. For example, the processor 120 determines a direction, a point where the first gaze direction and/or the second gaze direction at least partially coincide, based on the first gaze direction by the left eye and/or the second gaze direction by the right eye. and/or at least a portion of the region. For example, the processor 120 may check the user's gaze direction based on 2D or the user's gaze position (eg, region) based on 3D.

동작 505에서 프로세서(120)는 확인된 방향 및/또는 위치를 기반으로, 제 1 전자 장치(101)의 제 1 마이크(171)(예: 제 1-1 마이크(171-1) 및/또는 제 1-2 마이크(171-2)) 및/또는 제 2 전자 장치(301)의 제 2 마이크(371)(예: 제 2-1 마이크(371-1) 및/또는 제 2-2 마이크(371-2)) 중에서 적어도 하나의 마이크를 선택할 수 있다. 예를 들어, 프로세서(120)는 확인된 방향 및/또는 위치를 기준으로, 상대적으로 가깝게 위치한 적어도 하나의 마이크를 선택할 수 있다. 확인된 방향 및/또는 위치에서 오디오 신호가 발생하는 경우, 프로세서(120)는 상기 확인된 방향 및/또는 위치에 보다 가깝게 위치한 마이크를 선택하고, 신호 품질이 향상된 오디오 신호를 획득할 수 있다.In operation 505, the processor 120 selects the first microphone 171 (eg, the 1-1 microphone 171-1 and/or the first microphone 171-1) of the first electronic device 101 based on the identified direction and/or location. 1-2 microphone 171-2) and/or the second microphone 371 of the second electronic device 301 (eg, the 2-1 microphone 371-1 and/or the 2-2 microphone 371 At least one microphone can be selected from -2)). For example, the processor 120 may select at least one microphone located relatively close to each other based on the confirmed direction and/or location. When an audio signal is generated in the identified direction and/or position, the processor 120 may select a microphone located closer to the identified direction and/or position, and obtain an audio signal with improved signal quality.

동작 507에서 프로세서(120)는 선택된 적어도 하나의 마이크를 기반으로, 빔포밍 동작에 따른 설정 정보를 변경할 수 있다. 예를 들어, 프로세서(120)는 상기 선택된 적어도 하나의 마이크에 대한 수신 gain값이 높아지도록, 마이크의 설정 정보를 변경할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 특정 방향 및/또는 특정 위치에서 발생되는 오디오 신호의 획득이 용이하도록, 선택된 적어도 하나의 마이크의 설정 정보를 변경할 수 있다.In operation 507, the processor 120 may change setting information according to a beamforming operation based on the selected at least one microphone. For example, the processor 120 may change microphone setting information so that a reception gain value for the selected at least one microphone is increased. According to an embodiment, the first electronic device 101 may change setting information of at least one selected microphone to facilitate acquisition of an audio signal generated in a specific direction and/or a specific location.

동작 509에서 프로세서(120)는 설정 정보가 변경된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득(또는 수신)할 수 있다. 예를 들어, 프로세서(120)는 적어도 하나의 마이크에 대한 수신 gain값을 높게 설정하여, 신호 품질이 향상된 오디오 신호를 획득할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 신호 품질이 향상된 오디오 신호를 기반으로, 사용자에게 향상된 오디오 서비스를 제공할 수 있다.In operation 509, the processor 120 may obtain (or receive) an audio signal using at least one microphone whose setting information is changed. For example, the processor 120 may obtain an audio signal having improved signal quality by setting a high reception gain value for at least one microphone. According to an embodiment, the first electronic device 101 may provide an improved audio service to the user based on an audio signal having an improved signal quality.

일 실시예에 따르면, 제 1 전자 장치(101)(예: AR 글래스)는 카메라 모듈(180)(예: 도 3의 동공 추적 카메라(181))를 사용하여, 사용자가 응시하는 방향 및/또는 위치를 확인할 수 있고, 상기 확인된 방향 및/또는 위치를 기반으로 적어도 하나의 마이크를 선별할 수 있다. 제 1 전자 장치(101)는 선별된 적어도 하나의 마이크를 사용하여, 빔포밍 동작에 따른 오디오 신호를 획득할 수 있다.According to an embodiment, the first electronic device 101 (eg, AR glasses) uses a camera module 180 (eg, the pupil tracking camera 181 of FIG. 3 ) to determine the direction the user gazes and/or A location may be identified, and at least one microphone may be selected based on the identified direction and/or location. The first electronic device 101 may obtain an audio signal according to a beamforming operation using at least one selected microphone.

도 6은 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 복수 개의 마이크를 기반으로 빔포밍 동작을 수행하는 방법을 도시한 흐름도이다.6 is a flowchart illustrating a method of performing a beamforming operation based on a plurality of microphones in a state in which an electronic device and an external electronic device are connected according to various embodiments of the present disclosure.

도 6의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 6의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 6의 제 2 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 6의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 6 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 (eg, an AR device or a wearable electronic device) of FIG. 2 , or Other embodiments may be further included. The first electronic device 101 of FIG. 6 may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 6 (eg, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (eg, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 6 may include at least one component included in the external electronic device 301 of FIG. 3 .

동작 601에서 제 1 전자 장치(101)의 프로세서(예: 도 3의 프로세서(120))는 제 2 전자 장치(301)의 착용에 응답하여, 제 1 전자 장치(101) 및 제 2 전자 장치(301) 간의 무선 통신 연결을 수행할 수 있다. 프로세서(120)는 통신 모듈(예: 도 3의 통신 모듈(190))을 통해, 제 2 전자 장치(301)(예: 도 1의 외부 전자 장치(102))와의 통신 연결을 확인할 수 있다. 예를 들어, 제1 전자 장치(101)는 제2 전자 장치(301)와의 무선 통신 연결 수립 절차가 완료되면 제2 전자 장치(301)와의 연결을 확인할 수 있다. 다른 예를 들어, 제 1 전자 장치(101)는 제 2 전자 장치(301)로부터 제2 전자 장치(301)가 사용자에게 착용되었음을 나타내는 신호(예: 제 2 전자 장치(301)가 사용자의 인체 일부에 착용되었을 때, 제 2 전자 장치(301)에서 생성되는 신호)를 수신하게 되면, 제2 전자 장치(301)와의 연결을 확인할 수 있다. In operation 601, the processor (for example, the processor 120 of FIG. 3 ) of the first electronic device 101 responds to the wearing of the second electronic device 301, and the first electronic device 101 and the second electronic device ( 301) may perform a wireless communication connection between them. The processor 120 may check a communication connection with the second electronic device 301 (eg, the external electronic device 102 of FIG. 1 ) through a communication module (eg, the communication module 190 of FIG. 3 ). For example, the first electronic device 101 may check the connection with the second electronic device 301 when a wireless communication connection establishment procedure with the second electronic device 301 is completed. For another example, the first electronic device 101 receives a signal from the second electronic device 301 indicating that the second electronic device 301 is worn by the user (eg, the second electronic device 301 is part of the user's body). When it is worn on, when a signal generated by the second electronic device 301 is received, a connection with the second electronic device 301 can be confirmed.

동작 603에서 프로세서(120)는 마이크에 대한 설정 정보를 결정하기 위한 방법을 선택할 수 있다. 프로세서(120)는 여러 방식들(예: 제 1 방식, 제 2 방식, 제 3 방식) 중에서 적어도 하나의 마이크를 선택하기 위한 하나의 방식을 선택할 수 있다. 제 1전자 장치(101)는 다양한 방식을 사용하여, 제 1 전자 장치(101)의 제 1 마이크(171) 및/또는 제 2 전자 장치(301)의 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택하고, 선택된 적어도 하나의 마이크에 대한 설정 정보를 변경할 수 있다. 도 6을 참조하면, 다양한 방식은 동작 605 내지 동작 607에 기반한 제 1 방식, 동작 609 내지 동작 611에 기반한 제 2 방식, 및/또는 동작 613 내지 동작 615에 기반한 제 3 방식 중 하나를 포함할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 다양한 방식들 중에서 하나의 방식을 선택하거나, 또는, 하나 이상의 방식을 조합하는 형태로 동작할 수 있다.In operation 603, the processor 120 may select a method for determining configuration information for a microphone. The processor 120 may select one method for selecting at least one microphone among several methods (eg, the first method, the second method, and the third method). The first electronic device 101 uses at least one microphone among the first microphone 171 of the first electronic device 101 and/or the second microphone 371 of the second electronic device 301 by using various methods. can be selected, and setting information for at least one selected microphone can be changed. Referring to FIG. 6 , various methods may include one of a first method based on operations 605 to 607, a second method based on operations 609 to 611, and/or a third method based on operations 613 to 615. there is. According to an embodiment, the first electronic device 101 may select one method from among various methods or operate in a combination of one or more methods.

제 1 방식에 따르면, 동작 605에서 프로세서(120)는 카메라 모듈(예: 도 3의 카메라 모듈(180), 도 3의 동공 추적 카메라(181))을 사용하여 사용자가 응시하는 방향 및/또는 위치를 확인할 수 있다. 예를 들어, 카메라 모듈(180)이 비활성화 상태인 경우, 프로세서(120)는 카메라 모듈(180)을 적어도 부분적으로 활성화시켜서 사용자가 응시하는 방향 및/또는 위치를 확인할 수 있다. 동작 607에서 프로세서(120)는 확인된 방향 및/또는 위치를 기반으로, 제 1 전자 장치(101)의 제 1 마이크(171) 및/또는 제 2 전자 장치(301)의 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택할 수 있다. 예를 들어, 프로세서(120)는 확인된 방향 및/또는 위치를 기반으로, 복수 개의 마이크들 중에서, 상대적으로 가깝게 배치된 적어도 하나의 마이크를 선택할 수 있다.According to the first method, in operation 605, the processor 120 uses a camera module (eg, the camera module 180 of FIG. 3 and the pupil tracking camera 181 of FIG. 3) to determine the direction and/or location of the user's gaze. can be checked. For example, when the camera module 180 is in an inactive state, the processor 120 may at least partially activate the camera module 180 to check the direction and/or location of the user's gaze. In operation 607, the processor 120 selects the first microphone 171 of the first electronic device 101 and/or the second microphone 371 of the second electronic device 301 based on the identified direction and/or location. At least one microphone can be selected from among them. For example, the processor 120 may select at least one microphone disposed relatively close from among a plurality of microphones based on the identified direction and/or location.

제 2 방식에 따르면, 동작 609에서 프로세서(120)는 오디오 신호가 생성된 발원지(예: 오디오 신호를 생성하는 오브젝트)의 방향 및/또는 위치를 확인하기 위해, 제 1 전자 장치(101)의 제 1 마이크(171)를 통해 획득된 제 1 오디오 신호 및/또는 제 2 전자 장치(301)의 제 2 마이크(371)를 통해 획득된 제 2 오디오 신호를 기반으로 오디오 신호가 생성된 방향 및/또는 위치를 확인할 수 있다. 예를 들어, 프로세서(120)는 제 1 오디오 신호 및/또는 제2 오디오 신호를 비교하거나, 또는 분석하여, 오디오 신호가 생성되는 발원지의 상대적인 방향을 확인할 수 있다. 동작 611에서 프로세서(120)는 확인된 방향 및/또는 위치를 기반으로, 제 1 마이크(171) 및/또는 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택할 수 있다. According to the second method, in operation 609, the processor 120 checks the direction and/or location of the source of the audio signal (eg, an object generating the audio signal), in the first electronic device 101. 1 Based on the first audio signal acquired through the microphone 171 and/or the second audio signal acquired through the second microphone 371 of the second electronic device 301, the direction in which the audio signal was generated and/or location can be checked. For example, the processor 120 may compare or analyze the first audio signal and/or the second audio signal to determine the relative directions of the origins of the audio signals. In operation 611, the processor 120 may select at least one microphone from among the first microphone 171 and/or the second microphone 371 based on the identified direction and/or location.

제 3 방식에 따르면, 동작 613에서 프로세서(120)는 카메라 모듈(180)(예: 도 2의 촬영용 카메라(213), 거리 측정 카메라)을 사용하여, 오디오 신호가 생성된 오브젝트의 방향 및/또는 오브젝트까지의 거리를 확인할 수 있다. 동작 615에서 프로세서(120)는 확인된 오브젝트의 방향 및/또는 오브젝트까지의 거리를 기반으로, 제 1 마이크(171) 및/또는 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택할 수 있다. According to the third method, in operation 613, the processor 120 uses the camera module 180 (eg, the photographing camera 213 of FIG. 2 and the distance measuring camera) to determine the direction of the object from which the audio signal is generated and/or You can check the distance to the object. In operation 615, the processor 120 may select at least one microphone from among the first microphone 171 and/or the second microphone 371 based on the direction of the identified object and/or the distance to the object.

동작 617에서 프로세서(120)는 전술된 3가지의 방식(예: 제 1 방식, 제2 방식 및/또는 제 3 방식) 중 적어도 하나에 기반하여, 선택된 적어도 하나의 마이크에 대한 설정 정보(예: 마이크에 대한 오디오 수신 gain값)를 결정할 수 있다.In operation 617, the processor 120 performs setting information (eg: audio reception gain value for the microphone) can be determined.

동작 619에서 프로세서(120)는 설정 정보가 변경된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득(또는, 수신)할 수 있다. 일 실시예에 따르면, 빔포밍 동작의 수행을 위해, 적어도 하나의 마이크를 선택하는 다양한 방법이 있을 수 있다. 제 1 전자 장치(101)는 카메라 모듈(180)(예: 동공 추적 카메라(181))을 사용하여 확인된 사용자의 시선 방향 및/또는 위치를 기반으로 적어도 하나의 마이크를 선택하는 제 1 방식, 복수 개의 마이크(예: 제 1 마이크(171) 및/또는 제 2 마이크(371))를 사용하여 확인된 오디오 신호가 생성된 방향 및/또는 위치를 기반으로 적어도 하나의 마이크를 선택하는 제 2 방식, 및/또는 카메라 모듈(180)(예: 촬영용 카메라(213) 및/또는 거리 측정 카메라)을 사용하여 확인된 오브젝트의 방향 및/또는 오브젝트까지의 거리를 기반으로 적어도 하나의 마이크를 선택하는 제 3 방식 중 적어도 하나의 방식을 선택할 수 있다. 제 1 전자 장치(101)는 선택된 방식에 의해, 적어도 하나의 마이크를 결정할 수 있고, 상기 적어도 하나의 마이크의 설정 정보(예: 오디오 수신 gain값)를 변경할 수 있다. 제 1 전자 장치(101)는 설정 정보가 변경된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 선택된 적어도 하나의 마이크를 사용하여, 빔포밍 동작에 따른 오디오 신호를 획득할 수 있으며, 사용자에게 향상된 오디오 서비스를 제공할 수 있다.In operation 619, the processor 120 may acquire (or receive) an audio signal using at least one microphone whose setting information is changed. According to an embodiment, there may be various methods of selecting at least one microphone to perform the beamforming operation. A first method in which the first electronic device 101 selects at least one microphone based on the direction and/or position of the user's gaze identified using the camera module 180 (eg, the pupil tracking camera 181); A second method of selecting at least one microphone based on a direction and/or location in which an audio signal identified using a plurality of microphones (eg, the first microphone 171 and/or the second microphone 371) is generated , And / or a method for selecting at least one microphone based on the direction of the object and / or the distance to the object identified using the camera module 180 (eg, the photographing camera 213 and / or the distance measuring camera). At least one of the three methods may be selected. The first electronic device 101 may determine at least one microphone according to a selected method, and may change setting information (eg, an audio reception gain value) of the at least one microphone. The first electronic device 101 may obtain an audio signal using at least one microphone whose setting information has been changed. According to an embodiment, the first electronic device 101 may obtain an audio signal according to a beamforming operation using at least one selected microphone and provide an improved audio service to a user.

도 7은 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 빔포밍 동작을 수행하는 도중, 외부 전자 장치와의 연결이 해제되는 경우의 빔포밍 동작을 수행하는 방법을 도시한 흐름도이다.7 illustrates a method of performing a beamforming operation when a connection with an external electronic device is disconnected while performing a beamforming operation in a state in which an electronic device and an external electronic device are connected according to various embodiments of the present invention. It is a flow chart.

도 7의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 7의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 7의 제 2 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 7의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 7 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 (eg, an AR device or a wearable electronic device) of FIG. 2 , or Other embodiments may be further included. The first electronic device 101 of FIG. 7 may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 7 (for example, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (for example, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 7 may include at least one component included in the external electronic device 301 of FIG. 3 .

동작 701에서 제 1 전자 장치(101)의 프로세서(예: 도 3의 프로세서(120))는 인체 일부(예: 귀)로부터 제 2 전자 장치(301)가 탈착되는 상황을 확인할 수 있다. 예를 들어, 제 1 전자 장치(101)는 제 1 전자 장치(101)에 포함된 제 1 마이크(171) 및/또는 제 2 전자 장치(301)에 포함된 제 2 마이크(371)를 사용하여 오디오 신호를 획득하는 상황에서, 제 2 전자 장치(301)가 인체의 일부(예: 귀)로부터 착용이 해제되는 상황을 확인할 수 있다. 예를 들어, 제 2 전자 장치(301)는 센서 모듈(376)(예: 근접 센서, 모션 센서, 착용 감지 센서)을 통해, 제 2 전자 장치(301)가 인체 일부에서 물리적으로 떨어진 상황을 확인하고, 제 2 전자 장치(301)가 탈착된 상황을 나타내는 신호를 제 1 전자 장치(101)에 전송할 수 있다. 제 1 전자 장치(101)는 상기 신호의 수신에 응답하여, 제 2 전자 장치(301)가 인체 일부로부터 탈착되었음을 확인할 수 있다. 동작 701은 사용자가 제 1 전자 장치(101) 및/또는 제 2 전자 장치(301)를 기반으로 증강 현실 서비스를 제공 받는 상황에서, 사용자가 제 2 전자 장치(301)(예: 무선 이어폰)를 귀에서 분리한 상황을 포함할 수 있다. 제 2 전자 장치(301)가 인체 일부로부터 탈착된 것은 빔포밍 동작을 위한 마이크의 재설정이 필요하다는 의미일 수 있다.In operation 701, the processor of the first electronic device 101 (eg, the processor 120 of FIG. 3) may check a situation in which the second electronic device 301 is detached from a part of the human body (eg, the ear). For example, the first electronic device 101 uses a first microphone 171 included in the first electronic device 101 and/or a second microphone 371 included in the second electronic device 301. In a situation in which an audio signal is obtained, a situation in which the second electronic device 301 is removed from a part of the human body (eg, the ear) may be identified. For example, the second electronic device 301 checks a situation in which the second electronic device 301 is physically separated from a part of the human body through the sensor module 376 (eg, a proximity sensor, a motion sensor, and a wearing detection sensor). and may transmit a signal indicating a situation in which the second electronic device 301 is attached or detached to the first electronic device 101 . In response to receiving the signal, the first electronic device 101 can confirm that the second electronic device 301 is detached from a part of the human body. In operation 701, in a situation where the user receives an augmented reality service based on the first electronic device 101 and/or the second electronic device 301, the user uses the second electronic device 301 (eg, a wireless earphone). This may include situations where it is detached from the ear. Detachment of the second electronic device 301 from a part of the human body may mean that a microphone needs to be reset for beamforming operation.

동작 703에서 프로세서(120)는 제 1 전자 장치(101)의 제 1 마이크(171)에 대한 설정 정보를 확인할 수 있다. 예를 들어, 제 1 마이크(171)에 대한 설정 정보는 동작 701에서 제 1 마이크(171) 및/또는 제 2 마이크(371)에 기반한 빔포밍 동작에 따른, 제 1 마이크(171)의 설정 정보를 포함할 수 있다. 동작 703에서 프로세서(120)는 빔포밍 동작에 활용되던 제 2 마이크(371)(예: 제 2 전자 장치(301))가 인체 일부로부터 탈착됨에 따라, 제 1 마이크(171)의 설정 정보를 변경하고자, 제 1 마이크(171)의 설정 정보를 확인할 수 있다.In operation 703, the processor 120 may check setting information for the first microphone 171 of the first electronic device 101. For example, setting information for the first microphone 171 is setting information of the first microphone 171 according to a beamforming operation based on the first microphone 171 and/or the second microphone 371 in operation 701 . can include In operation 703, the processor 120 changes setting information of the first microphone 171 as the second microphone 371 (eg, the second electronic device 301) used in the beamforming operation is detached from a part of the human body. To do so, setting information of the first microphone 171 may be checked.

동작 705에서 프로세서(120)는 사용자의 동공 움직임을 추적하기 위한 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212, 212-1, 212-2), 도 3의 동공 추적 카메라(181))를 활성화시킬 수 있다. 동작 705에서 프로세서(120)는 제 1 마이크(171)만을 사용한 빔포밍 동작을 위해, 제 1 전자 장치(101)에 포함된 동공 추적 카메라(181)를 활용할 수 있다.In operation 705, the processor 120 uses a pupil tracking camera (eg, the pupil tracking cameras 212, 212-1, and 212-2 of FIG. 2 and the pupil tracking camera 181 of FIG. 3) for tracking the movement of the user's pupil. can activate. In operation 705 , the processor 120 may utilize the pupil tracking camera 181 included in the first electronic device 101 for a beamforming operation using only the first microphone 171 .

동작 707에서 프로세서(120)는 동공 추적 카메라(181)를 사용하여 사용자가 응시하는 방향 및/또는 위치를 확인할 수 있다. 예를 들어, 동작 707은 제 1 전자 장치(101)가 착용된 상태를 유지하면서, 사용자가 오디오 신호가 발생되는 발원지(예: 오브젝트)를 응시하는 상황일 수 있다.In operation 707, the processor 120 may check the direction and/or location of the user's gaze using the pupil tracking camera 181. For example, operation 707 may be a situation in which a user gazes at a source (eg, an object) from which an audio signal is generated while maintaining a worn state of the first electronic device 101 .

동작 709에서 프로세서(120)는 확인된 방향 및/또는 위치를 기반으로, 제 1 전자 장치(101)의 제 1 마이크(171)에 대한 설정 정보(예: 오디오 수신 gain값)를 변경할 수 있다. 예를 들어, 동작 703에서 확인된 제 1 마이크(171)의 설정 정보는 제 1 마이크(171) 및/또는 제 2 마이크(371)에 기반한 빔포밍 동작에 따른 설정 정보(예: 제 1 설정 정보)이고, 동작 709에서 프로세서(120)는 상기 제 1 설정 정보를, 제 1 마이크(171)에 기반한 빔포밍 동작에 따른 설정 정보(예: 제 2 설정 정보)로 변경할 수 있다. In operation 709, the processor 120 may change setting information (eg, an audio reception gain value) of the first microphone 171 of the first electronic device 101 based on the confirmed direction and/or location. For example, the setting information of the first microphone 171 checked in operation 703 is setting information according to a beamforming operation based on the first microphone 171 and/or the second microphone 371 (eg, first setting information ), and in operation 709, the processor 120 may change the first setting information to setting information according to a beamforming operation based on the first microphone 171 (eg, second setting information).

동작 711에서 프로세서(120)는 설정 정보가 변경된 제 1 마이크(171)를 사용하여 오디오 신호를 획득할 수 있다. 프로세서(120)는 제 1 마이크(171)에 기반한 빔포밍 동작을 수행하면서, 오디오 신호를 획득할 수 있다.In operation 711, the processor 120 may obtain an audio signal using the first microphone 171 for which setting information has been changed. The processor 120 may obtain an audio signal while performing a beamforming operation based on the first microphone 171 .

일 실시예에 따르면, 제 1 전자 장치(101)는 제 2 전자 장치(301)와의 연동에 따른 빔포밍 동작(예: 제 1 빔포밍 동작)을 수행하는 중에, 제 2 전자 장치(301)가 인체 일부로부터 탈착되더라도, 제 1 전자 장치(101)에 기반한 빔포밍 동작(예: 제 2 빔포밍 동작)으로 변경할 수 있고, 계속적으로 향상된 오디오 서비스를 사용자에게 제공할 수 있다.According to an embodiment, while the first electronic device 101 performs a beamforming operation (eg, a first beamforming operation) according to interworking with the second electronic device 301, the second electronic device 301 Even if it is detached from a part of the human body, it can change to a beamforming operation (eg, a second beamforming operation) based on the first electronic device 101 and continuously provide an improved audio service to the user.

도 8은 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 오디오 신호가 출력되는 도중, 외부 전자 장치와의 연결이 해제되는 경우의 동작을 수행하는 방법을 도시한 흐름도이다.8 is a flowchart illustrating a method of performing an operation when a connection with an external electronic device is disconnected while an audio signal is being output while the electronic device and the external electronic device are connected according to various embodiments of the present disclosure.

도 8의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 8의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 8의 제 2 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 8의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 8 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 (eg, an AR device or a wearable electronic device) of FIG. Other embodiments may be further included. The first electronic device 101 of FIG. 8 may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 8 (eg, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (eg, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 8 may include at least one component included in the external electronic device 301 of FIG. 3 .

동작 801에서 제 1 전자 장치(101)의 프로세서(예: 도 3의 프로세서(120))는 제 1 전자 장치(101)와 제 2 전자 장치(301)가 상호 간에 연결(예: 무선 통신 연결)된 상태에서, 제 2 전자 장치(301)를 통한 오디오 신호가 출력 중인 상태일 수 있다.In operation 801, the processor (eg, the processor 120 of FIG. 3 ) of the first electronic device 101 connects the first electronic device 101 and the second electronic device 301 to each other (eg, wireless communication connection). In this state, an audio signal through the second electronic device 301 may be output.

동작 803에서 제 1 전자 장치(101)는 제 2 전자 장치(301)에 대한 연결이 해제되었는지 여부를 확인할 수 있다. 예를 들어, 동작 803은 사용자가 제 1 전자 장치(101)(예: AR 글래스) 및/또는 제 2 전자 장치(301)(예: 무선 이어폰)를 기반으로 증강 현실 서비스를 제공 받는 도중, 제 2 전자 장치(301)에 대한 연결(예: 무선 통신 연결)이 해제된 상황을 포함할 수 있다. 예를 들어, 제1 전자 장치(101)는 제 2 전자 장치(301)와의 무선 통신 연결 해제 절차가 수행되거나, 제 2 전자 장치(301)로부터의 신호가 지정된 시간 이상 감지되지 않으면, 제 2 전자 장치(301)와의 연결이 해제된 것으로 결정할 수 있다.In operation 803, the first electronic device 101 may check whether the connection to the second electronic device 301 is released. For example, in operation 803, while the user is being provided with an augmented reality service based on the first electronic device 101 (eg, AR glasses) and/or the second electronic device 301 (eg, wireless earphones), 2 This may include a situation in which the connection to the electronic device 301 (eg, wireless communication connection) is released. For example, if a wireless communication connection release procedure with the second electronic device 301 is performed or a signal from the second electronic device 301 is not detected for a specified period of time or more, the first electronic device 101 sends the second electronic device 301 It may be determined that the connection with the device 301 has been released.

동작 803에서 제 2 전자 장치(301)(예: 오디오 신호의 출력을 담당한 외부 전자 장치)에 대한 연결이 해제되면(동작 803-Yes), 동작 805에서 프로세서(120)는 오디오 출력과 관련하여, 매너 모드가 설정되어 있는지 여부를 확인할 수 있다. 예를 들어, 매너 모드는 스피커를 통해 오디오 신호가 출력되지 않는 모드를 포함할 수 있다. 동작 805에서 프로세서(120)는 제 2 전자 장치(301)에 대한 연결이 해제됨에 따라, 오디오 신호의 출력과 관련된 매너 모드가 설정되어 있는지 여부를 확인할 수 있다. 다양한 실시예에 따른 매너 모드는 설명의 편의를 위해 지칭하는 용어에 불과하며, 제2 전자 장치(301)가 연결 및/또는 해제된 경우 제 1 전자 장치(101)의 스피커를 통한 오디오 출력을 제어하기 위한 설정이라면 그 종류에 제한이 없음을 당업자는 용이하게 이해할 것이다. 동작 803에서 제 2 전자 장치(301)에 대한 연결이 해제되지 않으면(동작 803-No), 제 1 전자 장치(101)는 제 2 전자 장치(301)를 통한 오디오 신호의 출력을 유지할 수 있다.When the connection to the second electronic device 301 (eg, the external electronic device responsible for outputting the audio signal) is released in operation 803 (operation 803-Yes), in operation 805, the processor 120 outputs the audio. , you can check whether the manner mode is set. For example, the manner mode may include a mode in which an audio signal is not output through a speaker. In operation 805, as the connection to the second electronic device 301 is disconnected, the processor 120 may check whether a manner mode related to audio signal output is set. The manner mode according to various embodiments is merely a term for convenience of explanation, and controls audio output through the speaker of the first electronic device 101 when the second electronic device 301 is connected and/or disconnected. Those skilled in the art will easily understand that the type is not limited if it is set to do so. If the connection to the second electronic device 301 is not released in operation 803 (operation 803-No), the first electronic device 101 may maintain the output of the audio signal through the second electronic device 301.

동작 805에서 매너 모드가 설정되어 있다면(동작 805-Yes), 동작 807에서 프로세서(120)는 제 1 전자 장치(101)의 디스플레이(예: 도 2의 디스플레이 모듈(160))를 통해, 해제 관련 메시지를 표시할 수 있다. 예를 들어, 해제 관련 메시지는 “제 2 전자 장치(301)의 연결이 해제되었습니다.”와 같은 알림 메시지를 포함할 수 있다. 매너 모드로 설정된 상태이므로, 제 1 전자 장치(101)는 GUI(graphic user interface) 형태(예: 텍스트, 아이콘)의 해제 관련 메시지를 디스플레이를 통해, 표시할 수 있다. 제 1 전자 장치(101)는 오디오 신호의 출력을 중단할 수 있다. 예를 들어, 재생 중이던 컨텐츠의 재생을 중지하여, 오디오 신호의 출력을 중지할 수 있다.If the manner mode is set in operation 805 (operation 805-Yes), in operation 807, the processor 120 is related to release through the display of the first electronic device 101 (eg, the display module 160 of FIG. 2). message can be displayed. For example, the release-related message may include a notification message such as “The second electronic device 301 has been disconnected.” Since the state is set to the manner mode, the first electronic device 101 may display a release-related message in the form of a graphical user interface (GUI) (eg, text, icon) through the display. The first electronic device 101 may stop outputting an audio signal. For example, it is possible to stop the output of an audio signal by stopping reproduction of the content being reproduced.

동작 807에서 매너 모드가 설정되어 있지 않다면(동작 807-No), 동작 809에서 프로세서(120)는 제 1 전자 장치(101)의 스피커에 대한 설정 정보(예: 오디오 출력값)를 기반으로, 제 1 전자 장치(101)를 통한 오디오 신호를 출력할 수 있다. 매너 모드로 설정된 상태가 아니므로, 제 1 전자 장치(101)는 스피커를 통해 오디오 신호의 적어도 일부를 출력할 수 있다. 예를 들어, 제 2 전자 장치(301)가 해제되었다는 내용의 오디오 신호 및/또는 재생 중인 컨텐츠의 오디오 신호를 출력할 수 있다. 다른 예를 들어, 제 1 전자 장치(101)는 오디오 신호 출력의 연속성을 위해 오디오 신호를 출력하는 컨텐츠가 재생 중인 경우 제 2 전자 장치(301)의 해제와 관련된 GUI 형태의 메시지를 디스플레이를 통해 표시하고, 컨텐츠의 사운드 신호는 제 1 전자 장치(101)의 스피커를 통해 출력할 수도 있다. In operation 807, if the manner mode is not set (operation 807-No), in operation 809, the processor 120 performs a first output based on setting information (eg, an audio output value) of the speaker of the first electronic device 101. An audio signal may be output through the electronic device 101 . Since the manner mode is not set, the first electronic device 101 may output at least a part of the audio signal through the speaker. For example, an audio signal indicating that the second electronic device 301 has been released and/or an audio signal of content being reproduced may be output. For another example, the first electronic device 101 displays a GUI-type message related to release of the second electronic device 301 through a display when content outputting an audio signal is being reproduced for continuity of audio signal output. And, the sound signal of the content may be output through the speaker of the first electronic device 101 .

일 실시예에 따르면, 제 1 전자 장치(101) 및 제 2 전자 장치(301)가 상호 간에 연동된 상태에서, 제 1 전자 장치(101)는 제 2 전자 장치(301)를 통해 오디오 서비스를 사용자에게 제공할 수 있다. 제 1 전자 장치(101)는 제 2 전자 장치(301)에 대한 연결(예: 무선 통신 연결)이 해제되는 상황에서, 매너 모드로의 설정 유무를 확인할 수 있고, 매너 모드가 설정된 경우, 오디오 신호를 GUI형태의 해제 관련 메시지로 변환할 수 있고, 상기 해제 관련 메시지를 디스플레이를 통해 표시할 수 있다. 한편, 제 1 전자 장치(101)는 매너 모드가 설정되지 않은 경우, 제 1 전자 장치(101)에 포함된 오디오 모듈(180)을 통해, 제 2 전자 장치(301)가 해제되었다는 내용의 오디오 신호를 출력할 수 있다.According to an embodiment, in a state in which the first electronic device 101 and the second electronic device 301 interlock with each other, the first electronic device 101 provides an audio service through the second electronic device 301 to the user. can be provided to The first electronic device 101 may check whether the silent mode is set in a situation in which the connection (eg, wireless communication connection) to the second electronic device 301 is released, and when the silent mode is set, an audio signal is received. may be converted into a release-related message in the form of a GUI, and the release-related message may be displayed on a display. Meanwhile, when the manner mode is not set, the first electronic device 101 sends an audio signal indicating that the second electronic device 301 is released through the audio module 180 included in the first electronic device 101. can output

도 9는 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 spatial 방식의 오디오 신호가 출력되는 도중, 외부 전자 장치가 인체 일부로부터 탈착되는 경우 stereo 방식의 오디오 신호를 출력하는 방법을 도시한 흐름도이다.9 is a method of outputting a stereo-type audio signal when an external electronic device is detached from a part of a human body while a spatial-type audio signal is being output in a state in which an electronic device and an external electronic device are connected according to various embodiments of the present invention. It is a flow chart showing

도 9의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 9의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 9의 제 2 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 9의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 9 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 of FIG. 2 (eg, an AR device or a wearable electronic device), or Other embodiments may be further included. The first electronic device 101 of FIG. 9 may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 9 (eg, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (eg, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 9 may include at least one component included in the external electronic device 301 of FIG. 3 .

동작 901에서 제 1 전자 장치(101)의 프로세서(예: 도 3의 프로세서(120))는 제 1 전자 장치(101)와 제 2 전자 장치(301)가 상호 간에 연결(예: 무선 통신 연결)된 상태를 확인할 수 있다.In operation 901, the processor (eg, processor 120 of FIG. 3 ) of the first electronic device 101 connects the first electronic device 101 and the second electronic device 301 to each other (eg, wireless communication connection). status can be checked.

동작 903에서 프로세서(120)는 제 1 전자 장치(101)에서 생성된 spatial 방식의 오디오 신호를 제 2 전자 장치(301)를 통해 출력하는 상태일 수 있다. 예를 들어, 제 1 전자 장치(101)는 AR 글래스로서, 공간적인 요소가 고려된 spatial 방식의 오디오 신호를 생성할 수 있고, 제 1 전자 장치(101)와 작동적으로 연결된 제 2 전자 장치(301)를 통해 spatial 방식의 오디오 신호가 출력되도록, 제 2 전자 장치(301)를 적어도 부분적으로 제어할 수 있다.In operation 903, the processor 120 may be in a state of outputting the audio signal of the spatial method generated by the first electronic device 101 through the second electronic device 301. For example, the first electronic device 101 is an AR glass that can generate an audio signal in a spatial manner in which spatial factors are considered, and a second electronic device operatively connected to the first electronic device 101 ( 301), the second electronic device 301 may be at least partially controlled to output a spatial audio signal.

동작 905에서 프로세서(120)는 제 1 전자 장치(101)가 인체 일부(예: 귓바퀴)로부터 탈착되었는지 여부를 판단할 수 있다. 예를 들어, 프로세서(120)는 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212, 212-1, 212-2), 도 3의 동공 추적 카메라(181))를 통해, 사용자의 동공이 존재하는지 여부를 확인할 수 있고, 동공이 확인되지 않는 경우, 제 1 전자 장치(101)가 인체 일부로부터 탈착되었음을 판단할 수 있으나, 제1 전자 장치(101)의 탈착 여부를 판단하는 방법은 이에 한정되지 않는다. 예를 들어, 제1 전자 장치(101)는 근접 센서 및/또는 모션 센서(예: 도 3의 모션 센서(177))를 포함하고, 근접 센서 및/또는 모션 센서(177)에 기반하여 탈착 여부를 판단할 수도 있다.In operation 905, the processor 120 may determine whether the first electronic device 101 is detached from a part of the human body (eg, an auricle). For example, the processor 120 uses a pupil tracking camera (eg, the pupil tracking cameras 212 , 212 - 1 , and 212 - 2 of FIG. 2 and the pupil tracking camera 181 of FIG. 3 ) to track the pupil of the user. It is possible to check whether the first electronic device 101 exists, and if the pupil is not confirmed, it can be determined that the first electronic device 101 is detached from a part of the human body, but the method of determining whether the first electronic device 101 is detached is limited to this. It doesn't work. For example, the first electronic device 101 includes a proximity sensor and/or a motion sensor (eg, the motion sensor 177 of FIG. 3 ), and determines whether the first electronic device 101 is attached or detached based on the proximity sensor and/or the motion sensor 177 . can also judge.

동작 905에서 제 1 전자 장치(101)가 인체 일부로부터 탈착된 경우, 동작 907에서 프로세서(120)는 제 1 전자 장치(101)에서 stereo 방식의 오디오 신호를 생성할 수 있다.In operation 905, when the first electronic device 101 is detached from a part of the human body, in operation 907, the processor 120 may generate a stereo type audio signal from the first electronic device 101.

동작 907에서 프로세서(120)는 제 1 전자 장치(101)에서 생성된 stereo 방식의 오디오 신호를 제 2 전자 장치(301)를 통해 출력할 수 있다.In operation 907, the processor 120 may output the stereo type audio signal generated by the first electronic device 101 through the second electronic device 301.

일 실시예에 따르면, 제 1 전자 장치(101) 및 제 2 전자 장치(301)가 상호 간에 연동된 상태에서, 제 2 전자 장치(301)를 통해, spatial 방식의 오디오 신호가 출력될 수 있다. 제 1 전자 장치(101)가 인체 일부로부터 탈착되는 상황에서, 제 1 전자 장치(101)는 stereo 방식의 오디오 신호를 생성할 수 있고, 제 2 전자 장치(301)를 통해, stereo 방식의 오디오 신호를 출력할 수 있다.According to an embodiment, in a state in which the first electronic device 101 and the second electronic device 301 interlock with each other, a spatial type audio signal may be output through the second electronic device 301 . In a situation where the first electronic device 101 is detached from a part of the human body, the first electronic device 101 can generate a stereo type audio signal, and through the second electronic device 301, the stereo type audio signal. can output

도 10은 본 발명의 다양한 실시예에 따른 전자 장치와 외부 전자 장치가 연결된 상태에서 오디오 신호가 출력되는 도중, 전자 장치가 인체 일부로부터 탈착되는 경우의 동작을 수행하는 방법을 도시한 흐름도이다.10 is a flowchart illustrating a method of performing an operation when an electronic device is detached from a part of a human body while an audio signal is being output while an electronic device and an external electronic device are connected according to various embodiments of the present disclosure.

도 10의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 10의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 10의 제 2 전자 장치(예: 도 1의 외부전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 10의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 10 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 (eg, an AR device or a wearable electronic device) of FIG. Other embodiments may be further included. The first electronic device 101 of FIG. 10 may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 10 (eg, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (eg, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 10 may include at least one component included in the external electronic device 301 of FIG. 3 .

동작 1001에서 제 1 전자 장치(101)의 프로세서(예: 도 3의 프로세서(120))는 제 1 전자 장치(101)와 제 2 전자 장치(301)가 상호 간에 연결(예: 무선 통신 연결)된 상태를 확인할 수 있다.In operation 1001, the processor (eg, the processor 120 of FIG. 3 ) of the first electronic device 101 connects the first electronic device 101 and the second electronic device 301 to each other (eg, wireless communication connection). status can be checked.

동작 1003에서 프로세서(120)는 제 1 전자 장치(101)의 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212, 212-1, 212-2), 도 3의 동공 추적 카메라(181))를 사용하여 사용자가 응시하는 방향 및/또는 위치를 확인할 수 있다. 예를 들어, 동공 추적 카메라(181)는 양안에 대한 눈동자 움직임을 추적하여, 시선에 따른 초점을 확인할 수 있고, 확인된 초점을 기반으로, 사용자가 응시하는 방향 및/또는 위치를 확인할 수 있다.In operation 1003, the processor 120 processes a pupil tracking camera of the first electronic device 101 (eg, the pupil tracking cameras 212, 212-1, and 212-2 of FIG. 2 and the pupil tracking camera 181 of FIG. 3). It is possible to check the direction and/or location of the user's gaze by using. For example, the pupil tracking camera 181 may track the movement of the pupils of both eyes to determine the focus according to the gaze, and determine the direction and/or position of the user's gaze based on the identified focus.

동작 1005에서 프로세서(120)는 확인된 방향 및/또는 위치를 기반으로, 제 1 전자 장치(101)의 제 1 마이크(171) 및/또는 제 2 전자 장치(301)의 제 2 마이크(371)에 대한 빔포밍 동작을 수행할 수 있다. 예를 들어, 프로세서(120)는 제 1 마이크(171) 및/또는 제 2 마이크(371)를 기반으로, 확인된 방향 및/또는 위치에 대응되는 오디오 신호를 획득할 수 있다. 예를 들어, 확인된 방향 및/또는 위치로부터 수신되는 오디오 신호가 그 외의 다른 방향 및/또는 위치로부터 수신되는 오디오 신호보다 큰 볼륨으로 수신될 수 있다.In operation 1005, the processor 120 controls the first microphone 171 of the first electronic device 101 and/or the second microphone 371 of the second electronic device 301 based on the identified direction and/or location. A beamforming operation may be performed for . For example, the processor 120 may obtain an audio signal corresponding to the identified direction and/or location based on the first microphone 171 and/or the second microphone 371 . For example, audio signals received from the identified direction and/or location may be received at a greater volume than audio signals received from other directions and/or locations.

동작 1007에서 프로세서(120)는 제 1 전자 장치(101)가 인체 일부로부터 탈착되었는지 여부를 판단할 수 있다. 예를 들어, 제 1 전자 장치(101)는 AR 글래스로, 사용자의 귓바퀴에 거치되는 형태로 착용될 수 있고, 제 2 전자 장치(301)는 무선 이어폰으로, 사용자의 귀 속에 삽입되는 형태로 착용될 수 있다. 일 실시예에 따르면, 사용자에 의해, 제 1 전자 장치(101)가 인체 일부(예: 귓바퀴, 머리)로부터 탈착될 수 있으며, 프로세서(120)는 제 1 전자 장치(101)에 대한 탈착 여부를 판단할 수 있다. 예를 들어, 프로세서(120)는 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212, 212-1, 212-2), 도 3의 동공 추적 카메라(181))를 통해, 사용자의 동공이 존재하는지 여부를 확인할 수 있고, 동공이 확인되지 않는 경우, 제 1 전자 장치(101)가 인체 일부로부터 탈착되었음을 판단할 수 있다. 제 1 전자 장치(101)의 탈착 여부를 판단하는 방법은 동공 추적 카메라(181)를 사용한 방법에 한정되지 않는다. 예를 들어, 제1 전자 장치(101)는 근접 센서 및/또는 모션 센서(예: 도 3의 모션 센서(177))를 포함하고, 근접 센서 및/또는 모션 센서(177)에 기반하여 탈착 여부를 판단할 수도 있다.In operation 1007, the processor 120 may determine whether the first electronic device 101 is detached from a part of the human body. For example, the first electronic device 101 is AR glasses, which can be worn in the form of being mounted on the user's auricle, and the second electronic device 301 is a wireless earphone, which is worn in the form of being inserted into the user's ear. It can be. According to an embodiment, the first electronic device 101 may be detached from a body part (eg, an auricle or a head) by a user, and the processor 120 determines whether the first electronic device 101 is detached or not. can judge For example, the processor 120 uses a pupil tracking camera (eg, the pupil tracking cameras 212 , 212 - 1 , and 212 - 2 of FIG. 2 and the pupil tracking camera 181 of FIG. 3 ) to track the pupil of the user. It is possible to check whether the first electronic device 101 exists, and when the pupil is not confirmed, it can be determined that the first electronic device 101 is detached from a part of the human body. A method of determining whether the first electronic device 101 is attached or detached is not limited to a method using the pupil tracking camera 181 . For example, the first electronic device 101 includes a proximity sensor and/or a motion sensor (eg, the motion sensor 177 of FIG. 3 ), and determines whether the first electronic device 101 is attached or detached based on the proximity sensor and/or the motion sensor 177 . can also judge.

동작 1007에서 제 1 전자 장치(101)가 인체 일부로부터 탈착된 경우(동작 1007-Yes) 동작 1009에서 프로세서(120)는 제 2 전자 장치(301)의 제 2 마이크(371)를 통해 획득된 오디오 신호를 기반으로 오디오 신호가 생성된 방향 및/또는 위치를 확인할 수 있다. 제 1 전자 장치(101)가 인체 일부로부터 탈착되었으므로, 동작 1009에서 프로세서(120)는 동공 추적 카메라(181)를 사용하기 어려운 상태일 수 있다. 동작 1009에서 프로세서(120)는 인체 일부에 착용된 상태를 유지하고 있는 제 2 전자 장치(301)의 제 2 마이크(371)를 통해 오디오 신호를 획득할 수 있고, 획득된 오디오 신호를 기반으로 오디오 신호가 생성된 방향 및/또는 위치를 확인할 수 있다. 동작 1007에서 제 1 전자 장치(101)가 인체 일부로부터 탈착되지 않는 경우(동작 1007-No) 동작 1015에서 프로세서(120)는 확인된 방향 및/또는 위치를 기반으로 빔포밍 동작의 수행을 유지할 수 있다. 프로세서(120)는 제 1 마이크(171) 및/또는 제 2 마이크(371)에 기반한 빔포밍 동작을 유지할 수 있다.In operation 1007, when the first electronic device 101 is detached from a part of the human body (operation 1007-Yes), in operation 1009, the processor 120 performs audio acquired through the second microphone 371 of the second electronic device 301. Based on the signal, the direction and/or position where the audio signal was generated can be identified. Since the first electronic device 101 is detached from a part of the human body, in operation 1009, the processor 120 may be in a state in which it is difficult to use the pupil tracking camera 181. In operation 1009, the processor 120 may obtain an audio signal through the second microphone 371 of the second electronic device 301 worn on a part of the human body, and based on the obtained audio signal, the audio signal may be acquired. The direction and/or location where the signal was generated can be ascertained. In operation 1007, when the first electronic device 101 is not detached from the human body part (operation 1007-No), in operation 1015, the processor 120 may continue performing the beamforming operation based on the checked direction and/or location. there is. The processor 120 may maintain a beamforming operation based on the first microphone 171 and/or the second microphone 371 .

동작 1011에서 프로세서(120)는 확인된 방향 및/또는 위치를 기반으로 제 2 전자 장치(301)의 제 2 마이크(371)에 대한 빔포밍 동작을 수행할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 제 1 전자 장치(101)가 인체 일부로부터 탈착되어 기존의 빔포밍 동작(예: 제 1 빔포밍 동작)이 수행되지 못할지라도, 제 2 전자 장치(301)의 제 2 마이크(371)에 기반한 빔포밍 동작(예: 제2 빔포밍 동작)이 수행되도록 제 2 전자 장치(301)를 적어도 부분적으로 제어할 수 있다.In operation 1011, the processor 120 may perform a beamforming operation for the second microphone 371 of the second electronic device 301 based on the confirmed direction and/or location. According to an embodiment, even if the first electronic device 101 is detached from a part of the human body and the conventional beamforming operation (eg, the first beamforming operation) cannot be performed, the second electronic device 101 The second electronic device 301 may be at least partially controlled so that a beamforming operation (eg, a second beamforming operation) based on the second microphone 371 of the device 301 is performed.

동작 1013에서 프로세서(120)는 제 1 전자 장치(101)가 다시 인체 일부에 착용되었는지 여부를 판단할 수 있다. 예를 들어, 동작 1009에서 탈착된 제 1 전자 장치(101)가 다시 착용되는 경우(동작 1013-Yes), 동작 1003에서 프로세서(120)는 제 1 전자 장치(101)의 동공 추적 카메라(181)에 기반한 빔포밍 동작(예: 제 1 빔포밍 동작)을 다시 수행할 수 있다. 동작 1013에서 제 1 전자 장치(101)가 다시 인체 일부에 착용되지 않으면(동작 1013-No), 동작 1009에서 프로세서(120)는 제 2 전자 장치(301)의 제 2 마이크(371)에 기반한 빔포밍 동작(예: 제 2 빔포밍 동작)을 수행할 수 있다. In operation 1013, the processor 120 may determine whether the first electronic device 101 is again worn on a part of the human body. For example, when the first electronic device 101 detached in operation 1009 is worn again (operation 1013-Yes), in operation 1003, the processor 120 detects the pupil tracking camera 181 of the first electronic device 101. A beamforming operation (eg, a first beamforming operation) based on may be performed again. In operation 1013, if the first electronic device 101 is not worn on a part of the human body again (operation 1013-No), in operation 1009, the processor 120 transmits a beam based on the second microphone 371 of the second electronic device 301. A forming operation (eg, a second beamforming operation) may be performed.

일 실시예에 따르면, 제 1 전자 장치(101) 및 제 2 전자 장치(301)가 상호 간에 연동된 상태에서, 제 1 마이크(171) 및/또는 제 2 마이크(371)에 기반한 빔포밍 동작(예: 제 1 빔포밍 동작)이 수행 중인 상태일 수 있다. 제 1 전자 장치(101)는 제 1 전자 장치(101)가 인체 일부로부터 탈착되는 상황에 응답하여, 제 2 전자 장치(301)의 제 2 마이크(371)에 기반한 빔포밍 동작(예: 제 2 빔포밍 동작)을 수행할 수 있다. 제 1 전자 장치(101)는 제 1 전자 장치(101)가 인체 일부에 다시 착용되는 상황에 응답하여, 제 1 마이크(171) 및/또는 제 2 마이크(371)에 기반한 빔포밍 동작(예: 제 1 빔포밍 동작)을 다시 수행할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101) 및 제 2 전자 장치(301)가 상호 간에 연동된 상태에서, 제 1 전자 장치(101)는 제 1 전자 장치(101)가 인체 일부로부터 탈착되는 제 1 상황, 또는 제 2 전자 장치(301)가 인체 일부로부터 탈착되는 제 2 상황에 응답하여, 제 1 전자 장치(101) 및/또는 제 2 전자 장치(301) 간의 빔포밍 동작을 전환할 수 있다. 예를 들어, 제 1 전자 장치(101)는 제 1 전자 장치(101)가 인체로부터 탈착되는 상황에 응답하여, 제 1 빔포밍 동작을 제 2 빔포밍 동작으로 전환할 수 있다. 제 1 전자 장치(101)는 제 2 빔포밍 동작으로 전환된 상태에서, 제 1 전자 장치(101)가 다시 인체에 착용되는 상황에 응답하여, 제 2 빔포밍 동작을 제 1 빔포밍 동작으로 전환할 수 있다.According to an embodiment, in a state in which the first electronic device 101 and the second electronic device 301 interlock with each other, a beamforming operation based on the first microphone 171 and/or the second microphone 371 ( Example: A first beamforming operation) may be in a state in which it is being performed. In response to a situation in which the first electronic device 101 is detached from a part of the human body, the first electronic device 101 performs a beamforming operation based on the second microphone 371 of the second electronic device 301 (eg, second electronic device 101). beamforming operation) may be performed. The first electronic device 101 responds to a situation in which the first electronic device 101 is worn on a part of the human body again, and performs a beamforming operation based on the first microphone 171 and/or the second microphone 371 (eg: The first beamforming operation) may be performed again. According to an embodiment, in a state in which the first electronic device 101 and the second electronic device 301 are interlocked with each other, the first electronic device 101 is detached from a part of the human body. A beamforming operation between the first electronic device 101 and/or the second electronic device 301 may be switched in response to a first situation or a second situation in which the second electronic device 301 is detached from a part of the human body. there is. For example, the first electronic device 101 may switch the first beamforming operation to the second beamforming operation in response to a situation in which the first electronic device 101 is detached from the human body. The first electronic device 101 switches the second beamforming operation to the first beamforming operation in response to a situation where the first electronic device 101 is worn on the human body again in a state where it has been switched to the second beamforming operation. can do.

도 11a는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 사용자의 시선 방향 및/또는 동공의 움직임을 추적하는 방법을 도시한 제 1 예시도이다.11A is a first exemplary diagram illustrating a method of tracking a user's gaze direction and/or pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.

도 11a의 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 11a의 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The electronic device of FIG. 11A (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 of FIG. 2 (eg, AR device or wearable electronic device), Examples may include more. The electronic device 101 of FIG. 11A may include at least one component included in the electronic device 101 of FIG. 3 .

도 11a를 참조하면, 전자 장치(101)는 사용자의 머리(head)에 착용되는 웨어러블 전자 장치(예: AR 장치)를 포함하고, 사용자의 머리가 가리키는 방향을 기반으로 빔포밍 동작을 수행할 수 있다. 예를 들어, 전자 장치(101)는 전자 장치(101)에 포함된 적어도 하나의 모션 센서(예: 자이로 센서, 가속도 센서, 도 3의 모션 센서(181))를 사용하여, 사용자의 머리 이동에 따른 방향 변화를 감지할 수 있고, 변화된 방향에 기반한 빔포밍 동작을 수행할 수 있다. 도 11a는 사용자의 머리 방향에 따른 제 1 상태(1110) 및 제 2 상태(1120)를 도시한다.Referring to FIG. 11A , the electronic device 101 may include a wearable electronic device (eg, an AR device) worn on the user's head and perform a beamforming operation based on the direction the user's head points. there is. For example, the electronic device 101 uses at least one motion sensor (eg, a gyro sensor, an acceleration sensor, or the motion sensor 181 of FIG. 3 ) included in the electronic device 101 to detect the movement of the user's head. It is possible to detect a change in the direction according to the direction, and perform a beamforming operation based on the changed direction. 11A shows a first state 1110 and a second state 1120 according to the direction of the user's head.

제 1 상태(1110)에서 전자 장치(101)는 ?x축 및/또는 y축에 기반한 대각선 방향(예: 제 1 방향(1112))을 따라 배치될 수 있으며, 전자 장치(101)의 프로세서(예: 도 3의 프로세서(120))는 제 1 방향(1112)에 기반한 제 1 지점(1111)을 빔포밍 동작을 위한 지점으로 결정할 수 있다. 제 1 상태(1110)의 전자 장치(101)는 제 1 지점(1111)을 기반으로 빔포밍 동작을 수행할 수 있다.In the first state 1110, the electronic device 101 may be disposed along a diagonal direction (eg, the first direction 1112) based on the x-axis and/or the y-axis, and the processor of the electronic device 101 ( Example: The processor 120 of FIG. 3 may determine the first point 1111 based on the first direction 1112 as a point for the beamforming operation. The electronic device 101 in the first state 1110 may perform a beamforming operation based on the first point 1111 .

제 2 상태(1120)에서 전자 장치(101)는 y축을 따라 형성된 방향(예: 제 2 방향(1122))을 따라 배치될 수 있으며, 프로세서(120)는 제 2 방향(1122)에 기반한 제 2 지점(1121)을 빔포밍 동작을 위한 지점으로 결정할 수 있다. 제 2 상태(1120)의 전자 장치(101)는 제 2 지점(1121)을 기반으로 빔포밍 동작을 수행할 수 있다.In the second state 1120, the electronic device 101 may be disposed along a direction along the y-axis (eg, the second direction 1122), and the processor 120 may perform a second operation based on the second direction 1122. A point 1121 may be determined as a point for a beamforming operation. The electronic device 101 in the second state 1120 may perform a beamforming operation based on the second point 1121 .

일 실시예에 따르면, 전자 장치(101)는 적어도 하나의 모션 센서를 통해 사용자의 머리 방향(예: 움직임)에 따른 전자 장치(101)의 방향 및/또는 자세를 감지할 수 있고, 사용자의 머리 방향에 기반한 빔포밍 동작을 수행할 수 있다.According to an embodiment, the electronic device 101 may detect the direction and/or posture of the electronic device 101 according to the direction (eg, movement) of the user's head through at least one motion sensor, and the user's head A beamforming operation based on a direction may be performed.

도 11b는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 사용자의 시선 방향 및/또는 동공의 움직임을 추적하는 방법을 도시한 제 2 예시도이다.11B is a second exemplary diagram illustrating a method of tracking a user's gaze direction and/or pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.

도 11b의 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 11b의 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The electronic device of FIG. 11B (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 (eg, an AR device or a wearable electronic device) of FIG. Examples may include more. The electronic device 101 of FIG. 11B may include at least one component included in the electronic device 101 of FIG. 3 .

도 11b를 참조하면, 전자 장치(101)는 사용자의 머리(head)에 착용되는 웨어러블 전자 장치(예: AR 장치)를 포함하고, 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212, 212-1, 212-2), 도 3의 동공 추적 카메라(181))를 사용하여, 사용자의 눈동자 움직임을 추적할 수 있다. 전자 장치(101)는 눈동자 움직임에 따른 시선 방향을 확인할 수 있고, 확인된 시선 방향을 기반으로 빔포밍 동작을 수행할 수 있다. 동공 추적 카메라(212)는 좌안(left eye)의 움직임을 추적하는 좌안 카메라(212-1) 및/또는 우안(right eye)의 움직임을 추적하는 우안 카메라(212-2)를 포함할 수 있다. 전자 장치(101)는 좌안 카메라(212-1)를 통해 확인된 좌안의 방향 및 우안 카메라(212-2)를 통해 확인된 우안의 방향을 기반으로, 사용자의 시선 방향 및/또는 위치를 확인할 수 있고, 확인된 시선 방향 및/또는 위치에 기반한 빔포밍 동작을 수행할 수 있다.Referring to FIG. 11B , the electronic device 101 includes a wearable electronic device (eg, an AR device) worn on a user's head, and includes a pupil tracking camera (eg, the pupil tracking cameras 212 and 212 of FIG. 2 ). -1, 212-2), the pupil tracking camera 181 of FIG. 3) may be used to track the movement of the user's pupil. The electronic device 101 may check the gaze direction according to the pupil movement, and perform a beamforming operation based on the checked gaze direction. The pupil tracking camera 212 may include a left eye camera 212-1 that tracks the movement of the left eye and/or a right eye camera 212-2 that tracks the movement of the right eye. The electronic device 101 may determine the direction and/or position of the user's gaze based on the direction of the left eye confirmed through the left eye camera 212-1 and the direction of the right eye confirmed through the right eye camera 212-2. and may perform a beamforming operation based on the confirmed gaze direction and/or position.

일 실시예에 따르면, 전자 장치(101)는 동공 추적 카메라(212, 212-1, 212-2)를 사용하여, 사용자의 시선 방향에 따른 다양한 방향(예: 좌상항(left-up direction)(1131), 우상향(right-up direction)(1132), 좌하향(left-down direction)(1133), 및/또는 우하향(right-down direction)(1134)) 중에서 사용자가 응시하는 방향을 확인할 수 있다. 전자 장치(101)는 동공 추적 카메라(212, 212-1, 212-2)를 사용하여 사용자의 시선 방향을 확인할 수 있고, 사용자의 시선 방향에 기반한 빔포밍 동작을 수행할 수 있다.According to an embodiment, the electronic device 101 uses the pupil tracking cameras 212, 212-1, and 212-2 in various directions according to the user's gaze direction (eg, left-up direction ( 1131), right-up direction 1132, left-down direction 1133, and/or right-down direction 1134). . The electronic device 101 may check the user's gaze direction using the pupil tracking cameras 212, 212-1, and 212-2, and may perform a beamforming operation based on the user's gaze direction.

도 12a는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 동공의 움직임에 따른 초점 위치를 확인하는 방법을 도시한 제 1 예시도이다.12A is a first exemplary diagram illustrating a method of checking a focus position according to pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.

도 12a를 참조하면, 사용자의 눈동자(1201)(예: 동공)가 정중앙에 위치했을 때의 이미지를 도시한다. 정중앙에 위치한 눈동자(1201)를 기준으로 약 4개의 영역(예: A존, B존, C존, 및/또는 D존)이 분할될 수 있다. 도 12a를 참조하면, 하나의 눈동자(예: 단안)가 도시되었으나, 좌안, 우안, 및/또는 양안에 각각 적용될 수 있다.Referring to FIG. 12A , an image when a pupil 1201 (eg, a pupil) of a user is positioned at the center is shown. Based on the pupil 1201 located in the center, about four regions (eg, A zone, B zone, C zone, and/or D zone) may be divided. Referring to FIG. 12A , one pupil (eg, monocular) is shown, but may be applied to the left eye, right eye, and/or both eyes.

일 실시예에 따르면, 전자 장치(101)는 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212), 도 3의 동공 추적 카메라(181))를 사용하여, 사용자의 동공 움직임을 추적할 수 있다. 전자 장치(101)는 도 12a와 같이, 동공이 움직이는 영역을 약 4개의 영역으로 분할하여, 사용자의 시선 방향을 확인할 수 있다.According to an embodiment, the electronic device 101 may track the movement of the user's pupil using a pupil tracking camera (eg, the pupil tracking camera 212 of FIG. 2 or the pupil tracking camera 181 of FIG. 3 ). there is. As shown in FIG. 12A , the electronic device 101 divides the pupil-moving region into about four regions to check the direction of the user's gaze.

도 12b는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 동공의 움직임에 따른 초점 위치를 확인하는 방법을 도시한 제 2 예시도이다. 도 12c는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 동공의 움직임에 따른 초점 위치를 확인하는 방법을 도시한 제 3 예시도이다. 도 12d는 본 발명의 다양한 실시예에 따른 전자 장치에 포함된 카메라를 사용하여 동공의 움직임에 따른 초점 위치를 확인하는 방법을 도시한 제 4 예시도이다.12B is a second exemplary diagram illustrating a method of checking a focal position according to pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure. 12C is a third exemplary diagram illustrating a method of checking a focus position according to pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure. 12D is a fourth exemplary view illustrating a method of checking a focus position according to pupil movement using a camera included in an electronic device according to various embodiments of the present disclosure.

도 12b, 12c, 12d를 참조하면, 전자 장치(101)는 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212), 도 3의 동공 추적 카메라(181))를 사용하여, 사용자의 양안(예: 좌안(1211), 및/또는 우안(1212))에 대한 동공 움직임을 추적할 수 있다. 도 12b, 12c, 12d를 참조하면, 사용자의 동공 움직임에 따른 5가지 예시가 도시되었으나, 이에 한정되지 않는다. 도 12b는 제 1 예시(1210) 및 제 2 예시(1220)를 도시하고, 도 12c는 제 3 예시(1230) 및 제 4 예시(1240)를 도시하고, 도 12d는 제 5 예시(1250)를 도시한다.Referring to FIGS. 12B, 12C, and 12D, the electronic device 101 uses a pupil tracking camera (eg, the pupil tracking camera 212 of FIG. 2 or the pupil tracking camera 181 of FIG. 3 ) to display both eyes ( Example: pupil movement for the left eye 1211, and/or the right eye 1212 may be tracked. Referring to FIGS. 12B, 12C, and 12D, five examples according to the user's pupil movement are shown, but are not limited thereto. 12B shows the first example 1210 and the second example 1220, FIG. 12C shows the third example 1230 and the fourth example 1240, and FIG. 12D shows the fifth example 1250. show

제 1 예시(1210) 내지 제 4 예시(1240)는 좌안(1211) 및/또는 우안(1212)이 동일한 영역에 위치하는 경우의 시선 방향을 도시하고, 제 5 예시(1250)는 좌안(1211) 및/또는 우안(1212)이 다른 영역에 위치하는 경우의 시선 방향을 도시한다.The first examples 1210 to the fourth examples 1240 show gaze directions when the left eye 1211 and/or the right eye 1212 are located in the same area, and the fifth example 1250 shows the left eye 1211 and/or a gaze direction when the right eye 1212 is located in another area.

제 1 예시(1210)에 따르면, 좌안(1211) 및/또는 우안(1212)은 C존(예: 도 12a의 C존)에 위치하게 되고, 전자 장치(101)는 동공의 움직임에 따른 제 1 초점 위치(1215)를 결정할 수 있다. 제 2 예시(1220)에 따르면, 좌안(1211) 및/또는 우안(1212)은 D존(예: 도 12a의 D존)에 위치하게 되고, 전자 장치(101)는 동공의 움직임에 따른 제 2 초점 위치(1225)를 결정할 수 있다. 제 3 예시(1230)에 따르면, 좌안(1211) 및/또는 우안(1212)은 A존(예: 도 12a의 A존)에 위치하게 되고, 전자 장치(101)는 동공의 움직임에 따른 제 3 초점 위치(1235)를 결정할 수 있다. 제 4 예시(1240)에 따르면, 좌안(1211) 및/또는 우안(1212)은 B존(예: 도 12a의 B존)에 위치하게 되고, 전자 장치(101)는 동공의 움직임에 따른 제 4 초점 위치(1245)를 결정할 수 있다.According to the first example 1210, the left eye 1211 and/or the right eye 1212 are located in zone C (eg, zone C of FIG. 12A), and the electronic device 101 performs the first movement according to the movement of the pupil. A focus position 1215 can be determined. According to the second example 1220, the left eye 1211 and/or the right eye 1212 are located in the D zone (eg, the D zone of FIG. 12A), and the electronic device 101 performs the second eye 1211 according to the movement of the pupil. A focus position 1225 can be determined. According to the third example 1230, the left eye 1211 and/or the right eye 1212 are located in zone A (eg, zone A of FIG. 12A), and the electronic device 101 performs a third eye movement according to the movement of the pupil. A focus position 1235 can be determined. According to the fourth example 1240, the left eye 1211 and/or the right eye 1212 are positioned in zone B (eg, zone B of FIG. 12A), and the electronic device 101 performs the fourth eye 1211 according to the movement of the pupil. A focus position 1245 can be determined.

제 5 예시(1250)에 따르면, 좌안(1211)은 C존에 위치하고, 우안(1212)은 D존에 위치할 수 있다. 예를 들어, 사용자의 시선 방향은 좌안(1211) 및/또는 우안(1212)의 사이로 결정될 수 있다. 전자 장치(101)는 동공의 움직임에 따른 제 5 초점 위치(1255)를 결정할 수 있다.According to the fifth example 1250, the left eye 1211 may be located in the C zone, and the right eye 1212 may be located in the D zone. For example, the user's gaze direction may be determined between the left eye 1211 and/or the right eye 1212 . The electronic device 101 may determine the fifth focus position 1255 according to the movement of the pupil.

도 13a는 본 발명의 다양한 실시예에 따른 2D 기반으로 사용자의 초점 위치를 확인하는 방법을 도시한 예시도이다. 도 13b는 본 발명의 다양한 실시예에 따른 3D 기반으로 사용자의 초점 위치를 확인하는 방법을 도시한 예시도이다.13A is an exemplary diagram illustrating a method of determining a user's focus position based on 2D according to various embodiments of the present disclosure. 13B is an exemplary view illustrating a method of determining a user's focus position based on 3D according to various embodiments of the present disclosure.

도 13a 및 도 13b를 참조하면, 전자 장치(101)는 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212))를 사용하여, 사용자의 양안(예: 좌안 및/또는 우안)에 대한 동공 움직임을 추적할 수 있고, 시선 방향에 따른 초점 위치(1311, 1312)를 결정할 수 있다. 전자 장치(101)는 도 13a와 같이, 2D에 기반한 초점 위치(1311)를 결정하거나, 또는, 도 13b와 같이, 3D에 기반한 초점 위치(1312)를 결정할 수 있다.Referring to FIGS. 13A and 13B , the electronic device 101 uses a pupil tracking camera (eg, the pupil tracking camera 212 of FIG. 2 ) to detect pupils for both eyes (eg, left and/or right eyes) of the user. Movement can be tracked, and focus positions 1311 and 1312 can be determined according to the gaze direction. The electronic device 101 may determine a 2D-based focus position 1311 as shown in FIG. 13A or a 3D-based focus position 1312 as shown in FIG. 13B.

도 13b를 참조하면, 전자 장치(101)는 3D 방식에 따른 적어도 하나의 레이어(예: 제 1 레이어(1310), 제 2 레이어(1320), 및/또는 제 3 레이어(1330))를 설정하여 공간화할 수 있고, 3D 방식에 따른 사용자의 초점 위치를 결정할 수 있다. Referring to FIG. 13B , the electronic device 101 sets at least one layer (eg, a first layer 1310, a second layer 1320, and/or a third layer 1330) according to a 3D scheme, It can be spatialized, and the user's focus position can be determined according to a 3D method.

도 14는 본 발명의 다양한 실시예에 따른 가상 현실에서 구현된 가상의 객체를 기반으로, 사용자의 초점 위치를 확인하는 방법을 도시한 예시도이다.14 is an exemplary diagram illustrating a method of confirming a user's focus position based on a virtual object implemented in virtual reality according to various embodiments of the present disclosure.

도 14의 제 1 전자 장치(1401) 및/또는 제 2 전자 장치(1402)(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 14의 제 1 전자 장치(1401) 및/또는 제 2 전자 장치(1402)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device 1401 and/or the second electronic device 1402 of FIG. 14 (eg, the electronic device 101 of FIG. 1 ) corresponds to the electronic device 101 of FIG. 2 (eg, an AR device or a wearable electronic device). ), or may further include other embodiments of the electronic device 101. The first electronic device 1401 and/or the second electronic device 1402 of FIG. 14 may include at least one component included in the electronic device 101 of FIG. 3 .

도 14를 참조하면, 현실 세계가 배경화면으로 설정된 상태에서, 다양한 종류의 가상 객체(예: 제 1 가상 객체(1411), 제 2 가상 객체(1412), 제 3 가상 객체(1413))를 도시한다. 도 14를 참조하면, 가상 현실 서비스를 체험하고 있는 2명의 사용자(예: 제 1 사용자(1410), 제 2 사용자(1420))를 도시한다. 제 1 사용자(1410) 및/또는 제 2 사용자(1420)는 각각, 가상 현실 서비스를 제공하는 웨어러블 전자 장치(예: AR 장치, 제 1 전자 장치(1401), 및/또는 제 2 전자 장치(1402))를 머리에 착용한 상태일 수 있다. 예를 들어, 제 1 사용자(1410)는 제 1 가상 객체(1411)를 응시하는 상태이고, 제 2 사용자(1420)는 현실 객체(1421)를 응시하는 상태일 수 있다.Referring to FIG. 14, various types of virtual objects (eg, a first virtual object 1411, a second virtual object 1412, and a third virtual object 1413) are shown in a state where the real world is set as a background screen. do. Referring to FIG. 14 , two users (eg, a first user 1410 and a second user 1420) are shown experiencing a virtual reality service. The first user 1410 and/or the second user 1420 each use a wearable electronic device (eg, an AR device, the first electronic device 1401, and/or the second electronic device 1402) that provides a virtual reality service. )) may be worn on the head. For example, the first user 1410 may be in a state of gazing at the first virtual object 1411 and the second user 1420 may be in a state of gazing at the real object 1421 .

도 14를 참조하면, 제 1 사용자(1410)의 머리에 착용된 제 1 전자 장치(1401)는 제 1 사용자(1410)의 시선 방향 및/또는 위치를 추적할 수 있고, 추적된 시선 방향 및/또는 위치에 기반하여, 제 1 사용자(1410)가 제 1 가상 객체(1411)를 응시하는 상태임을 확인할 수 있다. 제 1 전자 장치(1401)는 제 1 가상 객체(1411)에 대한 빔포밍 동작을 수행할 수 있다. 예를 들어, 제 1 전자 장치(1401)는 제 1 가상 객체(1411)로부터 생성된 오디오 신호를 중점적으로 획득하도록, 제 1 가상 객체(1411)에 대한 데이터(예: 오디오 신호)에 가중치를 높여서 획득할 수 있다. 제 1 전자 장치(1401)는 제 1 가상 객체(1411) 외의 나머지 가상 객체(예: 제 2 가상 객체(1412), 제 3 가상 객체(1413))에 대한 가중치를 상대적으로 낮게 설정하거나, 또는, 나머지 가상 객체들로부터 수신된 오디오 신호의 세기를 감소시키거나, 또는, 수신된 오디오 신호의 적어도 일부를 제거할 수 있다.Referring to FIG. 14 , the first electronic device 1401 worn on the head of the first user 1410 may track the gaze direction and/or position of the first user 1410, and the tracked gaze direction and/or Alternatively, it may be confirmed that the first user 1410 is in a state of gazing at the first virtual object 1411 based on the location. The first electronic device 1401 may perform a beamforming operation on the first virtual object 1411 . For example, the first electronic device 1401 increases the weight of data (eg, an audio signal) of the first virtual object 1411 so as to obtain an audio signal generated from the first virtual object 1411 with a focus. can be obtained The first electronic device 1401 sets relatively low weights for the other virtual objects other than the first virtual object 1411 (eg, the second virtual object 1412 and the third virtual object 1413), or Intensities of audio signals received from the remaining virtual objects may be reduced or at least a portion of the received audio signals may be removed.

도 14를 참조하면, 제 2 사용자(1420)의 머리에 착용된 제 2 전자 장치(1402)는 제 2 사용자(1420)의 시선 방향 및/또는 위치를 추적할 수 있고, 추적된 시선 방향 및/또는 위치에 기반하여, 제 2 사용자(1420)가 현실 객체(1421)를 응시하는 상태임을 확인할 수 있다. 제 2 전자 장치(1402)는 현실 객체(1421)에 대한 빔포밍 동작을 수행할 수 있다. 예를 들어, 제 2 전자 장치(1402)는 가상 객체들(예: 제 1 가상 객체(1411), 제 2 가상 객체(1412), 제 3 가상 객체(1413))에 대한 데이터(예: 오디오 신호)를 삭제할 수도 있다.Referring to FIG. 14 , the second electronic device 1402 worn on the head of the second user 1420 may track the gaze direction and/or location of the second user 1420, and the tracked gaze direction and/or Alternatively, based on the location, it may be confirmed that the second user 1420 is in a state of gazing at the real object 1421 . The second electronic device 1402 may perform a beamforming operation on the real object 1421 . For example, the second electronic device 1402 may provide data (eg, an audio signal) for virtual objects (eg, the first virtual object 1411, the second virtual object 1412, and the third virtual object 1413). ) can be deleted.

일 실시예에 따르면, 전자 장치(101)는 현실 객체뿐만 아니라, 가상 객체에 대한 빔포밍 동작을 수행할 수도 있다. 가상 객체에 대한 빔포밍 동작을 수행할 때, 전자 장치(101)는 특정 가상 객체에 대한 오디오 신호에 가중치를 높게 설정하거나, 또는, 상기 오디오 신호에 가중치를 낮게 설정할 수 있다.According to an embodiment, the electronic device 101 may perform a beamforming operation not only on real objects but also on virtual objects. When performing a beamforming operation on a virtual object, the electronic device 101 may set a high weight to an audio signal for a specific virtual object or set a low weight to the audio signal.

도 15는 본 발명의 다양한 실시예들에 따른 제 1 전자 장치, 제 2 전자 장치 및/또는 휴대용 전자 장치 간의 통신 연결을 도시한 예시도이다.15 is an exemplary diagram illustrating a communication connection between a first electronic device, a second electronic device, and/or a portable electronic device according to various embodiments of the present disclosure.

도 15의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 15의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 15의 제 2 전자 장치(예: 도 1의 외부전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 15의 휴대용 전자 장치(1501)는 스마트 폰과 같이, 휴대가 용이한 외부 전자 장치를 포함할 수 있다.The first electronic device of FIG. 15 (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 (eg, an AR device or a wearable electronic device) of FIG. Other embodiments may be further included. The first electronic device 101 of FIG. 15 may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 15 (eg, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (eg, the ear). (eg, a wearable electronic device). The portable electronic device 1501 of FIG. 15 may include an external electronic device that is easy to carry, such as a smart phone.

도 15을 참조하면, 제 1 전자 장치(101)는 제 2 전자 장치(301)와 작동적으로 연결될 수 있고, 제 1 전자 장치(101)와 제 2 전자 장치(301)가 서로 연동(예: 무선 통신 연결)될 때, 제 1 전자 장치(101)는 메인 전자 장치로 기능하며, 제 2 전자 장치(301)를 적어도 부분적으로 제어할 수 있다. 휴대용 전자 장치(1501)는 제 2 전자 장치(301)와 작동적으로 연결될 수 있고, 휴대용 전자 장치(1501)와 제 2 전자 장치(301)가 서로 연동될 때, 휴대용 전자 장치(1501)는 메인 전자 장치로 기능하며, 제 2 전자 장치(301)를 적어도 부분적으로 제어할 수 있다.Referring to FIG. 15 , the first electronic device 101 may be operatively connected to the second electronic device 301, and the first electronic device 101 and the second electronic device 301 interwork with each other (eg: wireless communication connection), the first electronic device 101 functions as a main electronic device and can at least partially control the second electronic device 301 . The portable electronic device 1501 can be operatively connected to the second electronic device 301, and when the portable electronic device 1501 and the second electronic device 301 interlock with each other, the portable electronic device 1501 is the main It functions as an electronic device and can at least partially control the second electronic device 301 .

일 실시예에 따르면, 제 1 전자 장치(101), 제 2 전자 장치(301), 및/또는 휴대용 전자 장치(1501)가 함께 연동될 수 있으며, 이 경우, 제 1 전자 장치(101) 및/또는 휴대용 전자 장치(1501) 중 하나의 전자 장치가 메인 전자 장치로 기능할 수 있다. 예를 들어, 제 1 전자 장치(101)가 메인 전자 장치로 기능하는 경우, 제 1 전자 장치(101)는 복수 개의 마이크들(예: 제 1 전자 장치(101)의 제 1 마이크(171), 제 2 전자 장치(301)의 제 2 마이크(371), 및/또는 휴대용 전자 장치(1501)의 마이크)과 관련된 마이크 정보를 획득할 수 있다. 예를 들어, 제 2 전자 장치(301) 및/또는 휴대용 전자 장치(1501)는 제 1 전자 장치(101)에 마이크 관련 정보를 전송할 수 있다. 제 1 전자 장치(101)는 획득된 마이크 정보를 기반으로, 복수 개의 마이크들 중 적어도 하나의 마이크를 선택할 수 있고, 선택된 적어도 하나의 마이크에 기반한 빔포밍 동작을 수행하도록, 제 2 전자 장치(301) 및/또는 휴대용 전자 장치(1501)를 적어도 부분적으로 제어할 수 있다.According to an embodiment, the first electronic device 101, the second electronic device 301, and/or the portable electronic device 1501 may work together, and in this case, the first electronic device 101 and/or the portable electronic device 1501 Alternatively, one of the portable electronic devices 1501 may function as a main electronic device. For example, when the first electronic device 101 functions as a main electronic device, the first electronic device 101 includes a plurality of microphones (eg, the first microphone 171 of the first electronic device 101, Microphone information related to the second microphone 371 of the second electronic device 301 and/or the microphone of the portable electronic device 1501 may be obtained. For example, the second electronic device 301 and/or the portable electronic device 1501 may transmit microphone-related information to the first electronic device 101 . The first electronic device 101 may select at least one microphone among a plurality of microphones based on the obtained microphone information, and the second electronic device 301 may perform a beamforming operation based on the selected at least one microphone. ) and/or at least partially control the portable electronic device 1501 .

일 실시예에 따르면, 제 1 전자 장치(101)는 복수 개의 외부 전자 장치들과 연동될 수 있으며, 복수 개의 마이크들과 관련된 마이크 정보를 획득할 수 있다. 제 1 전자 장치(101)는 동공 추적 카메라(예: 도 2의 동공 추적 카메라(212, 212-1, 212-2), 도 3의 동공 추적 카메라(181))를 사용하여, 사용자가 응시하고 있는 시선 방향 및/또는 위치를 확인할 수 있고, 확인된 시선 방향 및/또는 위치에 기반한 빔포밍 동작을 수행할 수 있다. 예를 들어, 제 1 전자 장치(101)는 확인된 시선 방향 및/또는 위치를 기준으로, 상대적으로 가깝게 위치한 적어도 하나의 마이크를 선택할 수 있고, 선택된 적어도 하나의 마이크에 기반한 빔포밍 동작을 수행할 수 있다. 일 실시예에 따르면, 빔포밍 동작의 수행 시, 제 1 전자 장치(101)는 확인된 시선 방향 및/또는 위치가 아닌, 다른 방향에서 발생되는 오디오 신호에 대한 수신율을 적어도 부분적으로 감소시키거나, 차단하거나, 또는, 무시할 수 있다. According to an embodiment, the first electronic device 101 can interwork with a plurality of external electronic devices and obtain microphone information related to a plurality of microphones. The first electronic device 101 uses a pupil tracking camera (eg, the pupil tracking cameras 212, 212-1, and 212-2 of FIG. 2 and the pupil tracking camera 181 of FIG. 3) to allow the user to gaze and A direction and/or position of the gaze may be identified, and a beamforming operation may be performed based on the determined direction and/or position of the gaze. For example, the first electronic device 101 may select at least one microphone located relatively close to the confirmed gaze direction and/or location, and perform a beamforming operation based on the selected at least one microphone. can According to an embodiment, when performing the beamforming operation, the first electronic device 101 at least partially reduces the reception rate of an audio signal generated in a direction other than the confirmed gaze direction and/or position, You can either block it or ignore it.

도 16a는 본 발명의 다양한 실시예들에 따른 복수 개의 마이크를 기반으로, 오디오 신호가 발생하는 위치를 확인하고, 적어도 하나의 마이크를 선택하는 방법을 도시한 제 1 예시도이다.FIG. 16A is a first exemplary diagram illustrating a method of identifying a location where an audio signal is generated and selecting at least one microphone based on a plurality of microphones according to various embodiments of the present invention.

도 16a의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 16a의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 16a의 제 2 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 16a의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 16A (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 (eg, an AR device or a wearable electronic device) of FIG. Other embodiments may be further included. The first electronic device 101 of FIG. 16A may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 16A (for example, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (for example, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 16A may include at least one component included in the external electronic device 301 of FIG. 3 .

도 16a를 참조하면, 제 1 전자 장치(101)에 포함된 제 1-1 마이크(1601)(예: 도 3의 제 1-1 마이크(171-1)) 및/또는 제 1-2 마이크(1602)(예: 도 3의 제 1-2 마이크(171-2)), 제 2 전자 장치(301)에 포함된 제 2 마이크(1603)(예: 도 3의 제 2 마이크(371))를 도시한다. 도 16a를 참조하면, 서로 다른 방향 및/또는 위치에서 발생하는 제 1 오디오 신호(1610) 및/또는 제 2 오디오 신호(1620)를 도시한다. 일 실시예에 따르면, 제 1 전자 장치(101)는 복수 개의 마이크들(예: 제 1 마이크(1601), 제 2 마이크(1602), 및/또는 제 3 마이크(1603)) 중 적어도 하나의 마이크를 선택할 수 있고, 선택된 마이크에 기반한 빔포밍 동작을 수행할 수 있다. Referring to FIG. 16A , the 1-1 microphone 1601 included in the first electronic device 101 (eg, the 1-1 microphone 171-1 of FIG. 3 ) and/or the 1-2 microphone ( 1602) (eg, the first and second microphones 171-2 in FIG. 3), and the second microphone 1603 included in the second electronic device 301 (eg, the second microphone 371 in FIG. 3). show Referring to FIG. 16A , a first audio signal 1610 and/or a second audio signal 1620 are shown occurring in different directions and/or positions. According to an embodiment, the first electronic device 101 includes at least one microphone among a plurality of microphones (eg, the first microphone 1601, the second microphone 1602, and/or the third microphone 1603). may be selected, and a beamforming operation based on the selected microphone may be performed.

도 16a를 참조하면, 제 1 전자 장치(101)는 동공 추적 카메라(예: 도 3의 동공 추적 카메라(181))를 사용하여, 사용자가 제 1 오디오 신호(1610)가 발생된 발원지를 응시하고 있음을 확인할 수 있다. 제 1 전자 장치(101)는 복수 개의 마이크들(예: 제 1 마이크(1601), 제 2 마이크(1602), 및/또는 제 3 마이크(1603)) 중 제 1 오디오 신호(1610)와 상대적으로 근거리에 배치된 제 1 마이크(1601) 및/또는 제 2 마이크(1602)를 선택할 수 있고, 선택된 제 1 마이크(1601) 및/또는 제 2 마이크(1602)에 기반한 빔포밍 동작을 수행할 수 있다. 예를 들어, 제 1 마이크(1601)는 제 1 신호 경로(S1)(1611)에 따른 제 1 오디오 신호(1610)를 획득할 수 있고, 제 2 마이크(1602)는 제 2 신호 경로(S2)(1612)에 따른 제 1 오디오 신호(1610)를 획득할 수 있다.Referring to FIG. 16A , the first electronic device 101 uses a pupil tracking camera (eg, the pupil tracking camera 181 of FIG. 3 ) to gaze at the source of the first audio signal 1610 and can confirm that there is The first electronic device 101 transmits the first audio signal 1610 among a plurality of microphones (eg, the first microphone 1601, the second microphone 1602, and/or the third microphone 1603) in a relative manner. A first microphone 1601 and/or a second microphone 1602 disposed at a short distance may be selected, and a beamforming operation based on the selected first microphone 1601 and/or second microphone 1602 may be performed. . For example, the first microphone 1601 can obtain the first audio signal 1610 along the first signal path (S1) 1611, and the second microphone 1602 can acquire the second signal path (S2). The first audio signal 1610 according to 1612 can be obtained.

도 16a를 참조하면, 제 1 전자 장치(101)는 제 1 오디오 신호(1610)가 아닌, 다른 오디오 신호(예: 제 2 오디오 신호(1620))를 노이즈(noise) 신호로 설정할 수 있고, 노이즈 신호로 설정된 제 2 오디오 신호(1620)의 수신을 적어도 부분적으로 감소시키거나, 차단하거나, 또는 삭제시킬 수 있다. 예를 들어, 제 1 전자 장치(101)는 제 1 노이즈 경로(n1)(1621)를 따라 제 1 마이크(1601)로 유입되는 제 1 노이즈 신호 및/또는 제 2 노이즈 경로(n2)(1622)를 따라 제 2 마이크(1602)로 유입되는 제 2 노이즈 신호를 적어도 부분적으로 감소시키거나, 차단하거나, 또는 삭제시킬 수 있다. 제 1 전자 장치(101)는 제 1 오디오 신호(1610)에 대한 빔포밍 동작을 수행하는 경우, 상기 제 1 오디오 신호(1610) 외의 다른 신호(예: 제 2 오디오 신호(1620), 노이즈 신호)의 유입을 적어도 부분적으로 감소시키거나, 차단하거나, 또는 삭제시킬 수 있다.Referring to FIG. 16A , the first electronic device 101 may set an audio signal (eg, a second audio signal 1620) other than the first audio signal 1610 as a noise signal, and Reception of the second audio signal 1620 configured as a signal may be at least partially reduced, blocked, or deleted. For example, the first electronic device 101 generates a first noise signal introduced into the first microphone 1601 along a first noise path (n1) 1621 and/or a second noise path (n2) 1622 The second noise signal flowing into the second microphone 1602 along ? may be at least partially reduced, blocked, or deleted. When the first electronic device 101 performs a beamforming operation on the first audio signal 1610, signals other than the first audio signal 1610 (eg, the second audio signal 1620 and a noise signal) The entry of can be at least partially reduced, blocked, or eliminated.

일 실시예에 따르면, 제 1 전자 장치(101)는 사용자가 응시하는 시선 방향 및/또는 위치를 기반으로 적어도 하나의 마이크를 선택할 수 있고, 상기 선택된 적어도 하나의 마이크에 대한 빔포밍 동작을 수행할 수 있다. According to an embodiment, the first electronic device 101 may select at least one microphone based on the direction and/or location of the user's gaze and perform a beamforming operation for the selected at least one microphone. can

도 16b는 본 발명의 다양한 실시예들에 따른 복수 개의 마이크를 기반으로, 오디오 신호가 발생하는 위치를 확인하고, 적어도 하나의 마이크를 선택하는 방법을 도시한 제 2 예시도이다.16B is a second exemplary view illustrating a method of determining a location where an audio signal is generated based on a plurality of microphones and selecting at least one microphone according to various embodiments of the present disclosure.

도 16b의 제 1 전자 장치(예: 도 1의 전자 장치(101))는 도 2의 전자 장치(101)(예: AR 장치, 웨어러블 전자 장치)와 적어도 일부 유사하거나, 전자 장치(101)의 다른 실시예들을 더 포함할 수 있다. 도 16b의 제 1 전자 장치(101)는 도 3의 전자 장치(101)에 포함된 적어도 하나의 구성부들을 포함할 수 있다. 도 16b의 제 2 전자 장치(예: 도 1의 외부전자 장치(102), 도 3의 외부 전자 장치(301))는 외부 전자 장치로써, 사용자의 인체 일부(예: 귀)에 착용 가능한 무선 이어폰(예: 웨어러블 전자 장치)을 포함할 수 있다. 도 16b의 제 2 전자 장치(301)는 도 3의 외부 전자 장치(301)에 포함된 적어도 하나의 구성부들을 포함할 수 있다.The first electronic device of FIG. 16B (eg, the electronic device 101 of FIG. 1 ) is at least partially similar to the electronic device 101 of FIG. 2 (eg, an AR device or a wearable electronic device), or Other embodiments may be further included. The first electronic device 101 of FIG. 16B may include at least one component included in the electronic device 101 of FIG. 3 . The second electronic device of FIG. 16B (eg, the external electronic device 102 of FIG. 1 and the external electronic device 301 of FIG. 3) is an external electronic device, and is a wireless earphone that can be worn on a part of the user's body (eg, the ear). (eg, a wearable electronic device). The second electronic device 301 of FIG. 16B may include at least one component included in the external electronic device 301 of FIG. 3 .

도 16b를 참조하면, 제 1 전자 장치(101)에 포함된 제 1 마이크(1631)(예: 도 3의 제 1-1 마이크(171-1)), 제 2 마이크(1632)(예: 도 3의 제 1-2 마이크(171-2)), 및/또는 제 3 마이크(1633), 그리고 제 2 전자 장치(301)에 포함된 제 4 마이크(1634)(예: 도 3의 제 2 마이크(371))를 도시한다. 도 16b를 참조하면, 서로 다른 방향 및/또는 위치에서 발생하는 제 1 오디오 신호(1640) 및/또는 제 2 오디오 신호(1650)를 도시한다. 일 실시예에 따르면, 제 1 전자 장치(101)는 복수 개의 마이크들(예: 제 1 마이크(1631), 제 2 마이크(1632), 제 3 마이크(1633), 및/또는 제 4 마이크(1634)) 중 적어도 하나의 마이크를 선택할 수 있고, 선택된 마이크에 기반한 빔포밍 동작을 수행할 수 있다. Referring to FIG. 16B, a first microphone 1631 included in the first electronic device 101 (eg, the 1-1 microphone 171-1 in FIG. 3) and a second microphone 1632 (eg, FIG. 3, the first and second microphones 171-2), and/or the third microphone 1633, and the fourth microphone 1634 included in the second electronic device 301 (eg, the second microphone in FIG. 3). (371)). Referring to FIG. 16B , a first audio signal 1640 and/or a second audio signal 1650 originating from different directions and/or positions are shown. According to an embodiment, the first electronic device 101 includes a plurality of microphones (eg, a first microphone 1631, a second microphone 1632, a third microphone 1633, and/or a fourth microphone 1634). )), at least one microphone may be selected, and a beamforming operation based on the selected microphone may be performed.

도 16b를 참조하면, 제 1 전자 장치(101)는 동공 추적 카메라(예: 도 3의 동공 추적 카메라(181))를 사용하여, 사용자가 제 1 오디오 신호(1640)가 발생된 제 1 발원지(예: 관심 신호 방향 1)를 응시하고 있음을 확인할 수 있다. 제 1 전자 장치(101)는 복수 개의 마이크들(예: 제 1 마이크(1631), 제 2 마이크(1632), 제 3 마이크(1633), 및/또는 제 4 마이크(1634)) 중 제 1 오디오 신호(1640)와 상대적으로 근거리에 배치된 제 1 마이크(1631), 제 2 마이크(1632), 및/또는 제 3 마이크(1633)를 선택할 수 있고, 선택된 제 1 마이크(1631), 제 2 마이크(1632), 및/또는 제 3 마이크(1633)에 기반한 빔포밍 동작을 수행할 수 있다. 예를 들어, 제 1 마이크(1631)는 제 1 신호 경로(1641)에 따른 제 1 오디오 신호(1640)를 획득할 수 있고, 제 2 마이크(1632)는 제 2 신호 경로(1642)에 따른 제 1 오디오 신호(1640)를 획득할 수 있고, 제 3 마이크(1633)는 제 3 신호 경로(1643)에 따른 제 1 오디오 신호(1640)를 획득할 수 있다.Referring to FIG. 16B , the first electronic device 101 uses a pupil tracking camera (eg, the pupil tracking camera 181 of FIG. 3 ) to allow the user to determine the first source (where the first audio signal 1640 is generated). Example: It can be confirmed that the user is gazing in the direction of the signal of interest 1). The first electronic device 101 receives a first audio signal from among a plurality of microphones (eg, a first microphone 1631, a second microphone 1632, a third microphone 1633, and/or a fourth microphone 1634). The first microphone 1631, the second microphone 1632, and/or the third microphone 1633 disposed relatively close to the signal 1640 may be selected, and the selected first microphone 1631 and the second microphone 1632 and/or a beamforming operation based on the third microphone 1633 may be performed. For example, a first microphone 1631 can obtain a first audio signal 1640 along a first signal path 1641 and a second microphone 1632 can acquire a first audio signal 1640 along a second signal path 1642. A first audio signal 1640 may be obtained, and the third microphone 1633 may obtain the first audio signal 1640 along the third signal path 1643 .

도 16b를 참조하면, 제 1 전자 장치(101)는 동공 추적 카메라(181)를 통해, 사용자의 시선 방향 및/또는 위치가 변경되는 상황을 감지할 수 있다. 예를 들어, 사용자의 시선 방향이 제 1 오디오 신호(1640)가 발생된 제 1 발원지로부터 제 2 오디오 신호(1650)가 발생된 제 2 발원지(예: 관심 신호 방향 2)로 변경될 수 있다. 제 1 전자 장치(101)는 복수 개의 마이크들(예: 제 1 마이크(1631), 제 2 마이크(1632), 제 3 마이크(1633), 및/또는 제 4 마이크(1634)) 중 제 2 오디오 신호(1650)의 발원지와 상대적으로 근거리에 배치된 제 2 마이크(1632), 제 3 마이크(1633), 및/또는 제 4 마이크(1634)를 선택할 수 있고, 선택된 제 2 마이크(1632), 제 3 마이크(1633), 및/또는 제 4 마이크(1634)에 기반한 빔포밍 동작을 수행할 수 있다. 예를 들어, 제 2 마이크(1632)는 제 4 신호 경로(1652)에 따른 제 2 오디오 신호(1650)를 획득할 수 있고, 제 3 마이크(1633)는 제 5 신호 경로(1653)에 따른 제 2 오디오 신호(1650)를 획득할 수 있고, 제 4 마이크(1634)는 제 6 신호 경로(1654)에 따른 제 2 오디오 신호(1650)를 획득할 수 있다.Referring to FIG. 16B , the first electronic device 101 may detect a situation in which the direction and/or position of the user's gaze is changed through the pupil tracking camera 181 . For example, the user's gaze direction may be changed from a first source where the first audio signal 1640 is generated to a second source where the second audio signal 1650 is generated (eg, interest signal direction 2). The first electronic device 101 outputs a second audio message among a plurality of microphones (eg, a first microphone 1631, a second microphone 1632, a third microphone 1633, and/or a fourth microphone 1634). A second microphone 1632, a third microphone 1633, and/or a fourth microphone 1634 disposed relatively close to the origin of the signal 1650 may be selected, and the selected second microphone 1632, A beamforming operation based on the third microphone 1633 and/or the fourth microphone 1634 may be performed. For example, the second microphone 1632 can obtain the second audio signal 1650 along the fourth signal path 1652 and the third microphone 1633 can acquire the second audio signal 1650 along the fifth signal path 1653. The second audio signal 1650 can be obtained, and the fourth microphone 1634 can obtain the second audio signal 1650 along the sixth signal path 1654 .

도 16b를 참조하면, 제 1 전자 장치(101)는 제 1 오디오 신호(1640) 및/또는 제 2 오디오 신호(1650) 외에, 나머지 다른 오디오 신호(1661, 1662)를 노이즈 신호로 결정할 수 있다. 예를 들어, 제 1 전자 장치(101)는 노이즈 신호로 결정된 다른 오디오 신호(1661, 1662)의 수신을 적어도 부분적으로 감소시키거나, 차단하거나, 또는, 삭제시킬 수 있다. Referring to FIG. 16B , the first electronic device 101 may determine other audio signals 1661 and 1662 other than the first audio signal 1640 and/or the second audio signal 1650 as noise signals. For example, the first electronic device 101 may at least partially reduce, block, or delete reception of the other audio signals 1661 and 1662 determined to be noise signals.

일 실시예에 따르면, 제 1 전자 장치(101)는 제 1 마이크(1631), 제 2 마이크(1632), 및/또는 제 3 마이크(1633)를 기반으로 제 1 오디오 신호(1640)에 대한 제 1 빔포밍 동작을 수행하는 상태에서, 제 2 마이크(1632), 제 3 마이크(1633), 및/또는 제 4 마이크(1634)를 기반으로, 제 2 오디오 신호(1650)에 대한 제 2 빔포밍 동작을 수행하는 상태로 전환될 수 있다.According to an embodiment, the first electronic device 101 transmits the first audio signal 1640 based on the first microphone 1631 , the second microphone 1632 , and/or the third microphone 1633 . In a state in which first beamforming operation is performed, second beamforming is performed on the second audio signal 1650 based on the second microphone 1632, the third microphone 1633, and/or the fourth microphone 1634. It can be converted into a state of performing an operation.

일 실시예에 따르면, 제 1 전자 장치(101)는 복수 개의 마이크들(예: 제 1 마이크(1631), 제 2 마이크(1632), 제 3 마이크(1633), 및/또는 제 4 마이크(1634))과 관련된 마이크 정보를 획득할 수 있다. 제 1 전자 장치(101)는 동공 추적 카메라(181)를 사용하여, 사용자가 응시하는 시선 방향 및/또는 위치를 확인할 수 있고, 확인된 시선 방향 및/또는 위치에 기반한 빔포밍 동작을 수행할 수 있다. 예를 들어, 제 1 전자 장치(101)는 제어 가능한 복수 개의 마이크들(예: 제 1 마이크(1631), 제 2 마이크(1632), 제 3 마이크(1633), 및/또는 제 4 마이크(1634)) 중에서, 확인된 시선 방향 및/또는 위치를 기준으로, 상대적으로 가깝게 위치한 적어도 하나의 마이크를 선택할 수 있다. 제 1 전자 장치(101)는 확인된 시선 방향 및/또는 위치에서 발생된 외부 오디오 신호(예: 제 1 오디오 신호(1640), 제 2 오디오 신호(1650))와 관련하여, 선택된 적어도 하나의 마이크의 설정 정보를 변경할 수 있다. 예를 들어, 제 1 전자 장치(101)는 확인된 시선 방향 및/또는 위치에서 발생된 외부 오디오 신호에 대한 오디오 수신율이 높아지도록 적어도 하나의 마이크의 설정 정보(예: 오디오 수신 gain값, 오디오 신호의 수신 가중치)를 변경할 수 있다. 제 1 전자 장치(101)는 상기 설정 정보가 변경된 적어도 하나의 마이크를 사용하여, 외부 오디오 신호에 대한 빔포밍 동작을 수행할 수 있다. According to an embodiment, the first electronic device 101 includes a plurality of microphones (eg, a first microphone 1631, a second microphone 1632, a third microphone 1633, and/or a fourth microphone 1634). ))) and related microphone information may be obtained. The first electronic device 101 may use the pupil tracking camera 181 to check the direction and/or position of the user's gaze and perform a beamforming operation based on the determined direction and/or position of the gaze. there is. For example, the first electronic device 101 may include a plurality of controllable microphones (eg, a first microphone 1631, a second microphone 1632, a third microphone 1633, and/or a fourth microphone 1634). )), at least one microphone located relatively close to each other may be selected based on the confirmed gaze direction and/or location. The first electronic device 101 selects at least one microphone in relation to external audio signals (eg, the first audio signal 1640 and the second audio signal 1650) generated in the identified gaze direction and/or position. setting information can be changed. For example, the first electronic device 101 provides setting information of at least one microphone (eg, audio reception gain value, audio signal) so that an audio reception rate for an external audio signal generated in the confirmed gaze direction and/or position is increased. receive weight) can be changed. The first electronic device 101 may perform a beamforming operation on an external audio signal using at least one microphone for which the setting information is changed.

다양한 실시예에 따른 방법에 있어서, 외부 전자 장치(예: 도 1의 외부 전자 장치(102), 도 3의 외부 전자 장치(301))로부터 전송된 착용 신호의 수신에 응답하여, 상기 외부 전자 장치(301)가 인체에 착용되었음을 확인하는 동작, 상기 외부 전자 장치(301)의 착용에 응답하여, 상기 외부 전자 장치(301)의 타입을 확인하는 동작, 상기 확인된 타입을 기반으로, 전자 장치(예: 도 1의 전자 장치(101))에 포함된 적어도 하나의 제 1 마이크(예: 도 3의 제 1 마이크(171)) 및 상기 인체에 착용된 외부 전자 장치(301)에 포함된 적어도 하나의 제 2 마이크(예: 도 3의 제 2 마이크(371)) 중에서, 적어도 하나의 마이크를 선택하는 동작, 및 상기 선택된 적어도 하나의 마이크를 사용하여 오디오 신호를 획득하는 동작을 포함할 수 있다. In the method according to various embodiments, in response to receiving a wearing signal transmitted from an external electronic device (eg, the external electronic device 102 of FIG. 1 or the external electronic device 301 of FIG. 3 ), the external electronic device Operation of confirming that the external electronic device 301 is worn on the human body, operation of confirming the type of the external electronic device 301 in response to the wearing of the external electronic device 301, based on the identified type, the electronic device ( Example: at least one first microphone included in the electronic device 101 of FIG. 1 (eg, the first microphone 171 of FIG. 3) and at least one included in the external electronic device 301 worn on the human body. Of the second microphones (eg, the second microphone 371 of FIG. 3 ), an operation of selecting at least one microphone, and an operation of acquiring an audio signal using the selected at least one microphone may be included.

일 실시예에 따른 상기 적어도 하나의 마이크를 선택하는 동작은, 상기 전자 장치(101)에 포함된 동공 추적 카메라(예: 도 3의 동공 추적 카메라(181))를 사용하여 사용자의 시선 방향 및 위치를 확인하는 동작, 및 상기 확인된 사용자의 시선 방향 및 위치를 기반으로, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서 상기 적어도 하나의 마이크를 선택하는 동작을 포함할 수 있다.The operation of selecting the at least one microphone according to an embodiment may include the user's gaze direction and position using a pupil tracking camera (eg, the pupil tracking camera 181 of FIG. 3 ) included in the electronic device 101 . and selecting the at least one microphone from among the at least one first microphone 171 and the at least one second microphone 371 based on the confirmed user's gaze direction and location. can include

일 실시예에 따른 상기 적어도 하나의 마이크를 선택하는 동작은, 상기 전자 장치(101)의 움직임을 감지하는 센서 모듈(예: 도 3의 센서 모듈(176))을 사용하여, 상기 전자 장치(101)가 향하는 방향 및 상기 전자 장치(101)의 자세를 확인하는 동작, 상기 확인된 전자 장치(101)가 향하는 방향 및 상기 전자 장치(101)의 자세를 기반으로 선택된, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서 상기 적어도 하나의 마이크를 선택하는 동작을 포함할 수 있다.The operation of selecting the at least one microphone according to an embodiment may be performed by using a sensor module (eg, the sensor module 176 of FIG. 3 ) detecting a motion of the electronic device 101 , ) is facing and the operation of checking the posture of the electronic device 101, the at least one first microphone selected based on the checked direction of the electronic device 101 and the posture of the electronic device 101 (171) and an operation of selecting the at least one microphone from among the at least one second microphone 371.

일 실시예에 따른 방법은, 상기 외부 전자 장치(301)로부터 전송된 탈착 신호의 수신에 응답하여, 상기 외부 전자 장치(301)가 상기 인체로부터 탈착되었는지 여부를 확인하는 동작, 상기 외부 전자 장치(301)의 탈착에 응답하여, 상기 동공 추적 카메라(181)를 사용하여 상기 사용자의 시선 방향 및 위치를 확인하는 동작, 및 상기 확인된 사용자의 시선 방향 및 위치를 기반으로, 상기 적어도 하나의 제 1 마이크(171)를 선택하는 동작을 더 포함할 수 있다.The method according to an embodiment includes an operation of determining whether the external electronic device 301 is detached from the human body in response to receiving a detachment signal transmitted from the external electronic device 301, the external electronic device ( 301), using the pupil tracking camera 181 to check the direction and position of the user's gaze, and based on the identified direction and position of the user's gaze, the at least one first An operation of selecting the microphone 171 may be further included.

일 실시예에 따른 방법은, 상기 확인된 사용자의 시선 방향 및 위치에 대응하여 적어도 하나의 오브젝트를 확인하는 동작, 상기 적어도 하나의 오브젝트가 가상 객체인지 여부를 확인하는 동작, 및 상기 적어도 하나의 오브젝트가 상기 가상 객체인 경우 상기 가상 객체를 기반으로 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371)에 대한 설정 정보를 결정하는 동작을 더 포함할 수 있다.The method according to an embodiment may include an operation of identifying at least one object corresponding to the identified direction and position of the user's gaze, an operation of determining whether the at least one object is a virtual object, and an operation of determining whether the at least one object is a virtual object. When is the virtual object, the method may further include determining setting information for the at least one first microphone 171 and the at least one second microphone 371 based on the virtual object.

일 실시예에 따른 방법은, 상기 센서 모듈(176)을 통해, 상기 전자 장치(101)가 상기 인체로부터 탈착되었는지 여부를 확인하는 동작, 상기 전자 장치(101)의 탈착에 응답하여, 상기 외부 전자 장치(301)에 포함된 상기 적어도 하나의 제 2 마이크(371)를 기반으로, 상기 오디오 신호가 생성된 오브젝트의 방향 및 위치를 확인하는 동작, 및 상기 확인된 오브젝트의 방향 및 위치를 기반으로 상기 적어도 하나의 제 2 마이크(371)를 선택하는 동작을 더 포함할 수 있다.The method according to an embodiment includes an operation of checking whether the electronic device 101 is detached from the human body through the sensor module 176, and in response to the detachment of the electronic device 101, the external electronic device 101 is detached from the body. Based on the at least one second microphone 371 included in the device 301, an operation of confirming the direction and position of the object from which the audio signal was generated, and the operation of determining the direction and position of the identified object based on the An operation of selecting at least one second microphone 371 may be further included.

일 실시예에 따른 방법은, 상기 외부 전자 장치(301)의 타입이 메모리(130)에 저장되지 않은 경우, 상기 적어도 하나의 제 1 마이크(171)를 통한 제 1 오디오 신호 및 상기 적어도 하나의 제 2 마이크(371)를 통한 제 2 오디오 신호를 획득하는 동작, 상기 획득된 제 1 오디오 신호 및 제 2 오디오 신호를 기반으로 상기 적어도 하나의 제 2 마이크(371)의 위치를 확인하는 동작, 및 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서, 상기 적어도 하나의 마이크를 선택하는 동작을 더 포함할 수 있다.In the method according to an embodiment, when the type of the external electronic device 301 is not stored in the memory 130, the first audio signal through the at least one first microphone 171 and the at least one first microphone An operation of obtaining a second audio signal through a second microphone 371, an operation of confirming a position of the at least one second microphone 371 based on the obtained first and second audio signals, and An operation of selecting the at least one microphone from among the at least one first microphone 171 and the at least one second microphone 371 may be further included.

일 실시예에 따른 방법은, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371)를 활성화하는 동작, 상기 적어도 하나의 제 1 마이크(171)를 통해 획득된 제 1 오디오 신호 및 상기 적어도 하나의 제 2 마이크(371)를 통해 획득된 제 2 오디오 신호를 기반으로, 상기 오디오 신호가 생성된 오브젝트의 방향 및 위치를 확인하는 동작, 및 상기 확인된 오브젝트의 방향 및 위치를 기반으로, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서, 적어도 하나의 마이크를 선택하는 동작을 더 포함할 수 있다.The method according to an embodiment includes an operation of activating the at least one first microphone 171 and the at least one second microphone 371, and a first sound obtained through the at least one first microphone 171. Based on the audio signal and the second audio signal obtained through the at least one second microphone 371, an operation of confirming the direction and position of the object from which the audio signal is generated, and the identified direction and position of the object Based on , an operation of selecting at least one microphone from among the at least one first microphone 171 and the at least one second microphone 371 may be further included.

일 실시예에 따른 방법은, 상기 전자 장치(101)에 포함된 거리 측정 카메라를 사용하여 상기 오디오 신호가 생성된 오브젝트와의 거리를 측정하는 동작, 및 상기 측정된 거리를 기반으로, 상기 적어도 하나의 제 1 마이크(171) 및 상기 적어도 하나의 제 2 마이크(371) 중에서 적어도 하나의 마이크를 선택하는 동작을 더 포함할 수 있다.The method according to an embodiment includes an operation of measuring a distance to an object from which the audio signal is generated using a distance measuring camera included in the electronic device 101, and based on the measured distance, the at least one An operation of selecting at least one microphone from among the first microphone 171 and the at least one second microphone 371 may be further included.

본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.Electronic devices according to various embodiments disclosed in this document may be devices of various types. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance. An electronic device according to an embodiment of the present document is not limited to the aforementioned devices.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of this document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, but should be understood to include various modifications, equivalents, or substitutes of the embodiments. In connection with the description of the drawings, like reference numbers may be used for like or related elements. The singular form of a noun corresponding to an item may include one item or a plurality of items, unless the relevant context clearly dictates otherwise. In this document, "A or B", "at least one of A and B", "at least one of A or B", "A, B or C", "at least one of A, B and C", and "A Each of the phrases such as "at least one of , B, or C" may include any one of the items listed together in that phrase, or all possible combinations thereof. Terms such as "first", "second", or "first" or "secondary" may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited. A (e.g., first) component is said to be "coupled" or "connected" to another (e.g., second) component, with or without the terms "functionally" or "communicatively." When mentioned, it means that the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.

본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term "module" used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits. can be used as A module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of this document provide one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (eg, the program 140) including them. For example, a processor (eg, the processor 120 ) of a device (eg, the electronic device 101 ) may call at least one command among one or more instructions stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be provided by being included in a computer program product. Computer program products may be traded between sellers and buyers as commodities. A computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store™) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones. In the case of online distribution, at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is. According to various embodiments, one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg modules or programs) may be integrated into a single component. In this case, the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. . According to various embodiments, the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

101: 전자 장치 102, 301: 외부 전자 장치
120: 프로세서 130: 메모리
160: 디스플레이 모듈 170: 오디오 모듈
171: 제 1 마이크 171-1: 제 1-1 마이크
171-2: 제 1-2 마이크 176: 센서 모듈
177: 모션 센서 180: 카메라 모듈
181: 동공 추적 카메라 190: 통신 모듈
320: (외부 전자 장치의)프로세서 370: (외부 전자 장치의)오디오 모듈
371: (외부 전자 장치의)제 2 마이크 371-1: 제 2-1 마이크
371-2: 제 2-2 마이크 376: (외부 전자 장치의)센서 모듈
377: (외부 전자 장치의)모션 센서 390: (외부 전자 장치의)통신 모듈101: electronic device 102, 301: external electronic device
120: processor 130: memory
160: display module 170: audio module
171: first microphone 171-1: first-first microphone
171-2: 1st-2nd microphone 176: sensor module
177: motion sensor 180: camera module
181: pupil tracking camera 190: communication module
320: processor (of external electronic device) 370: audio module (of external electronic device)
371: second microphone (of external electronic device) 371-1: second-first microphone
371-2: 2-2nd microphone 376: sensor module (of external electronic device)
377: motion sensor (of external electronic device) 390: communication module (of external electronic device)

Claims

In electronic devices,
A communication module for connection with an external electronic device;
at least one first microphone;
Memory; and
a processor operatively coupled to the communication module, the at least one first microphone, and the memory;
the processor,
In response to receiving a wearing signal transmitted from the external electronic device, confirming that the external electronic device is worn on the human body;
In response to the wearing of the external electronic device, confirming the type of the external electronic device stored in the memory;
Based on the identified type, at least one microphone is selected from among the at least one first microphone and the at least one second microphone included in the external electronic device worn on the human body;
An electronic device that obtains an audio signal using the selected at least one microphone.

According to claim 1,
a pupil tracking camera for tracking pupil movement; Including more,
the processor,
Checking the direction and position of the user's gaze using the pupil tracking camera;
The electronic device that selects the at least one microphone from among the at least one first microphone and the at least one second microphone based on the confirmed user's gaze direction and location.

According to claim 1,
a sensor module for sensing motion of the electronic device; Including more,
the processor,
Checking the direction the electronic device is facing and the attitude of the electronic device using the sensor module;
The electronic device that selects the at least one microphone from among the at least one first microphone and the at least one second microphone selected based on the direction the electronic device is facing and the posture of the electronic device.

According to claim 2,
the processor,
In response to receiving a detachment signal transmitted from the external electronic device, determine whether the external electronic device is detached from the human body;
In response to the attachment or detachment of the external electronic device, the user's gaze direction and location are checked using the pupil tracking camera;
An electronic device that selects the at least one first microphone based on the identified user's gaze direction and position.

According to claim 2,
the processor,
Checking at least one object corresponding to the checked direction and location of the user's gaze;
Check whether the at least one object is a virtual object;
If the at least one object is the virtual object, determining setting information for the at least one first microphone and the at least one second microphone based on the virtual object.

According to claim 3,
the processor,
Checking whether the electronic device is detached from the human body through the sensor module;
In response to the attachment/detachment of the electronic device, based on the at least one second microphone included in the external electronic device, confirming the direction and location of the object from which the audio signal is generated;
An electronic device that selects the at least one second microphone based on the direction and position of the identified object.

According to claim 1,
the processor,
When the type of the external electronic device is not stored in the memory, obtaining a first audio signal through the at least one first microphone and a second audio signal through the at least one second microphone;
Checking the location of the at least one second microphone based on the obtained first and second audio signals;
An electronic device that selects the at least one microphone from among the at least one first microphone and the at least one second microphone.

According to claim 1,
The type of the external electronic device may include location information about the at least one second microphone included in the external electronic device, location information about a speaker included in the external electronic device, and settings for the second microphone and the speaker. An electronic device containing information.

According to claim 1,
the processor,
activate the at least one first microphone and the at least one second microphone;
Based on the first audio signal obtained through the at least one first microphone and the second audio signal obtained through the at least one second microphone, the direction and location of the object from which the audio signal is generated are identified;
An electronic device that selects at least one microphone from among the at least one first microphone and the at least one second microphone based on the direction and location of the identified object.

According to claim 1,
a distance measurement camera for measuring a distance to an object from which the audio signal is generated; Including more,
the processor,
Measuring a distance to the object using the distance measuring camera;
An electronic device that selects at least one microphone from among the at least one first microphone and the at least one second microphone based on the measured distance.

According to claim 1,
The electronic device includes an augmented reality (AR) electronic device worn on the human body in a form mounted on the user's head,
The external electronic device includes a wireless earphone worn on a human body in a form inserted into the user's ear.

in the method,
confirming that the external electronic device is worn on a human body in response to receiving a wearing signal transmitted from the external electronic device;
checking the type of the external electronic device in response to wearing of the external electronic device;
selecting at least one microphone from among at least one first microphone included in the electronic device and at least one second microphone included in the external electronic device worn on the human body, based on the identified type; and
obtaining an audio signal using the selected at least one microphone; How to include.

According to claim 12,
The operation of selecting the at least one microphone,
checking a direction and location of a gaze of the user using a pupil tracking camera included in the electronic device; and
selecting the at least one microphone from among the at least one first microphone and the at least one second microphone based on the identified user's gaze direction and location; How to include.

According to claim 12,
The operation of selecting the at least one microphone,
checking a direction of the electronic device and a posture of the electronic device by using a sensor module that detects a movement of the electronic device; and
selecting the at least one microphone from among the at least one first microphone and the at least one second microphone selected based on the direction the electronic device is facing and the posture of the electronic device; How to include.

According to claim 13,
determining whether the external electronic device is detached from the human body in response to receiving a detachment signal transmitted from the external electronic device;
checking a direction and position of the user's eye gaze using the pupil tracking camera in response to attachment or detachment of the external electronic device; and
selecting the at least one first microphone based on the identified user's gaze direction and position; How to include more.

According to claim 13,
checking at least one object corresponding to the checked direction and location of the user's gaze;
checking whether the at least one object is a virtual object; and
determining setting information for the at least one first microphone and the at least one second microphone based on the virtual object when the at least one object is the virtual object; How to include more.

15. The method of claim 14,
checking whether the electronic device is detached from the human body through the sensor module;
checking a direction and location of an object from which the audio signal is generated, based on the at least one second microphone included in the external electronic device, in response to the attachment or detachment of the electronic device; and
selecting the at least one second microphone based on the identified direction and location of the object; How to include more.

According to claim 12,
obtaining a first audio signal through the at least one first microphone and a second audio signal through the at least one second microphone when the type of the external electronic device is not stored in the memory;
checking a position of the at least one second microphone based on the obtained first and second audio signals; and
selecting the at least one microphone from among the at least one first microphone and the at least one second microphone; How to include more.

According to claim 12,
activating the at least one first microphone and the at least one second microphone;
Based on the first audio signal obtained through the at least one first microphone and the second audio signal obtained through the at least one second microphone, determining a direction and location of an object from which the audio signal is generated. ; and
selecting at least one microphone from among the at least one first microphone and the at least one second microphone based on the direction and position of the identified object; How to include more.

According to claim 12,
measuring a distance to an object from which the audio signal is generated using a distance measuring camera included in the electronic device; and
selecting at least one microphone from among the at least one first microphone and the at least one second microphone based on the measured distance; How to include more.