KR20230071583A

KR20230071583A - electronic device and method for processing audio data of electronic device

Info

Publication number: KR20230071583A
Application number: KR1020210157946A
Authority: KR
Inventors: 유형승; 정구필; 진주연
Original assignee: 삼성전자주식회사
Priority date: 2021-11-16
Filing date: 2021-11-16
Publication date: 2023-05-23

Abstract

다양한 실시예들에 따른, 전자 장치는 센서 모듈, 디스플레이 모듈, LE 등시 채널(LE(low energy)isochronous channels)을 이용하여 통신 가능한 통신 모듈 및 상기 센서 모듈, 상기 디스플레이 모듈 및 상기 통신 모듈과 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는 상기 LE 등시 채널에 기반하여 상기 통신 모듈을 통해 복수의 외부 전자 장치로부터 오디오 데이터를 수신하고, 오디오 통합에 관한 커맨드를 상기 통신 모듈에 전송하며, 상기 오디오 통합에 관한 커맨드에 기반하여 통합 오디오 데이터를 처리할 수 있다.According to various embodiments, an electronic device includes a sensor module, a display module, a communication module capable of communicating using low energy (LE) isochronous channels, and operating with the sensor module, the display module, and the communication module. and a processor connected sequentially, wherein the processor receives audio data from a plurality of external electronic devices through the communication module based on the LE isochronous channel, transmits an audio integration command to the communication module, and Integrated audio data may be processed based on a command related to audio integration.

Description

Electronic device and method for processing audio data of electronic device {electronic device and method for processing audio data of electronic device}

본 개시의 다양한 실시예들은 전자 장치 및 전자 장치의 오디오 데이터 처리 방법에 관한 것이다.Various embodiments of the present disclosure relate to an electronic device and a method for processing audio data of the electronic device.

다양한 웨어러블 장치는 무선 통신을 이용하여 스마트 폰과 같은 휴대용 무선 전자 장치와 서로 연결될 수 있다. 무선 이어폰과 같은 전자 장치는 휴대용 무선 전자 장치와 연결되어 수신한 음향에 관한 신호를 출력할 수 있다. 또, 무선 이어폰과 같은 전자 장치는 수집한 오디오 신호를 휴대용 무선 전자 장치에 전송할 수 있다.Various wearable devices may be connected to a portable wireless electronic device such as a smart phone using wireless communication. An electronic device such as a wireless earphone may be connected to a portable wireless electronic device and output a signal related to received sound. In addition, an electronic device such as a wireless earphone may transmit the collected audio signal to a portable wireless electronic device.

무선 이어폰과 같은 전자 장치가 무선으로 연결되어 독립적인 오디오 스트림을 스마트폰과 같은 전자 장치에 전송하게 되면, 스마트폰과 같은 전자 장치는 동시에 여러 채널에서 수신된 여러 오디오 데이터를 처리하는데 어려움이 있다.When electronic devices such as wireless earphones are wirelessly connected to transmit independent audio streams to electronic devices such as smart phones, it is difficult for the electronic devices such as smart phones to simultaneously process multiple audio data received through multiple channels.

본 개시의 다양한 실시예에 따른 전자 장치 및 전자 장치의 오디오 데이터 처리 방법은 무선 이어폰과 같은 전자 장치로부터 등시 채널(isochronous channel)에 기반하여 오디오 스트림을 전송된 경우, 오디오 데이터를 처리하는 방법에 관한 것이다. An electronic device and a method for processing audio data of the electronic device according to various embodiments of the present disclosure include a method for processing audio data when an audio stream is transmitted based on an isochronous channel from an electronic device such as a wireless earphone. it's about

본 개시의 다양한 실시예에 따른 전자 장치는 센서 모듈, 디스플레이 모듈, LE 등시 채널(LE(low energy)isochronous channels)을 이용하여 통신 가능한 통신 모듈 및 상기 센서 모듈, 상기 디스플레이 모듈 및 상기 통신 모듈과 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는 상기 LE 등시 채널에 기반하여 상기 통신 모듈을 통해 복수의 외부 전자 장치로부터 오디오 데이터를 수신하고, 오디오 통합에 관한 커맨드를 상기 통신 모듈에 전송하며, 상기 오디오 통합에 관한 커맨드에 기반하여 통합 오디오 데이터를 처리할 수 있다.An electronic device according to various embodiments of the present disclosure includes a sensor module, a display module, a communication module capable of communicating using low energy (LE) isochronous channels, and the sensor module, the display module, and the communication module. a processor operatively connected thereto, wherein the processor receives audio data from a plurality of external electronic devices through the communication module based on the LE isochronous channel, and transmits a command related to audio integration to the communication module; Combined audio data may be processed based on the audio integration command.

본 개시의 다양한 실시예에 따른 전자 장치의 오디오 데이터 처리 방법은 LE 등시 채널에 기반하여 통신 모듈을 통해 복수의 외부 전자 장치로부터 오디오 데이터를 수신하는 동작, 오디오 통합에 관한 커맨드를 상기 통신 모듈에 전송하는 동작 및 상기 오디오 통합에 관한 커맨드에 기반하여 통합 오디오 데이터를 처리하는 동작을 포함할 수 있다.A method for processing audio data of an electronic device according to various embodiments of the present disclosure includes receiving audio data from a plurality of external electronic devices through a communication module based on an LE isochronous channel and sending a command related to audio integration to the communication module. An operation of transmitting and an operation of processing unified audio data based on the command for integrating audio.

본 개시의 다양한 실시예에 전자 장치 및 전자 장치의 오디오 데이터 처리 방법은 동시간에 여러 채널을 통해 수신된 여러 개의 오디오 데이터를 음원 싱크를 유지하면서 처리할 수 있다.According to various embodiments of the present disclosure, an electronic device and a method for processing audio data of the electronic device may simultaneously process multiple pieces of audio data received through multiple channels while maintaining synchronization of a sound source.

도 1은 본 개시의 다양한 실시예에 따른 제 1 전자 장치를 나타내는 도면이다.
도 2는 본 개시의 다양한 실시예에 따른 제 2 전자 장치를 나타내는 도면이다.
도 3은 본 개시의 다양한 실시예에 따른 네트워크 환경 내의 제 1 전자 장치와 무선으로 통신하는 제 2 전자 장치의 블록도이다.
도 4는 본 개시의 다양한 실시예에 따른 제 2 전자 장치에서 제 1 전자 장치로 전송되는 오디오 데이터를 나타내는 도면이다.
도 5는 본 개시의 다양한 실시예에 따른 제 1 전자 장치에서 오디오 데이터를 처리하는 과정을 나타내는 계층도이다.
도 6은 본 개시의 다양한 실시예에 따른 제 1 전자 장치의 오디오 데이터 처리 방법을 나타내는 순서도이다.
도 7은 본 개시의 다양한 실시예에 따른 제 1 전자 장치의 오디오 데이터 처리 동작을 나타내는 도면이다.
도 8은 본 개시의 다양한 실시예에 따른 제 1 전자 장치의 오디오 데이터 처리 동작을 나타내는 도면이다.
도 9는 본 개시의 다양한 실시예에 따른 제 1 전자 장치의 오디오 데이터 처리 동작을 나타내는 도면이다.
도 10은 본 개시의 다양한 실시예에 따른 통합 오디오 데이터를 나타내는 도면이다.
도 11은 본 개시의 다양한 실시예에 따른 통합 오디오 데이터를 나타내는 도면이다.
도 12는 본 개시의 다양한 실시예에 따른 통합 오디오 데이터를 나타내는 도면이다.
도 13은 본 개시의 다양한 실시예에 따른 통합 오디오 데이터를 나타내는 도면이다.
도 14는 본 개시의 다양한 실시예에 따른 제 1 전자 장치의 오디오 데이터 처리 방법을 나타내는 순서도이다.
도 15는 본 개시의 다양한 실시예에 따른 제 1 전자 장치의 오디오 데이터 처리 방법을 나타내는 순서도이다.
도 16은 본 개시의 다양한 실시예에서 제 1 전자 장치가 특정 시간 구간에 수신된 오디오 데이터에 기반하여 통합 오디오 데이터를 처리하는 동작을 나타내는 도면이다.1 is a diagram illustrating a first electronic device according to various embodiments of the present disclosure.
2 is a diagram illustrating a second electronic device according to various embodiments of the present disclosure.
3 is a block diagram of a second electronic device wirelessly communicating with a first electronic device in a network environment according to various embodiments of the present disclosure.
4 is a diagram illustrating audio data transmitted from a second electronic device to a first electronic device according to various embodiments of the present disclosure.
5 is a hierarchical diagram illustrating a process of processing audio data in a first electronic device according to various embodiments of the present disclosure.
6 is a flowchart illustrating an audio data processing method of a first electronic device according to various embodiments of the present disclosure.
7 is a diagram illustrating an audio data processing operation of a first electronic device according to various embodiments of the present disclosure.
8 is a diagram illustrating an audio data processing operation of a first electronic device according to various embodiments of the present disclosure.
9 is a diagram illustrating an audio data processing operation of a first electronic device according to various embodiments of the present disclosure.
10 is a diagram illustrating unified audio data according to various embodiments of the present disclosure.
11 is a diagram illustrating unified audio data according to various embodiments of the present disclosure.
12 is a diagram illustrating unified audio data according to various embodiments of the present disclosure.
13 is a diagram illustrating unified audio data according to various embodiments of the present disclosure.
14 is a flowchart illustrating a method of processing audio data of a first electronic device according to various embodiments of the present disclosure.
15 is a flowchart illustrating an audio data processing method of a first electronic device according to various embodiments of the present disclosure.
16 is a diagram illustrating an operation in which a first electronic device processes integrated audio data based on audio data received in a specific time interval according to various embodiments of the present disclosure.

도 1은 본 개시의 다양한 실시예에 따른 제 1 전자 장치(101)를 나타내는 도면이다.1 is a diagram illustrating a first electronic device 101 according to various embodiments of the present disclosure.

도 2는 본 개시의 다양한 실시예에 따른 제 2 전자 장치(201)를 나타내는 도면이다.2 is a diagram illustrating a second electronic device 201 according to various embodiments of the present disclosure.

도 1 및 도 2를 참조하면, 제 1 전자 장치(101)는 디스플레이 모듈(160)을 포함할 수 있다. Referring to FIGS. 1 and 2 , the first electronic device 101 may include a display module 160 .

제 1 전자 장치(101)는 스마트 폰, 태블릿 PC, PMP(portable multimedia player), PDA(personal digital assistant), 랩탑 PC 및 웨어러블 기기(wearable device)와 같은 휴대 및/또는 이동 가능한 전자 장치일 수 있다.The first electronic device 101 may be a portable and/or movable electronic device such as a smart phone, a tablet PC, a portable multimedia player (PMP), a personal digital assistant (PDA), a laptop PC, and a wearable device. .

제 1 전자 장치(101)는 제 2 전자 장치(201)와 무선 통신 연결될 수 있다. 제 1 전자 장치(101)는 블루투스, BLE(Bluetooth low energy), WiFi direct, NFC(near field communication) 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크를 이용하여 제 2 전자 장치(201)와 통신 연결될 수 있다.The first electronic device 101 may be connected to the second electronic device 201 through wireless communication. The first electronic device 101 communicates with the second electronic device 201 using a short-range communication network such as Bluetooth, Bluetooth low energy (BLE), WiFi direct, near field communication (NFC), or infrared data association (IrDA). can

제 2 전자 장치(201)는 히어러블 디바이스(hearable device)로서 사용자에게 착용되어 사용자에게 소리를 제공할 수 있다. As a hearable device, the second electronic device 201 may be worn by the user and provide sound to the user.

제 2 전자 장치(201)는 히어러블 디바이스인 무선 통신 가능한 헤드폰(headphone), 무선 통신 가능한 이어폰(earphone), 및/또는 무선 통신 가능한 이어 버드(ear bud) 중 적어도 하나 이상일 수 있다.The second electronic device 201 may be at least one of a hearable device such as a headphone capable of wireless communication, an earphone capable of wireless communication, and/or an ear bud capable of wireless communication.

일 실시예에 따르면, 제 2 전자 장치(201)는 적어도 하나 이상의 이어 버드들(2011, 2012)을 포함할 수 있다. 예를 들어, 하나 이상의 이어 버드들(2011, 2012)은 상호 간에 무선 통신 가능하거나 또는 제 1 전 장치(101)와 무선 통신 가능할 수 있다.According to an embodiment, the second electronic device 201 may include one or more earbuds 2011 and 2012. For example, one or more earbuds 2011 and 2012 may be capable of wireless communication with each other or with the first former device 101 .

제 1 전자 장치(101)는 제 2 전자 장치(201) 뿐만 아니라, 복수의 헤드폰, 이어폰, 및/또는 이어 버드들과 무선 통신 가능할 수 있다. The first electronic device 101 may be capable of wireless communication with a plurality of headphones, earphones, and/or earbuds as well as the second electronic device 201 .

도 3은 본 개시의 다양한 실시예에 따른 네트워크 환경 내의 제 1 전자 장치(101)와 무선으로 통신하는 제 2 전자 장치(201)의 블록도이다.3 is a block diagram of a second electronic device 201 wirelessly communicating with a first electronic device 101 in a network environment according to various embodiments of the present disclosure.

제 1 전자 장치(101)는 네트워크(198a, 198b, 198c)(예: 근거리 무선 통신 네트워크)를 통하여 제 2 전자 장치(201)와 통신하거나, 및/또는 다른 네트워크(예: 원거리 무선 통신 네트워크)를 통하여 외부 전자 장치 및/또는 서버와 통신할 수 있다. 일 실시예에 따르면, 제 1 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. The first electronic device 101 communicates with the second electronic device 201 through networks 198a, 198b, 198c (eg, a short-range wireless communication network), and/or other networks (eg, a long-distance wireless communication network). Through this, it is possible to communicate with an external electronic device and/or server. According to an embodiment, the first electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display module 160, an audio module 170, and a sensor. module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module (197) may be included.

어떤 실시예에서는, 제 1 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 디스플레이 모듈(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 디스플레이 모듈(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.In some embodiments, in the first electronic device 101, at least one of these components (eg, the display module 160 or the camera module 180) may be omitted or one or more other components may be added. . In some embodiments, some of these components may be implemented as a single integrated circuit. For example, the sensor module 176 (eg, a fingerprint sensor, an iris sensor, or an illumination sensor) may be implemented while being embedded in the display module 160 (eg, a display).

프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(120)에 연결된 제 1 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 120, for example, executes software (eg, a program) to control at least one other component (eg, hardware or software component) of the first electronic device 101 connected to the processor 120. and can perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , process commands or data stored in the volatile memory 132 , and store resultant data in the non-volatile memory 134 . According to an embodiment, the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) that can operate independently or together with the main processor 121. (NPU: neural processing unit), image signal processor, sensor hub processor, or communication processor). Additionally or alternatively, the secondary processor 123 may be configured to use less power than the main processor 121 or to be specialized for a designated function. The secondary processor 123 may be implemented separately from or as part of the main processor 121 .

보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 제 1 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 제 1 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.The secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the first electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190 )) may control at least some of the related functions or states. According to one embodiment, the auxiliary processor 123 (eg, image signal processor or communication processor) may be implemented as part of other functionally related components (eg, camera module 180 or communication module 190). there is. According to an embodiment, the auxiliary processor 123 (eg, a neural network processing device) may include a hardware structure specialized for processing an artificial intelligence model. AI models can be created through machine learning. Such learning may be performed, for example, in the first electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server. The learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited. The artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples. The artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.

메모리(130)는 제 1 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.The memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the first electronic device 101 . The data may include, for example, input data or output data for software (eg, a program) and commands related thereto. The memory 130 may include volatile memory 132 or non-volatile memory 134 .

프로그램은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제, 미들 웨어 또는 어플리케이션을 포함할 수 있다.The program may be stored as software in the memory 130 and may include, for example, an operating system, middleware, or applications.

입력 장치(150)는, 제 1 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 제 1 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.The input device 150 may receive a command or data to be used for a component (eg, the processor 120) of the first electronic device 101 from an outside of the first electronic device 101 (eg, a user). . The input device 150 may include, for example, a microphone, mouse, keyboard, or digital pen (eg, a stylus pen).

음향 출력 장치(155)는 음향 신호를 제 1 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The sound output device 155 may output sound signals to the outside of the first electronic device 101 . The audio output device 155 may include, for example, a speaker or a receiver. The speaker can be used for general purposes, such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.

디스플레이 모듈(160)는 제 1 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.The display module 160 can visually provide information to the outside of the first electronic device 101 (eg, a user). The display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device. According to an embodiment, the display module 160 may include a touch circuitry set to detect a touch or a sensor circuit (eg, a pressure sensor) set to measure the intensity of force generated by the touch. there is.

오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 제 1 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 제 2 전자 장치(201)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.The audio module 170 may convert sound into an electrical signal or vice versa. According to an embodiment, the audio module 170 acquires sound through the input device 150, the audio output device 155, or an external electronic device (directly or wirelessly connected to the first electronic device 101). Example: Sound may be output through the second electronic device 201 (eg, speaker or headphone).

센서 모듈(176)은 제 1 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.The sensor module 176 detects an operating state (eg, power or temperature) of the first electronic device 101 or an external environment state (eg, a user state), and an electrical signal or data value corresponding to the detected state. can create According to one embodiment, the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.

인터페이스(177)는 제 1 전자 장치(101)이 외부 전자 장치(예: 제 2 전자 장치(201))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the first electronic device 101 to an external electronic device (eg, the second electronic device 201). According to one embodiment, the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.

연결 단자(178)는, 그를 통해서 제 1 전자 장치(101)가 외부 전자 장치(예: 제 2 전자 장치(201))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The connection terminal 178 may include a connector through which the first electronic device 101 may be physically connected to an external electronic device (eg, the second electronic device 201). According to one embodiment, the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).

햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses. According to one embodiment, the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.

전력 관리 모듈(188)은 제 1 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 188 may manage power supplied to the first electronic device 101 . According to one embodiment, the power management module 388 may be implemented as at least part of a power management integrated circuit (PMIC), for example.

배터리(189)는 제 1 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 189 may supply power to at least one component of the first electronic device 101 . According to one embodiment, the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.

통신 모듈(190)은 제 1 전자 장치(101)와 외부 전자 장치(예: 제 2 전자 장치(201))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 네트워크(198a, 198b, 198c)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 다른 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 네트워크(198a, 198b, 198c) 및/또는 다른 네트워크와 같은 통신 네트워크 내에서 제 1 전자 장치(101)를 확인 및 인증할 수 있다.The communication module 190 establishes a direct (eg, wired) communication channel or a wireless communication channel between the first electronic device 101 and an external electronic device (eg, the second electronic device 201), and establishes the established communication channel. communication can be supported. The communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication module 190 may be a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, a : a local area network (LAN) communication module or a power line communication module). Among these communication modules, the corresponding communication module is a network 198a, 198b, 198c (eg, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)) or another network (eg, a cellular network, the Internet, or a computer network) (e.g., a telecommunications network such as a LAN or WAN) to communicate with an external electronic device. These various types of communication modules may be integrated into one component (eg, a single chip) or implemented as a plurality of separate components (eg, multiple chips). Wireless communication module 192 uses subscriber information stored in subscriber identity module 196 (e.g., International Mobile Subscriber Identifier (IMSI)) within a communication network, such as networks 198a, 198b, 198c and/or other networks. The first electronic device 101 may be identified and authenticated.

무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 제 1 전자 장치(101), 외부 전자 장치 또는 네트워크 시스템에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.The wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology). NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)). -latency communications)) can be supported. The wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example. The wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported. The wireless communication module 192 may support various requirements defined for the first electronic device 101, an external electronic device, or a network system. According to one embodiment, the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.

안테나 모듈(197)은 신호 및/또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 네트워크(198a, 198b, 198c) 및/또는 다른 네트워크와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.The antenna module 197 may transmit or receive signals and/or power to the outside (eg, an external electronic device). According to one embodiment, the antenna module may include one antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB). According to one embodiment, the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for the communication scheme used in the communication network, such as networks 198a, 198b, 198c and/or other networks, is transmitted from the plurality of antennas by, for example, communication module 190. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna. According to some embodiments, other components (eg, RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.

다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.According to various embodiments, the antenna module 197 may form a mmWave antenna module. According to one embodiment, the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.

제 1 전자 장치(101)의 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components of the first electronic device 101 are communication methods between peripheral devices (eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))). They are connected to each other through and can exchange signals (eg commands or data) with each other.

일 실시예에 따르면, 명령 또는 데이터는 네트워크에 연결된 서버를 통해서 제 1 전자 장치(101)와 외부의 제 2 전자 장치(201)간에 송신 또는 수신될 수 있다. 제 2 전자 장치(201) 각각은 제 1 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 제 1 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 제 2 전자 장치(201)에서 실행될 수 있다.According to an embodiment, commands or data may be transmitted or received between the first electronic device 101 and an external second electronic device 201 through a server connected to a network. Each of the second electronic devices 201 may be the same as or different types of devices from the first electronic device 101 . According to an embodiment, all or part of operations executed in the first electronic device 101 may be executed in the second electronic device 201 .

예를 들면, 제 1 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 제 1 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 제 1 전자 장치(101)로 전달할 수 있다. 제 1 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 제 1 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치는 IoT(internet of things) 기기를 포함할 수 있다. 서버는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 제 1 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.For example, when the first electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the first electronic device 101 performs the function or service by itself. Alternatively or additionally, one or more external electronic devices may be requested to perform the function or at least part of the service. One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the first electronic device 101 . The first electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed. To this end, for example, cloud computing, distributed computing, or client-server computing technology may be used. The first electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing. In another embodiment, the external electronic device may include an internet of things (IoT) device. The server may be an intelligent server using machine learning and/or neural networks. The first electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.

일 실시예에서, 제 2 전자 장치(201)는 네트워크(198a, 198b)(예: 근거리 무선 통신 네트워크)를 통하여 제 1 전자 장치(101)와 통신할 수 있다. 이어 버드들(2011, 2012) 각각은 네트워크(198a, 198b)(예: 근거리 무선 통신 네트워크)를 통하여 제 1 전자 장치(101)와 통신할 수 있다.In an embodiment, the second electronic device 201 may communicate with the first electronic device 101 through the networks 198a and 198b (eg, a short-range wireless communication network). Each of the earbuds 2011 and 2012 may communicate with the first electronic device 101 through networks 198a and 198b (eg, a short-range wireless communication network).

다양한 실시예에서, 제 1 이어 버드(2011)는 제 1 네트워크(198a)를 통해서 제 1 전자 장치(101)와 통신할 수 있다. 제 2 이어 버드(2012)는 제 2 네트워크(198b)를 통해서 제 1 전자 장치(101)와 통신할 수 있다. 제 1 이어 버드(2011)는 제 3 네트워크(198c)를 통해서 제 2 이어 버드(2012)와 통신할 수 있다. In various embodiments, the first earbud 2011 may communicate with the first electronic device 101 through the first network 198a. The second earbud 2012 may communicate with the first electronic device 101 through the second network 198b. The first earbud 2011 can communicate with the second earbud 2012 through the third network 198c.

다양한 실시예에서, 통신 방식에 따라서, 제 1 네트워크(198a), 제 2 네트워크(198b), 및 제 3 네트워크(198c)를 통한 연결이 달라질 수 있다.In various embodiments, connections through the first network 198a, the second network 198b, and the third network 198c may vary according to a communication method.

LE 오디오(LE(low energy) audio) 통신 방식은 제 1 전자 장치(101)가 중앙(central) 장치로 동작하고, 이어 버드들(2011, 2012)이 주변(peripheral) 장치로 통신 연결하는 방식일 수 있다. 예를 들어, LE 오디오 통신 방식에서, 제 1 전자 장치(101)는 이어 버드들(2011, 2012) 각각에 여러 개의 독립적이고 동기화된 오디오 스트림을 전송할 수 있다. 또한, 이어 버드들(2011, 2012)은 제 1 전자 장치(101)에 독립적이고 동기화된 오디오 스트림을 전송할 수 있다.In the low energy (LE) audio (LE) communication method, the first electronic device 101 operates as a central device and the earbuds 2011 and 2012 communicate with peripheral devices. can For example, in the LE audio communication scheme, the first electronic device 101 may transmit several independent and synchronized audio streams to each of the earbuds 2011 and 2012 . In addition, the earbuds 2011 and 2012 may transmit independent and synchronized audio streams to the first electronic device 101 .

LE 오디오(LE(low energy) audio) 통신 방식은 멀티 스트림 오디오(multi stream audio)와 오디오 공유(audio sharing)를 위한 브로드캐스트 오디오(broadcast audio)를 사용할 수 있다. TWS 통신 방식은 이어 버드들(2011, 2012) 중 하나를 프라이머리(primary)로 제 1 전자 장치(101)와 통신 연결하고, 이어 버드들(2011, 2012) 중 다른 하나를 세컨더리(secondary)로 프라이머리 이어 버드와 통신 연결하는 방식일 수 있다.A low energy (LE) audio (LE) communication method may use multi stream audio and broadcast audio for audio sharing. The TWS communication method connects one of the earbuds 2011 and 2012 to the first electronic device 101 as a primary, and connects the other one of the earbuds 2011 and 2012 as a secondary. It may be a method of communicating with the primary earbuds.

예를 들어, TWS 통신 방식에서, 제 1 이어 버드(2011)를 프라이머리로 제 1 네트워크(198a)를 제 1 전자 장치(101)와 통신 연결하고, 제 2 이어 버드(2012)를 세컨더리로 제 3 네트워크(198c)를 통해 제 1 이어 버드(2011)와 통신 연결할 수 있다. 이때, 제 2 네트워크(198b)는 유휴 상태 및/또는 연결되지 않을 수 있다. TWS 통신 방식에서, 제 2 이어 버드(2012)를 프라이머리로 제 2 네트워크(198b)를 제 1 전자 장치(101)와 통신 연결하고, 제 1 이어 버드(2011)를 세컨더리로 제 3 네트워크(198c)를 통해 제 2 이어 버드(2012)와 통신 연결할 수 있다. 이때, 제 1 네트워크(198a)는 유휴 상태 및/또는 연결되지 않을 수 있다.For example, in the TWS communication method, the first earbuds 2011 are primary, the first network 198a is connected to the first electronic device 101, and the second earbuds 2012 are secondary. 3 Communication with the first earbud 2011 is possible through the network 198c. At this time, the second network 198b may be idle and/or not connected. In the TWS communication method, the second network 198b is connected to the first electronic device 101 as a primary through the second earbuds 2012, and the third network 198c as a secondary through the first earbuds 2011. ), it is possible to communicate with the second earbuds 2012 through. At this time, the first network 198a may be idle and/or not connected.

LE 오디오(LE(low energy) audio) 통신 방식에서, 제 1 이어 버드(2011)는 제 1 네트워크(198a)를 통해서 제 1 전자 장치(101)와 통신 연결되고, 제 2 이어 버드(2012)는 제 2 네트워크(198b)를 통해선 제 1 전자 장치(101)와 통신 연결될 수 있다. 이 때, 제 3 네트워크(198c)는 유휴 상태 및/또는 연결되지 않을 수 있다.In the low energy (LE) audio (LE) communication method, the first earbud 2011 is communicatively connected to the first electronic device 101 through the first network 198a, and the second earbud 2012 Communication may be connected to the first electronic device 101 through the second network 198b. At this time, the third network 198c may be idle and/or not connected.

스니핑(sniffing) 통신 방식은 이어 버드들(2011, 2012) 중 하나를 프라이머리(primary)로 제 1 전자 장치(101)와 제 1 통신 링크를 이용하여 통신하고, 이어 버드들(2011, 2012) 중 다른 하나를 세컨더리(secondary)로 프라이머리 이어 버드와 제 1 통신 링크를 이용하여 통신 연결할 수 있다.In the sniffing communication method, one of the earbuds 2011 and 2012 communicates with the first electronic device 101 as a primary by using a first communication link, and the earbuds 2011 and 2012 The other one of the earbuds may be connected to the primary earbud as a secondary by using the first communication link.

예를 들어, 스니핑(sniffing) 통신 방식에서, 제 1 이어 버드(2011)를 프라이머리로 제 1 네트워크(198a)를 제 1 전자 장치(101)와 통신 연결하고, 제 2 이어 버드(2012)를 세컨더리로 제 3 네트워크(198c)를 통해 제 1 이어 버드(2011)와 통신 연결할 수 있다. 제 2 이어 버드(2012)는 제 1 네트워크(198a)를 모니터링하여 통신할 수 있다. 이때, 제 2 네트워크(198b)는 유휴 상태 및/또는 연결되지 않을 수 있다. 스니핑(sniffing) 통신 방식에서, 제 2 이어 버드(2012)를 프라이머리로 제 2 네트워크(198b)를 제 1 전자 장치(101)와 통신 연결하고, 제 1 이어 버드(2011)를 세컨더리로 제 3 네트워크(198c)를 통해 제 2 이어 버드(2012)와 통신 연결할 수 있다. 제 1 이어 버드(2011)는 제 2 네트워크(198b)를 모니터링하여 통신할 수 있다. 이때, 제 1 네트워크(198a)는 유휴 상태 및/또는 연결되지 않을 수 있다.For example, in a sniffing communication method, the first earbuds 2011 are primarily connected to the first network 198a for communication with the first electronic device 101, and the second earbuds 2012 Secondarily, communication may be connected to the first earbuds 2011 through the third network 198c. The second earbud 2012 can monitor and communicate with the first network 198a. At this time, the second network 198b may be idle and/or not connected. In the sniffing communication method, the second network 198b is connected primarily to the first electronic device 101 through the second earbud 2012, and the first earbud 2011 is used as a secondary communication connection to the third network 198b. Communication with the second earbud 2012 may be achieved through the network 198c. The first earbud 2011 may monitor and communicate with the second network 198b. At this time, the first network 198a may be idle and/or not connected.

이어 버드들(2011, 2012) 각각은 프로세서(220), 메모리(230), 센서 모듈(260), 마이크로폰(271), 스피커(272), 전력 관리 회로(281), 배터리(282) 및/또는 통신 회로(290)를 포함할 수 있다.Each of the earbuds 2011 and 2012 includes a processor 220, a memory 230, a sensor module 260, a microphone 271, a speaker 272, a power management circuit 281, a battery 282, and/or Communication circuitry 290 may be included.

프로세서(220)는, 예를 들면, 소프트웨어(예: 프로그램)를 실행하여 프로세서(220)에 연결된 제 2 전자 장치(201)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. The processor 220, for example, executes software (eg, a program) to control at least one other component (eg, hardware or software component) of the second electronic device 201 connected to the processor 220. and can perform various data processing or calculations.

일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(220)는 다른 구성요소(예: 센서 모듈(260) 또는 통신 회로(290))로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하고, 휘발성 메모리에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 제 2 전자 장치(201)는 프로세서(220)에 결합된 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다.According to one embodiment, as at least part of data processing or operation, processor 220 loads instructions or data received from other components (eg, sensor module 260 or communication circuitry 290) into volatile memory and , it can process commands or data stored in volatile memory, and store the resulting data in non-volatile memory. The second electronic device 201 may include volatile memory and/or non-volatile memory coupled to the processor 220 .

메모리(230)는 제 2 전자 장치(201)의 적어도 하나의 구성요소(예: 프로세서(220) 또는 센서 모듈(260))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(230)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.The memory 230 may store various data used by at least one component (eg, the processor 220 or the sensor module 260) of the second electronic device 201 . The data may include, for example, input data or output data for software (eg, a program) and commands related thereto. The memory 230 may include volatile memory or non-volatile memory.

일 실시예에 따르면, 메모리(230)는 프로세서(220) 및/또는 통신 회로(290)와 결합될 수 있다. According to one embodiment, memory 230 may be coupled with processor 220 and/or communication circuitry 290 .

센서 모듈(260)은 근접 센서(261), 그립 센서(262), 가속도 센서(263), 홀 센서(264) 및/또는 자이로 센서(265)를 포함할 수 있다. 다양한 실시예에 따른 제 2 전자 장치(201)는 적어도 2개 이상의 그립 센서(262)를 포함할 수 있다. The sensor module 260 may include a proximity sensor 261 , a grip sensor 262 , an acceleration sensor 263 , a hall sensor 264 , and/or a gyro sensor 265 . The second electronic device 201 according to various embodiments may include at least two or more grip sensors 262 .

센서 모듈(260)은 제 2 전자 장치(201)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자의 착용 및/또는 탈착 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. The sensor module 260 detects an operating state (eg, power or temperature) of the second electronic device 201 or an external environment state (eg, a user's wearing and/or detaching state), and responds to the detected state. It can generate an electrical signal or data value that

센서 모듈(260)은 가속도 센서(263) 및/또는 자이로 센서(265)를 이용하여, 센서 모듈(260)의 움직임 및/또는 관성을 감지할 수 있다.The sensor module 260 may sense motion and/or inertia of the sensor module 260 using the acceleration sensor 263 and/or the gyro sensor 265 .

제 2 전자 장치(201)는 근접 센서(261) 및/또는 그립 센서(262)를 이용하여 웨어러블 디바이스와 같은 제 2 전자 장치(201)가 제 2 전자 장치(201)의 사용자의 신체의 일부에 착용상태인지 또는 탈착상태인지 여부를 감지할 수 있다. The second electronic device 201 uses the proximity sensor 261 and/or the grip sensor 262 to allow the second electronic device 201, such as a wearable device, to part of the user's body of the second electronic device 201. Whether it is worn or detached can be detected.

예를 들어, 근접 센서(261) 전자기장이나 전자기파(예, 적외선)를 방출하여 돌아오는 신호를 감지하여 사용자의 신체의 일부에 제 2 전자 장치(201)가 접촉했는지 여부를 판단하거나, 제 2 전자 장치(201)가 사용자의 신체의 일부에 착용 및/또는 탈착되었는지 판단할 수 있다.For example, the proximity sensor 261 emits electromagnetic fields or electromagnetic waves (eg, infrared rays) and detects a return signal to determine whether or not the second electronic device 201 is in contact with a part of the user's body, or It may determine whether the device 201 is worn on and/or detached from a part of the user's body.

그립 센서(262)는 정전용량 또는 유전율의 변화를 감지하여 사용자가 제 2 전자 장치(201)의 일부에 접촉하였는지 여부를 판단하거나, 제 2 전자 장치(201)가 사용자의 신체의 일부에 착용 및/또는 탈착되었는지 판단할 수 있다.The grip sensor 262 detects a change in capacitance or permittivity to determine whether the user has touched a part of the second electronic device 201 or whether the second electronic device 201 is worn on a part of the user's body and / or it can be determined whether it is detached.

가속도 센서(263)는 제 2 전자 장치(201)의 움직임 및/또는 관성을 감지할 수 있다.The acceleration sensor 263 may detect motion and/or inertia of the second electronic device 201 .

홀(hall) 센서(264)는 홀 효과(hall effect)에 기반하여 크래들(미도시)에 제 2 전자 장치(201)가 안착되는지 여부를 감지할 수 있다. 홀 센서(264)는 크래들(미도시)의 커버가 열고 닫혔는지 여부를 감지할 수 있다.The hall sensor 264 may detect whether the second electronic device 201 is seated in a cradle (not shown) based on a hall effect. The hall sensor 264 may detect whether the cover of the cradle (not shown) is opened or closed.

홀 센서(264)는 크래들(미도시)에 제 2 전자 장치(201)가 안착되는지 여부를 감지하여 감지 정보를 프로세서(220)에 전달할 수 있다.The hall sensor 264 may detect whether the second electronic device 201 is seated in a cradle (not shown) and transmit detection information to the processor 220 .

홀 센서(264)는 크래들(미도시)의 커버가 열고 닫혔는지 여부를 감지하여 감지 정보를 프로세서(220)에 전달할 수 있다.The hall sensor 264 may detect whether the cover of the cradle (not shown) is opened or closed, and transmit the detected information to the processor 220 .

자이로 센서(265)는 제 2 전자 장치(201)의 움직임 및/또는 관성을 감지할 수 있다.The gyro sensor 265 may detect motion and/or inertia of the second electronic device 201 .

크래들(미도시)은 외부 전자 장치로서, 제 2 전자 장치(201)가 크래들(미도시)에 안착되면, 제 2 전자 장치(201)에 전력을 공급할 수 있다. The cradle (not shown) is an external electronic device, and when the second electronic device 201 is seated in the cradle (not shown), power can be supplied to the second electronic device 201 .

근접 센서(261)는 근접 센서(261)의 동작을 제어하는 회로(예, integrated circuit, IC)를 포함할 수 있다. 그립 센서(262)는 그립 센서(262)의 동작을 제어하는 회로(예, integrated circuit, IC)를 포함할 수 있다.The proximity sensor 261 may include a circuit (eg, integrated circuit, IC) that controls the operation of the proximity sensor 261 . The grip sensor 262 may include a circuit (eg, integrated circuit, IC) that controls the operation of the grip sensor 262 .

가속도 센서(263)는 가속도 센서(263)의 동작을 제어하는 회로(예, integrated circuit, IC)를 포함할 수 있다.The acceleration sensor 263 may include a circuit (eg, integrated circuit, IC) that controls the operation of the acceleration sensor 263 .

자이로 센서(265)는 자이로 센서(265)의 동작을 제어하는 회로(예, integrated circuit, IC)를 포함할 수 있다.The gyro sensor 265 may include a circuit (eg, integrated circuit, IC) that controls an operation of the gyro sensor 265 .

자이로 센서(265)의 동작을 제어하는 회로 가속도 센서(263)의 동작을 제어하는 회로, 근접 센서(261)의 동작을 제어하는 회로 및/또는 그립 센서(262)의 동작을 제어하는 회로는 제 2 전자 장치(201)에 포함될 수 있고, 프로세서(220)로 구현될 수 있다.The circuit that controls the operation of the gyro sensor 265, the circuit that controls the operation of the acceleration sensor 263, the circuit that controls the operation of the proximity sensor 261, and/or the circuit that controls the operation of the grip sensor 262 is 2 It may be included in the electronic device 201 and may be implemented as a processor 220 .

마이크로폰(271)은 통해 획득한 소리를 전기 신호로 변환시킬 수 있다. 프로세서(220)는 무선으로 연결된 제 1 전자 장치(101)로부터 획득한 전기적 신호를 처리할 수 있다. 스피커(272)는 프로세서(220)에 의해 처리된 전기적 신호를 소리로 출력할 수 있다.The microphone 271 may convert the acquired sound into an electrical signal. The processor 220 may process an electrical signal obtained from the wirelessly connected first electronic device 101 . The speaker 272 may output the electrical signal processed by the processor 220 as sound.

전력 관리 회로(281)는 제 2 전자 장치(201)에 공급되는 전력을 관리할 수 있다. 전력 관리 회로(281)는 배터리(282)가 제 2 전자 장치(201)의 각 구성요소에 필요한 전력을 공급할 수 있도록 제어할 수 있다. 전력 관리 회로(281)는 배터리(282)의 충전 상태를 제어할 수 있다.The power management circuit 281 may manage power supplied to the second electronic device 201 . The power management circuit 281 may control the battery 282 to supply necessary power to each component of the second electronic device 201 . The power management circuit 281 may control the state of charge of the battery 282 .

배터리(282)는 제 2 전자 장치(201)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(282)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 및/또는 연료 전지를 포함할 수 있다.The battery 282 may supply power to at least one component of the second electronic device 201 . According to one embodiment, battery 282 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, and/or a fuel cell.

전력 관리 회로(281)는 제 2 전자 장치(201)에 대한 외부 전원으로부터 공급되는 전력을 이용하여 배터리(282)를 충전할 수 있다.The power management circuit 281 may charge the battery 282 using power supplied from an external power source for the second electronic device 201 .

일 실시예에 따르면, 전력 관리 회로(281)는 외부 전원의 종류(예: 전원 어댑터, USB 또는 무선 충전), 외부 전원으로부터 공급 가능한 전력의 크기 및/또는 배터리(282)의 속성 중 적어도 일부에 기반하여 충전 방식(예: 일반 충전 또는 급속 충전)을 선택하고, 선택된 충전 방식을 이용하여 배터리(282)를 충전할 수 있다.According to one embodiment, the power management circuit 281 determines at least some of the type of external power source (eg, power adapter, USB or wireless charging), the amount of power supplied from the external power source, and/or the properties of the battery 282. Based on the method, a charging method (eg, normal charging or rapid charging) may be selected, and the battery 282 may be charged using the selected charging method.

외부 전원은 제 2 전자 장치(201)와, 예를 들면, 커넥터 핀을 통해 유선 연결되거나, 또는 통신 회로(290)에 포함된 안테나를 통해 무선으로 연결될 수 있다.The external power source may be connected to the second electronic device 201 by wire, for example, through a connector pin, or wirelessly through an antenna included in the communication circuit 290 .

전력 관리 회로(281)는 측정된 사용 상태 정보에 적어도 일부 기반하여 배터리(282)의 충전과 관련된 충전 상태 정보(예: 수명, 과전압, 저전압, 과전류, 과충전, 과방전(over discharge), 과열, 단락, 또는 팽창(swelling))를 결정하고, 결정된 충전 상태 정보에 기반하여 배터리(282)의 충전 동작을 제어할 수 있다.The power management circuit 281 may provide charge state information related to charging of the battery 282 based at least in part on the measured state of use information (eg, age, overvoltage, undervoltage, overcurrent, overcharge, overdischarge, overheat, A short circuit or swelling may be determined, and a charging operation of the battery 282 may be controlled based on the determined state of charge information.

통신 회로(290)는 제 2 전자 장치(201)와 외부 전자 장치(예: 제 1 전자 장치(101)) 및/또는 제 2 전자 장치(201)와 크래들(미도시) 간의 유선 및/또는 무선 통신 채널의 수립 및/또는 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. The communication circuit 290 is wired and/or wireless between the second electronic device 201 and an external electronic device (eg, the first electronic device 101) and/or between the second electronic device 201 and a cradle (not shown). Establishment of a communication channel and/or performance of communication through the established communication channel may be supported.

일 실시예에 따르면, 통신 회로(290)는 무선 통신 모듈 (예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈을 포함할 수 있다. 통신 회로(290)는 네트워크(198a, 198b, 198c)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크)를 통하여 외부 전자 장치(예, 제 1 전자 장치(101))와 통신할 수 있다.According to an embodiment, the communication circuit 290 may include a wireless communication module (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module. The communication circuit 290 communicates with an external electronic device (eg, the first electronic device 101) through networks 198a, 198b, and 198c (eg, a short-range communication network such as Bluetooth, WiFi direct, or infrared data association (IrDA)). can communicate

통신 회로(290)는 안테나 모듈을 포함할 수 있다. 통신 회로(290)의 안테나 모듈은 신호 및/또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 통신 회로(290)의 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈은 복수의 안테나들을 포함할 수 있다. 이런 경우, 네트워크(198a, 198b, 198c)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가 통신 회로(290)에 의하여 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 선택된 적어도 하나의 안테나를 통하여 통신 회로(290)와 외부 전자 장치(예, 제 1 전자 장치(101)) 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈의 일부로 형성될 수 있다.Communication circuitry 290 may include an antenna module. The antenna module of the communication circuit 290 may transmit or receive signals and/or power to the outside (eg, an external electronic device). According to an embodiment, the antenna module of the communication circuit 290 may include one antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB). According to one embodiment, an antenna module may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the networks 198a, 198b, and 198c may be selected from the plurality of antennas by the communication circuit 290. A signal or power may be transmitted or received between the communication circuit 290 and an external electronic device (eg, the first electronic device 101) through the selected at least one antenna. According to some embodiments, other components (eg, RFIC) may be additionally formed as a part of the antenna module in addition to the radiator.

도 4는 본 개시의 다양한 실시예에 따른 제 2 전자 장치(201)에서 제 1 전자 장치(101)로 전송되는 오디오 데이터를 나타내는 도면이다. 4 is a diagram illustrating audio data transmitted from the second electronic device 201 to the first electronic device 101 according to various embodiments of the present disclosure.

제 1 전자 장치(101)는 통신 모듈(190)을 통해서 제 2 전자 장치(201)와 통신 연결될 수 있다.The first electronic device 101 may be communicatively connected to the second electronic device 201 through the communication module 190 .

제 1 전자 장치(101) 및 제 2 전자 장치(201)는 블루투스 통신 방식을 이용하여 통신할 수 있다.The first electronic device 101 and the second electronic device 201 may communicate using a Bluetooth communication method.

블루투스 통신 방법은 BR/EDR(basic rate/enhanced data rate)을 포함하는 블루투스 클래식(Bluetooth classic) 방식 및/또는 블루투스 저전력(Bluetooth low energy) 방식을 포함할 수 있다.The Bluetooth communication method may include a Bluetooth classic method including a basic rate/enhanced data rate (BR/EDR) method and/or a Bluetooth low energy method.

일 실시예에서, 제 1 전자 장치(101) 및 제 2 전자 장치(201)는 LE 오디오(LE(low energy) audio)에 기반하여 통신할 수 있다.In an embodiment, the first electronic device 101 and the second electronic device 201 may communicate based on low energy (LE) audio.

제 1 전자 장치(101) 및 제 2 전자 장치(201)는 블루투스 코어 사양 버전 5.2(Bluetooth core specification version 5.2) 이상에서 지원되는 LE 등시 채널(LE(low energy)isochronous channels)을 이용하여 오디오 데이터를 송수신할 수 있다.The first electronic device 101 and the second electronic device 201 transmit audio data using low energy (LE) isochronous channels supported by Bluetooth core specification version 5.2 or higher. can send and receive.

제 1 전자 장치(101) 및 제 2 전자 장치(201)는 블루투스 코어 사양 버전 5.2에 기반하여 통신할 수 있다. 블루투스 코어 사양 버전 5.2는 LC3(low complexity communication codec) 코덱, 멀티 스트림 오디오(multi stream audio), 브로드캐스트 오디오(broadcast audio) 및/또는 오디오 공유(audio sharing) 기능을 지원할 수 있다.The first electronic device 101 and the second electronic device 201 may communicate based on Bluetooth core specification version 5.2. Bluetooth core specification version 5.2 may support low complexity communication codec (LC3) codec, multi stream audio, broadcast audio and/or audio sharing functions.

제 1 전자 장치(101)는 중앙(central) 장치이고, 제 2 전자 장치(201)는 주변(peripheral) 장치일 수 있다.The first electronic device 101 may be a central device, and the second electronic device 201 may be a peripheral device.

LE 오디오 통신 방식에서, 제 1 전자 장치(101)는 제 2 전자 장치(201)에 포함된 이어 버드들(2011, 2012) 각각에 여러 개의 독립적이고 동기화된 오디오 스트림을 전송할 수 있다. 또한, 이어 버드들(2011, 2012)은 제 1 전자 장치(101)에 독립적이고 동기화된 오디오 스트림을 전송할 수 있다.In the LE audio communication method, the first electronic device 101 may transmit several independent and synchronized audio streams to each of the earbuds 2011 and 2012 included in the second electronic device 201 . In addition, the earbuds 2011 and 2012 may transmit independent and synchronized audio streams to the first electronic device 101 .

LE 오디오(LE(low energy) audio) 통신 방식은 멀티 스트림 오디오(multi stream audio)와 오디오 공유(audio sharing)을 위한 브로드캐스트 오디오(broadcast audio)를 사용할 수 있다. LE 오디오 통신 방식은 멀티 스트림 오디오를 지원하기 위해서 CIG(connected isochronous group) 또는 CIS(connected isochronous stream)을 포함할 수 있다.A low energy (LE) audio (LE) communication method may use multi stream audio and broadcast audio for audio sharing. The LE audio communication scheme may include a connected isochronous group (CIG) or a connected isochronous stream (CIS) in order to support multi-stream audio.

도 4를 참조하면, CIG는 중앙(central) 장치에서 생성되며 CIG는 적어도 하나 이상의 CIS를 포함할 수 있다. CIS는 중앙(central) 장치에서 특정 주변(peripheral) 장치 간의 점대점(point-to-point) 데이터 전송 스트림이며, 승인(acknowledgment)이 있는 양방향(bidirectional) 통신일 수 있다. Referring to FIG. 4 , CIG is generated in a central device, and CIG may include at least one CIS. CIS is a point-to-point data transport stream between a central device and specific peripheral devices, and may be bidirectional communication with acknowledgment.

제 1 전자 장치(101)에 통신 연결된 다수의 외부 전자 장치(예를 들어, 이어 버드들(2011, 2012))에 패킷 및/또는 데이터를 등시적으로 전달하기 위해서, 제 1 전자 장치(101)는 CIS를 기반으로 각각의 외부 전자 장치에 전달되는 패킷 및/또는 데이터를 묶어서 동기화하여 제 2 전자 장치(201)에 전달할 수 있다.In order to isochronously transfer packets and/or data to a plurality of external electronic devices (eg, earbuds 2011 and 2012) communicatively connected to the first electronic device 101, the first electronic device 101 may bundle and synchronize packets and/or data transmitted to each external electronic device based on the CIS, and deliver the packets and/or data to the second electronic device 201 .

또한, 제 2 전자 장치(201)의 이어 버드들(2011, 2012)이 마이크로폰(271)으로부터 획득한 오디오 데이터 및/또는 패킷은 CIS 및/또는 CIG를 기반으로 묶어서 동기화하여 제 1 전자 장치(101)에 전달할 수 있다.In addition, audio data and/or packets acquired from the microphone 271 by the earbuds 2011 and 2012 of the second electronic device 201 are bundled and synchronized based on CIS and/or CIG, and the first electronic device 101 ) can be passed on.

도 4를 참조하면, CIS 및/또는 CIG는 앵커 포인트(anchor point)간의 시간을 가지는 ISO 인터벌(ISO_interval) 동안에 데이터 및/또는 패킷을 동기화하여 전송할 수 있다. CIS는 적어도 하나 이상의 서브 이벤트 또는 서브 인터벌(CIS sub_interval)을 포함할 수 있다. Referring to FIG. 4 , CIS and/or CIG may synchronize and transmit data and/or packets during an ISO interval (ISO_interval) having time between anchor points. CIS may include at least one sub-event or sub-interval (CIS sub_interval).

제 1 이어 버드(2011)에서 제 1 전자 장치(101)로 전송되는 제 1 오디오 데이터(401), 제 2 오디오 데이터(402)는 제 1 CIS(CIS 1 event x)가 되고, 제 2 이어 버드(2012)에서 제 1 전자 장치(101)로 전송되는 제 3 오디오 데이터(403), 제 4 오디오 데이터(404)는 제 2 CIS(CIS 2 event x)가 될 수 있다. 제 1 CIG(CIG event x)는 ISO 인터벌(ISO_interval) 동안에 제 1 CIS(CIS 1 event x) 및 제 2 CIS(CIS 2 event x)를 포함할 수 있다. 일 실시 예에 따르면, 제 2 오디오 데이터(402)는 제 1 오디오 데이터(401)의 재전송 오디오 데이터이고, 제 4 오디오 데이터(404)는 제 3 오디오 데이터(403)의 재전송 오디오 데이터일 수 있다.The first audio data 401 and the second audio data 402 transmitted from the first earbud 2011 to the first electronic device 101 become the first CIS (CIS 1 event x), and the second earbud The third audio data 403 and the fourth audio data 404 transmitted to the first electronic device 101 in 2012 may be a second CIS (CIS 2 event x). The first CIG event x (CIG event x) may include a first CIS (CIS 1 event x) and a second CIS (CIS 2 event x) during the ISO interval (ISO_interval). According to an embodiment, the second audio data 402 may be retransmitted audio data of the first audio data 401, and the fourth audio data 404 may be retransmitted audio data of the third audio data 403.

제 1 이어 버드(2011)에서 제 1 전자 장치(101)로 전송되는 제 5 오디오 데이터(405), 제 6 오디오 데이터(406)는 제 3 CIS(CIS 1 event x+1)가 되고, 제 2 이어 버드(2012)에서 제 1 전자 장치(101)로 전송되는 제 7 오디오 데이터(407), 제 8 오디오 데이터(408)는 제 4 CIS(CIS 2 event x+1)가 될 수 있다. 제 2 CIG(CIG event x+1)는 ISO 인터벌(ISO_inteval) 동안에 제 3 CIS(CIS 1 event x+1) 및 제 4 CIS(CIS 2 event x+1)를 포함할 수 있다. 일 실시 예에 따르면, 제 6 오디오 데이터(406)는 제 5 오디오 데이터(405)의 재전송 오디오 데이터이고, 제 8 오디오 데이터(408)는 제 7 오디오 데이터(407)의 재전송 오디오 데이터일 수 있다.The fifth audio data 405 and the sixth audio data 406 transmitted from the first earbud 2011 to the first electronic device 101 become the third CIS (CIS 1 event x+1), and the second The seventh audio data 407 and the eighth audio data 408 transmitted from the earbuds 2012 to the first electronic device 101 may be a fourth CIS (CIS 2 event x+1). The second CIG (CIG event x+1) may include a third CIS (CIS 1 event x+1) and a fourth CIS (CIS 2 event x+1) during the ISO interval (ISO_inteval). According to an embodiment, the sixth audio data 406 may be retransmission audio data of the fifth audio data 405, and the eighth audio data 408 may be retransmission audio data of the seventh audio data 407.

도 4는 시퀀셜(sequential) 방식으로 오디오 데이터를 전송하는 방식에 관하여 설명하고 있으나, 다양한 실시예에서, 본 개시의 제 2 전자 장치(201)의 이어 버드들(2011, 2012) 및 제 1 전자 장치(101)는 인터리브(interleaved) 방식으로, 오디오 데이터를 송신 수신할 수 있다.Although FIG. 4 describes a method of transmitting audio data in a sequential manner, in various embodiments, the earbuds 2011 and 2012 of the second electronic device 201 and the first electronic device of the present disclosure 101 may transmit and receive audio data in an interleaved manner.

도 5는 본 개시의 다양한 실시예에 따른 제 1 전자 장치(101)에서 오디오 데이터를 처리하는 과정을 나타내는 계층도이다.5 is a hierarchical diagram illustrating a process of processing audio data in the first electronic device 101 according to various embodiments of the present disclosure.

데이터 처리 계층(500)은 상위 계층(upper layer)(501), 등시 적응 계층(isochronous adaptive layer, ISOAL layer)(502) 및/또는 하위 계층(lower layer)(503)를 포함할 수 있다.The data processing layer 500 may include an upper layer 501, an isochronous adaptive layer (ISOAL layer) 502, and/or a lower layer 503.

도 4를 참조하면, 제 1 전자 장치(101)는 통신 모듈(190)을 통해 제 1 이어 버드(2011) 및 제 2 이어 버드(2012)로부터 CIS 및/또는 CIG에 기반하여 오디오 데이터(예를 들어, 제 1 오디오 데이터(401), 제 2 오디오 데이터(402), 제 3 오디오 데이터(403), 제 4 오디오 데이터(404), 제 5 오디오 데이터(405), 제 6 오디오 데이터(406), 제 7 오디오 데이터(407), 제 8 오디오 데이터(408))를 수신할 수 있다.Referring to FIG. 4 , the first electronic device 101 transmits audio data (for example, based on CIS and/or CIG) from the first earbuds 2011 and the second earbuds 2012 through the communication module 190. For example, first audio data 401, second audio data 402, third audio data 403, fourth audio data 404, fifth audio data 405, sixth audio data 406, The seventh audio data 407 and the eighth audio data 408 may be received.

제 1 전자 장치(101)는 하위 계층(lower layer)(503)의 기저 대역 리소스 관리자(baseband resource manager)(531)을 통해 제 1 이어 버드(2011) 및 제 2 이어 버드(2012)로부터 전송된 오디오 데이터를 수신할 수 있다. The first electronic device 101 transmits information transmitted from the first earbuds 2011 and the second earbuds 2012 through the baseband resource manager 531 of the lower layer 503. Audio data can be received.

기저 대역 리소스 관리자(531)는 물리 채널을 정의하고 채널에 대한 호핑(hopping) 동작을 수행할 수 있다. 기저 대역 리소스 관리자(531)는 링크를 설정할 수 있다. 기저 대역 리소스 관리자(531)는 패킷을 정의하고 생성할 수 있다. The baseband resource manager 531 may define a physical channel and perform a hopping operation on the channel. The baseband resource manager 531 may establish the link. Baseband resource manager 531 may define and create packets.

제 1 이어 버드(2011) 및 제 2 이어 버드(2012)로부터 수신된 오디오 데이터는 프로토콜 데이터인 프로토콜 데이터 단위(protocol data unit, PDU)들로 수신될 수 있다. Audio data received from the first earbud 2011 and the second earbud 2012 may be received as protocol data, i.e. protocol data units (PDUs).

기저 대역 리소스 관리자(531)는 수신된 오디오 데이터의 패킷 체크 후에 등시 적응 계층(502)으로 전송할 수 있다. The baseband resource manager 531 may transmit the received audio data to the isochronous adaptation layer 502 after checking the packet.

등시 적응 계층(502)은 등시 적응 관리자(521)를 포함할 수 있다. 기저 대역 리소스 관리자(531)는 수신된 오디오 데이터의 패킷 체크 후에 framed PDU과 unframed PDU들로 분류하여 등시 적응 관리자(521)로 전송할 수 있다. The isochronous adaptation layer 502 may include an isochronous adaptation manager 521 . The baseband resource manager 531 may classify the received audio data packets into framed PDUs and unframed PDUs and transmit them to the isochronous adaptation manager 521 after checking packets of the received audio data.

등시 적응 계층(502)은 상위 계층(upper layer)(501)과 하위 계층(503) 사이에서 등시 데이터(isochronous data)의 이동 시 연결 통로로 이용될 수 있다. The isochronous adaptation layer 502 may be used as a connection path when isochronous data moves between an upper layer 501 and a lower layer 503 .

등시 적응 계층(502)은 상위 계층(501)의 서비스 데이터인 서비스 데이터 단위(service data unit)를 기저 대역 전송에 필요한 프로토콜 데이터인 PDU로 변환할 수 있다. 등시 적응 계층(502)은 PDU를 상위 계층(501)에 필요한 SDU로 변환할 수 있다. The isochronous adaptation layer 502 may convert a service data unit, which is service data of the upper layer 501, into a PDU, which is protocol data required for baseband transmission. The isochronous adaptation layer 502 may convert the PDU into an SDU required by the upper layer 501.

등시 적응 계층(502)은 SDU들 및/또는 PDU들을 단편화(fragmentation), 재조합(recombination), 캡슐화(encapsulation), 분할(segmentation) 및/또는 재조립(reassembly)할 수 있다. 등시 적응 관리자(521)는 unframed PDU들을 단편화(fragmentation) 및/또는 재조합(recombination)할 수 있다. 등시 적응 관리자(521)는 framed PDU들을 분할(segmentation) 및/또는 재조립(reassembly)할 수 있다. Isochronous adaptation layer 502 may fragment, recombine, encapsulate, segmentate and/or reassemble SDUs and/or PDUs. The isochronous adaptation manager 521 may fragment and/or recombine unframed PDUs. Isochronous adaptation manager 521 may segment and/or reassemble framed PDUs.

등시 적응 계층(502) 및/또는 하위 계층(503)은 제 1 전자 장치(101)의 통신 모듈(190)에 포함될 수 있다. 예를 들어, 통신 모듈(190)은 블루투스 칩셋일 수 있다. 일 실시예에서, 등시 적응 계층(502) 및/또는 하위 계층(503)은 제 1 전자 장치(101)의 블루투스 칩셋에 포함될 수 있다.The isochronous adaptation layer 502 and/or the lower layer 503 may be included in the communication module 190 of the first electronic device 101 . For example, the communication module 190 may be a Bluetooth chipset. In an embodiment, the isochronous adaptation layer 502 and/or the lower layer 503 may be included in a Bluetooth chipset of the first electronic device 101 .

제 1 전자 장치(101)는 수신된 오디오 데이터를 처리하기 위해서 상위 계층(501)에서 등시 적응 계층(502)으로 호스트 컨트롤러 인터페이스(host controller interface, HCI) 등시 데이터(HCI ISO data) 또는 호스트 컨트롤러 인터페이스 커맨드(HCI command)를 전송할 수 있다. SDU들은 HCI 등시 데이터(HCI ISO data)에 기반하여 상위 계층(501)으로 전송될 수 있다. SDU들은 등시 데이터(HCI ISO data)에 기반하여 상위 계층(501)에서 등시 적응 계층(502) 또는 하위 계층(503)으로 전송될 수 있다. 일 실시예에서, SDU들은 이행 특정 전송(implementation-specific transport)에 기반하여 상위 계층(501)으로 전송될 수 있다. SDU들은 이행 특정 전송(implementation-specific transport)에 기반하여 상위 계층(501)에서 등시 적응 계층(502) 또는 하위 계층(503)으로 전송될 수 있다.The first electronic device 101 transmits a host controller interface (HCI) isochronous data (HCI ISO data) or host data from the upper layer 501 to the isochronous adaptation layer 502 in order to process the received audio data. A controller interface command (HCI command) can be transmitted. SDUs may be transmitted to the upper layer 501 based on HCI ISO data. SDUs may be transmitted from an upper layer 501 to an isochronous adaptation layer 502 or a lower layer 503 based on isochronous data (HCI ISO data). In one embodiment, SDUs may be transmitted to higher layers 501 based on an implementation-specific transport. SDUs may be transmitted from an upper layer 501 to an isochronous adaptation layer 502 or a lower layer 503 based on implementation-specific transport.

HCI 등시 데이터(HCI ISO data) 또는 호스트 컨트롤러 인터페이스 커맨드(HCI command)는 커넥션 핸들(connection handle)에 관한 패킷을 포함하며, 하나의 오디오 데이터, 하나의 PDU 또는 하나의 SDU에는 커넥션 핸들에 관한 패킷을 포함할 수 있다. HCI ISO data or host controller interface command (HCI command) includes a packet related to a connection handle, and one audio data, one PDU or one SDU includes a packet related to a connection handle. can include

도 6은 본 개시의 다양한 실시예에 따른 제 1 전자 장치(101)의 오디오 데이터 처리 방법을 나타내는 순서도이다.6 is a flowchart illustrating an audio data processing method of the first electronic device 101 according to various embodiments of the present disclosure.

제 1 전자 장치(101)는, 601 동작에서, 프로세서(120)의 제어 하에, 통신 모듈(190)을 통해서 이어 버드들(2011, 2012)과 통신 연결될 수 있다. In operation 601, the first electronic device 101 may communicate with the earbuds 2011 and 2012 through the communication module 190 under the control of the processor 120.

일 실시예에서, 제 1 전자 장치(101)는, 601 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)과 LE 등시 채널(LE(low energy)isochronous channels)에 기반하여 통신 연결될 수 있다. In one embodiment, the first electronic device 101, in operation 601, under the control of the processor 120, based on the earbuds 2011 and 2012 and LE isochronous channels (LE (low energy) isochronous channels). so that communication can be established.

제 1 전자 장치(101)는, 603 동작에서, 프로세서(120)의 제어 하에, 통신 모듈(190)을 통해서 이어 버드들(2011, 2012)로부터 오디오 데이터를 수신할 수 있다. In operation 603, the first electronic device 101 may receive audio data from the earbuds 2011 and 2012 through the communication module 190 under the control of the processor 120.

일 실시예에서, 통신 모듈(190)은 블루투스 코어 사양 버전 5.2 이상이 적용된 블루투스 칩셋 및/또는 블루투스 모듈일 수 있다. 블루투스 칩셋 및/또는 블루투스 모듈은 등시 적응 계층(502) 및/또는 하위 계층(503)을 포함할 수 있다. In one embodiment, the communication module 190 may be a Bluetooth chipset and/or a Bluetooth module to which Bluetooth core specification version 5.2 or higher is applied. The Bluetooth chipset and/or Bluetooth module may include an isochronous adaptation layer 502 and/or a lower layer 503 .

제 1 전자 장치(101)는, 603 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)과 LE 등시 채널(LE(low energy)isochronous channels)에 기반하여 통신 연결되면, 이어 버드들(2011, 2012)로부터 오디오 데이터를 수신할 수 있다.When the first electronic device 101 communicates with the earbuds 2011 and 2012 based on low energy (LE) isochronous channels (LE) under the control of the processor 120 in operation 603, Audio data may be received from the earbuds 2011 and 2012.

일 실시예에서, 이어 버드들(2011, 2012)은 마이크로폰(271)으로부터 획득한 오디오 데이터 및/또는 패킷을 CIS 및/또는 CIG를 기반으로 묶어서 동기화하여 제 1 전자 장치(101)에 전달할 수 있다.In one embodiment, the earbuds 2011 and 2012 may group and synchronize audio data and/or packets obtained from the microphone 271 based on CIS and/or CIG, and transmit the same to the first electronic device 101. .

일 실시예에서, 이어 버드들(2011, 2012)은 마이크로폰(271)으로부터 획득한 오디오 데이터 및/또는 패킷을 LE 등시 채널에 기반하여 제 1 전자 장치(101)에 전달할 수 있다.In one embodiment, the earbuds 2011 and 2012 may transmit audio data and/or packets obtained from the microphone 271 to the first electronic device 101 based on the LE isochronous channel.

일 실시예에서, 제 1 전자 장치(101)는, 603 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)로부터 수신한 오디오 데이터는 하위 계층(503)으로 전달될 수 있다. In one embodiment, in operation 603, the first electronic device 101 transmits the audio data received from the earbuds 2011 and 2012 to the lower layer 503 under the control of the processor 120. .

제 1 전자 장치(101)는, 603 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드를 통신 모듈(190)에 전송할 수 있다.In operation 603 , the first electronic device 101 may transmit an audio integration command to the communication module 190 under the control of the processor 120 .

일 실시예에서, 제 1 전자 장치(101)는, 6035동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드를 블루투스 칩셋 및/또는 블루투스 모듈에 전송할 수 있다.In an embodiment, in operation 6035, the first electronic device 101 may transmit an audio integration command to the Bluetooth chipset and/or the Bluetooth module under the control of the processor 120 .

일 실시예에서, 제 1 전자 장치(101)는, 605 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드를 블루투스 칩셋 및/또는 블루투스 모듈에 전송과 함께 코덱 모듈에 대한 오디오를 설정할 수 있다. 오디오 통합에 관한 커맨드는 호스트 컨트롤러 인터페이스(host controller interface, HCI) 커맨드 중 하나일 수 있다.In an embodiment, in operation 605, the first electronic device 101 transmits a command related to audio integration to the Bluetooth chipset and/or the Bluetooth module and sets audio for the codec module under the control of the processor 120. can The command related to audio integration may be one of host controller interface (HCI) commands.

오디오 통합에 관한 커맨드는 CIS 오디오 통합 설정에 대한 커맨드일 수 있다. The command for audio integration may be a command for setting CIS audio integration.

오디오 통합에 관한 커맨드는 상위 계층(501)에서 블루투스 칩셋 및/또는 블루투스 모듈로 전송할 수 있다. 상위 계층(501)은 프로세서(120), 통신 모듈(190) 및/또는 메모리(130)에 포함될 수 있다. 상위 계층(501)은 코덱 모듈 및/또는 호스트 소프트웨어에 포함될 수 있다. 프로세서(120), 통신 모듈(190) 및/또는 메모리(130)은 코덱 모듈 및/또는 호스트 소프트웨어를 포함할 수 있다. 코덱 모듈은 DSP(digital signal processor)와 같은 하드웨어로 구현될 수 있다. A command related to audio integration may be transmitted from an upper layer 501 to a Bluetooth chipset and/or a Bluetooth module. The upper layer 501 may be included in the processor 120 , the communication module 190 and/or the memory 130 . Upper layer 501 may be included in the codec module and/or host software. Processor 120, communication module 190 and/or memory 130 may include a codec module and/or host software. The codec module may be implemented in hardware such as a digital signal processor (DSP).

제 1 전자 장치(101)가 오디오 통합에 관한 커맨드를 전송하지 않으면, 제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, CIS 및/또는 CIG에 기반하여 전송되는 오디오 데이터가 각각의 채널 별로 음원 데이터를 처리하여 제 1 이어 버드(2011)와 제 2 이어 버드(2012) 각각의 오디오 데이터에 대한 싱크를 맞추기 어렵고 플러시 시간 초과(flush timeout)로 인해서 데이터 손실이 발생할 가능성이 있다.If the first electronic device 101 does not transmit a command related to audio integration, the first electronic device 101, under the control of the processor 120, transmits audio data based on CIS and/or CIG, respectively. It is difficult to synchronize the audio data of the first earbuds 2011 and the second earbuds 2012 by processing sound source data for each channel, and data loss may occur due to flush timeout.

제 1 전자 장치(101)는 오디오 통합에 관한 커맨드에 기반하여 통합 오디오 데이터를 처리함으로써, 상위 계층(501)에 통합된 데이터 패킷을 전달할 수 있다. 상위 계층(501)에서 통합된 데이터 패킷을 처리하면, 제 1 전자 장치(101)는 오디오 데이터 처리에 있어서 데이터 싱크를 맞추기 효율적이고, 패킷 손실을 용이하게 처리할 수 있다. The first electronic device 101 may transmit the integrated data packet to the upper layer 501 by processing the integrated audio data based on the audio integration command. When the integrated data packet is processed in the upper layer 501, the first electronic device 101 can efficiently match data synchronization in audio data processing and can easily handle packet loss.

제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 통합 오디오 데이터를 처리할 수 있다.In operation 607 , the first electronic device 101 may process unified audio data based on a command related to audio unification under the control of the processor 120 .

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 블루투스 칩셋 및/또는 블루투스 모듈에서 통합 오디오 데이터를 생성할 수 있다. In an embodiment, the first electronic device 101, in operation 607, generates unified audio data in a Bluetooth chipset and/or a Bluetooth module based on a command for audio unification under the control of the processor 120. .

일 실시예에서, 제 1 전자 장치(101)는, 607동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 블루투스 칩셋 및/또는 블루투스 모듈에서 통합 오디오 데이터를 처리할 수 있다. In one embodiment, in operation 607, the first electronic device 101 may process unified audio data in a Bluetooth chipset and/or a Bluetooth module based on a command related to audio unification under the control of the processor 120. .

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 블루투스 칩셋 및/또는 블루투스 모듈에서 생성된 통합 오디오 데이터를 처리할 수 있다. In an embodiment, the first electronic device 101, in operation 607, processes unified audio data generated by a Bluetooth chipset and/or a Bluetooth module based on an audio integration command under the control of the processor 120. can

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 등시 적응 계층(502) 및/또는 하위 계층(503)에서 통합 오디오 데이터를 처리할 수 있다. CIS 및/또는 CIG 오디오 데이터들은 각각의 고유한 커넥션 핸들(connection handle)을 포함할 수 있다. In one embodiment, the first electronic device 101, in operation 607, under the control of the processor 120, in the isochronous adaptation layer 502 and/or the lower layer 503 based on the command for audio integration. Integrated audio data can be processed. CIS and/or CIG audio data may each include a unique connection handle.

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 동일한 ISO 인터벌에 속한 좌/우 이어 버드들(2011, 2012)로부터 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다. In an embodiment, the first electronic device 101, in operation 607, under the control of the processor 120, based on the command for audio integration, the left/right earbuds 2011 and 2012 belonging to the same ISO interval. It is possible to combine the audio data received from the audio data into one and generate unified audio data.

CIS 및/또는 CIG 오디오 데이터들이 이어 버드들(2011, 2012)에서 제 1 전자 장치(101)로 전송될 때, 한 종류의 오디오 데이터들만 전송되는 것이 아니라 여러 종류의 오디오 데이터가 전송될 수 있다.When CIS and/or CIG audio data are transmitted from the earbuds 2011 and 2012 to the first electronic device 101, not only one type of audio data but several types of audio data may be transmitted.

또는, CIS 및/또는 CIG 오디오 데이터들이 이어 버드들(2011, 2012)에서 제 1 전자 장치(101)로 전송될 때, 정해진 인터벌보다 짧은 인터벌을 가지는 ISO 인터벌에 포함된 오디오 데이터가 전송되거나 레이턴시가 상대적으로 덜 중요한 오디오 데이터가 전송될 수 있다. Alternatively, when CIS and/or CIG audio data are transmitted from the earbuds 2011 and 2012 to the first electronic device 101, audio data included in an ISO interval having an interval shorter than a predetermined interval is transmitted or latency is reduced. Relatively less important audio data may be transmitted.

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 복수의 ISO 인터벌에 속한 좌/우 이어 버드들(2011, 2012)로부터 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다. In an embodiment, the first electronic device 101, in operation 607, under the control of the processor 120, based on the command for audio integration, the left/right earbuds 2011 and 2012 belonging to a plurality of ISO intervals. ) and combine the audio data received from them into one and generate unified audio data.

CIS 및/또는 CIG 오디오 데이터들이 이어 버드들(2011, 2012)에서 제 1 전자 장치(101)로 전송될 때, CIS 및/또는 CIG 오디오 데이터들은 데이터 손실이 있을 수 있다. When the CIS and/or CIG audio data are transmitted from the ear buds 2011 and 2012 to the first electronic device 101, the CIS and/or CIG audio data may have data loss.

일 실시예에서, 수신된 오디오 데이터에 데이터 손실이 있으면, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 특정 패킷을 추가하여 좌/우 이어 버드들(2011, 2012)로부터 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다.In one embodiment, if there is data loss in the received audio data, the first electronic device 101, in operation 607, adds a specific packet based on the audio integration command under the control of the processor 120 to the left / The audio data received from the earbuds 2011 and 2012 may be merged into one and integrated audio data may be generated.

일 실시예에서, 수신된 오디오 데이터에 데이터 손실이 있으면, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 특정 패킷에 기반하여 PLC(packet loss concealment) 처리하고 손실된 오디오 데이터를 복원할 수 있다. In one embodiment, if there is data loss in the received audio data, the first electronic device 101, in operation 607, performs packet loss concealment (PLC) processing based on a specific packet under the control of the processor 120 and audio data can be restored.

일 실시예에서, 수신된 오디오 데이터에 데이터 손실이 있으면, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 특정 패킷에 기반하여 PLC(packet loss concealment) 처리할 수 없다면, 손실된 데이터를 전송하기 전의 데이터에 기반하여 통합 오디오 데이터를 생성할 수 있다. In one embodiment, if there is data loss in the received audio data, in operation 607, the first electronic device 101 may perform packet loss concealment (PLC) processing based on a specific packet under the control of the processor 120. If not present, unified audio data may be generated based on data prior to transmission of lost data.

일 실시예에서, 특정 패킷에 기반하여 PLC(packet loss concealment) 처리할 수 없다면, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 손실된 데이터를 전송하기 전의 데이터를 복사하거나 일부를 수정하여 통합 오디오 데이터를 생성할 수 있다.In one embodiment, if packet loss concealment (PLC) processing cannot be performed based on a specific packet, the first electronic device 101, in operation 607, data before transmitting the lost data under the control of the processor 120 It is possible to create unified audio data by copying or partially modifying.

특정 패킷은 예를 들어 PLC(packet loss concealment) 처리를 위한 패킷일 수 있다. The specific packet may be, for example, a packet for packet loss concealment (PLC) processing.

상위 계층(501)은 데이터 손실이 있는 오디오 데이터가 전달되면 어느 위치에서 데이터가 손실되었는지 판단하기 어렵다. 상위 계층(501)은 특정 패킷에 기반하여 데이터 손실이 있는 오디오 데이터를 PLC(packet loss concealment) 처리할 수 있다. When audio data with data loss is transmitted, the upper layer 501 has difficulty determining where data is lost. An upper layer 501 may perform packet loss concealment (PLC) processing of audio data having data loss based on a specific packet.

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 좌/우 이어 버드들(2011, 2012)의 사용 정보 및 오류 데이터를 판단할 수 있다.The first electronic device 101 may determine usage information and error data of the left/right earbuds 2011 and 2012 under the control of the processor 120 .

예를 들어, 제 1 전자 장치(101)는 이어 버드들(2011, 2012)로부터 전달받은 패킷의 헤더 혹은 페이로드에 기입된 정보, 또는 기존의 정보를 이용하여 오디오 데이터의 사용여부를 판단할 수 있다. 또는, 제 1 전자 장치(101)는 상황 정보에 기반하여 오디오 데이터의 사용여부를 판단할 수 있다. For example, the first electronic device 101 may determine whether audio data is used by using information written in a header or payload of a packet received from the earbuds 2011 and 2012, or existing information. there is. Alternatively, the first electronic device 101 may determine whether to use audio data based on the situation information.

이어 버드들(2011, 2012)은 미 착용된 이어 버드로부터 전송되는 오디오 데이터는 오류임을 알리는 데이터를 제 1 전자 장치(101)에 전송할 수 있다. The earbuds 2011 and 2012 may transmit data to the first electronic device 101 notifying that audio data transmitted from the earbuds that are not worn are errors.

일 실시예에서, 제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 미 착용된 이어 버드로부터 전송되는 오디오 데이터가 오류임을 판단할 수 있다. In one embodiment, the first electronic device 101, under the control of the processor 120, may determine that audio data transmitted from the earbuds that are not worn are erroneous.

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 좌/우 이어 버드들(2011, 2012)의 사용 정보에 기반하여, 좌/우 이어 버드들(2011, 2012)로부터 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다.In one embodiment, the first electronic device 101, in operation 607, based on the usage information of the left/right earbuds 2011 and 2012 under the control of the processor 120, selects the left/right earbuds. The audio data received from (2011, 2012) may be merged into one and integrated audio data may be generated.

일 실시예에서, 제 1 이어 버드(2011)는 착용 상태에 있고, 제 2 이어 버드(2012)는 미 착용 상태에 있으면, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 제 1 이어 버드(2011)에서 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다.In one embodiment, when the first earbud 2011 is worn and the second earbud 2012 is not worn, the first electronic device 101, in operation 607, the processor 120 Under the control, audio data received from the first earbuds 2011 may be merged into one and integrated audio data may be generated.

일 실시예에서, 제 1 이어 버드(2011)는 착용 상태에 있고, 제 2 이어 버드(2012)는 미 착용 상태에 있으면, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 제 1 이어 버드(2011)에서 수신된 오디오 데이터 및 제 2 이어 버드(2011)의 오디오 데이터를 대체하는 특정 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다.In one embodiment, when the first earbud 2011 is worn and the second earbud 2012 is not worn, the first electronic device 101, in operation 607, the processor 120 Under the control, audio data received from the first earbud 2011 and specific data replacing the audio data of the second earbud 2011 may be merged into one and integrated audio data may be generated.

제 1 이어 버드(2011)는 착용 상태에 있고, 제 2 이어 버드(2012)는 미 착용 상태에서 착용 상태로 전환되면, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 제 1 이어 버드(2011)에서 수신된 오디오 데이터 및 제 2 이어 버드(2011)에서 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다.When the first earbud 2011 is in the worn state and the second earbud 2012 is switched from the non-worn state to the worn state, the first electronic device 101 controls the processor 120 in operation 607. Under this, the audio data received from the first earbud 2011 and the audio data received from the second earbud 2011 may be merged into one and integrated audio data may be generated.

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 통합 오디오 데이터에 커넥션 핸들(connection handle)을 부여하고, 커넥션 핸들에 기반하여 통합 오디오 데이터를 상위 계층(501)에 전송할 수 있다. In an embodiment, the first electronic device 101, in operation 607, assigns a connection handle to the unified audio data under the control of the processor 120, and transfers the unified audio data to the upper level based on the connection handle. It can be transmitted to the layer 501.

일 실시예에서, 커넥션 핸들은 사용자 선택 또는 설정에 의해서 결정될 수 있다. 커넥션 핸들은 종래 사용되는 커넥션 핸들 중에 하나에서 선택될 수 있다. 커넥션 핸들은 첫번째 오디오 데이터 또는 마지막 오디오 데이터에 포함된 커넥션 핸들 중에 하나에서 선택될 수 있다. 커넥션 핸들은 CIG ID일 수 있다. 커넥션 핸들은 새롭게 정의된 값일 수 있다. In one embodiment, the connection handle may be determined by user selection or setting. The connection handle may be selected from among conventionally used connection handles. The connection handle may be selected from among connection handles included in the first audio data or the last audio data. A connection handle may be a CIG ID. A connection handle may be a newly defined value.

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 상위 계층(501)에 전송할 수 있다. In an embodiment, the first electronic device 101 may transmit unified audio data to the upper layer 501 under the control of the processor 120 in operation 607 .

일 실시예에서, 제 1 전자 장치(101) 상의 오디오 모듈의 입력 방식이 미리 정의되어 있다면, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 커넥션 핸들 없이 상위 계층(501)에 전송할 수 있다.In one embodiment, if the input method of the audio module on the first electronic device 101 is predefined, the first electronic device 101, in operation 607, connects unified audio data under the control of the processor 120. It can be transmitted to the upper layer 501 without a handle.

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 처리하여 음향 출력 장치(155)로 출력할 수 있다.In an embodiment, in operation 607, the first electronic device 101 may process integrated audio data and output the processed audio data to the audio output device 155 under the control of the processor 120.

제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 블루투스 칩셋 및/또는 블루투스 모듈에서 호스트 소프트웨어를 거쳐 코덱 모듈에 전달할 수 있다. 제 1 전자 장치(101)는, 605 동작에서, 프로세서(120)의 제어 하에, 호스트 소프트웨어에서 전달받은 통합 오디오 데이터를 코덱 모듈에서 디코딩하여 음향 출력 장치(155)로 출력할 수 있다.In operation 607, the first electronic device 101 may transfer unified audio data from a Bluetooth chipset and/or a Bluetooth module to a codec module via host software under the control of the processor 120. In operation 605, the first electronic device 101 may decode integrated audio data received from the host software in the codec module and output the decoded audio data to the audio output device 155 under the control of the processor 120.

코덱 모듈은 예를 들어 SBC(sub-band codec), aptX 코덱 및/또는 LC3 코덱을 포함할 수 있다. The codec module may include, for example, a sub-band codec (SBC), aptX codec, and/or LC3 codec.

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 블루투스 칩셋 및/또는 블루투스 모듈에서 DSP(digital signal processor)에 전달할 수 있다. 제 1 전자 장치(101)는, 605 동작에서, 프로세서(120)의 제어 하에, 블루투스 칩셋 및/또는 블루투스 모듈에서 전달받은 통합 오디오 데이터를 DSP에서 디코딩하여 음향 출력 장치(155)로 출력할 수 있다. DSP는 코덱 모듈을 포함할 수 있다. In one embodiment, in operation 607, the first electronic device 101 may transfer unified audio data from a Bluetooth chipset and/or a Bluetooth module to a digital signal processor (DSP) under the control of the processor 120. In operation 605, the first electronic device 101 may decode the integrated audio data received from the Bluetooth chipset and/or the Bluetooth module in the DSP and output the decoded integrated audio data to the sound output device 155 under the control of the processor 120. . A DSP may include a codec module.

일 실시예에서, 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 블루투스 칩셋 및/또는 블루투스 모듈에서 디코딩하여 DSP에 전달할 수 있다. 제 1 전자 장치(101)는, 607 동작에서, 프로세서(120)의 제어 하에, 디코딩된 통합 오디오 데이터를 DSP에서 후처리할 수 있다. 블루투스 칩셋 및/또는 블루투스 모듈은 코덱 모듈을 포함할 수 있다. In an embodiment, the first electronic device 101, in operation 607, may decode unified audio data in a Bluetooth chipset and/or a Bluetooth module and transmit the decoded integrated audio data to the DSP under the control of the processor 120. In operation 607, the first electronic device 101 may post-process the decoded integrated audio data in the DSP under the control of the processor 120. The Bluetooth chipset and/or Bluetooth module may include a codec module.

제 1 전자 장치(101)가 제 2 전자 장치(201)와 LE 등시 채널로 통신 연결된 상태에서, 제 1 전자 장치(101)에서 통화 이벤트가 발생할 수 있다. 사용자는 제 2 전자 장치(201)를 통해서 통화를 청취할 수 있고, 사용자의 음성을 제 2 전자 장치(201)에서 획득한 후에 제 1 전자 장치(101)로 전송될 수 있다. 제 1 전자 장치(101)는 LE 등시 채널 및 본 개시의 통합 오디오 데이터로 처리된 데이터를, 예를 들어, LTE 또는 5G 네트워크를 통해 상대방 전자 장치로 전송할 수 있다.A call event may occur in the first electronic device 101 while the first electronic device 101 is connected to the second electronic device 201 through the LE isochronous channel. The user may listen to a call through the second electronic device 201 , and the user's voice may be obtained from the second electronic device 201 and transmitted to the first electronic device 101 . The first electronic device 101 may transmit data processed as the LE isochronous channel and unified audio data of the present disclosure to the other electronic device through, for example, an LTE or 5G network.

제 1 전자 장치(101)가 제 2 전자 장치(201)와 LE 등시 채널로 통신 연결된 상태에서, 제 1 전자 장치(101)를 이용하여 동영상을 촬영할 수 있다. 사용자의 음성을 제 2 전자 장치(201)에서 획득한 후에 제 1 전자 장치(101)로 전송될 수 있다. 제 1 전자 장치(101)는 획득한 음성을 음향 출력 장치(155)로 출력하거나 동영상과 함께 저장할 수 있다.In a state in which the first electronic device 101 is communicatively connected to the second electronic device 201 through the LE isochronous channel, it is possible to capture a video using the first electronic device 101 . After the user's voice is acquired by the second electronic device 201, it may be transmitted to the first electronic device 101. The first electronic device 101 may output the acquired voice to the audio output device 155 or store it together with a video.

도 7은 본 개시의 다양한 실시예에 따른 제 1 전자 장치(101)의 오디오 데이터 처리 동작을 나타내는 도면이다. 7 is a diagram illustrating an audio data processing operation of the first electronic device 101 according to various embodiments of the present disclosure.

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 통신 모듈(190)을 통해서 오디오 데이터를 수신할 수 있다. 통신 모듈(190)은 블루투스 코어 사양 버전 5.2 이상이 적용된 블루투스 칩셋 및/또는 블루투스 모듈일 수 있다. The first electronic device 101 may receive audio data through the communication module 190 under the control of the processor 120 . The communication module 190 may be a Bluetooth chipset and/or a Bluetooth module to which Bluetooth core specification version 5.2 or higher is applied.

제 1 전자 장치(101)는 이어 버드들(2011, 2012)과 LE 등시 채널(LE(low energy)isochronous channels)에 기반하여 통신 연결될 수 있다. The first electronic device 101 may be communicatively connected to the earbuds 2011 and 2012 based on low energy (LE) isochronous channels.

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드를 호스트 소프트웨어(701)에서 통신 모듈(190)에 전송할 수 있다. The first electronic device 101 may transmit an audio integration command from the host software 701 to the communication module 190 under the control of the processor 120 .

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 코덱 모듈(721)에 대한 오디오를 설정할 수 있다. The first electronic device 101 may set audio for the codec module 721 under the control of the processor 120 .

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 통신 모듈(190)에서 호스트 소프트웨어(701)로 전달하고, 다시 호스트 소프트웨어(701)에서 코덱 모듈(721)로 전달할 수 있다. 코덱 모듈(721)은 예를 들어 SBC(sub-band codec), aptX 코덱 및/또는 LC3 코덱을 포함할 수 있다. The first electronic device 101 transfers unified audio data from the communication module 190 to the host software 701 and from the host software 701 to the codec module 721 under the control of the processor 120. can The codec module 721 may include, for example, a sub-band codec (SBC), an aptX codec, and/or an LC3 codec.

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 호스트 소프트웨어(701)에서 전달받은 통합 오디오 데이터를 코덱 모듈(721)에서 디코딩하여 음향 출력 장치(155)로 출력할 수 있다.The first electronic device 101 may decode integrated audio data received from the host software 701 in the codec module 721 and output the decoded integrated audio data to the audio output device 155 under the control of the processor 120 .

도 8은 본 개시의 다양한 실시예에 따른 제 1 전자 장치(101)의 오디오 데이터 처리 동작을 나타내는 도면이다. 8 is a diagram illustrating an audio data processing operation of the first electronic device 101 according to various embodiments of the present disclosure.

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 통신 모듈(190)에서 DSP(digital signal processor)(702)에 전달할 수 있다. DSP(702)는 코덱 모듈(721)을 포함할 수 있다. 코덱 모듈(721)은 예를 들어 SBC(sub-band codec), aptX 코덱 및/또는 LC3 코덱을 포함할 수 있다.The first electronic device 101 may transfer unified audio data from the communication module 190 to a digital signal processor (DSP) 702 under the control of the processor 120 . The DSP 702 may include a codec module 721 . The codec module 721 may include, for example, a sub-band codec (SBC), an aptX codec, and/or an LC3 codec.

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 DSP(702)의 코덱 모듈(721)에서 디코딩하여 음향 출력 장치(155)로 출력할 수 있다.The first electronic device 101 may decode integrated audio data in the codec module 721 of the DSP 702 and output the decoded integrated audio data to the audio output device 155 under the control of the processor 120 .

도 9는 본 개시의 다양한 실시예에 따른 제 1 전자 장치(101)의 오디오 데이터 처리 동작을 나타내는 도면이다. 9 is a diagram illustrating an audio data processing operation of the first electronic device 101 according to various embodiments of the present disclosure.

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 통신 모듈(190)을 통해서 오디오 데이터를 수신할 수 있다. 통신 모듈(190)은 블루투스 코어 사양 버전 5.2 이상이 적용된 블루투스 칩셋 및/또는 블루투스 모듈일 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 코덱 모듈(721)을 포함할 수 있다.The first electronic device 101 may receive audio data through the communication module 190 under the control of the processor 120 . The communication module 190 may be a Bluetooth chipset and/or a Bluetooth module to which Bluetooth core specification version 5.2 or higher is applied. According to one embodiment, the communication module 190 may include a codec module 721 .

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 디코딩된 통합 오디오 데이터를 통신 모듈(190)에서 DSP(702)에 전달할 수 있다.The first electronic device 101 may transfer the decoded integrated audio data from the communication module 190 to the DSP 702 under the control of the processor 120 .

제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 디코딩된 통합 오디오 데이터를 DSP(702)에서 후처리하여 음향 출력 장치(155)로 출력할 수 있다.The first electronic device 101 may post-process the decoded integrated audio data in the DSP 702 and output the decoded integrated audio data to the audio output device 155 under the control of the processor 120 .

도 10은 본 개시의 다양한 실시예에 따른 통합 오디오 데이터(1010, 1020)를 나타내는 도면이다. 10 is a diagram illustrating unified audio data 1010 and 1020 according to various embodiments of the present disclosure.

도 4 및 도 10을 참조하면, 일 실시예에서, 제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 동일한 ISO 인터벌에 속한 좌/우 이어 버드들(2011, 2012)로부터 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다. 4 and 10 , in one embodiment, the first electronic device 101, under the control of the processor 120, based on the command for audio integration, left/right earbuds belonging to the same ISO interval. The audio data received from (2011, 2012) may be merged into one and integrated audio data may be generated.

예를 들어, 제 1 이어 버드(2011)에서 제 1 전자 장치(101)로 전송되는 제 1 오디오 데이터(401), 제 2 오디오 데이터(402)는 제 1 CIS(CIS 1 event x)가 되고, 제 2 이어 버드(2012)에서 제 1 전자 장치(101)로 제 3 오디오 데이터(403), 제 4 오디오 데이터(404)는 제 2 CIS(CIS 2 event x)가 될 수 있다. 제 1 CIG(CIG event x)는 ISO 인터벌(ISO_interval) 동안에 제 1 CIS(CIS 1 event x) 및 제 2 CIS(CIS 2 event x)를 포함할 수 있다. For example, the first audio data 401 and the second audio data 402 transmitted from the first earbud 2011 to the first electronic device 101 become a first CIS (CIS 1 event x), From the second earbud 2012 to the first electronic device 101, the third audio data 403 and the fourth audio data 404 may become second CIS (CIS 2 event x). The first CIG event x (CIG event x) may include a first CIS (CIS 1 event x) and a second CIS (CIS 2 event x) during the ISO interval (ISO_interval).

제 1 이어 버드(2011)에서 제 1 전자 장치(101)로 전송되는 제 5 오디오 데이터(405), 제 6 오디오 데이터(406)는 제 3 CIS(CIS 1 event x+1)가 되고, 제 2 이어 버드(2012)에서 제 1 전자 장치(101)로 제 7 오디오 데이터(407), 제 8 오디오 데이터(408)는 제 4 CIS(CIS 2 event x+1)가 될 수 있다. 제 2 CIG(CIG event x+1)는 ISO 인터벌(ISO_interval) 동안에 제 3 CIS(CIS 1 event x+1) 및 제 4 CIS(CIS 2 event x+1)를 포함할 수 있다.The fifth audio data 405 and the sixth audio data 406 transmitted from the first earbud 2011 to the first electronic device 101 become the third CIS (CIS 1 event x+1), and the second From the earbud 2012 to the first electronic device 101, the seventh audio data 407 and the eighth audio data 408 may become a fourth CIS (CIS 2 event x+1). The second CIG (CIG event x+1) may include a third CIS (CIS 1 event x+1) and a fourth CIS (CIS 2 event x+1) during the ISO interval (ISO_interval).

이때, 제 1 전자 장치(101)는 제 1 이어 버드(2011)의 제 1 오디오 데이터(401) 및 제 2 이어 버드(2012)의 제 3 오디오 데이터(403)를 통합하여 제 1 통합 오디오 데이터(1010)를 생성하고, 생성된 제 1 통합 오디오 데이터(1010)에 제 1 커넥션 핸들(1001)을 부여하고, 제 1 커넥션 핸들(1001)에 기반하여 제 1 통합 오디오 데이터(1010)를 등시 적응 계층(502) 및/또는 하위 계층(503)에 상위 계층(501)으로 전달할 수 있다. At this time, the first electronic device 101 integrates the first audio data 401 of the first earbud 2011 and the third audio data 403 of the second earbud 2012 to obtain first integrated audio data ( 1010), assigns a first connection handle 1001 to the generated first unified audio data 1010, and isochronously adapts the first unified audio data 1010 based on the first connection handle 1001. The layer 502 and/or the lower layer 503 may be passed to the upper layer 501.

제 1 전자 장치(101)는 동일 ISO 인터벌 내에 있는 제 1 이어 버드(2011)의 제 5 오디오 데이터(405) 및 제 2 이어 버드(2012)의 제 7 오디오 데이터(407)를 통합하여 제 2 통합 오디오 데이터(1020)를 생성하고, 생성된 제 2 통합 오디오 데이터(1020)에 제 2 커넥션 핸들(1003)을 부여하고, 제 2 커넥션 핸들(1003)에 기반하여 제 2 통합 오디오 데이터(1020)를 등시 적응 계층(502) 및/또는 하위 계층(503)에서 상위 계층(501)으로 전달할 수 있다. The first electronic device 101 integrates the fifth audio data 405 of the first earbud 2011 and the seventh audio data 407 of the second earbud 2012 within the same ISO interval to obtain the second unified data. Audio data 1020 is generated, a second connection handle 1003 is assigned to the generated second unified audio data 1020, and the second unified audio data 1020 is obtained based on the second connection handle 1003. It may be transmitted from the isochronous adaptation layer 502 and/or the lower layer 503 to the upper layer 501.

도 11은 본 개시의 다양한 실시예에 따른 통합 오디오 데이터(1110, 1120)를 나타내는 도면이다. 11 is a diagram illustrating unified audio data 1110 and 1120 according to various embodiments of the present disclosure.

이때, 제 1 전자 장치(101)는 제 1 이어 버드(2011)의 제 1 오디오 데이터(401) 및 제 2 이어 버드(2012)의 제 3 오디오 데이터(403)를 통합하여 제 3 통합 오디오 데이터(1110)를 생성할 수 있다. 제 1 전자 장치(101) 상의 오디오 모듈의 입력 방식이 미리 정의되어 있다면, 제 1 전자 장치(101)는 생성된 제 3 통합 오디오 데이터(1110)를 커넥션 핸들 없이 등시 적응 계층(502) 및/또는 하위 계층(503)에서 상위 계층(501)으로 전달할 수 있다. At this time, the first electronic device 101 integrates the first audio data 401 of the first earbuds 2011 and the third audio data 403 of the second earbuds 2012 to obtain third integrated audio data ( 1110) can be created. If the input method of the audio module on the first electronic device 101 is predefined, the first electronic device 101 transfers the generated third unified audio data 1110 to the isochronous adaptation layer 502 and/or without a connection handle. Alternatively, it may be transmitted from the lower layer 503 to the upper layer 501.

제 1 전자 장치(101)는 동일 ISO 인터벌 내에 있는 제 1 이어 버드(2011)의 제 5 오디오 데이터(405) 및 제 2 이어 버드(2012)의 제 7 오디오 데이터(407)를 통합하여 제 4 통합 오디오 데이터(1120)를 생성할 수 있다. 제 1 전자 장치(101) 상의 오디오 모듈의 입력 방식이 미리 정의되어 있다면, 제 1 전자 장치(101)는 생성된 제 4 통합 오디오 데이터(1120)를 커넥션 핸들 없이 등시 적응 계층(502) 및/또는 하위 계층(503)에서 상위 계층(501)으로 전달할 수 있다. The first electronic device 101 integrates the 5th audio data 405 of the 1st earbud 2011 and the 7th audio data 407 of the 2nd earbud 2012 within the same ISO interval to obtain 4th unified data. Audio data 1120 may be generated. If the input method of the audio module on the first electronic device 101 is predefined, the first electronic device 101 transmits the generated fourth unified audio data 1120 to the isochronous adaptation layer 502 and/or without a connection handle. Alternatively, it may be transmitted from the lower layer 503 to the upper layer 501.

도 12는 본 개시의 다양한 실시예에 따른 통합 오디오 데이터(1210)를 나타내는 도면이다. 12 is a diagram illustrating unified audio data 1210 according to various embodiments of the present disclosure.

도 4 및 도 10을 참조하면, CIS 및/또는 CIG 오디오 데이터들이 이어 버드들(2011, 2012)에서 제 1 전자 장치(101)로 전송될 때, 한 종류의 오디오 데이터들만 전송되는 것이 아니라 여러 종류의 오디오 데이터가 전송될 수 있다. 또는, CIS 및/또는 CIG 오디오 데이터들이 이어 버드들(2011, 2012)에서 제 1 전자 장치(101)로 전송될 때, 정해진 인터벌보다 짧은 인터벌을 가지는 ISO 인터벌에 포함된 오디오 데이터가 전송되거나 레이턴시가 상대적으로 덜 중요한 오디오 데이터가 전송될 수 있다. 4 and 10, when CIS and/or CIG audio data are transmitted from the earbuds 2011 and 2012 to the first electronic device 101, not only one type of audio data is transmitted, but several types of audio data. of audio data can be transmitted. Alternatively, when CIS and/or CIG audio data are transmitted from the earbuds 2011 and 2012 to the first electronic device 101, audio data included in an ISO interval having an interval shorter than a predetermined interval is transmitted or latency is reduced. Relatively less important audio data may be transmitted.

일 실시예에서, 제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 복수의 ISO 인터벌에 속한 좌/우 이어 버드들(2011, 2012)로부터 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다. In one embodiment, the first electronic device 101, under the control of the processor 120, based on the command for audio integration received from the left / right earbuds 2011, 2012 belonging to a plurality of ISO intervals Audio data can be merged into one and unified audio data can be created.

이때, 제 1 전자 장치(101)는 ISO 인터벌이 서로 다른 제 1 이어 버드(2011)의 제 1 오디오 데이터(401), 제 5 오디오 데이터(405) 및 제 2 이어 버드(2012)의 제 3 오디오 데이터(403), 제 7 오디오 데이터(407)를 통합하여 제 5 통합 오디오 데이터(1210)를 생성할 수 있다. 생성된 제 5 통합 오디오 데이터(1210)에 제 3 커넥션 핸들(1201)을 부여하고, 제 3 커넥션 핸들(1201)에 기반하여 제 5 통합 오디오 데이터(1210)를 등시 적응 계층(502) 및/또는 하위 계층(503)에서 상위 계층(501)으로 전달할 수 있다. At this time, the first electronic device 101 transmits the first audio data 401 and the fifth audio data 405 of the first earbuds 2011 having different ISO intervals and the third audio data of the second earbuds 2012. The data 403 and the seventh audio data 407 may be integrated to generate fifth integrated audio data 1210 . A third connection handle 1201 is assigned to the generated fifth unified audio data 1210, and based on the third connection handle 1201, the fifth unified audio data 1210 is transferred to the isochronous adaptation layer 502 and/or Alternatively, it may be transmitted from the lower layer 503 to the upper layer 501.

도 13은 본 개시의 다양한 실시예에 따른 통합 오디오 데이터(1310, 1320)를 나타내는 도면이다. 13 is a diagram illustrating unified audio data 1310 and 1320 according to various embodiments of the present disclosure.

제 1 이어 버드(2011)에서 제 1 전자 장치(101)로 전송되는 제 5 오디오 데이터(405), 제 6 오디오 데이터(406)는 제 3 CIS(CIS 1 event x+1)가 되고, 제 2 이어 버드(2012)에서 제 1 전자 장치(101)로 제 7 오디오 데이터(407), 제 8 오디오 데이터(408)는 제 4 CIS(CIS 2 event x+1)가 될 수 있다. 제 2 CIG(CIG event x+1)는 ISO 인터벌(ISO_interval) 동안에 제 3 CIS(CIS 1 event x+1) 및 제 4 CIS(CIS 2 event x+1)를 포함할 수 있다. The fifth audio data 405 and the sixth audio data 406 transmitted from the first earbud 2011 to the first electronic device 101 become the third CIS (CIS 1 event x+1), and the second From the earbud 2012 to the first electronic device 101, the seventh audio data 407 and the eighth audio data 408 may become a fourth CIS (CIS 2 event x+1). The second CIG (CIG event x+1) may include a third CIS (CIS 1 event x+1) and a fourth CIS (CIS 2 event x+1) during the ISO interval (ISO_interval).

제 1 전자 장치(101)는 제 1 이어 버드(2011)의 제 1 오디오 데이터(401) 및 제 2 이어 버드(2012)의 제 3 오디오 데이터(403)를 통합하여 제 6 통합 오디오 데이터(1310)를 생성하고, 생성된 제 6 통합 오디오 데이터(1310)에 제 4 커넥션 핸들(1301)을 부여하고, 제 4 커넥션 핸들(1301)에 기반하여 제 6 통합 오디오 데이터(1310)를 등시 적응 계층(502) 및/또는 하위 계층(503)에서 상위 계층(501)으로 전달할 수 있다. The first electronic device 101 integrates the first audio data 401 of the first earbud 2011 and the third audio data 403 of the second earbud 2012 to form sixth integrated audio data 1310. isochronous adaptation layer ( 502) and/or from the lower layer 503 to the upper layer 501.

데이터 손실이 있으면, 제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 오디오 통합에 관한 커맨드에 기반하여 특정 패킷(1330)을 추가하여 좌/우 이어 버드들(2011, 2012)로부터 수신된 오디오 데이터를 하나로 합치고 통합 오디오 데이터를 생성할 수 있다. 특정 패킷은 예를 들어 PLC(packet loss concealment)을 수행할 수 있는 패킷일 수 있다.If there is data loss, the first electronic device 101, under the control of the processor 120, adds a specific packet 1330 based on the command for audio integration from the left/right earbuds 2011 and 2012. The received audio data may be merged into one and unified audio data may be generated. A specific packet may be, for example, a packet capable of performing packet loss concealment (PLC).

예를 들어, 제 2 이어 버드(2012)의 제 7 오디오 데이터(407)에 데이터 손실이 발생하면, 제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 통합 오디오 데이터 생성 시에 특정 패킷(1330)을 추가할 수 있다. For example, if data loss occurs in the seventh audio data 407 of the second earbud 2012, the first electronic device 101, under the control of the processor 120, generates a specific audio data when synthesized. Packet 1330 may be added.

제 1 전자 장치(101)는 제 1 이어 버드(2011)의 제 5 오디오 데이터(405) 및 특정 패킷(1330)을 통합하여 제 7 통합 오디오 데이터(1320)를 생성하고, 생성된 제 7 통합 오디오 데이터(1320)에 제 5 커넥션 핸들(1303)을 부여하고, 제 5 커넥션 핸들(1303)에 기반하여 제 2 통합 오디오 데이터(1020)를 등시 적응 계층(502) 및/또는 하위 계층(503)에서 상위 계층(501)으로 전달할 수 있다.The first electronic device 101 integrates the fifth audio data 405 of the first earbud 2011 and the specific packet 1330 to generate seventh unified audio data 1320, and the generated seventh unified audio A fifth connection handle 1303 is assigned to the data 1320, and based on the fifth connection handle 1303, the second unified audio data 1020 is transferred to the isochronous adaptation layer 502 and/or the lower layer 503. can be delivered to the upper layer 501.

도 14는 본 개시의 다양한 실시예에 따른 제 1 전자 장치(101)의 오디오 데이터 처리 방법을 나타내는 순서도이다.14 is a flowchart illustrating an audio data processing method of the first electronic device 101 according to various embodiments of the present disclosure.

제 1 전자 장치(101)는, 1401 동작에서, 프로세서(120)의 제어 하에, 통신 모듈(190)을 통해서 이어 버드들(2011, 2012)과 통신 연결될 수 있다. In operation 1401, the first electronic device 101 may communicate with the earbuds 2011 and 2012 through the communication module 190 under the control of the processor 120.

일 실시예에서, 제 1 전자 장치(101)는, 1401 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)과 LE 등시 채널(LE(low energy)isochronous channels)에 기반하여 통신 연결될 수 있다.In one embodiment, the first electronic device 101, in operation 1401, under the control of the processor 120, based on the earbuds 2011 and 2012 and LE isochronous channels (LE (low energy) isochronous channels). so that communication can be established.

일 실시예에서, 제 1 전자 장치(101)는, 1403 동작에서, 프로세서(120)의 제어 하에, 통신 모듈(190)을 통해서 이어 버드들(2011, 2012)로부터 오디오 데이터를 수신할 수 있다. In one embodiment, in operation 1403, the first electronic device 101 may receive audio data from the earbuds 2011 and 2012 through the communication module 190 under the control of the processor 120.

예를 들어, 통신 모듈(190)은 블루투스 코어 사양 버전 5.2 이상이 적용된 블루투스 칩셋 및/또는 블루투스 모듈일 수 있다. 블루투스 칩셋 및/또는 블루투스 모듈은 등시 적응 계층(502) 및/또는 하위 계층(503)을 포함할 수 있다. 일 실시예에서, 제 1 전자 장치(101)는, 1405 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)의 사용 여부를 판단할 수 있다.For example, the communication module 190 may be a Bluetooth chipset and/or a Bluetooth module to which Bluetooth core specification version 5.2 or higher is applied. The Bluetooth chipset and/or Bluetooth module may include an isochronous adaptation layer 502 and/or a lower layer 503 . In an embodiment, in operation 1405, the first electronic device 101 may determine whether the earbuds 2011 and 2012 are used under the control of the processor 120.

예를 들어, 이어 버드들(2011, 2012)의 사용 여부는 사용자 착용여부일 수 있다. 이어 버드들(2011, 2012)은 이어 버드들(2011, 2012)의 사용 여부에 대한 정보를 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함시켜 제 1 전자 장치(101)에 전송할 수 있다. 예를 들어, 이어 버드들(2011, 2012)은 이어 버드들(2011, 2012)의 사용자 착용 또는 미착용에 관한 정보를 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함시켜 제 1 전자 장치(101)에 전송할 수 있다.For example, whether the earbuds 2011 and 2012 are used may depend on whether the user wears them. The earbuds 2011 and 2012 may include information on whether the earbuds 2011 and 2012 are used in a header or payload of an audio data packet and transmit the information to the first electronic device 101 . For example, the earbuds 2011 and 2012 include information on whether the earbuds 2011 and 2012 are worn or not worn by the user in a header or payload of an audio data packet, and the information is transmitted to the first electronic device 101. can transmit

예를 들어, 제 1 전자 장치(101)는 이어 버드들(2011, 2012)의 착용 상태에 관한 정보를 오디오 데이터와 별도로 수신할 수 있다.For example, the first electronic device 101 may receive information about wearing states of the earbuds 2011 and 2012 separately from audio data.

예를 들어, 제 1 전자 장치(101)는, 1405 동작에서, 이어 버드들(2011, 2012)For example, in operation 1405, the first electronic device 101 operates earbuds 2011 and 2012.

일 실시예에서, 제 1 전자 장치(101)는, 1407 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)의 사용 여부에 기반하여 오디오 데이터의 오류 여부를 판단할 수 있다.In an embodiment, in operation 1407, the first electronic device 101 may determine whether the audio data is erroneous based on whether the earbuds 2011 and 2012 are used under the control of the processor 120. .

일 실시예에서, 제 1 전자 장치(101)는, 1407 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함된 이어 버드들(2011, 2012)의 사용 여부에 대한 정보에 기반하여 오디오 데이터의 오류 여부를 판단할 수 있다.In an embodiment, the first electronic device 101, in operation 1407, determines whether the earbuds 2011 and 2012 included in the header or payload of the audio data packet are used under the control of the processor 120. It is possible to determine whether the audio data is erroneous based on the information about the audio data.

일 실시예에서, 제 1 전자 장치(101)는, 1407 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함된 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 미착용 상태로 판단되면, 오디오 데이터가 오류라고 판단할 수 있다. In an embodiment, the first electronic device 101, in operation 1407, determines whether the earbuds 2011 and 2012 included in the header or payload of the audio data packet are used under the control of the processor 120. When it is determined that the information about is not worn, it can be determined that the audio data is erroneous.

일 실시예에서, 제 1 전자 장치(101)는, 1407 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 이어 버드들(2011, 2012) 중 어느 하나의 이어 버드가 미착용 상태인 정보에 대응하면, 오디오 데이터가 오류라고 판단할 수 있다. In an embodiment, in operation 1407, the first electronic device 101 transmits information on whether the earbuds 2011 and 2012 are used, among the earbuds 2011 and 2012, under the control of the processor 120. If any one of the earbuds corresponds to the information of the non-wearing state, it may be determined that the audio data is erroneous.

일 실시예에서, 제 1 전자 장치(101)는, 1407 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 이어 버드들(2011, 2012) 모두 미착용 상태인 정보에 대응하면, 오디오 데이터가 오류라고 판단할 수 있다.In an embodiment, in operation 1407, the first electronic device 101 transmits information on whether the earbuds 2011 and 2012 are used to all of the earbuds 2011 and 2012 under the control of the processor 120. If it corresponds to information that is not worn, it may be determined that the audio data is erroneous.

일 실시예에서, 제 1 전자 장치(101)는, 1407 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함된 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 이어 버드들(2011, 2012) 모두 착용 상태인 정보에 대응하면, 오디오 데이터가 오류가 없다고 판단할 수 있다.In an embodiment, the first electronic device 101, in operation 1407, determines whether the earbuds 2011 and 2012 included in the header or payload of the audio data packet are used under the control of the processor 120. If the information about the earbuds 2011 and 2012 corresponds to the information about the wearing state, it may be determined that the audio data has no error.

일 실시예에서, 제 1 전자 장치(101)는, 1407 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함된 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 이어 버드들(2011, 2012) 모두 착용 상태인 정보에 대응하면, 오디오 데이터가 정상이라고 판단할 수 있다.In an embodiment, the first electronic device 101, in operation 1407, determines whether the earbuds 2011 and 2012 included in the header or payload of the audio data packet are used under the control of the processor 120. If the information about corresponds to the information about the wearing state of both the earbuds 2011 and 2012, it can be determined that the audio data is normal.

도 15는 본 개시의 다양한 실시예에 따른 제 1 전자 장치(101)의 오디오 데이터 처리 방법을 나타내는 순서도이다.15 is a flowchart illustrating an audio data processing method of the first electronic device 101 according to various embodiments of the present disclosure.

제 1 전자 장치(101)는, 1501 동작에서, 프로세서(120)의 제어 하에, 통신 모듈(190)을 통해서 이어 버드들(2011, 2012)과 통신 연결될 수 있다. In operation 1501, the first electronic device 101 may communicate with the earbuds 2011 and 2012 through the communication module 190 under the control of the processor 120.

일 실시예에서, 제 1 전자 장치(101)는, 1501 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)과 LE 등시 채널(LE(low energy)isochronous channels)에 기반하여 통신 연결될 수 있다.In one embodiment, the first electronic device 101, in operation 1501, under the control of the processor 120, based on the earbuds 2011 and 2012 and LE isochronous channels (LE (low energy) isochronous channels). so that communication can be established.

일 실시예에서, 제 1 전자 장치(101)는, 1503 동작에서, 프로세서(120)의 제어 하에, 통신 모듈(190)을 통해서 이어 버드들(2011, 2012)로부터 오디오 데이터를 수신할 수 있다. In an embodiment, in operation 1503, the first electronic device 101 may receive audio data from the earbuds 2011 and 2012 through the communication module 190 under the control of the processor 120.

예를 들어, 통신 모듈(190)은 블루투스 코어 사양 버전 5.2 이상이 적용된 블루투스 칩셋 및/또는 블루투스 모듈일 수 있다. 블루투스 칩셋 및/또는 블루투스 모듈은 등시 적응 계층(502) 및/또는 하위 계층(503)을 포함할 수 있다. For example, the communication module 190 may be a Bluetooth chipset and/or a Bluetooth module to which Bluetooth core specification version 5.2 or higher is applied. The Bluetooth chipset and/or Bluetooth module may include an isochronous adaptation layer 502 and/or a lower layer 503 .

일 실시예에서, 제 1 전자 장치(101)는, 1505 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)의 사용 여부를 판단할 수 있다.In an embodiment, in operation 1505, the first electronic device 101 may determine whether the earbuds 2011 and 2012 are used under the control of the processor 120.

예를 들어, 이어 버드들(2011, 2012)의 사용 여부는 사용자 착용여부일 수 있다. 이어 버드들(2011, 2012)은 이어 버드들(2011, 2012)의 사용 여부에 대한 정보를 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함시켜 제 1 전자 장치(101)에 전송할 수 있다. For example, whether the earbuds 2011 and 2012 are used may depend on whether the user wears them. The earbuds 2011 and 2012 may include information on whether the earbuds 2011 and 2012 are used in a header or payload of an audio data packet and transmit the information to the first electronic device 101 .

일 실시예에서, 이어 버드들(2011, 2012)은 이어 버드들(2011, 2012)의 사용자 착용 또는 미착용에 관한 정보를 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함시켜 제 1 전자 장치(101)에 전송할 수 있다.In one embodiment, the earbuds 2011 and 2012 include information on whether the user is wearing or not wearing the earbuds 2011 and 2012 in a header or payload of an audio data packet so that the first electronic device 101 can be sent to

일 실시예에서, 제 1 전자 장치(101)는 이어 버드들(2011, 2012)의 착용 상태에 관한 정보를 오디오 데이터와 별도로 수신할 수 있다.In an embodiment, the first electronic device 101 may separately receive information about wearing states of the earbuds 2011 and 2012 apart from audio data.

일 실시예에서, 제 1 전자 장치(101)는, 1507 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)의 사용 여부에 기반하여 오디오 데이터의 오류 여부를 판단할 수 있다.In an embodiment, the first electronic device 101, in operation 1507, under the control of the processor 120, determines whether the audio data is erroneous based on whether the earbuds 2011 and 2012 are used. .

일 실시예에서, 제 1 전자 장치(101)는, 1507 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함된 이어 버드들(2011, 2012)의 사용 여부에 대한 정보에 기반하여 오디오 데이터의 오류 여부를 판단할 수 있다.In an embodiment, the first electronic device 101, in operation 1507, determines whether the earbuds 2011 and 2012 included in the header or payload of the audio data packet are used under the control of the processor 120. It is possible to determine whether the audio data is erroneous based on the information about the audio data.

일 실시예에서, 제 1 전자 장치(101)는, 1507 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함된 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 미착용 상태로 판단되면, 오디오 데이터가 오류라고 판단할 수 있다. In an embodiment, the first electronic device 101, in operation 1507, determines whether the earbuds 2011 and 2012 included in the header or payload of the audio data packet are used under the control of the processor 120. When it is determined that the information about is not worn, it can be determined that the audio data is erroneous.

일 실시예에서, 제 1 전자 장치(101)는, 1507 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 이어 버드들(2011, 2012) 중 어느 하나의 이어 버드가 미착용 상태인 정보에 대응하면, 오디오 데이터가 오류라고 판단할 수 있다. In an embodiment, in operation 1507, the first electronic device 101 transmits information on whether the earbuds 2011 and 2012 are used, among the earbuds 2011 and 2012, under the control of the processor 120. If any one of the earbuds corresponds to the information of the non-wearing state, it may be determined that the audio data is erroneous.

일 실시예에서, 제 1 전자 장치(101)는, 1507 동작에서, 프로세서(120)의 제어 하에, 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 이어 버드들(2011, 2012) 모두 미착용 상태인 정보에 대응하면, 오디오 데이터가 오류라고 판단할 수 있다.In an embodiment, in operation 1507, the first electronic device 101 transmits information on whether the earbuds 2011 and 2012 are used to all of the earbuds 2011 and 2012 under the control of the processor 120. If it corresponds to information that is not worn, it may be determined that the audio data is erroneous.

일 실시예에서, 제 1 전자 장치(101)는, 1507 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함된 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 이어 버드들(2011, 2012) 모두 착용 상태인 정보에 대응하면, 오디오 데이터가 오류가 없다고 판단할 수 있다.In an embodiment, the first electronic device 101, in operation 1507, determines whether the earbuds 2011 and 2012 included in the header or payload of the audio data packet are used under the control of the processor 120. If the information about the earbuds 2011 and 2012 corresponds to the information about the wearing state, it may be determined that the audio data has no error.

일 실시예에서, 제 1 전자 장치(101)는, 1507 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터의 패킷의 헤더 또는 페이로드에 포함된 이어 버드들(2011, 2012)의 사용 여부에 대한 정보가 이어 버드들(2011, 2012) 모두 착용 상태인 정보에 대응하면, 오디오 데이터가 정상이라고 판단할 수 있다.In an embodiment, the first electronic device 101, in operation 1507, determines whether the earbuds 2011 and 2012 included in the header or payload of the audio data packet are used under the control of the processor 120. If the information about corresponds to the information about the wearing state of both the earbuds 2011 and 2012, it can be determined that the audio data is normal.

일 실시예에서, 제 1 전자 장치(101)는, 1509 동작에서, 프로세서(120)의 제어 하에, 오디오 데이터에 오류가 있는지 여부를 판단할 수 있다.In an embodiment, in operation 1509, the first electronic device 101 may determine whether there is an error in the audio data under the control of the processor 120.

오디오 데이터에 오류가 있으면, 제 1 전자 장치(101)는 프로세서(120)의 제어 하에 1509 동작에서 1511 동작으로 분기할 수 있다.If there is an error in the audio data, the first electronic device 101 may branch from operation 1509 to operation 1511 under the control of the processor 120 .

오디오 데이터에 오류가 없으면, 제 1 전자 장치(101)는 프로세서(120)의 제어 하에 1509 동작에서 1513 동작으로 분기할 수 있다.If there is no error in the audio data, the first electronic device 101 may branch from operation 1509 to operation 1513 under the control of the processor 120 .

일 실시예에서, 제 1 전자 장치(101)는, 1511 동작에서, 프로세서(120)의 제어 하에, 특정 시간 구간에 수신된 오디오 데이터에 기반하여 통합 오디오 데이터를 처리할 수 있다.In an embodiment, in operation 1511, the first electronic device 101 may process integrated audio data based on audio data received in a specific time interval under the control of the processor 120.

예를 들어, 이어 버드들(2011, 2012) 중 하나의 이어 버드만을 사용하여 녹음(또는 오디오 데이터를 전송하는 동작)을 수행하다가 다른 하나의 이어 버드를 사용하게 되는 경우, 이어 버드들(2011, 2012) 모두를 이용하여 녹음(또는 오디오 데이터를 전송하는 동작)을 수행하는 것을 확인한 순간부터, 제 1 전자 장치(101)는, 프로세서(120)의 제어 하에, 1511 동작에서, 패킷의 속성을 확인하여 오디오 데이터를 통합할 수 있다.For example, when recording (or an operation of transmitting audio data) is performed using only one earbud of the earbuds 2011 and 2012, and then the other earbud is used, the earbuds 2011, 2012) from the moment when it is confirmed that recording (or an operation of transmitting audio data) is performed using all of them, the first electronic device 101, under the control of the processor 120, checks the properties of the packet in operation 1511 to integrate audio data.

일 실시예에서, 제 1 전자 장치(101)는, 1513 동작에서, 프로세서(120)의 제어 하에, 통합 오디오 데이터를 처리할 수 있다. 도 15의 1511 동작 및/또는 1513 동작은 도 6의 607 동작과 동일할 수 있다.In one embodiment, in operation 1513, the first electronic device 101 may process unified audio data under the control of the processor 120. Operation 1511 and/or 1513 of FIG. 15 may be the same as operation 607 of FIG. 6 .

도 16은 본 개시의 다양한 실시예에서 제 1 전자 장치(101)가 특정 시간 구간에 수신된 오디오 데이터에 기반하여 통합 오디오 데이터를 처리하는 동작을 나타내는 도면이다.16 is a diagram illustrating an operation in which the first electronic device 101 processes integrated audio data based on audio data received in a specific time interval according to various embodiments of the present disclosure.

1601 는 제 1 이어 버드(2011, 예를 들어 왼쪽 이어 버드)의 오디오 데이터에 관한 그래프이다.1603는 제 2 이어 버드(2012, 예를 들어 오른쪽 이어 버드)의 오디오 데이터에 관한 그래프이다.1601 is a graph of audio data of the first earbud (2011, eg, left earbud). 1603 is a graph of audio data of the second earbud (2012, eg, right earbud).

1605는 ISO 인터벌(ISO_interval) 동안 제 1 전자 장치(101)로 전송되는 이어 버드들(2011, 2012)의 오디오 데이터에 관한 그래프이다.1605 is a graph of audio data of the earbuds 2011 and 2012 transmitted to the first electronic device 101 during the ISO interval (ISO_interval).

1607 는 수신된 오디오 데이터를 제 1 전자 장치(101)가 통합 오디오 데이터로 처리하는 동작을 나타내는 그래프이다. 1607 is a graph showing an operation of processing the received audio data into unified audio data by the first electronic device 101 .

도 16을 참조하면, 제 1 전자 장치(101)는 사용자에게 착용되어 사용이 확인된 제 2 이어 버드(2012)로부터 오디오 데이터 및 사용자에게 미착용되어 사용되지 않는 제 1 이어 버드(2011)의 오디오 데이터를 ISO 인터벌(ISO_interval) 동안 수신할 수 있다. Referring to FIG. 16 , the first electronic device 101 receives audio data from the second earbuds 2012 worn by the user and confirmed to be used and audio data of the first earbuds 2011 not worn and used by the user. may be received during the ISO interval (ISO_interval).

예를 들어, 제 1 전자 장치(101)는 사용자에게 착용되어 사용이 확인된 제 2 이어 버드(2012)로부터 오디오 데이터만을 사용하여 사용자에게 미착용되어 사용되지 않는 제 1 이어 버드(2011)의 오디오 데이터를 대체할 수 있다.For example, the first electronic device 101 uses only audio data from the second earbuds 2012, which are worn by the user and confirmed to be used, to obtain audio data of the unused first earbuds 2011 that are not worn and used by the user. can be replaced with

예를 들어, 제 1 전자 장치(101)는 사용자에게 착용되어 사용이 확인된 제 2 이어 버드(2012)로부터 오디오 데이터의 적어도 일부를 가공하여 사용자에게 미착용되어 사용되지 않는 제 1 이어 버드(2011)의 오디오 데이터를 대체할 수 있다.For example, the first electronic device 101 processes at least a part of the audio data from the second earbuds 2012 worn by the user and confirmed to be used, and obtains first earbuds 2011 not worn and used by the user. of audio data can be substituted.

예를 들어, 사용자에게 미착용되어 사용되지 않는 제 1 이어 버드(2011)가 착용 상태가 변경되어 오디오 데이터를 전송하는 경우, 제 1 전자 장치(101)는 제 1 이어 버드(2011)의 착용을 확인한 시점부터 통합 오디오 데이터를 생성할 수 있다. For example, when the wearing state of the first earbud 2011, which is not worn by the user and is not being used, is changed and transmits audio data, the first electronic device 101 confirms that the first earbud 2011 is worn. From this point in time, integrated audio data can be created.

예를 들어, 무선 간섭에 의해서, 이어 버드들(2011, 2012) 중 제 2 이어 버드(2012, 도 16의 R)로부터 제 1 전자 장치(101)가 오디오 데이터(도 16의 제 2 패킷)를 수신하지 못하는 경우, 제 1 이어 버드(2011)는 제 1 전자 장치(101)에 오디오 데이터를 재전송할 수 있다.For example, the first electronic device 101 receives audio data (the second packet in FIG. 16) from the second earbud (2012, R in FIG. 16) among the earbuds 2011 and 2012 due to radio interference. If not received, the first earbud 2011 may retransmit the audio data to the first electronic device 101.

도 16을 참조하면, 제 1 이어 버드(2011, 도 16의 L)는 사용자 미착용 상태인 경우, 제 1, 2 패킷을 제 1 전자 장치(101)에 전송하지 못하고, 사용자 착용 상태에서 제 4 패킷을 무선 간섭으로 제 1 전자 장치(101)에 전송하지 못할 수 있다. Referring to FIG. 16, when the first earbud 2011 (L in FIG. 16) is not worn by the user, the first and second packets cannot be transmitted to the first electronic device 101, and the fourth packet is transmitted while worn by the user. may not be transmitted to the first electronic device 101 due to radio interference.

제 2 이어 버드(2012, 도 16의 R)는 착용 상태에서 제 2, 3 패킷을 제 1 전자 장치(101)에 전송하고, 제 1 이어 버드(2011, 도 16의 L)는 사용자 착용 상태에서 제 3 패킷만을 제 1 전자 장치(101)에 전송할 수 있다.The second earbud 2012 (R in FIG. 16 ) transmits the second and third packets to the first electronic device 101 in the worn state, and the first earbud 2011 (L in FIG. 16 ) is worn by the user. Only the third packet may be transmitted to the first electronic device 101 .

제 1 전자 장치(101)는 제 1 이어 버드(2011) 및 제 2 이어 버드(2012)가 사용자 착용 상태에서 제 1 전자 장치(101)에 전송에 성공한 제 3 패킷에 기반하여 코덱 모듈을 이용하여 통합 오디오 데이터를 생성할 수 있다. The first electronic device 101 uses a codec module based on the third packet successfully transmitted to the first electronic device 101 while the first earbuds 2011 and the second earbuds 2012 are worn by the user. Integrated audio data can be created.

본 개시의 다양한 실시예에 따른 전자 장치(제 1 전자 장치(101))는 센서 모듈(176), 디스플레이 모듈(160), LE 등시 채널(LE(low energy)isochronous channels)을 이용하여 통신 가능한 통신 모듈(190) 및 상기 센서 모듈(176), 상기 디스플레이 모듈(160) 및 상기 통신 모듈(190)과 작동적으로 연결된 프로세서(120)를 포함하며, 상기 프로세서(120)는 상기 LE 등시 채널에 기반하여 상기 통신 모듈(190)을 통해 복수의 외부 전자 장치(이어 버드들(2011, 2012))로부터 오디오 데이터를 수신하고, 오디오 통합에 관한 커맨드를 상기 통신 모듈(190)에 전송하며, 상기 오디오 통합에 관한 커맨드에 기반하여 통합 오디오 데이터를 처리할 수 있다.An electronic device (first electronic device 101) according to various embodiments of the present disclosure can communicate using a sensor module 176, a display module 160, and LE (low energy) isochronous channels. a communication module (190) and a processor (120) operatively connected with the sensor module (176), the display module (160) and the communication module (190), the processor (120) having the LE isochronous channel Based on this, audio data is received from a plurality of external electronic devices (earbuds 2011 and 2012) through the communication module 190, a command for audio integration is transmitted to the communication module 190, and the Integrated audio data may be processed based on a command related to audio integration.

일 실시예에 따르면, 상기 프로세서(120)는 상기 오디오 통합에 관한 커맨드에 기반하여 상기 수신된 오디오 데이터 중 동일한 ISO 인터벌에 속한 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하도록 제어할 수 있다. According to an embodiment, the processor 120 may combine audio data belonging to the same ISO interval among the received audio data into one and generate the unified audio data based on the audio integration command.

일 실시예에 따르면, 상기 프로세서(120)는 상기 오디오 통합에 관한 커맨드에 기반하여 상기 수신된 오디오 데이터 중 복수의 ISO 인터벌에 속한 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하도록 제어할 수 있다. According to an embodiment, the processor 120 may combine audio data belonging to a plurality of ISO intervals among the received audio data into one and generate the unified audio data based on the command for integrating the audio.

일 실시예에 따르면, 상기 프로세서(120)는 상기 수신된 오디오 데이터에 데이터 손실이 있으면, 상기 오디오 통합에 관한 커맨드에 기반하여 특정 패킷을 추가하여 상기 수신된 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하도록 제어할 수 있다.According to an embodiment, if there is a data loss in the received audio data, the processor 120 combines the received audio data into one by adding a specific packet based on the audio integration command, and outputs the unified audio data. can be controlled to create.

일 실시예에 따르면, 상기 특정 패킷은 PLC(packet loss concealment) 처리를 위한 패킷일 수 있다. According to an embodiment, the specific packet may be a packet for packet loss concealment (PLC) processing.

일 실시예에 따르면, 패킷의 헤더 혹은 페이로드에 상기 복수의 외부 전자 장치(이어 버드들(2011, 2012))에 대한 사용자 착용 상태 및/또는 사용 정보를 포함할 수 있다.According to an embodiment, the header or payload of the packet may include user wearing status and/or usage information on the plurality of external electronic devices (earbuds 2011 and 2012).

일 실시예에 따르면, 상기 프로세서(120)는 상기 복수의 외부 전자 장치(이어 버드들(2011, 2012))에 대한 사용자 착용 상태 및/또는 사용 정보에 기반하여, 상기 오디오 데이터의 오류 여부를 판단하며, 상기 오디오 데이터가 오류가 있으면, 특정 시간 구간에 수신된 오디오 데이터에 기반하여 상기 수신된 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하도록 제어할 수 있다. According to an embodiment, the processor 120 determines whether the audio data is erroneous based on the user's wearing state and/or usage information for the plurality of external electronic devices (earbuds 2011 and 2012). and, if there is an error in the audio data, the received audio data may be merged into one based on the audio data received in a specific time period and the integrated audio data may be generated.

일 실시예에 따르면, 상기 프로세서(120)는 상기 복수의 외부 전자 장치(이어 버드들(2011, 2012))에 대한 사용 정보에 기반하여, 상기 수신된 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하도록 제어할 수 있다.According to an embodiment, the processor 120 merges the received audio data into one based on usage information on the plurality of external electronic devices (earbuds 2011 and 2012) and generates the unified audio data. can be controlled to

일 실시예에 따르면, 상기 프로세서(120)는 상기 통합 오디오 데이터에 커넥션 핸들(connection handle)을 부여하고, 상기 커넥션 핸들에 기반하여 상기 통합 오디오 데이터를 상위 계층에 전송하도록 제어할 수 있다.According to an embodiment, the processor 120 may assign a connection handle to the unified audio data and transmit the unified audio data to an upper layer based on the connection handle.

일 실시예에 따르면, 상기 프로세서(120)는 상기 통합 오디오 데이터를 상기 통신 모듈(190)에서 호스트 소프트웨어를 거쳐 코덱 모듈에 전달하고, 상기 코덱 모듈에서 상기 통합 오디오 데이터를 디코딩하도록 제어할 수 있다.According to an embodiment, the processor 120 may transfer the unified audio data from the communication module 190 to a codec module via host software, and control the codec module to decode the unified audio data.

일 실시예에 따르면, 상기 프로세서(120)는 상기 통합 오디오 데이터를 상기 통신 모듈(190)에서 DSP(digital signal processor)에 전달하고, 상기 DSP에서 상기 통합 오디오 데이터를 디코딩하도록 제어할 수 있다.According to an embodiment, the processor 120 may transfer the unified audio data from the communication module 190 to a digital signal processor (DSP), and control the DSP to decode the unified audio data.

일 실시예에 따르면, 상기 프로세서(120)는 상기 통합 오디오 데이터를 상기 통신 모듈(190)에서 디코딩하여 DSP에 전달하고, 상기 DSP에서 상기 디코딩된 통합 오디오 데이터를 후처리하도록 제어할 수 있다.According to an embodiment, the processor 120 may decode the unified audio data in the communication module 190 and transfer the decoded unified audio data to a DSP, and control the DSP to post-process the decoded unified audio data.

본 개시의 다양한 실시예에 따른 전자 장치(제 1 전자 장치(101))의 오디오 데이터 처리 방법은 LE 등시 채널에 기반하여 통신 모듈(190)을 통해 복수의 외부 전자 장치(이어 버드들(2011, 2012))로부터 오디오 데이터를 수신하는 동작, 오디오 통합에 관한 커맨드를 상기 통신 모듈(190)에 전송하는 동작 및 상기 오디오 통합에 관한 커맨드에 기반하여 통합 오디오 데이터를 처리하는 동작을 포함할 수 있다.A method for processing audio data of an electronic device (first electronic device 101) according to various embodiments of the present disclosure includes a plurality of external electronic devices (earbuds 2011) through a communication module 190 based on an LE isochronous channel. , 2012)), an operation of transmitting a command related to audio integration to the communication module 190, and an operation of processing integrated audio data based on the command related to audio integration. .

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 오디오 통합에 관한 커맨드에 기반하여 상기 수신된 오디오 데이터 중 동일한 ISO 인터벌에 속한 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하는 동작을 더 포함할 수 있다.According to an embodiment, the operation of processing the unified audio data based on the command related to audio integration (eg, operation 607 of FIG. 6 ) is performed among the received audio data based on the command related to audio integration. An operation of merging audio data belonging to the same ISO interval into one and generating the unified audio data may be further included.

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 오디오 통합에 관한 커맨드에 기반하여 상기 수신된 오디오 데이터 중 복수의 ISO 인터벌에 속한 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하는 동작을 더 포함할 수 있다.According to an embodiment, the operation of processing the unified audio data based on the command related to audio integration (eg, operation 607 of FIG. 6 ) is performed among the received audio data based on the command related to audio integration. An operation of merging audio data belonging to a plurality of ISO intervals into one and generating the unified audio data may be further included.

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 수신된 오디오 데이터에 데이터 손실이 있으면, 상기 오디오 통합에 관한 커맨드에 기반하여 특정 패킷을 추가하여 상기 수신된 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하는 동작을 더 포함할 수 있다.According to one embodiment, the operation of processing the integrated audio data based on the command related to the audio integration (eg, operation 607 of FIG. 6 ) is performed in the audio integration if there is a data loss in the received audio data. The method may further include combining the received audio data into one by adding a specific packet based on a related command and generating the unified audio data.

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 복수의 외부 전자 장치(이어 버드들(2011, 2012))에 대한 사용자 착용 상태 및/또는 사용 정보에 기반하여, 상기 오디오 데이터의 오류 여부를 판단하는 동작, 및 상기 오디오 데이터가 오류가 있으면, 특정 시간 구간에 수신된 오디오 데이터에 기반하여 상기 수신된 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하는 동작을 포함할 수 있다. According to one embodiment, the operation of processing the unified audio data based on the command related to the audio integration (eg, operation 607 of FIG. 6 ) is performed by the plurality of external electronic devices (earbuds 2011 and 2012). ) based on the user's wearing state and/or usage information, determining whether the audio data is erroneous, and if the audio data is erroneous, based on the audio data received in a specific time interval, the received audio An operation of merging data into one and generating the unified audio data may be included.

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 복수의 외부 전자 장치(이어 버드들(2011, 2012))에 대한 사용 정보에 기반하여, 상기 수신된 오디오 데이터를 하나로 합치고 상기 통합 오디오 데이터를 생성하는 동작을 포함할 수 있다.According to one embodiment, the operation of processing the unified audio data based on the command related to the audio integration (eg, operation 607 of FIG. 6 ) is performed by the plurality of external electronic devices (earbuds 2011 and 2012). ), combining the received audio data into one and generating the unified audio data.

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 통합 오디오 데이터에 커넥션 핸들(connection handle)을 부여하고, 상기 커넥션 핸들에 기반하여 상기 통합 오디오 데이터를 상위 계층에 전송하는 동작을 더 포함할 수 있다.According to one embodiment, the operation of processing the unified audio data based on the command related to the audio integration (eg, operation 607 of FIG. 6 ) assigns a connection handle to the unified audio data, The method may further include transmitting the unified audio data to an upper layer based on the connection handle.

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 통합 오디오 데이터를 상기 통신 모듈(190)에서 호스트 소프트웨어를 거쳐 코덱 모듈에 전달하고, 상기 코덱 모듈에서 상기 통합 오디오 데이터를 디코딩하는 동작을 포함할 수 있다.According to one embodiment, the operation of processing the unified audio data based on the command related to the audio integration (eg, operation 607 of FIG. 6 ) is to transfer the unified audio data to the host software in the communication module 190. and transmitting the unified audio data to a codec module, and decoding the unified audio data in the codec module.

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 통합 오디오 데이터를 상기 통신 모듈(190)에서 DSP(digital signal processor)에 전달하고, 상기 DSP에서 상기 통합 오디오 데이터를 디코딩하는 동작을 더 포함할 수 있다.According to an embodiment, the operation of processing the integrated audio data based on the command related to the audio integration (eg, operation 607 of FIG. 6 ) converts the integrated audio data to the communication module 190 via a DSP (digital signal processor) and decoding the integrated audio data in the DSP.

일 실시예에 따르면, 상기 오디오 통합에 관한 커맨드에 기반하여 상기 통합 오디오 데이터를 처리하는 동작(예를 들어, 도 6의 607 동작)은 상기 통합 오디오 데이터를 상기 통신 모듈(190)에서 디코딩하여 DSP에 전달하고, 상기 DSP에서 상기 디코딩된 통합 오디오 데이터를 후처리하는 동작을 더 포함할 수 있다.According to one embodiment, the operation of processing the unified audio data based on the command related to the audio unification (eg, operation 607 of FIG. 6 ) is to decode the unified audio data in the communication module 190 and use the DSP and post-processing the decoded integrated audio data in the DSP.

본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.Electronic devices according to various embodiments disclosed in this document may be devices of various types. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance. An electronic device according to an embodiment of the present document is not limited to the aforementioned devices.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of this document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, but should be understood to include various modifications, equivalents, or substitutes of the embodiments. In connection with the description of the drawings, like reference numbers may be used for like or related elements. The singular form of a noun corresponding to an item may include one item or a plurality of items, unless the relevant context clearly dictates otherwise. In this document, "A or B", "at least one of A and B", "at least one of A or B", "A, B or C", "at least one of A, B and C", and "A Each of the phrases such as "at least one of , B, or C" may include any one of the items listed together in that phrase, or all possible combinations thereof. Terms such as "first", "second", or "first" or "secondary" may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited. A (e.g., first) component is said to be "coupled" or "connected" to another (e.g., second) component, with or without the terms "functionally" or "communicatively." When mentioned, it means that the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.

본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term "module" used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits. can be used as A module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).

본 문서의 다양한 실시예들은 기기(machine)(예: 제 1 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 제 1 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of this document are one stored in a storage medium (eg, the internal memory 136 or the external memory 138) readable by a machine (eg, the first electronic device 101). It may be implemented as software (eg, the program 140) including the above instructions. For example, a processor (eg, the processor 120) of a device (eg, the first electronic device 101) may call at least one command among one or more instructions stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.

일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be included and provided in a computer program product. Computer program products may be traded between sellers and buyers as commodities. A computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store ^TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) online, directly between smart phones. In the case of online distribution, at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is. According to various embodiments, one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg modules or programs) may be integrated into a single component. In this case, the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component among the plurality of components prior to the integration. . According to various embodiments, the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.

Claims

In electronic devices,
sensor module;
display module;
a communication module capable of communicating using low energy (LE) isochronous channels; and
a processor operatively connected with the sensor module, the display module, and the communication module;
The processor
Receiving audio data from a plurality of external electronic devices through the communication module based on the LE isochronous channel;
Sending a command related to audio integration to the communication module;
An electronic device that processes integrated audio data based on the audio unifying command.

According to claim 1,
The processor
An electronic device for controlling audio data belonging to the same ISO interval among the received audio data to be merged into one and generating the unified audio data based on the audio integration command.

According to claim 1,
The processor
An electronic device for controlling audio data belonging to a plurality of ISO intervals among the received audio data to be merged into one and to generate the unified audio data based on the audio integration command.

According to claim 1,
The processor
If there is data loss in the received audio data, the electronic device controls to add a specific packet based on the command for integrating the audio, combine the received audio data into one, and generate the integrated audio data.

According to claim 1,
The audio data is
An electronic device that includes user wearing status and/or usage information for the plurality of external electronic devices in a header or payload of a packet.

According to claim 1,
The processor
Determine whether or not the audio data is erroneous based on user wearing states and/or use information of the plurality of external electronic devices;
If the audio data has an error, the electronic device controls to merge the received audio data into one based on the audio data received in a specific time interval and generate the integrated audio data.

According to claim 1,
The processor
An electronic device that assigns a connection handle to the unified audio data and transmits the unified audio data to an upper layer based on the connection handle.

According to claim 1,
The processor
An electronic device that transfers the unified audio data from the communication module to a codec module via host software and controls the codec module to decode the unified audio data.

According to claim 1,
The processor
An electronic device for transferring the unified audio data from the communication module to a digital signal processor (DSP) and controlling the DSP to decode the unified audio data.

According to claim 1,
The processor
The electronic device for controlling the decoding of the integrated audio data in the communication module, transferring the decoded integrated audio data to a DSP, and post-processing the decoded integrated audio data in the DSP.

In the audio data processing method of the electronic device,
receiving audio data from a plurality of external electronic devices through a communication module based on an LE isochronous channel;
transmitting a command related to audio integration to the communication module; and
and processing integrated audio data based on the audio unifying command.

According to claim 11,
The operation of processing the integrated audio data based on the command related to the audio integration
and merging audio data belonging to the same ISO interval among the received audio data into one and generating the unified audio data based on the command for integrating the audio.

According to claim 11,
The operation of processing the integrated audio data based on the command related to the audio integration
The method further comprising merging audio data belonging to a plurality of ISO intervals among the received audio data into one and generating the unified audio data based on the command for integrating the audio.

According to claim 11,
The operation of processing the integrated audio data based on the command related to the audio integration
and if there is data loss in the received audio data, combining the received audio data into one by adding a specific packet based on the audio synthesis command and generating the unified audio data.

According to claim 11,
The audio data is
A method of including user wearing status and/or usage information for the plurality of external electronic devices in a header or payload of a packet.

According to claim 11,
The operation of processing the integrated audio data based on the command related to the audio integration
determining whether or not the audio data is erroneous based on user wearing states and/or usage information of the plurality of external electronic devices; and
and if the audio data has an error, merging the received audio data into one based on the audio data received in a specific time period and generating the unified audio data.

According to claim 11,
The operation of processing the integrated audio data based on the command related to the audio integration
The method further comprises assigning a connection handle to the unified audio data and transmitting the unified audio data to an upper layer based on the connection handle.

According to claim 11,
The operation of processing the integrated audio data based on the command related to the audio integration
The method further comprises an operation of transmitting the unified audio data from the communication module to a codec module via host software, and decoding the unified audio data by the codec module.

According to claim 11,
The operation of processing the integrated audio data based on the command related to the audio integration
The method further comprises an operation of transferring the integrated audio data to a digital signal processor (DSP) from the communication module and decoding the integrated audio data in the DSP.

According to claim 11,
The operation of processing the integrated audio data based on the command related to the audio integration
The method further comprises an operation of decoding the unified audio data in the communication module, transmitting the decoded unified audio data to a DSP, and post-processing the decoded unified audio data in the DSP.