KR20210001646A - Electronic device and method for determining audio device for processing audio signal thereof - Google Patents
Electronic device and method for determining audio device for processing audio signal thereof Download PDFInfo
- Publication number
- KR20210001646A KR20210001646A KR1020190078032A KR20190078032A KR20210001646A KR 20210001646 A KR20210001646 A KR 20210001646A KR 1020190078032 A KR1020190078032 A KR 1020190078032A KR 20190078032 A KR20190078032 A KR 20190078032A KR 20210001646 A KR20210001646 A KR 20210001646A
- Authority
- KR
- South Korea
- Prior art keywords
- sound device
- microphone
- sound
- signal
- acoustic
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
Description
본 발명의 다양한 실시예는 전자 장치 및 이를 이용한 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법에 관한 것이다.Various embodiments of the present disclosure relate to an electronic device and a method of determining an acoustic device for processing an audio signal using the electronic device.
전자 장치는 무선 통신(예: 블루투스(bluetooth))을 통해 주변 장치들과 연결(예: 페어링(pairing))될 수 있다. 주변 장치들은 신체에 삽입이 가능한 형태로 구현될 수 있으며, 예컨대, 음향 장치를 포함할 수 있다. 음향 장치는 한 쌍으로, 사용자의 좌측 귀 및 우측 귀에 삽입되거나 밀착된 상태에서 무선으로 동작할 수 있다. 음향 장치는 스피커 및 적어도 하나 이상의 마이크를 포함할 수 있으며, 사용자의 좌측 귀 또는 우측 귀에 먼저 착용된 음향 장치의 적어도 하나 이상의 마이크를 이용하여 오디오 신호(예: 송화 음성)를 처리할 수 있다.The electronic device may be connected (eg, paired) with peripheral devices through wireless communication (eg, Bluetooth). The peripheral devices may be implemented in a form that can be inserted into the body, and may include, for example, an acoustic device. The acoustic devices are a pair, and can operate wirelessly in a state inserted or in close contact with the user's left and right ears. The sound device may include a speaker and at least one microphone, and may process an audio signal (for example, a voiceover) using at least one microphone of the sound device first worn on the left or right ear of the user.
사용자의 귀에 음향 장치가 착용되는 상태, 사용자의 귀 형태에 따른 외부 잡음이 내부로 새어 들어오는 누설(leakage)을 고려하지 않고, 사용자의 좌측 귀 또는 우측 귀에 먼저 착용된 음향 장치를 이용하여 오디오 신호를 처리함에 따라 오디오 품질이 나빠질 수 있다.The audio signal is transmitted using a sound device first worn on the user's left or right ear, without considering the state in which the sound device is worn on the user's ear and leakage of external noise from the shape of the user's ear. Audio quality may deteriorate over time.
본 발명의 다양한 실시예에 따른 전자 장치는, 사용자의 좌측 귀 및 우측 귀 각각에 착용되는 음향 장치의 상태 및 음향 장치의 적어도 하나 이상의 마이크로부터 수신되는 신호의 특성 정보에 기반하여, 사용자의 좌측 귀 및 우측 귀에 착용되는 음향 장치들 중 사용자의 귀에 밀착되게 삽입된 음향 장치를 오디오 신호를 처리할 음향 장치로 결정할 수 있다.An electronic device according to various embodiments of the present disclosure includes a user's left ear based on a state of an acoustic device worn on each of the user's left and right ears, and characteristic information of signals received from at least one microphone of the sound device. And among the sound devices worn on the right ear, the sound device inserted in close contact with the user's ear may be determined as the sound device to process the audio signal.
본 발명의 다양한 실시예에 따른 전자 장치는, 무선 통신 회로, 및 상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하고, 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하고, 상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하고, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하고, 및 상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정될 수 있다.An electronic device according to various embodiments of the present disclosure includes a wireless communication circuit and a processor operatively connected to the wireless communication circuit, the processor comprising: a first sound device and a second sound device through the wireless communication circuit. Detects the connection of, and checks first characteristic information of a signal received through at least one microphone of the first acoustic device and second characteristic information of a signal received through at least one microphone of the second acoustic device, , Based on the identified first characteristic information and second characteristic information, confirming the degree of adhesion between each of the first acoustic device and the second acoustic device and an object, and each of the first acoustic device and the second acoustic device And determining the first sound device or the second sound device to process the received signal, and at least one microphone of the determined first sound device or the second sound device based on the degree of contact between the object and the object. It may be set to process the received signal through.
본 발명의 다양한 실시예에 따른 음향 장치에 있어서, 무선 통신 회로, 및 상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 통해 제2 음향 장치의 연결을 검출하고, 상기 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보를 획득하고, 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 상기 제2 음향 장치로부터 상기 무선 통신 회로를 통해 수신하고, 상기 획득된 제1 특성 정보 및 상기 수신된 제2 특성 정보에 기반하여, 상기 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하고, 상기 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하기 위한 상기 음향 장치 또는 상기 제2 음향 장치를 결정하고, 및 상기 결정된 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정될 수 있다.In the acoustic device according to various embodiments of the present disclosure, a wireless communication circuit and a processor operatively connected to the wireless communication circuit are included, wherein the processor detects connection of a second acoustic device through the wireless communication circuit. And obtaining first characteristic information of a signal received through at least one microphone of the acoustic device, and obtaining second characteristic information of a signal received through at least one microphone of the second acoustic device. From the wireless communication circuit, and based on the obtained first characteristic information and the received second characteristic information, confirming the degree of adhesion between each of the sound device and the second sound device and an object, and the sound The sound device or the second sound device for processing the received signal is determined based on the degree of close contact between the device and the second sound device and the object, and of the determined sound device or the second sound device. It may be set to process the received signal through at least one microphone.
본 발명의 다양한 실시예에 따른 전자 장치의 오디오 신호를 처리하기 위한 음향 장치를 결정하는 방법은, 무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하는 동작, 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하는 동작, 상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하는 동작, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하는 동작, 및 상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하는 동작을 포함할 수 있다.A method of determining a sound device for processing an audio signal of an electronic device according to various embodiments of the present disclosure includes detecting a connection between a first sound device and a second sound device through a wireless communication circuit, and the first sound Checking first characteristic information of a signal received through at least one microphone of the device and second characteristic information of a signal received through at least one microphone of the second acoustic device, the identified first characteristic information, and Based on the second characteristic information, the operation of checking the degree of adhesion between each of the first sound device and the second sound device and the object, based on the degree of adhesion between each of the first sound device and the second sound device and the object In this way, determining the first sound device or the second sound device to process the received signal, and processing the received signal through at least one microphone of the determined first sound device or the second sound device It may include an operation to do.
본 발명의 다양한 실시예에 따른 전자 장치는, 음향 장치의 상태 및 음향 장치의 적어도 하나 이상의 마이크로부터 수신되는 신호의 특성 정보를 고려하여 결정된 음향 장치를 이용하여 오디오 신호를 처리함에 따라 오디오 품질을 향상시킬 수 있다. An electronic device according to various embodiments of the present disclosure improves audio quality by processing an audio signal using an acoustic device determined in consideration of the state of the sound device and characteristic information of signals received from at least one microphone of the sound device. I can make it.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a는, 다양한 실시예들에 따른, 음향 장치를 도시한 도면이다.
도 2b는, 다양한 실시예들에 따른, 전자 장치와 음향 장치를 나타내는 블록도이다.
도 2c는, 다양한 실시예들에 따른, 음향 장치를 나타내는 블록도이다.
도 2d는, 다양한 실시예들에 따른, 제1 음향 장치 및 제2 음향 장치 간 통신 연결을 나타내는 블록도이다.
도 3은, 다양한 실시예에 따른, 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 흐름도이다.
도 4는, 다양한 실시예에 따른, 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 흐름도이다.
도 5는, 다양한 실시예에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면이다.
도 6은, 다양한 실시예에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면이다.
도 7은, 다양한 실시예에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면이다.1 is a block diagram of an electronic device in a network environment, according to various embodiments.
2A is a diagram illustrating an acoustic device according to various embodiments.
2B is a block diagram illustrating an electronic device and an acoustic device according to various embodiments.
2C is a block diagram illustrating an acoustic device according to various embodiments.
2D is a block diagram illustrating a communication connection between a first sound device and a second sound device according to various embodiments.
3 is a flowchart illustrating a method of determining an audio device to process an audio signal, according to various embodiments.
4 is a flowchart illustrating a method of determining an audio device to process an audio signal, according to various embodiments.
FIG. 5 is a diagram illustrating a method of determining an audio device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
6 is a diagram for describing a method of determining an acoustic device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
FIG. 7 is a diagram illustrating a method of determining an audio device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 1 is a block diagram of an electronic device 101 in a
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.Referring to FIG. 1, in a
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.The
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. The coprocessor 123 is, for example, on behalf of the
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)), 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. The memory 130 may store various data used by at least one component of the electronic device 101 (for example, the
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144), 또는 어플리케이션(146)을 포함할 수 있다. The program 140 may be stored as software in the memory 130, and may include, for example, an
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다. The
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다. The
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.The
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. The sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do. According to an embodiment, the sensor module 176 is, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi direct, 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다. The communication module 190 includes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg,
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.The
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method (e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and signals ( E.g. commands or data) can be exchanged with each other.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.According to an embodiment, commands or data may be transmitted or received between the electronic device 101 and the external
도 2a는, 다양한 실시예들에 따른, 음향 장치(230)를 도시한 도면(200)이다.2A is a diagram 200 illustrating an
도 2a를 참조하면, 음향 장치(230)는 제1 음향 장치(235) 및 제2 음향 장치(240)를 포함할 수 있다. 제1 음향 장치(235)는 신체 좌측 귀에 착용되도록 설계된 이어 웨어러블 타입(ear wearable type)일 수 있으며, 제2 음향 장치(240)는 신체 우측 귀에 착용되도록 설계된 이어 웨어러블 타입일 수 있다.Referring to FIG. 2A, the
일 실시예에서, 참조번호 <201> 및 <202>에 도시된 바와 같이 제1 음향 장치(235) 및 제2 음향 장치(240) 각각은 스피커(미도시), 제1 마이크(미도시)(예: 인-이어(in-ear) 마이크) 및 제2 마이크(238a, 238b)(예: 아우터(outer) 마이크), 및 입력 장치(239)(예: 터치 패드)를 포함할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각은 소리 신호를 출력하기 위한 스피커(미도시)에 대한 관로 및 사용자의 외이도를 통해 제공되는 사용자의 음성 신호를 전기적 신호로 변환하여 출력하기 위한 제1 마이크(미도시)에 대한 관로를 포함하는 홀(236a, 236b)을 구비할 수 있다. 일 실시예에서, 홀(236a, 236b) 주변에 이어팁(ear tip)(미도시)이 장착될 수 있다. 예컨대, 이어팁(미도시)은 홀(236a, 236b)을 둘러쌀 수 있다. In one embodiment, as shown in reference numerals <201> and <202>, each of the
일 실시예에서, 적어도 하나 이상의 마이크 중 하나 예컨대, 제1 마이크(미도시)는 제1 음향 장치(235) 또는 제2 음향 장치(240)가 사용자의 귀에 삽입되고, 사용자가 말을 할 때 사용자의 귀로부터 발생하는 신호를 입력 신호로서 사용할 수 있다. 적어도 하나 이상의 마이크 중 다른 하나 예컨대, 제2 마이크(238a, 238b)는 음향 장치(230)의 주변 음성 신호를 수신할 수 있다.In one embodiment, one of the at least one microphone, for example, a first microphone (not shown), is inserted into a user's ear with the
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240)이 제1 마이크(미도시) 및 제2 마이크(238a, 238b)를 포함하는 것으로 설명하였지만 이에 한정하는 것은 아니다. 예컨대, 제1 음향 장치(235) 및 제2 음향 장치(240)는 두 개를 초과하는 마이크를 구비할 수 있다.In an exemplary embodiment, it has been described that the
일 실시예에서, 미도시 하였지만, 제1 음향 장치(235) 및 제2 음향 장치(240)는 센서 및/또는 충전 단자를 더 포함할 수 있다. 전술한 음향 장치(230)의 구성과 관련하여, 후술하는 도 2c에서 상세히 설명될 것이다.In an embodiment, although not shown, the
도 2b는, 다양한 실시예들에 따른, 전자 장치(204)와 음향 장치(230)를 나타내는 블록도(203)이다.2B is a block diagram 203 illustrating an electronic device 204 and an
도 2b를 참조하면, 전자 장치(204)(예: 도 1의 전자 장치(101))는 무선 통신 회로(205)(예: 도 1의 통신 모듈(190)), 메모리(210)(예: 도 1의 메모리(130)), 터치스크린 디스플레이(215)(예: 도 1의 표시 장치(160)), 오디오 처리 모듈(220)(예: 도 1의 오디오 모듈(170)), 및 프로세서(225)(예: 도 1의 프로세서(120))를 포함할 수 있다.Referring to FIG. 2B, the electronic device 204 (eg, the electronic device 101 of FIG. 1) includes a wireless communication circuit 205 (eg, the communication module 190 of FIG. 1), and a memory 210 (eg: The memory 130 of FIG. 1), a touch screen display 215 (eg, the
일 실시예들에 따르면, 무선 통신 회로(205)(예: 도 1의 통신 모듈(190))는 근거리 무선 통신 회로(예: bluetooth, wi-fi)를 포함할 수 있다. 근거리 무선 통신 회로는 전자 장치(204)와 음향 장치(230)(예: 제1 음향 장치(235) 및 제2 음향 장치(240)) 간의 통신을 연결(예: 페어링(pairing))할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 페어링된 상태에서, 전자 장치(204)는 무선 통신 회로(205)를 통해 오디오 처리 모듈(220)로부터 출력되는 오디오 데이터를 제1 음향 장치(235) 및 제2 음향 장치(240)에 전송할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 페어링된 상태에서, 전자 장치(204)는 무선 통신 회로(205)를 통해 제1 음향 장치(235)의 적어도 하나의 마이크 또는 제2 음향 장치(240)의 적어도 하나의 마이크로부터 입력되는 오디오 신호를 제1 음향 장치(235) 또는 제2 음향 장치(240)로부터 수신할 수 있다.According to embodiments, the wireless communication circuit 205 (eg, the communication module 190 of FIG. 1) may include a short-range wireless communication circuit (eg, bluetooth, wi-fi). The short-range wireless communication circuit may connect (eg, pair) communication between the electronic device 204 and the sound device 230 (eg, the
일 실시예에서, 전자 장치(204)는 무선 통신 회로(205)를 통해 음향 장치(230) 예컨대, 제1 음향 장치(235) 및 제2 음향 장치(240)에 대한 특성 정보를 제1 음향 장치(235) 및 제2 음향 장치(240) 각각으로부터 수신할 수 있다. 예컨대, 특성 정보는 사용자 발화 레벨, 에코(echo) 레벨, 적어도 하나의 마이크의 토널리티(tonality) 성분, 적어도 하나의 마이크의 입력 신호, 또는 적응적 잡음 억제 게인(adaptive noise suppression gain) 중 적어도 하나를 포함할 수 있다.In one embodiment, the electronic device 204 transmits characteristic information of the
일 실시예들에 따르면, 메모리(210)(예: 도 1의 메모리(130))는 음향 장치(230)(예: 제1 음향 장치(235) 및 제2 음향 장치(240))에 대한 정보를 저장할 수 있다. 메모리(210)는 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240) 중 신호를 처리할 음향 장치를 결정하기 위한 적어도 하나의 특성 정보 각각에 대한 기준 값을 저장할 수 있다.According to one embodiment, the memory 210 (for example, the memory 130 in FIG. 1) includes information on the sound device 230 (for example, the
일 실시예들에 따르면, 터치스크린 디스플레이(215)(예: 도 1의 표시 장치(160))는 디스플레이(217)와 터치패널(219)을 포함하는 일체형으로 구성될 수 있다.According to exemplary embodiments, the touch screen display 215 (eg, the
일 실시예서, 터치스크린 디스플레이(215)는 프로세서(225)의 제어 하에 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240)와 관련된 정보를 표시할 수 있다. 예컨대, 음향 장치(230)와 관련된 정보는 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240) 각각과의 페어링 여부와 관련된 정보, 수신되는 오디오 신호를 처리하도록 결정된 음향 장치에 대한 정보, 제1 음향 장치(235) 및 제2 음향 장치(240)에 대한 배터리 정보, 및/또는 제1 음향 장치(235) 및 제2 음향 장치(240)를 조작하기 위한 제어 정보(예: 전자 장치(204)의 기능과 관련된 제어 정보(예: 전화 호의 연결 및 해제, 오디오 재생과 관련된 제어 신호))를 포함할 수 있다.In an embodiment, the
일 실시예들에 따르면, 오디오 처리 모듈(220)(예: 도 1의 오디오 모듈(170))은 도시하지 않았지만, 스피커 및 마이크를 포함할 수 있다. 오디오 처리 모듈(220)은 스피커를 통해 오디오 데이터를 출력할 수 있다. 오디오 처리 모듈(220)은 프로세서(225)의 제어 하에 출력되는 오디오 데이터를 페어링된 음향 장치(230)(예: 제1 음향 장치(235) 및 제2 음향 장치(240))에 무선 통신 회로(205)를 통해 송신할 수 있다.According to exemplary embodiments, the audio processing module 220 (eg, the
일 실시예들에 따르면, 프로세서(225)(예: 도 1의 프로세서(120))는 전자 장치(204)의 전반적인 동작 및 전자 장치(204)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터 처리를 수행하고, 배터리(예: 도 1의 배터리(189))에서 상기 구성들로의 전원 공급을 제어할 수 있다.According to one embodiment, the processor 225 (eg, the
일 실시예들에 따르면, 프로세서(225)는 무선 통신 회로(205)를 통해 제1 음향 장치(235) 및/또는 제2 음향 장치(240)와의 연결을 검출할 수 있다. 프로세서(225)는 제1 음향 장치(235)의 적어도 하나의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238a))를 통해 수신되는 신호의 제1 특성 정보와 제2 음향 장치(240)의 적어도 하나의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238b))를 통해 수신되는 신호의 제2 특성 정보를 확인할 수 있다. 프로세서(225)는 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트(예: 사용자의 귀 내부) 간의 밀착 정도(에: 핏(fit) 상태, 언핏(unfit) 상태)를 확인할 수 있다. 프로세서(225)는 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트(예: 사용자의 귀 내부) 간의 밀착 정도에 기반하여 결정된 제1 음향 장치(235) 또는 제2 음향 장치(240)의 적어도 하나의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238a, 238b))를 통해 수신되는 오디오 신호(예: 송화 음성)를 처리할 수 있다.According to exemplary embodiments, the
도 2c는, 다양한 실시예들에 따른, 음향 장치(230)를 나타내는 블록도(250)이다.2C is a block diagram 250 illustrating an
도 2c를 참조하면, 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240) 각각은 무선 통신 회로(260), 메모리(263), 오디오 처리 모듈(265), 센서 모듈(270), 및 프로세서(275)를 포함할 수 있다.Referring to FIG. 2C, the
일 실시예들에 따르면, 무선 통신 회로(260)는 근거리 무선 통신 회로(예: bluetooth, wi-fi)를 포함할 수 있다. 근거리 무선 통신 회로는 음향 장치(230)와 전자 장치(204) 간의 통신을 연결할 수 있다. 음향 장치(230)는 전자 장치(204)와 페어링되면, 무선 통신 회로(260)를 통해 제1 음향 장치(235)의 적어도 하나 이상의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238a)) 또는 제2 음향 장치(240)의 적어도 하나 이상의 마이크(예: 제1 마이크(미도시) 및/또는 제2 마이크(238b))로부터 입력되는 오디오 신호를 전자 장치(204)에 전송할 수 있다. 음향 장치(230)는 무선 통신 회로(260)를 통해 음향 장치(230) 예컨대, 제1 음향 장치(235) 및 제2 음향 장치(240)에 대한 특성 정보를 전자 장치(204)에 전송할 수 있다. 음향 장치(230)는 무선 통신 회로(260)를 통해 제1 음향 장치(235) 또는 제2 음향 장치(240)에서 감지되는 전자 장치(204)의 기능과 관련된 제어 신호를 전자 장치(204)에 전송할 수 있다. 예컨대, 전자 장치(204)의 기능과 관련된 제어 신호는 전화 호의 연결 및 해제, 오디오 재생과 관련된 제어 신호(예: 일시 정지, 빨리 감기, 되감기)를 포함할 수 있다.According to one embodiment, the
일 실시예들에 따르면, 메모리(263)는 페어링되는 전자 장치(204)와 관련된 정보를 저장할 수 있다. 메모리(263)는 음향 장치(230) 예컨대, 제1 음향 장치(235), 제2 음향 장치(240) 중 신호를 처리할 음향 장치를 결정하기 위한 적어도 하나의 특성 정보 각각에 대한 기준 값을 저장할 수 있다.According to embodiments, the
일 실시예들에 따르면, 오디오 처리 모듈(265)은 도시하지 않았지만, 스피커 및 적어도 하나 이상의 마이크(예: 제1 마이크(예: 인-이어(in-ear) 마이크)(미도시), 제2 마이크(예: 도 2a의 제2 마이크(238a, 238b))(예: 아우터(outer) 마이크)))를 포함할 수 있다. 스피커는 전자 장치(204)로부터 수신되는 오디오 데이터에 대응하는 오디오 신호를 출력할 수 있다.According to one embodiment, the
일 실시예들에 따르면, 센서 모듈(270)은 케이스(예: 제1 음향 장치(235) 및 제2 음향 장치(240)를 수용하도록 구성)로부터 이탈되었는지 여부, 음향 장 장치(230)가 오브젝트 예컨대, 사용자의 귀에 착용되었는지 여부를 감지할 수 있다.According to one embodiment, whether the
일 실시예들에 따르면, 프로세서(275)는 전자 장치(204)와 페어링되면, 제1 음향 장치(235)의 적어도 하나 이상의 마이크(예: 인-이어 마이크, 아우터 마이크) 또는 제2 음향 장치(240)의 적어도 하나 이상의 마이크(예: 인-이어 마이크, 아우터 마이크)로부터 입력되는 오디오 신호 및 제1 음향 장치(235) 및 제2 음향 장치(240)에 대한 특성 정보를 무선 통신 회로(260)를 통해 전자 장치(204)에 전송할 수 있다. 프로세서(275)는 적어도 하나의 마이크를 통해 수신되는 오디오 신호(예: 송화 음성)를 처리할 수 있다.According to one embodiment, the
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240)는 전자 장치(204)와 근거리 무선 통신을 통해 오디오 신호를 송수신할 수 있으며, 전자 장치(204)의 프로세서(225)에 의해 오디오 신호를 처리할 음향 장치를 결정할 수 있다. 하지만 이에 한정하는 것은 아니며, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각은 독립적으로 동작할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각이 독립적으로 동작하는 경우, 오디오 신호를 처리할 음향 장치를 결정하는 구성과 관련하여, 후술하는 도 2d에서 살펴보도록 한다.In one embodiment, the
도 2d는, 다양한 실시예들에 따른, 제1 음향 장치(235) 및 제2 음향 장치(240) 간 통신 연결을 나타내는 블록도(280)이다.2D is a block diagram 280 illustrating a communication connection between the
도 2d를 참조하면, 제1 음향 장치(235)와 제2 음향 장치(240)는 무선 통신 회로(260) 예컨대, 근거리 무선 통신 회로(예: bluetooth, wi-fi)를 통해 통신이 연결(예: 페어링)될 수 있다. 2D, the
일 실시예에서, 제1 음향 장치(235)(또는, 제2 음향 장치(240))는 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보를 획득하고, 무선 통신 회로(260)를 통해 페어링된 제2 음향 장치(240)(또는, 제1 음향 장치(235))에 대한 제2 특성 정보를 제2 음향 장치(240)로부터 수신할 수 있다. 제1 음향 장치(235)(또는, 제2 음향 장치(240))는 획득된 제1 특성 정보 및 수신된 제2 특성 정보에 기반하여, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트(예: 사용자의 귀 내부) 간의 밀착 정도를 확인할 수 있다. 제1 음향 장치(235)(또는, 제2 음향 장치(240))는 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도에 기반하여 결정된 제1 음향 장치(235) 또는 제2 음향 장치(240)를 이용하여 오디오 신호(예: 송화 음성)를 처리할 수 있다.In one embodiment, the first acoustic device 235 (or the second acoustic device 240) acquires first characteristic information of a signal received through at least one microphone, and through the
도 3은, 다양한 실시예에 따른, 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 흐름도(300)이다.3 is a
도 3을 참조하면, 전자 장치(예: 도 2의 전자 장치(204))는 301동작에서, 제1 음향 장치(예: 도 2a의 제1 음향 장치(235)) 및 제2 음향 장치(예: 도 2a의 제2 음향 장치(240))의 연결을 검출할 수 있다. 예컨대, 전자 장치(204)는 무선 통신 회로(예: 근거리 무선 통신 회로)를 통해 제1 음향 장치(235) 및 제2 음향 장치(240)와의 연결(예: 블루투스 페어링(bluetooth pairing))을 검출할 수 있다.Referring to FIG. 3, in
일 실시예에서, 전자 장치(204)는 303동작에서, 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인할 수 있다.In an embodiment, in
일 실시예에서, 제1 특성 정보와 제2 특성 정보는 사용자 발화 레벨, 에코(echo) 레벨, 적어도 하나의 마이크(예: 제1 마이크(미도시)(인-이어 마이크))의 토널리티(tonality) 성분, 적어도 하나의 마이크(예: 제1 마이크(예: 인-이어 마이크) 및 제2 마이크(예: 도 2a의 제2 마이크(238a, 238b)(예: 아우터 마이크))의 입력 신호, 또는 적응적 잡음 억제 게인(adaptive noise suppression gain) 중 적어도 하나를 포함할 수 있다.In one embodiment, the first characteristic information and the second characteristic information are user speech level, echo level, and tonality of at least one microphone (eg, a first microphone (not shown) (in-ear microphone)). (tonality) component, input of at least one microphone (e.g., a first microphone (e.g., in-ear microphone) and a second microphone (e.g.,
일 실시예에서, 전자 장치(204)는 305동작에서, 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도를 확인할 수 있다. 오브젝트는 사용자의 귀를 포함할 수 있다. 전자 장치(204)는 307동작에서, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도에 기반하여, 수신되는 신호를 처리하도록 제1 음향 장치(235) 또는 제2 음향 장치(240)를 결정할 수 있다. In an embodiment, in
예컨대, 전자 장치(204)는 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 사용자가 제1 음향 장치(235) 및 제2 음향 장치(240)를 귀(예: 좌측 귀 및 우측 귀)에 착용했을 때 사용자의 귀 내부(예: 이어팁(ear tip)과 고막 사이)에서 발생하는 폐색 효과(occlusion effect)의 정도와 외부에서 사용자의 귀 내부(예: 이어팁과 고막 사이)로 새어 들어오는 누설(leakage) 크기를 확인할 수 있다. 예컨대, 폐색 효과의 정도는 귀에 음향 장치가 착용됨에 따라 이어팁에 의해 귀 내부 밀폐된 공간이 생기면 내부 공진으로 인해 저주파 성분의 크기가 증폭되는 효과를 의미할 수 있다. 누설은 귀에 음향 장치가 제대로 착용되지 않은 경우 외부 잡음이 내부로 새어 들어오는 정도를 의미할 수 있다.For example, the electronic device 204 allows the user to select the
일 실시예에서, 전자 장치(204)는 폐색 효과의 정도가 높고 누설 크기가 낮은 경우의 귀에 착용된 음향 장치의 밀착 정도는, 폐색 효과의 정도가 낮고 누설 크기가 높은 경우의 귀에 착용된 음향 장치의 밀착 정도보다 클 수 있다. 다시 말해, 비교 결과, 전자 장치(204)는 밀착 정도가 큰 음향 장치를 귀에 제대로 착용된 것(예: 핏(fit) 상태)으로 판단할 수 있으며, 밀착 정도가 작은 음향 장치를 귀에 제대로 착용되지 않은 것(예: 언핏(unfit) 상태)으로 판단할 수 있다. 밀착 정도에 기반하여, 전자 장치(204)는 후술하는 제1 음향 장치(235) 및 제2 음향 장치(240) 중 밀착 정도가 큰 음향 장치를 오디오 신호를 처리할 음향 장치로 결정할 수 있다.In one embodiment, the electronic device 204 has a high degree of obstruction effect and the degree of close contact of the acoustic device worn on the ear when the leakage size is low, the acoustic device worn on the ear when the degree of the occlusion effect is low and the leakage size is high. May be greater than the degree of adhesion of In other words, as a result of the comparison, the electronic device 204 may determine that the acoustic device having a high degree of adhesion is properly worn on the ear (eg, in a fit state), and the sound device having a small degree of adhesion is not properly worn on the ear. It can be judged as not (e.g., unfit). Based on the degree of adhesion, the electronic device 204 may determine a sound device having a high adhesion degree among the
일 실시예에서, 전술한 밀착 정도를 판단하기 위한 방법으로서 후술하는 바와 같이 제1 음향 장치(235)의 제1 특성 정보 및 제2 음향 장치(240)의 제2 특성 정보를 비교하는 동작을 수행할 수 있다. In one embodiment, as a method for determining the degree of adhesion described above, an operation of comparing the first characteristic information of the first
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240)는 각각 스피커 및 적어도 하나 이상의 마이크 예컨대, 제1 마이크(예: 인-이어 마이크) 및 제2 마이크(238a, 238b)(예: 아우터 마이크)를 포함할 수 있다. 전자 장치(204)는 제1 음향 장치(235)의 적어도 하나 이상의 마이크 중 하나(예: 인-이어 마이크)와 제2 음향 장치(240)의 적어도 하나의 마이크 중 하나(예: 인-이어 마이크)를 통해 사용자 발화를 감지할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240)는 각각의 마이크(예: 인-이어 마이크)를 통해 감지되는 사용자 발화에 대한 정보를 전자 장치(204)에 송신할 수 있다. 전자 장치(204)는 사용자 발화에 대한 정보에 기반하여 제1 음향 장치(235)의 마이크(예: 인-이어 마이크)를 통해 감지된 사용자 발화의 레벨과 제2 음향 장치(240)의 마이크(예: 인-이어 마이크)를 통해 감지된 사용자 발화의 레벨을 비교할 수 있다. 예컨대, 전자 장치(204)는 제1 음향 장치(235)의 마이크(예: 인-이어 마이크)를 통해 감지된 사용자 발화의 저역대(예: 500Hz 이하) 레벨과 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 감지된 사용자 발화의 저역대(예: 500Hz 이하) 레벨을 비교할 수 있다. 비교 결과, 저역대에서 제1 음향 장치(235)에서 감지된 사용자 발화의 평균 RMS(root mean square) 레벨과 제2 음향 장치(240)에서 감지된 사용자 발화의 평균 RMS 레벨의 차가 지정된 값 예컨대, 5dB 이상이면, 전자 장치(204)는 높은 평균 RMS 레벨을 가지는 음향 장치를 오디오 신호(예: 적어도 하나의 마이크를 통해 수신되는 음성 신호)를 처리하기 위한 음향 장치로 결정할 수 있다.In one embodiment, the
다른 실시예에서, 전자 장치(204)는 특정 대역(예: 50Hz, 100Hz, 200Hz)에서의 제1 음향 장치(235)의 마이크(예: 인-이어 마이크)를 통해 감지된 사용자 발화에 대한 신호의 크기와 제2 음향 장치(240)의 마이크(예: 인-이어 마이크(238a))를 통해 감지된 사용자 발화에 대한 신호의 크기를 비교할 수 있다. 비교 결과, 특정 대역(예: 50Hz, 100Hz, 200Hz)에서 제1 음향 장치(235)에서 감지된 사용자 발화에 대한 신호의 크기와 제2 음향 장치(240)에서 감지된 사용자 발화에 대한 신호의 크기의 차가 지정된 값 예컨대, 5dB 이상이면, 전자 장치(204)는 높은 신호의 크기를 가지는 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.In another embodiment, the electronic device 204 is a signal for a user's speech detected through a microphone (eg, in-ear microphone) of the first
다른 실시예에서, 제1 음향 장치(235)의 스피커 및 제2 음향 장치(240)의 스피커를 통해 출력되는 신호가 마이크(예: 인-이어 마이크)로 유입되는 경우, 에코 현상이 발생할 수 있다. 에코 현상이 발생하는 경우, 제1 음향 장치(235) 및 제2 음향 장치(240)는 각각의 마이크(예: 인-이어 마이크)로 수신되는 에코 신호에 대한 정보를 전자 장치(204)에 송신할 수 있다. 전자 장치(204)는 수신된 에코 신호에 대한 정보에 기반하여 제1 음향 장치(235)에서 마이크(예: 인-이어 마이크)를 통해 발생되는 에코 신호와 제2 음향 장치(240)에서 마이크(예: 인-이어 마이크)를 통해 발생되는 에코 신호를 비교할 수 있다. 에코 신호를 비교하는 동작은, 전술한 사용자 발화의 레벨을 비교하는 동작과 동일하게 수행될 수 있다. 예컨대, 전자 장치(204)는 저역 레벨(예: 500Hz 이하)(또는, 특정 대역(예: 50Hz, 100Hz, 200Hz))에서의 제1 음향 장치(235) 및 제2 음향 장치(240) 각각의 마이크(예: 인-이어 마이크)를 통해 발생되는 에코 신호의 값을 비교할 수 있다. 전자 장치(204)는 비교 결과에 기반하여 높은 값을 가지는 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.In another embodiment, when a signal output through a speaker of the first
다른 실시예에서, 전자 장치(204)는 제1 음향 장치(235)의 마이크(예: 인-이어 마이크)의 토널리티(tonality) 성분과 제2 음향 장치(240)의 마이크(예: 인-이어 마이크)의 토널리티 성분을 분석할 수 있다. 전자 장치(204)는 분석을 통해 토널리티 성분이 높은 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.In another embodiment, the electronic device 204 includes a tonality component of a microphone (eg, in-ear microphone) of the
다른 실시예에서, 전자 장치(204)는 제1 음향 장치(235)의 제1 마이크(예: 인-이어 마이크) 및 제2 마이크(예: 아우터 마이크(238a))의 입력 신호와 제2 음향 장치(240)의 제1 마이크(예: 인-이어 마이크) 및 제2 마이크(예: 아우터 마이크(238b))의 입력 신호를 확인할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240)는 각각의 마이크(예: 인-이어 마이크 및 아우터 마이크(238a, 238b))로 수신되는 입력 신호에 대한 정보를 전자 장치(204)에 송신할 수 있다. 전자 장치(204)는 수신되는 각 음향 장치에 대한 제1 마이크 및 제2 마이크(238a, 238b)의 입력 신호에 기반하여, 저주파수 대역에서 간섭 신호의 코히런스(coherence) 값이 지정된 값(threshold) 미만인 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다. In another embodiment, the electronic device 204 includes an input signal and a second sound from a first microphone (eg, in-ear microphone) and a second microphone (eg,
다른 실시예에서, 제1 음향 장치(235)의 저주파수 대역에서 코히런스(coherence)와 제2 음향 장치(240)의 저주파수 대역에서 코히런스(coherence)가 지정된 값 미만이거나, 또는 지정된 값 미만이 아니면(예: 이상이면), 전자 장치(204)는 저주파수 대역에서 제1 음향 장치(235)의 코히런스(coherence)와 제2 음향 장치(240)의 코히런스(coherence) 중 작은 코히런스 값을 가지는 음향 장치를 수신되는 신호를 처리하기 위한 음향 장치로 결정할 수 있다.In another embodiment, if the coherence in the low frequency band of the first
다른 실시예에서, 적응적 잡음 억제 게인(adaptive noise suppression gain)을 이용하여 오브젝트 상에 음향 장치의 착용 상태를 확인할 수 있다. 예컨대, 제1 음향 장치(235) 또는 제2 음향 장치(240)의 제1 마이크(예: 인-이어 마이크)의 신호를 기준으로, 제2 마이크(238a 또는 238b)(예: 아우터 마이크)의 신호를 타겟 신호로 하는 적응적 필터(adaptive filter)의 크기가 지정된 값 이상이면, 전자 장치(204)는 지정된 값 이상을 가지는 음향 장치가 오브젝트 상에 제대로 착용되지 않은 상태(예: 언핏(unfit) 상태)인 것으로 결정할 수 있다. 전자 장치(204)는 제1 음향 장치(235) 또는 제2 음향 장치(240) 중 적응적 필터의 크기가 지정된 값 미만인 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다. 다시 말해, 적응적 필터의 크기가 지정된 값 미만인 음향 장치는 오브젝트 상에 제대로 착용된 상태(예: 핏(fit) 상태)일 수 있다.In another embodiment, the wearing state of the acoustic device on the object may be checked using an adaptive noise suppression gain. For example, based on the signal of the first microphone (eg, in-ear microphone) of the
다른 실시예에서, 제1 음향 장치(235)의 적응적 필터와 제2 음향 장치(240)의 적응적 필터가 지정된 값 이상이면, 전자 장치(204)는 제1 음향 장치(235)의 적응적 필터와 제2 음향 장치(240)의 적응적 필터 중 작은 값을 가지는 음향 장치를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다.In another embodiment, if the adaptive filter of the first
일 실시예에서, 전자 장치(204)는 309동작에서, 결정된 제1 음향 장치(235) 또는 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호를 처리할 수 있다. 예컨대, 전자 장치(204)는 결정된 제1 음향 장치(235) 또는 제2 음향 장치(240)를 이용하여 송화 음성을 처리할 수 있다.In an embodiment, in
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240) 중 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 오프(off)될 수 있다.In an embodiment, at least one microphone of the acoustic device that is not determined as an acoustic device for processing a signal among the first
일 실시예에서, 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 전화 호 연결에 따른 호 발신 또는 호 수신 시, 오프(off)될 수 있다. In one embodiment, at least one microphone of the sound device that is not determined as the sound device for processing a signal may be turned off when a call is sent or received according to a telephone call connection.
일 실시예에서, 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 하드웨어적, 소프트웨어적, 또는 이들의 조합에 의해 오프(off)될 수 있다.In one embodiment, at least one microphone of an acoustic device that is not determined as an acoustic device for processing a signal may be turned off by hardware, software, or a combination thereof.
일 실시예에서, 음향 장치(230)의 프로세서(275)에 포함된 구성요소들 중 적어도 하나와 전자 장치(204)의 프로세서(225)에 포함된 구성요소들 중 적어도 하나는 하드웨어적으로 구현될 수 있다. 예컨대, 음향 장치(230)의 프로세서(275)에 포함된 적어도 하나의 구성요소는 음향 장치(230)의 내부에 회로적으로 구현되거나, 전자 장치(204)의 프로세서(225)에 포함된 적어도 하나의 구성요소는 전자 장치(204)의 내부에 회로적으로 구현될 수 있다. 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 음향 장치(230) 또는 전자 장치(204)의 내부에 하드웨어적으로 구현된 회로에 의해 오프(off)될 수 있다.In one embodiment, at least one of the components included in the
다른 실시예에서, 음향 장치(230)의 프로세서(275)에 포함된 구성요소들 중 적어도 하나와 전자 장치(204)의 프로세서(225)의 구성요소들 중 적어도 하나는 소프트웨어적으로 구현될 수 있다. 예컨대, 음향 장치(230)를 제어하기 위한 프로그램(예: 어플리케이션)으로 구현될 수 있다. 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 음향 장치(230)를 제어하기 위한 프로그램을 통해 오프(off)될 수 있다.In another embodiment, at least one of the components included in the
다른 실시예에서, 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크는 하드웨어적인 프로세서를 구동시키는 소프트웨어적으로 구현된 프로그램을 통해 오프(off)될 수 있다.In another embodiment, at least one microphone of a sound device that is not determined as a sound device for processing a signal may be turned off through a software implemented program that drives a hardware processor.
일 실시예에서, 미도시 하였지만, 307동작의 수신되는 신호를 처리하도록 제1 음향 장치(235) 또는 제2 음향 장치(240)를 결정한 후, 지정된 시간이 경과하면, 전자 장치(204)는 303동작의 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하는 동작을 수행할 수 있다. 다시 말해, 제1 음향 장치(235) 또는 제2 음향 장치(240)가 오브젝트 상에 제대로 착용된 상태인지 지정된 시간 간격으로 확인할 수 있으며, 이에 기반하여 오디오 신호를 처리하기 위한 음향 장치로서, 기 결정된 음향 장치를 유지하거나, 다른 음향 장치로 스위칭 할 수 있다. 이 경우, 제1 음향 장치(235) 또는 제2 음향 장치(240)가 오브젝트 상에 제대로 착용된 상태인지 확인하기 위하여 전자 장치(204)는 오프(off) 상태로 제어된 음향 장치의 적어도 하나의 마이크를 지정된 시간 간격으로 온(on) 되도록 제어할 수 있다.In one embodiment, although not shown, after determining the
일 실시예에서, 미도시 하였지만, 전자 장치(204)는 수신되는 신호를 처리하도록 결정된 음향 장치 예컨대, 제1 음향 장치(235)(또는, 제2 음향 장치(240))의 연결이 해제되거나, 또는 오브젝트(예: 사용자의 귀)에 음향 장치의 착용 상태가 전환(예: 착용된 상태에서 미착용 상태로 전환)됨을 감지할 수 있다. 전자 장치(204)는 연결이 해제되거나 또는 착용 상태가 전환된 제1 음향 장치(235)(또는, 제2 음향 장치(240))의 적어도 하나의 마이크를 오프시킬 수 있다. 이 경우, 전자 장치(204)는 제2 음향 장치(240)를 오디오 신호를 처리하기 위한 음향 장치로 결정하고, 오디오 신호를 처리할 수 있도록 제2 음향 장치(240)의 적어도 하나의 마이크를 온(on)시키기 위한 신호를 제2 음향 장치(240)에 송신할 수 있다.In one embodiment, although not shown, the electronic device 204 is disconnected from the sound device determined to process the received signal, for example, the first sound device 235 (or the second sound device 240), Alternatively, it may be sensed that an object (eg, a user's ear) changes the wearing state of the sound device (eg, changes from a worn state to an unworn state). The electronic device 204 may turn off at least one microphone of the first sound device 235 (or the second sound device 240) in which the connection is released or the wearing state is switched. In this case, the electronic device 204 determines the
전술한 실시예에서, 전자 장치(204)에 제1 음향 장치(235) 및 제2 음향 장치(240)가 연결된 것으로 설명하였지만, 전자 장치(204)에 제1 음향 장치(235) 및 제2 음향 장치(240) 중 하나가 연결된 경우, 전자 장치(204)는 연결된 하나의 음향 장치를 이용하여 오디오 신호를 처리할 수 있다.In the above-described embodiment, it has been described that the first
전술한 실시예에서, 전화 호 연결에 따른 호 발신 또는 호 수신 시, 제1 음향 장치(235) 및 제2 음향 장치(240) 중 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크를 오프(off)하는 것으로 설명하였으나, 이에 한정하는 것은 아니다. 예컨대, 전자 장치(204)는 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크를 오프(off)시키지 않을 수 있다. 예컨대, 신호를 처리하기 위한 음향 장치로 결정되지 않은 음향 장치의 적어도 하나의 마이크를 통해 외부 오디오를 획득할 수 있다. 전자 장치(204)는 신호를 처리하기 위한 음향 장치를 제외한 음향 장치의 적어도 하나의 마이크를 통해 획득된 외부 오디오에 기반하여 전자 장치(204)의 주변 소음을 감지할 수 있다. 전자 장치(204)는 감지되는 주변 소음으로 인한 노이즈를 제거하거나, 또는 스피커의 볼륨을 조절할 수 있다.In the above-described embodiment, at least one of the
다른 실시예에서, 전자 장치(204)는 신호를 처리하기 위한 음향 장치를 제외한 음향 장치의 적어도 하나의 마이크(예: 인-이어 마이크)를 이용하여 스피커를 통해 출력되는 신호가 적어도 하나의 마이크로 유입됨에 따른 하울링 현상 또는 에코 현상이 발생하는지 모니터링 할 수 있다. 모니터링 결과, 수신되는 신호에서 하울링 현상 또는 에코 현상이 발생한 것으로 결정되면, 전자 장치(204)는 하울링 노이즈 또는 에코 노이즈를 제거할 수 있다.In another embodiment, the electronic device 204 uses at least one microphone (for example, an in-ear microphone) of the sound device other than the sound device for processing the signal, and the signal output through the speaker flows into at least one microphone. It is possible to monitor whether a howling phenomenon or an echo phenomenon occurs. As a result of monitoring, if it is determined that a howling phenomenon or an echo phenomenon has occurred in the received signal, the electronic device 204 may remove the howling noise or the echo noise.
일 실시예에서, 제1 음향 장치(235) 및 제2 음향 장치(240)는 전자 장치(204)와 근거리 무선 통신을 통해 오디오 데이터를 송수신하고, 전자 장치(204)에 의해 오디오 신호를 처리할 음향 장치를 결정하는 것으로 설명하였지만 이에 한정하는 것은 아니다. 예컨대, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각은 독립적으로 동작할 수 있다. 제1 음향 장치(235) 및 제2 음향 장치(240) 각각이 독립적으로 동작하는 경우, 오디오 신호를 처리할 음향 장치를 결정하는 구성과 관련하여, 후술하는 도 4에서 살펴보도록 한다.In one embodiment, the first
도 4는, 다양한 실시예에 따른, 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 흐름도(400)이다.4 is a
일 실시예에 따른 도 4에서, 독립적으로 동작하는 제1 음향 장치(235) 및 제2 음향 장치(240) 중 제1 음향 장치(235)에 의해 오디오 신호를 처리하기 위한 음향 장치를 결정하는 것으로 가정하여 설명한다. 하지만 이에 한정하는 것은 아니며, 제2 음향 장치(240)에 의해 오디오 신호를 처리하기 위한 음향 장치를 결정할 수 있다.In FIG. 4 according to an embodiment, the
도 4를 참조하면, 제1 음향 장치(예: 도 2a의 제1 음향 장치(235))는 401동작에서, 적어도 하나의 마이크(예: 제1 마이크(미도시, 인-이어 마이크)) 및/또는 도 2a의 제2 마이크(238a)(예: 아우터 마이크))를 통해 수신되는 신호의 제1 특성 정보를 획득할 수 있다. 제1 음향 장치(235)는 403동작에서, 무선 통신 회로(예: 근거리 무선 통신 회로)를 통해 연결된 제2 음향 장치(240)에 대한 제2 특성 정보를 제2 음향 장치(240)로부터 수신할 수 있다. 예컨대, 제1 특성 정보와 제2 특성 정보는 사용자 발화 레벨, 에코(echo) 레벨, 적어도 하나의 마이크(예: 인-이어 마이크)의 토널리티(tonality) 성분, 적어도 하나의 마이크(예: 인-이어 마이크 및/또는 아우터 마이크(예: 도 2a의 제2 마이크(238a, 238b))의 입력 신호, 또는 적응적 잡음 억제 게인(adaptive noise suppression gain) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 4, in
일 실시예에서, 제1 음향 장치(235)는 405동작에서, 획득된 제1 특성 정보 및 수신된 제2 특성 정보에 기반하여, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도를 확인할 수 있다. 제1 음향 장치(235)는 407동작에서, 제1 음향 장치(235) 및 제2 음향 장치(240) 각각과 오브젝트 간의 밀착 정도에 기반하여, 수신되는 신호를 처리하기 위한 제1 음향 장치(235) 또는 제2 음향 장치(240)를 결정할 수 있다.In an embodiment, the first
일 실시예에 따른 405동작 및 407동작은 전술한 도 3의 305동작 및 307동작과 유사하므로, 그에 대한 상세한 설명은 도 3과 관련된 설명으로 대신할 수 있다.Since
일 실시예에서, 수신되는 신호를 처리하기 위한 음향 장치로 제1 음향 장치(235)가 결정되면, 제1 음향 장치(235)는 409동작에서, 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호를 처리할 수 있다. 일 실시예에서, 제1 음향 장치(235)는 수신되는 신호를 처리하기 위한 음향 장치로서 결정되지 않은 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시키기 위한 제어 신호를 제2 음향 장치(240)에 전송할 수 있다. 예컨대, 제1 음향 장치(235)는 전화 호 연결에 따른 호 발신 또는 호 수신 시, 수신되는 신호를 처리하기 위한 음향 장치로서 결정되지 않은 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시키기 위한 제어 신호를 제2 음향 장치(240)에 전송할 수 있다.In one embodiment, when the first
다른 실시예에서, 전화 호 연결에 따른 호 발신 또는 호 수신 시, 제1 음향 장치(235)는 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시키기 위한 제어 신호를 전송하지 않을 수 있다. 예컨대, 제1 음향 장치는(235)는 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 외부 오디오를 수신하거나, 수신되는 신호를 모니터링 하도록 하기 위한 제어 신호를 제2 음향 장치(240)에 전송할 수 있다.In another embodiment, when making a call or receiving a call according to a telephone call connection, the
일 실시예에서, 수신되는 신호를 처리하기 위한 음향 장치로 제2 음향 장치(240)가 결정되면, 제1 음향 장치(235)는 411동작에서, 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호를 처리하기 위한 제어 신호를 제2 음향 장치(240)에 전송할 수 있다. 일 실시예에서, 제1 음향 장치(235)는 수신되는 신호를 처리하기 위한 음향 장치로서 결정되지 않은 제1 음향 장치(235)의 적어도 하나의 마이크를 오프(off) 시킬 수 있다. 예컨대, 제1 음향 장치(235)는 전화 호 연결에 따른 호 발신 또는 호 수신 시, 수신되는 신호를 처리하기 위한 음향 장치로서 결정되지 않은 제1 음향 장치(235)의 적어도 하나의 마이크를 오프(off) 시킬 수 있다.In one embodiment, when the
다른 실시예에서, 전화 호 연결에 따른 호 발신 또는 호 수신 시, 제1 음향 장치(235)는 제1 음향 장치(235)의 적어도 하나의 마이크를 오프(off)시키지 않고, 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 외부 오디오를 수신하거나, 또는 수신되는 신호를 모니터링 하도록 제어할 수 있다.In another embodiment, when making a call or receiving a call according to a telephone call connection, the
도 5는, 다양한 실시예에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면(500)이다.5 is a diagram 500 for describing a method of determining a sound device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
도 5를 참조하면, 참조번호 <510>은 사용자의 왼쪽 귀에 제1 음향 장치(예: 도 2a의 제1 음향 장치(235))가 착용된 상태에서 제1 음향 장치(235)의 적어도 하나의 마이크(예: 인-이어(in-ear) 마이크, 아우터(outer) 마이크))를 통해 수신되는 신호의 NS(noise suppression) 처리 결과를 도시한 도면이다. 참조번호 <530>은 참조번호 <510>에서 NS 처리된 일부 영역(515)을 확대하여 도시한 도면이다.Referring to FIG. 5, reference numeral <510> denotes at least one of the first
일 실시예에서, 참조번호 <550>은 사용자의 오른쪽 귀에 제2 음향 장치(예: 도 2a의 제2 음향 장치(240))가 착용된 상태에서 제2 음향 장치(240)의 적어도 하나의 마이크(예: 인-이어(in-ear) 마이크, 아우터(outer) 마이크))를 통해 수신되는 신호의 NS 처리 결과를 도시한 도면이다. 참조번호 <570>은 참조번호 <550>에서 NS 처리된 일부 영역(555)을 확대하여 도시한 도면이다.In one embodiment, reference numeral <550> denotes at least one microphone of the second
일 실시예에서, 참조번호 <530> 및 <570>을 비교하면, NS 처리된 사용자의 왼쪽 귀에 착용된 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호는, NS 처리된 사용자의 오른쪽 귀에 착용된 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호와 비교하여, 잡음(535)이 발생한 것을 확인할 수 있다. 이 경우, 전자 장치(예: 도 2a의 전자 장치(204))는 제2 음향 장치(240)가 사용자의 귀에 밀착된 정도가 제1 음향 장치(235)가 사용자의 귀에 밀착된 정도보다 큰 것으로 결정(예: 사용자의 귀에 음향 장치가 제대로 착용된 것으로 결정, 핏(fit) 상태)하고, 전자 장치(204)는 수신되는 오디오 신호를 처리하기 위한 장치로서 제2 음향 장치(240)를 결정할 수 있다. In one embodiment, comparing reference numerals <530> and <570>, a signal received through at least one microphone of the first
일 실시예에서, 전자 장치(204)는 수신되는 오디오 신호를 처리하기 위한 장치로서 결정되지 않은 제1 음향 장치(235)의 적어도 하나의 마이크를 오프(off)시킬 수 있다. 예컨대, 전자 장치(204)는 제1 음향 장치(235)의 적어도 하나의 마이크를 전화 호 연결에 따른 호 발신 또는 호 수신 시, 오프(off)시킬 수 있다. In an embodiment, the electronic device 204 may turn off at least one microphone of the first
다른 실시예에서, 전자 장치(204)는 주변 소음이 감지되는지 여부 또는 주변 소음에 따른 스피커의 볼륨을 조절하기 위하여 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 외부 오디오를 수신할 수 있다. 다른 실시예에서, 전자 장치(204)는 하울링 현상 또는 에코 현상이 발생하는지 여부를 결정하기 위하여 제1 음향 장치(235)의 적어도 하나의 마이크를 통해 수신되는 신호를 모니터링 할 수 있다.In another embodiment, the electronic device 204 may receive external audio through at least one microphone of the first
도 6은, 다양한 실시예에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면(600)이다.6 is a diagram 600 for describing a method of determining a sound device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
도 6을 참조하면, 참조번호 <610>은 저주파수 대역에서 사용자의 왼쪽 귀에 착용된 제1 음향 장치(예: 도 2a의 제1 음향 장치(235))의 적어도 하나의 마이크(예: 제1 마이크(미도시)(예: 인-이어 마이크) 및 도 2a의 제2 마이크(238a)(예: 아우터 마이크))를 통해 수신되는 신호에 대한 코히런스(coherence) 값을 도시한 도면이다. 참조번호 <630>은 저주파수 대역에서 사용자의 오른쪽 귀에 착용된 제2 음향 장치(예: 도 2a의 제2 음향 장치(240))의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값을 도시한 도면이다.Referring to FIG. 6,
일 실시예에서, 전자 장치(예: 도 2의 전자 장치(204))는 저주파수 대역에서 간섭 신호의 코히런스(coherence) 값이 지정된 값(threshold) 미만인 음향 장치 예컨대, 참조번호 <610>에 해당하는 제1 음향 장치(235)를 오디오 신호를 처리하기 위한 음향 장치로 결정할 수 있다. 예컨대, 전자 장치(204)는 저주파수 대역에서 간섭 신호의 코히런스(coherence) 값이 지정된 값(620) 미만인 제1 음향 장치(235)를 사용자의 귀에 음향 장치가 제대로 착용된 상태(예: 핏(fit) 상태)로 결정하고, 제1 음향 장치(235)를 이용하여 오디오 신호를 처리할 수 있다. 전자 장치(204)는 저주파수 대역에서 간섭 신호의 코히런스(coherence) 값이 지정된 값(threshold)(620) 이상인 음향 장치 예컨대, 참조번호 <630>에 해당하는 제2 음향 장치(240)를 오디오 신호를 처리하기 위한 음향 장치로 결정하지 않고, 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시킬 수 있다. 예컨대, 제2 음향 장치(240)의 적어도 하나의 마이크는 전화 호 연결에 따른 호 발신 또는 호 수신 시, 전자 장치(204)의 제어 하에 오프(off)될 수 있다.In one embodiment, the electronic device (eg, the electronic device 204 of FIG. 2) corresponds to an acoustic device, for example, reference number <610> in which a coherence value of an interference signal in a low frequency band is less than a specified threshold. The
다른 실시예에서, 호 연결에 따른 호 발신 또는 호 수신 시, 참조번호 <630>에 해당하는 제2 음향 장치(240)를 오디오 신호를 처리하기 위한 음향 장치로 결정하지 않은 경우, 제2 음향 장치(240)의 적어도 하나의 마이크를 오프(off)시키는 대신, 주변 소음이 감지되는지 여부 또는 감지되는 주변 소음에 따른 스피커의 볼륨을 조절하기 위하여 제2 음향 장치(240)의 적어도 하나의 마이크를 외부 오디오를 수신하는 용도로 이용할 수 있다. 다른 실시예에서, 전자 장치(204)는 하울링 현상 또는 에코 현상이 발생하는지 여부를 결정하기 위하여 제2 음향 장치(240)의 적어도 하나의 마이크를 통해 수신되는 신호를 모니터링 할 수 있다.In another embodiment, when the
도 7은, 다양한 실시예에 따른, 제1 음향 장치 및 제2 음향 장치 중 오디오 신호를 처리할 음향 장치를 결정하는 방법을 설명하기 위한 도면(700)이다.FIG. 7 is a diagram 700 for describing a method of determining a sound device to process an audio signal from among a first sound device and a second sound device, according to various embodiments.
일 실시예에 따른 도 7은, 제1 음향 장치(예: 도 2a의 제1 음향 장치(235)) 및 제2 음향 장치(예: 도 2a의 제2 음향 장치(240)) 각각의 마이크(예: 인-이어 마이크)를 통해 수신되는 신호에 기반하여 오브젝트(예: 사용자의 귀) 상에 음향 장치의 착용 상태 예컨대, 핏(fit) 상태(710) 및 언핏(unfit) 상태(720)를 결정하는 방법을 설명하기 위한 도면이다.FIG. 7 according to an embodiment is a first sound device (for example, the
도 7을 참조하면, 전자 장치(예: 도 2의 전자 장치(204))는 오브젝트 예컨대, 사용자의 귀 내부(예: 이어팁(ear tip)과 고막 사이)에서 발생하는 폐색 효과(occlusion effect)의 정도(730)와 외부에서 이어팁과 고막 사이로 새어 들어오는 누설(leakage)의 크기(740)에 기반하여 음향 장치의 착용 상태를 결정할 수 있다.Referring to FIG. 7, an electronic device (eg, the electronic device 204 of FIG. 2) is an object, for example, of an occlusion effect occurring inside the user's ear (eg, between the ear tip and the eardrum). The wearing state of the acoustic device may be determined based on the
일 실시예에서, 전자 장치(204)는 폐색 효과의 정도(730)가 제1 지정된 값 미만이고, 누설의 크기(740)가 제2 지정된 값 이상을 가지는 음향 장치에 대해 오브젝트 상에 제대로 착용되지 않은 상태 예컨대, 언핏(unfit) 상태(720)(예: 언핏 플래그(unfit flag)(750)가 1 값을 가지는 상태)로 결정할 수 있다. 전자 장치(204)는 폐색 효과의 정도(730)가 제1 지정된 값 이상이고, 누설의 크기(740)가 제2 지정된 값 미만을 가지는 음향 장치에 대해 오브젝트 상에 제대로 착용된 상태 예컨대, 핏(unfit) 상태(710)(예: 언핏 플래그(unfit flag)(750)가 0 값을 가지는 상태)로 결정할 수 있다. 전자 장치(204)는 핏(fit) 상태(710)로 결정된 음향 장치를 수신되는 오디오 신호를 처리할 음향 장치로 결정할 수 있다.In one embodiment, the electronic device 204 is not properly worn on the object for an acoustic device having a degree of
다양한 실시예에 따른 도 5 내지 도 7에서 오디오 신호를 처리할 음향 장치가 전자 장치(204)에 의해 결정되는 것으로 설명하였으나, 이에 한정하는 것은 아니며, 제1 음향 장치(235) 및 제2 음향 장치(240)가 독립적으로 동작하는 경우 제1 음향 장치(235) 또는 제2 음향 장치(240)에 의해 오디오 신호를 처리할 음향 장치가 결정될 수 있다. In FIGS. 5 to 7 according to various embodiments, it has been described that the sound device to process an audio signal is determined by the electronic device 204, but the present invention is not limited thereto, and the
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트 폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.Electronic devices according to various embodiments disclosed in this document may be devices of various types. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance. The electronic device according to the embodiment of the present document is not limited to the above-described devices.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나”, "A, B, 또는 C", "A, B, 및 C 중 적어도 하나”, 및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.Various embodiments of the present document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, and should be understood to include various modifications, equivalents, or substitutes of the corresponding embodiments. In connection with the description of the drawings, similar reference numerals may be used for similar or related components. The singular form of a noun corresponding to an item may include one or a plurality of the items unless clearly indicated otherwise in a related context. In this document, “A or B”, “at least one of A and B”, “at least one of A or B”, “A, B, or C”, “at least one of A, B, and C”, and Each of the phrases such as “at least one of A, B, or C” may include any one of the items listed together in the corresponding phrase of the phrase, or all possible combinations thereof. Terms such as "first", "second", or "first" or "second" may be used simply to distinguish the component from other corresponding components, and the components may be referred to in other aspects (eg, importance or Order) is not limited. Some (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components can be connected to the other components directly (eg by wire), wirelessly, or via a third component.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term "module" used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits. The module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (for example, the program 140) including them. For example, the processor (eg, the processor 120) of the device (eg, the electronic device 101) may call and execute at least one command among one or more commands stored from a storage medium. This makes it possible for the device to be operated to perform at least one function according to the at least one command invoked. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here,'non-transient' only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product. Computer program products can be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or two user devices ( It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smart phones). In the case of online distribution, at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, a module or program) of the above-described components may include a singular number or a plurality of entities. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or a program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by modules, programs, or other components are sequentially, parallel, repeatedly, or heuristically executed, or one or more of the above operations are executed in a different order or omitted. Or one or more other actions may be added.
204: 전자 장치
205: 무선 통신 회로
210: 메모리
215: 터치스크린 디스플레이
220: 오디오 처리 모듈
225: 프로세서
230: 음향 장치
235: 제1 음향 장치
240: 제2 음향 장치204: electronic device 205: wireless communication circuit
210: memory 215: touch screen display
220: audio processing module 225: processor
230: acoustic device 235: first acoustic device
240: second acoustic device
Claims (20)
무선 통신 회로; 및
상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하고,
상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하고,
상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하고,
상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하고, 및
상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정된 전자 장치.In the electronic device,
Wireless communication circuit; And
A processor operatively connected to the wireless communication circuit,
The processor,
Detecting the connection of the first sound device and the second sound device through the wireless communication circuit,
Checking first characteristic information of a signal received through at least one microphone of the first acoustic device and second characteristic information of a signal received through at least one microphone of the second acoustic device,
Based on the identified first characteristic information and second characteristic information, confirming the degree of close contact between each of the first acoustic device and the second acoustic device and an object,
Determining the first sound device or the second sound device to process the received signal, based on a degree of close contact between each of the first sound device and the second sound device and the object, and
An electronic device configured to process the received signal through at least one microphone of the determined first sound device or the second sound device.
상기 프로세서는,
상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 폐색 효과(occlusion effect)의 정도와 누설(leakage) 크기를 확인하고, 상기 폐색 효과의 정도 및 상기 누설의 크기에 기반하여 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 상기 밀착 정도를 확인하도록 설정된 전자 장치.The method of claim 1,
The processor,
Based on the identified first characteristic information and second characteristic information, confirming the degree of occlusion effect and the magnitude of leakage between each of the first and second acoustic devices and the object, An electronic device configured to check the degree of contact between the object and the first sound device and the second sound device based on the degree of the occlusion effect and the size of the leakage.
상기 오브젝트는 사용자 귀를 포함하며,
상기 프로세서는,
상기 사용자 귀의 내부에 상기 제1 음향 장치 및 상기 제2 음향 장치의 핏(fit) 상태 또는 언핏(unfit) 상태를 결정하도록 설정된 전자 장치. The method of claim 2,
The object includes a user ear,
The processor,
An electronic device configured to determine a fit state or an unfit state of the first sound device and the second sound device inside the user's ear.
상기 제1 특성 정보와 상기 제2 특성 정보는, 사용자 발화의 레벨, 에코(echo) 레벨, 상기 적어도 하나의 마이크의 토널리티(tonality) 성분, 상기 적어도 하나의 마이크의 입력 신호, 또는 잡음 억제 게인(noise suppression gain) 중 적어도 하나를 포함하는 전자 장치.The method of claim 1,
The first characteristic information and the second characteristic information include a level of user speech, an echo level, a tonality component of the at least one microphone, an input signal of the at least one microphone, or noise suppression. An electronic device including at least one of a noise suppression gain.
상기 프로세서는,
상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호 및 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호를 잡음 억제 처리하고, 상기 잡음 억제 처리 결과, 잡음이 발생하지 않은 신호의 음향 장치를 상기 수신되는 신호를 처리하기 위한 음향 장치로 결정하도록 설정된 전자 장치.The method of claim 1,
The processor,
A signal received through at least one microphone of the first sound device and a signal received through at least one microphone of the second sound device are subjected to noise suppression, and as a result of the noise suppression treatment, a signal in which no noise is generated An electronic device configured to determine an acoustic device as an acoustic device for processing the received signal.
상기 프로세서는,
특정 대역에서 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값과 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값 중 지정된 값 미만인 음향 장치를 상기 수신되는 신호를 처리하기 위한 음향 장치로 결정하거나, 또는
상기 특정 대역에서 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값과 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호에 대한 코히런스(coherence) 값이 상기 지정된 값 미만이거나 또는 이상이면, 상기 제1 음향 장치의 코히런스(coherence)와 제2 음향 장치의 코히런스(coherence) 중 작은 코히런스 값을 가지는 음향 장치를 상기 수신되는 신호를 처리하기 위한 음향 장치로 결정하도록 설정된 전자 장치.The method of claim 1,
The processor,
A coherence value for a signal received through at least one microphone of the first sound device in a specific band and a coherence value for a signal received through at least one microphone of the second sound device An acoustic device that is less than a specified value of is determined as an acoustic device for processing the received signal, or
A coherence value for a signal received through at least one microphone of the first sound device in the specific band and a coherence value for a signal received through at least one microphone of the second sound device If the value is less than or greater than the specified value, processing the received signal by an acoustic device having a smaller coherence value among the coherence of the first sound device and the coherence of the second sound device. Electronic device set to determine as an acoustic device for.
상기 프로세서는,
상기 결정된 제1 음향 장치 또는 제2 음향 장치의 연결이 해제되면, 상기 연결이 유지되는 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하거나, 또는
상기 결정된 제1 음향 장치 또는 제2 음향 장치가 상기 오브젝트 상에 착용된 상태에서 미착용 상태로 전환되면, 상기 미착용 상태로 전환된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 오프시키고, 상기 착용된 상태의 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정된 전자 장치.The method of claim 1,
The processor,
When the determined connection of the first sound device or the second sound device is released, processing the received signal through at least one microphone of the first sound device or the second sound device to which the connection is maintained, or
When the determined first sound device or the second sound device is switched from a state worn on the object to a non-wear state, at least one microphone of the first sound device or the second sound device that has been switched to the non-wear state is turned off, An electronic device configured to process the received signal through at least one microphone of the first sound device or the second sound device in the worn state.
상기 프로세서는,
상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하고, 지정된 시간이 경과하면, 상기 제1 특성 정보와 상기 제2 특성 정보를 확인하도록 설정된 전자 장치.The method of claim 1,
The processor,
An electronic device configured to determine the first sound device or the second sound device and check the first characteristic information and the second characteristic information when a specified time elapses.
상기 프로세서는,
상기 확인 결과에 기반하여, 상기 수신되는 신호를 처리하도록 상기 결정된 음향 장치를 유지하거나, 상기 제1 음향 장치 또는 상기 제2 음향 장치 중 상기 결정된 음향 장치가 아닌 다른 음향 장치를 이용하여 상기 수신되는 신호를 처리하도록 스위칭 하도록 설정된 전자 장치.The method of claim 8,
The processor,
Based on the confirmation result, the received signal is maintained by maintaining the determined sound device to process the received signal, or using a sound device other than the determined sound device among the first sound device or the second sound device Electronic device set to switch to process.
무선 통신 회로; 및
상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 무선 통신 회로를 통해 제2 음향 장치의 연결을 검출하고,
상기 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보를 획득하고,
상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 상기 제2 음향 장치로부터 상기 무선 통신 회로를 통해 수신하고,
상기 획득된 제1 특성 정보 및 상기 수신된 제2 특성 정보에 기반하여, 상기 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하고,
상기 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하기 위한 상기 음향 장치 또는 상기 제2 음향 장치를 결정하고, 및
상기 결정된 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하도록 설정된 음향 장치.In the acoustic device,
Wireless communication circuit; And
A processor operatively connected to the wireless communication circuit,
The processor,
Detecting the connection of the second sound device through the wireless communication circuit,
Acquiring first characteristic information of a signal received through at least one microphone of the sound device,
Receiving second characteristic information of a signal received through at least one microphone of the second sound device from the second sound device through the wireless communication circuit,
Based on the obtained first characteristic information and the received second characteristic information, confirming the degree of adhesion between each of the sound device and the second sound device and an object,
Determining the sound device or the second sound device for processing the received signal, based on a degree of close contact between each of the sound device and the second sound device and the object, and
A sound device configured to process the received signal through at least one microphone of the determined sound device or the second sound device.
상기 프로세서는,
상기 수신되는 신호를 처리하기 위한 음향 장치로 상기 음향 장치가 결정되면, 상기 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하고, 호 수신 또는 호 발신 시, 상기 제2 음향 장치의 적어도 하나의 마이크를 오프(off)시키기 위한 제어 신호를 상기 무선 통신 회로를 통해 상기 제2 음향 장치에 전송하도록 설정된 음향 장치.The method of claim 10,
The processor,
When the sound device is determined as the sound device for processing the received signal, processing the received signal through at least one microphone of the sound device, and when receiving or sending a call, at least of the second sound device A sound device configured to transmit a control signal for turning off one microphone to the second sound device through the wireless communication circuit.
상기 프로세서는,
상기 수신되는 신호를 처리하기 위한 음향 장치로 상기 제2 음향 장치가 결정되면, 호 수신 또는 호 발신 시, 상기 음향 장치의 적어도 하나의 마이크를 오프(off)시키고, 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호를 처리하기 위한 제어 신호를 상기 무선 통신 회로를 통해 상기 제2 음향 장치에 전송하도록 설정된 음향 장치.The method of claim 10,
The processor,
When the second sound device is determined as the sound device for processing the received signal, at least one microphone of the sound device is turned off when receiving or sending a call, and at least one of the second sound device A sound device configured to transmit a control signal for processing a signal received through the microphone of the second sound device through the wireless communication circuit.
무선 통신 회로를 통해 제1 음향 장치 및 제2 음향 장치의 연결을 검출하는 동작;
상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하는 동작;
상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 오브젝트 간의 밀착 정도를 확인하는 동작;
상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 밀착 정도에 기반하여, 상기 수신되는 신호를 처리하도록 상기 제1 음향 장치 또는 상기 제2 음향 장치를 결정하는 동작; 및
상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하는 동작을 포함하는 방법.A method of determining an acoustic device for processing an audio signal of an electronic device,
Detecting a connection between the first sound device and the second sound device through a wireless communication circuit;
Checking first characteristic information of a signal received through at least one microphone of the first acoustic device and second characteristic information of a signal received through at least one microphone of the second acoustic device;
Checking a degree of close contact between each of the first sound device and the second sound device and an object based on the identified first and second property information;
Determining the first sound device or the second sound device to process the received signal based on a degree of close contact between each of the first sound device and the second sound device and the object; And
And processing the received signal through at least one microphone of the determined first sound device or the second sound device.
상기 밀착 정도를 확인하는 동작은,
상기 상기 확인된 제1 특성 정보 및 제2 특성 정보에 기반하여, 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 폐색 효과(occlusion effect)의 정도와 누설(leakage) 크기를 확인하는 동작; 및
상기 폐색 효과의 정도 및 상기 누설의 크기에 기반하여 상기 제1 음향 장치 및 상기 제2 음향 장치 각각과 상기 오브젝트 간의 상기 밀착 정도를 확인하는 동작을 포함하는 방법.The method of claim 13,
The operation of checking the degree of adhesion,
Based on the identified first characteristic information and second characteristic information, confirming the degree of occlusion effect and the magnitude of leakage between each of the first and second acoustic devices and the object action; And
And checking the degree of contact between the object and the first sound device and the second sound device based on the degree of the occlusion effect and the size of the leakage.
상기 오브젝트는 사용자 귀를 포함하며,
상기 밀착 정도를 확인하는 동작은,
상기 사용자 귀의 내부에 상기 제1 음향 장치 및 상기 제2 음향 장치의 핏(fit) 상태 및 언핏(unfit) 상태를 결정하는 동작을 포함하는 방법.The method of claim 14,
The object includes a user ear,
The operation of checking the degree of adhesion,
And determining a fit state and an unfit state of the first sound device and the second sound device inside the user's ear.
상기 제1 특성 정보와 상기 제2 특성 정보는, 사용자 발화의 레벨, 에코(echo) 레벨, 상기 적어도 하나의 마이크의 토널리티(tonality) 성분, 상기 적어도 하나의 마이크의 입력 신호, 또는 잡음 억제 게인(noise suppression gain) 중 적어도 하나를 포함하는 방법. The method of claim 13,
The first characteristic information and the second characteristic information include a level of user speech, an echo level, a tonality component of the at least one microphone, an input signal of the at least one microphone, or noise suppression. A method comprising at least one of noise suppression gain.
상기 결정된 제1 음향 장치 또는 제2 음향 장치의 연결이 해제되면, 상기 연결이 유지되는 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하는 동작을 더 포함하는 방법.The method of claim 13,
When the determined connection of the first sound device or the second sound device is released, processing the received signal through at least one microphone of the first sound device or the second sound device to which the connection is maintained. Way.
상기 결정된 제1 음향 장치 또는 제2 음향 장치가 상기 오브젝트에 착용된 상태에서 미착용 상태로 전환되면, 상기 미착용 상태로 전환된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 오프시키고, 상기 착용된 상태의 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리하는 동작을 더 포함하는 방법.The method of claim 13,
When the determined first sound device or the second sound device is converted from a state worn on the object to a non-wear state, at least one microphone of the first sound device or the second sound device that has been switched to the non-wear state is turned off, and the The method further comprising processing the received signal through at least one microphone of the first sound device or the second sound device in a worn state.
상기 결정된 제1 음향 장치 또는 제2 음향 장치의 적어도 하나의 마이크를 통해 상기 수신되는 신호를 처리한 후, 지정된 시간이 경과하면, 상기 제1 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제1 특성 정보와 상기 제2 음향 장치의 적어도 하나의 마이크를 통해 수신되는 신호의 제2 특성 정보를 확인하는 동작을 더 포함하는 방법.The method of claim 13,
After processing the received signal through at least one microphone of the determined first sound device or the second sound device, when a specified time elapses, the signal received through at least one microphone of the first sound device is The method further comprising: checking the first characteristic information and second characteristic information of a signal received through at least one microphone of the second acoustic device.
상기 확인 결과에 기반하여, 상기 수신되는 신호를 처리하도록 결정된 음향 장치를 유지하는 동작; 또는
상기 제1 음향 장치 또는 상기 제2 음향 장치 중 상기 결정된 음향 장치가 아닌 다른 음향 장치를 이용하여 상기 수신되는 신호를 처리하도록 스위칭하는 동작을 더 포함하는 방법.The method of claim 19,
Maintaining the sound device determined to process the received signal based on the confirmation result; or
The method further comprising: switching to process the received signal by using a sound device other than the determined sound device among the first sound device or the second sound device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190078032A KR20210001646A (en) | 2019-06-28 | 2019-06-28 | Electronic device and method for determining audio device for processing audio signal thereof |
PCT/KR2020/007125 WO2020262835A1 (en) | 2019-06-28 | 2020-06-02 | Electronic device and method for determining audio device for processing audio signal by means of same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190078032A KR20210001646A (en) | 2019-06-28 | 2019-06-28 | Electronic device and method for determining audio device for processing audio signal thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210001646A true KR20210001646A (en) | 2021-01-06 |
Family
ID=74061016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190078032A KR20210001646A (en) | 2019-06-28 | 2019-06-28 | Electronic device and method for determining audio device for processing audio signal thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20210001646A (en) |
WO (1) | WO2020262835A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022177183A1 (en) * | 2021-02-18 | 2022-08-25 | 삼성전자 주식회사 | Audio data processing method and electronic device supporting same |
WO2023013841A1 (en) * | 2021-08-02 | 2023-02-09 | 삼성전자주식회사 | Wearable electronic device, and method for operating wearable electronic device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8897455B2 (en) * | 2010-02-18 | 2014-11-25 | Qualcomm Incorporated | Microphone array subset selection for robust noise reduction |
KR101330476B1 (en) * | 2012-03-29 | 2013-11-15 | 신두식 | Wire and wireless earphone apparatus using in ear-type microphone |
KR101475265B1 (en) * | 2013-07-09 | 2014-12-22 | 오성훈 | Apparatus of functional earphone and operating method thereof |
KR101803306B1 (en) * | 2016-08-11 | 2017-11-30 | 주식회사 오르페오사운드웍스 | Apparatus and method for monitoring state of wearing earphone |
KR101906298B1 (en) * | 2017-02-17 | 2018-10-11 | 유한회사 청텍 | Hearing aid device with easy fitting and body temperature monitoring function and control method thereof |
-
2019
- 2019-06-28 KR KR1020190078032A patent/KR20210001646A/en unknown
-
2020
- 2020-06-02 WO PCT/KR2020/007125 patent/WO2020262835A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022177183A1 (en) * | 2021-02-18 | 2022-08-25 | 삼성전자 주식회사 | Audio data processing method and electronic device supporting same |
WO2023013841A1 (en) * | 2021-08-02 | 2023-02-09 | 삼성전자주식회사 | Wearable electronic device, and method for operating wearable electronic device |
Also Published As
Publication number | Publication date |
---|---|
WO2020262835A1 (en) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102607566B1 (en) | Method for wearing detection of acoustic device and acoustic device supporting the same | |
KR102384519B1 (en) | Method for controlling ear piece and electronic device for supporting the same | |
KR20200117461A (en) | Electronic device and method of communicating with an external device via a power supply line | |
KR102427206B1 (en) | An device and a method for controlling a microphone according to a connection of an external accessory | |
KR102419512B1 (en) | An electronic device comprising a plurality of speakers | |
US11290800B2 (en) | Wearable electronic device with water repellent structure using speaker module and method for sensing moisture penetration thereof | |
US11159899B2 (en) | Eartip including foreign matter inflow prevention portion and electronic device including the same | |
KR20200098323A (en) | the Sound Outputting Device including a plurality of microphones and the Method for processing sound signal using the plurality of microphones | |
KR20200085546A (en) | Method for controlling power back off using grip sensor and electronic device for supporting the same | |
US20170336830A1 (en) | Apparatus and method for processing audio signals | |
KR102643055B1 (en) | Headset Electronic Device and Electronic Device Connecting the Same | |
KR20210001646A (en) | Electronic device and method for determining audio device for processing audio signal thereof | |
KR20200097590A (en) | Electronic device and method for detecting block of microphone | |
KR102443637B1 (en) | Electronic device for determining noise control parameter based on network connection inforiton and operating method thereof | |
KR20190137523A (en) | Method and an electronic apparatus for preventing corrosion of audio jacks | |
KR20190045506A (en) | Method for processing audio signal and electronic device for supporting the same | |
KR20210083059A (en) | Outputting method of audio data and electronic device supporting the same | |
KR102324063B1 (en) | Method for detecting error of microphone based on audio signal loudness acquired through microphone and electronic device thereof | |
EP4258084A1 (en) | Electronic device for reducing internal noise, and operation method thereof | |
KR20200013513A (en) | Electronic apparatus including speaker and controlling method thereof | |
US20210249030A1 (en) | Method for improving sound quality and electronic device using same | |
KR20210101644A (en) | Method and ear wearable device for improving sound quality | |
KR20210122568A (en) | Electronic device and method for controlling audio output thereof | |
KR102386773B1 (en) | Method for generating an audio signal using a plurality of speakers and microphones and an electronic device thereof | |
KR20220034530A (en) | Electronic device for outputing sound and method of operating the same |