KR20220164395A - Apparatus and method for sound signal processing - Google Patents
Apparatus and method for sound signal processing Download PDFInfo
- Publication number
- KR20220164395A KR20220164395A KR1020210171203A KR20210171203A KR20220164395A KR 20220164395 A KR20220164395 A KR 20220164395A KR 1020210171203 A KR1020210171203 A KR 1020210171203A KR 20210171203 A KR20210171203 A KR 20210171203A KR 20220164395 A KR20220164395 A KR 20220164395A
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- user
- signal
- microphone
- voice
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 223
- 238000012545 processing Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims description 31
- 230000002238 attenuated effect Effects 0.000 claims abstract description 67
- 230000006870 function Effects 0.000 claims description 30
- 230000003044 adaptive effect Effects 0.000 claims description 27
- 238000003672 processing method Methods 0.000 claims description 10
- 238000013459 approach Methods 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 230000011664 signaling Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 42
- 230000035945 sensitivity Effects 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 15
- 230000000052 comparative effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000000644 propagated effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Abstract
Description
음향 신호 처리 장치 및 방법에 관한다.It relates to a sound signal processing device and method.
다양한 전자 장치들에 장착되어 음향을 센싱하는 음향 센서의 활용도가 증가하고 있다. 수신되는 다양한 종류의 음향들을 구별하거나 특정 음향만을 센싱하기 위해 전자 장치들에는 복수의 음향 센서들이 채용되고 있다. 다만, 특정 음향을 센싱하는 정확도의 향상을 위해서는 많은 개수의 음향 센서들이 요구되므로, 공정 비용, 복잡성 및 전력 소모가 증가하게 된다. 복수의 음향 센서들로부터 수신한 음향 신호들에 대해 시간 딜레이 연산을 처리하는 과정에서 연산의 복잡성 역시 증가하게 된다. 따라서, 특정 음향을 명확하고 효율적으로 센싱하는 기술이 요구된다.The use of acoustic sensors mounted in various electronic devices to sense sounds is increasing. A plurality of acoustic sensors are employed in electronic devices to distinguish received various types of sounds or to sense only specific sounds. However, since a large number of acoustic sensors are required to improve the accuracy of sensing a specific sound, process cost, complexity, and power consumption increase. In the process of processing the time delay calculation on the acoustic signals received from the plurality of acoustic sensors, the complexity of the calculation also increases. Therefore, a technology for clearly and efficiently sensing a specific sound is required.
또한, 음향 센서가 장착된 웨어러블 기기의 활용이 증가하고 있다. 다양한 음향 환경에서 사용될 수 있는 웨어러블 기기의 특성상, 사용자의 외부로부터 발생하는 음향과 사용자 음성 각각을 명확히 구별하고 센싱하는 기술이 요구된다.In addition, the use of wearable devices equipped with acoustic sensors is increasing. Due to the characteristics of wearable devices that can be used in various acoustic environments, a technology for clearly distinguishing and sensing each of the user's voice and the sound generated from the outside of the user is required.
음향 신호 처리 장치 및 방법을 제공하는데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.It is to provide a sound signal processing device and method. Another object of the present invention is to provide a computer-readable recording medium on which a program for executing the method on a computer is recorded. The technical problem to be achieved by the present embodiment is not limited to the technical problems described above, and other technical problems can be inferred from the following embodiments.
상술한 기술적 과제를 해결하기 위한 수단으로서, 일 측면에 따른 음향 신호 처리 장치는 사용자 음성 및 사용자의 외부로부터 발생하는 외부 음향을 포함하는 전체 음향을 수신하고, 상기 전체 음향을 수신하는 일 면(plane)이 상기 사용자 음성의 발화 지점에 대응되는 방향으로 배치됨으로써 상기 수신된 전체 음향에서 상기 외부 음향이 감쇄된 사용자 음성 신호를 생성하는 사용자 마이크(user microphone); 상기 전체 음향을 수신하고, 상기 수신된 전체 음향으로부터 전체 음향 신호를 생성하는 앰비언트 마이크(ambient microphone); 및 상기 전체 음향 신호로부터 상기 사용자 음성 신호를 차분 연산함으로써 상기 사용자 음성이 감쇄된 외부 음향 신호를 생성하는 프로세서를 포함할 수 있다.As a means for solving the above-described technical problem, an acoustic signal processing apparatus according to an aspect receives overall sound including a user's voice and external sound generated from the outside of the user, and receives the entire sound (plane). ) is arranged in a direction corresponding to an ignition point of the user's voice, thereby generating a user's voice signal in which the external sound is attenuated from the entire received sound; an ambient microphone for receiving the overall sound and generating an overall sound signal from the received overall sound; and a processor generating an external audio signal in which the user's voice is attenuated by differentially calculating the user's voice signal from the entire audio signal.
다른 측면에 따른 음향 신호 처리 장치는 일 측면에 따른 사용자 마이크; 상기 전체 음향을 수신하고, 상기 전체 음향을 수신하는 일 면이 상기 사용자 마이크가 배치되는 방향과 상이한 방향으로 배치되되 상기 외부 음향의 발생 지점에 대응되는 방향으로 배치됨으로써 상기 수신된 전체 음향에서 상기 사용자 음성이 감쇄된 제1 외부 음향 신호를 생성하는 앰비언트 마이크; 상기 제1 외부 음향 신호로부터 상기 사용자 음성 신호를 차분 연산함으로써 상기 사용자 음성이 상기 제1 외부 음향 신호에서보다 더 감쇄된 제2 외부 음향 신호를 생성하는 프로세서를 포함할 수 있다.A sound signal processing device according to another aspect includes a user microphone according to one aspect; The entire sound is received, and one surface receiving the entire sound is disposed in a direction different from the direction in which the user microphone is disposed but disposed in a direction corresponding to the generation point of the external sound, so that the user's microphone an ambient microphone for generating a first external sound signal in which voice is attenuated; and a processor configured to generate a second external acoustic signal in which the user's voice is more attenuated than the first external acoustic signal by differentially calculating the user's voice signal from the first external acoustic signal.
또 다른 측면에 따른 음향 신호 처리 장치는 음향 출력 장치로부터의 출력 음향 및 상기 음향 출력 장치의 외부로부터 발생하는 외부 음향을 포함하는 전체 음향을 수신하고, 상기 전체 음향을 수신하는 일 면이 상기 출력 음향의 발생 지점에 대응되는 방향으로 배치됨으로써 상기 수신된 전체 음향에서 상기 외부 음향이 감쇄된 출력 음향 신호를 생성하는 지향성 마이크; 상기 전체 음향을 수신하고, 상기 수신된 전체 음향으로부터 전체 음향 신호를 생성하는 앰비언트 마이크; 및 상기 전체 음향 신호로부터 상기 출력 음향 신호를 차분 연산함으로써 상기 출력 음향이 감쇄된 외부 음향 신호를 생성하는 프로세서를 포함할 수 있다.A sound signal processing device according to another aspect receives overall sound including sound output from a sound output device and external sound generated from an outside of the sound output device, and one side receiving the entire sound receives the output sound a directional microphone disposed in a direction corresponding to the generation point of the directional microphone to generate an output sound signal in which the external sound is attenuated from the received total sound; an ambient microphone that receives the overall sound and generates an overall sound signal from the received overall sound; and a processor configured to generate an external sound signal in which the output sound is attenuated by differentially calculating the output sound signal from the entire sound signal.
또 다른 측면에 따른 음향 신호 처리 방법은 사용자 음성 및 사용자의 외부로부터 발생하는 외부 음향을 포함하는 전체 음향을 수신하는 단계; 상기 수신된 전체 음향으로부터 전체 음향 신호를 생성하는 단계; 상기 수신된 전체 음향에서 상기 외부 음향이 감쇄된 사용자 음성 신호를 생성하는 단계; 및 상기 전체 음향 신호로부터 상기 사용자 음성 신호를 차분 연산함으로써 상기 사용자 음성이 감쇄된 외부 음향 신호를 생성하는 단계를 포함할 수 있다.According to another aspect, a sound signal processing method includes receiving overall sound including a user's voice and external sound generated from the outside of the user; generating a total sound signal from the received total sound; generating a user voice signal in which the external sound is attenuated from the received total sound; and generating an external audio signal in which the user voice is attenuated by differentially calculating the user voice signal from the entire audio signal.
또 다른 측면에 따른 컴퓨터로 읽을 수 있는 기록매체는 상술한 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 기록매체를 포함할 수 있다.A computer-readable recording medium according to another aspect may include a recording medium recording a program for executing the above-described method on a computer.
도 1은 일 실시예에 따른 음향 신호 처리 장치의 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 사용자 마이크의 구성을 도시한 블록도이다.
도 3은 사용자 마이크의 구성을 예시적으로 도시한 도면이다.
도 4a 내지 도 4c는 도 3의 센싱 소자의 단면을 도시한 도면들이다.
도 5는 비교예에 따른 앰비언트 마이크들을 이용한 음향 센싱 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 사용자 마이크의 지향 패턴을 설명하기 위한 도면이다.
도 7은 사용자 마이크의 지향 패턴을 측정한 결과를 나타내는 도면이다.
도 8은 일 실시예에 따른 음향 신호 처리 장치의 신호 처리를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 사용자 마이크 및 앰비언트 마이크의 지향 패턴들을 측정한 그래프이다.
도 10a 및 도 10b는 사용자 음성의 발화 지점에 대한 진동부의 배치를 도시한 도면들이다.
도 11은 일 실시예에 따른 음향 조정부의 음향 조정 과정을 도시한 도면이다.
도 12는 일 실시예에 따른 사용자 마이크로부터 생성된 사용자 음성 신호를 도시한 도면이다.
도 13은 일 실시예에 따른 차분 연산 방법을 설명하기 위한 도면이다.
도 14는 도 13의 차분 연산 방법의 일 예를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 외부 음향 신호를 도시한 도면이다.
도 16a 및 도 16b는 실시예들에 따른 디스플레이를 도시한 도면들이다.
도 17a 내지 도 17c는 음향 신호 처리 장치가 안경형 웨어러블 장치인 실시예들을 도시한 도면들이다.
도 18a 및 도 18b는 디스플레이에 기능의 수행 결과가 표시되는 실시예들을 도시한 도면들이다.
도 19는 다른 실시예에 따른 음향 신호 처리 장치의 구성을 도시한 블록도이다.
도 20은 도 19의 실시예에 따른 사용자 마이크 및 앰비언트 마이크의 배치를 설명하기 위한 도면이다.
도 21은 도 19의 실시예에 따른 차분 연산 방법을 설명하기 위한 도면이다.
도 22는 또 다른 실시예에 따른 음향 신호 처리 장치의 구성을 도시한 블록도이다.
도 23은 도 22의 실시예에 따른 차분 연산 방법을 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 음향 신호 처리 방법을 나타내는 흐름도이다.1 is a block diagram showing the configuration of a sound signal processing apparatus according to an embodiment.
2 is a block diagram illustrating a configuration of a user microphone according to an exemplary embodiment.
3 is a diagram showing the configuration of a user's microphone by way of example.
4A to 4C are cross-sectional views of the sensing element of FIG. 3 .
5 is a diagram for explaining a sound sensing method using ambient microphones according to a comparative example.
6 is a diagram for explaining a directing pattern of a user's microphone according to an exemplary embodiment.
7 is a diagram showing a result of measuring a directivity pattern of a user's microphone.
8 is a diagram for explaining signal processing of a sound signal processing apparatus according to an exemplary embodiment.
9 is a graph in which directive patterns of a user's microphone and an ambient microphone are measured according to an exemplary embodiment.
10A and 10B are diagrams illustrating the arrangement of a vibrator with respect to an ignition point of a user's voice.
11 is a diagram illustrating a sound control process of a sound control unit according to an embodiment.
12 is a diagram illustrating a user voice signal generated from a user microphone according to an exemplary embodiment.
13 is a diagram for explaining a difference calculation method according to an exemplary embodiment.
14 is a diagram for explaining an example of the difference calculation method of FIG. 13 .
15 is a diagram illustrating an external acoustic signal according to an exemplary embodiment.
16A and 16B are diagrams illustrating displays according to embodiments.
17A to 17C are diagrams illustrating embodiments in which a sound signal processing device is a glasses-type wearable device.
18A and 18B are diagrams illustrating embodiments in which a result of performing a function is displayed on a display.
19 is a block diagram showing the configuration of a sound signal processing device according to another embodiment.
FIG. 20 is a diagram for explaining arrangement of a user microphone and an ambient microphone according to the embodiment of FIG. 19 .
21 is a diagram for explaining a difference calculation method according to the embodiment of FIG. 19 .
22 is a block diagram showing the configuration of a sound signal processing device according to another embodiment.
FIG. 23 is a diagram for explaining a difference calculation method according to the embodiment of FIG. 22 .
24 is a flowchart illustrating a sound signal processing method according to an exemplary embodiment.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 기술분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 임의로 선정된 용어도 있으며, 이 경우 해당 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present embodiments have been selected from general terms that are currently widely used as much as possible while considering the functions in the present embodiments, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technologies, and the like. can In addition, there are terms selected arbitrarily in certain cases, and in this case, their meanings will be described in detail in the description of the corresponding embodiment. Therefore, the term used in the present embodiments should be defined based on the meaning of the term and the overall content of the present embodiment, not a simple name of the term.
실시예들에 대한 설명들에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 구성요소를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the descriptions of the embodiments, when a part is said to be connected to another part, this includes not only the case where it is directly connected, but also the case where it is electrically connected with another component interposed therebetween. . In addition, when a part includes a certain component, this means that it may further include other components without excluding other components unless otherwise stated.
본 실시예들에서 사용되는 "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Terms such as "consists of" or "includes" used in the present embodiments should not be construed as necessarily including all of the various components or steps described in the specification, and some of the components or It should be construed that some steps may not be included, or may further include additional components or steps.
또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.Also, terms including ordinal numbers such as 'first' or 'second' used in this specification may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another.
하기 실시예들에 대한 설명은 권리범위를 제한하는 것으로 해석되지 말아야 하며, 해당 기술분야의 당업자가 용이하게 유추할 수 있는 것은 실시예들의 권리범위에 속하는 것으로 해석되어야 할 것이다. 이하 첨부된 도면들을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다.The description of the following embodiments should not be construed as limiting the scope of rights, and what can be easily inferred by a person skilled in the art should be construed as belonging to the scope of the embodiments. Hereinafter, embodiments for illustrative purposes only will be described in detail with reference to the accompanying drawings.
도 1은 일 실시예에 따른 음향 신호 처리 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a sound signal processing apparatus according to an embodiment.
도 1을 참조하면, 음향 신호 처리 장치(100)는 사용자 마이크(110), 앰비언트 마이크(120) 및 프로세서(130)를 포함할 수 있다. 도 1에 도시된 음향 신호 처리 장치(100)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 음향 신호 처리 장치(100)에 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다.Referring to FIG. 1 , the sound
음향 신호 처리 장치(100)는 사용자의 음성을 수신하기 위해 사용자에게 착용되는 웨어러블 장치일 수 있다. 또는, 음향 신호 처리 장치(100)는 사용자에게 착용되지 않는 장치로서 음향 출력 장치에 근접하게 배치되거나, 음향 출력 장치에 포함될 수도 있다. 다만, 이는 예시에 불과하며 음향 신호 처리 장치(100)는 음향을 수신할 수 있는 다양한 형태로 변형되어 실시될 수 있다. 음향 신호 처리 장치(100)의 예시들에 대해서는 도 17a를 참조하여 후술하도록 한다.The sound
음향 신호 처리 장치(100)는 수신되는 음향에 대해 다양한 음향 신호들을 생성하기 위해 상이한 종류의 마이크들을 포함할 수 있다. 동일한 음향이 수신되더라도 마이크의 구성 및 동작에 따라 마이크로부터 생성되는 음향 신호는 상이할 수 있다. 따라서, 음향 신호 처리 장치(100)는 상이한 종류의 마이크들을 포함함으로써 목표한 음향 신호를 생성할 수 있다. 음향 신호 처리 장치(100)는 사용자 음성을 검출하기 위한 사용자 마이크(110) 및 사용자 음성을 포함하는 전체 음향을 검출하기 위한 앰비언트 마이크(120)를 포함할 수 있다.The sound
사용자 마이크(110) 및 앰비언트 마이크(120)는 사용자 음성 및 사용자 외부로부터 발생하는 외부 음향을 포함하는 전체 음향을 수신할 수 있다. 사용자 음성은 음향 신호 처리 장치(100)를 사용하거나 착용한 사용자의 음성에 해당할 수 있다. 외부 음향은 사용자의 외부로부터 수신되는 음향으로서 사용자 음성을 제외한 음향에 해당할 수 있다. 예를 들어, 외부 음향은 사용자와 대화하는 외부인의 음성 또는 사용자가 시청하는 영상으로부터 출력되는 음향 또는 사용자 주변 환경에서 발생되는 소리 등을 포함할 수 있다. 전체 음향은 사용자 음성 및 외부 음향을 모두 포함하는 음향으로서 음향 신호 처리 장치에 전달(또는 수신)되는 모든 음향에 해당할 수 있다. 사용자 마이크(110)에는 전체 음향이 전달(또는 수신)되나 사용자 마이크(110)의 구조 또는 동작에 의해 전체 음향에서 외부 음향은 감쇄될 수 있고, 이에 따라 사용자 음성 신호가 생성될 수 있다.The
한편, 사용자 마이크(110) 및 앰비언트 마이크(120)는 수신한 음향을 주파수, 진폭 및 시간 등의 정보를 포함하는 전기적 신호로 변환할 수 있다.Meanwhile, the
사용자 마이크(110)는 수신된 전체 음향에서 외부 음향을 감쇄시킴으로써 사용자 음성 신호를 생성할 수 있다. 사용자 마이크(110)는 외부 음향을 감쇄시킴으로써 사용자 음성이 보다 명확해진 사용자 음성 신호를 생성할 수 있다. 예를 들어, 사용자 마이크(110)는 수신되는 외부 음향을 감쇄시키기 위해 사용자 음성에 대한 지향성을 갖거나 임계값에 기초하여 외부 음향에 대응되는 신호를 감쇄시킬 수 있다. 사용자 마이크(110)의 구성 및 동작에 관해서는 도 2를 참조하여 후술하도록 한다.The user's
또한, 사용자 마이크(110)는 사용자 마이크(110)가 형성하는 일 면을 통해 음향을 수신할 수 있다. 여기서, 일 면은 사용자 마이크(110)의 진동부가 형성하는 일 면을 의미하거나, 평면적으로 배열되는 복수의 진동부들에 의해 형성되는 일 면을 의미할 수 있다. 사용자 마이크(110)는, 사용자 마이크(110)가 형성하는 일 면이 사용자 음성의 발화 지점에 대응되는 방향으로 배치되도록 음향 신호 처리 장치(100) 내에 배치될 수 있다. 사용자 마이크(110)의 이와 같은 배치로 인해 사용자 음성은 높은 민감도로 센싱되고 외부 음향은 낮은 민감도로 센싱될 수 있다. 따라서, 사용자 마이크(110)에 수신된 전체 음향에서 외부 음향은 감쇄되고, 사용자 마이크(110)에서 생성되는 음향 신호인 사용자 음성 신호는 외부 음향이 감쇄된 신호일 수 있다.Also, the
예를 들어, 사용자 마이크(110)는 전체 음향을 수신하는 일 면과 사용자 음성의 발화 지점으로부터 일 면으로 향하는 방향이 60° 내지 120°를 이루도록 음향 신호 처리 장치(100)에 배치될 수 있다. 사용자 마이크(110)(또는 사용자 마이크의 진동부)의 배치에 대해서는 도 10a 및 도 10b를 참조하여 후술하도록 한다.For example, the user's
앰비언트 마이크(120)는 수신된 전체 음향으로부터 전체 음향 신호를 생성할 수 있다. 앰비언트 마이크(120)는 사용자 음성 및 외부 음향 중 어느 것이 감쇄되거나 강조되지 않은 전체 음향 신호를 생성할 수 있다.The
프로세서(130)는 마이크들에서 생성된 음향 신호를 수신하고, 이에 대한 연산을 수행할 수 있다. 프로세서(130)는 전체 음향 신호로부터 사용자 음성 신호를 차분 연산함으로써 외부 음향 신호를 생성할 수 있다. 외부 음향 신호는 전체 음향 신호에서 사용자 음성에 대응되는 신호가 감쇄된 신호일 수 있다. 따라서, 외부 음향 신호는 외부 음향에 대응되는 신호만을 포함하거나, 외부 음향에 대응되는 신호가 강조된 신호일 수 있다. 여기서, 특정 신호가 강조된다는 것은 특정 신호가 증폭됨을 의미하는 것이 아니고, 다른 신호가 감쇄됨에 따라 특정 신호가 명확해짐을 의미한다.The
프로세서(130)가 차분 연산을 수행하는 방법에 대해서는 도 13 및 도 14를 참조하여 후술하도록 한다.A method of performing the difference operation by the
프로세서(130)는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.The
상술한 바와 같이, 음향 신호 처리 장치는 사용자 음성 신호 및 외부 음향 신호 각각을 생성할 수 있으므로, 수신되는 전체 음향에서 사용자 음성 및 외부 음향을 구분할 수 있다. 즉, 음향 신호 처리 장치에 사용자 음성 및 외부 음향이 동시에 수신되더라도 음향 신호 처리 장치는 각 음향을 구분하고 각 음향에 대응되는 신호를 생성할 수 있다. 따라서, 음향 신호 처리 장치는 어떠한 음향 환경에서도 사용자 음성 및 외부 음향 각각에 대응되는 기능을 수행하거나 각각에 대응되는 명령을 처리할 수 있다.As described above, since the sound signal processing apparatus can generate the user voice signal and the external sound signal, respectively, the user voice and the external sound can be distinguished from all received sounds. That is, even when the user's voice and the external sound are simultaneously received by the sound signal processing device, the sound signal processing device may distinguish each sound and generate a signal corresponding to each sound. Accordingly, the sound signal processing apparatus may perform functions corresponding to user voice and external sound, or process commands corresponding to each, in any acoustic environment.
도 2는 일 실시예에 따른 사용자 마이크의 구성을 도시한 블록도이다.2 is a block diagram illustrating a configuration of a user microphone according to an exemplary embodiment.
도 2를 참조하면, 사용자 마이크(110)는 복수의 진동 구조들을 포함할 수 있다. 각 진동 구조(111)는 진동부(112) 및 진동 검출부(113)를 포함할 수 있다. 도 2에 도시된 사용자 마이크(110)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 사용자 마이크(110)에 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다. 예를 들어, 사용자 마이크(110)는 지지대(미도시) 또는 음향 조정부(미도시) 등을 더 포함할 수 있다.Referring to FIG. 2 , the
사용자 마이크(110)는 상이한 주파수 대역의 음향을 센싱하는 복수의 진동 구조들을 포함할 수 있다. 복수의 진동 구조들은 상이한 모양(예를 들어, 길이, 두께, 형상 또는 무게 등)으로 형성될 수 있고 모양에 대응되는 공진주파수를 가질 수 있다. 복수의 진동 구조들은 각각의 공진주파수에 대응되는 주파수 대역의 음향을 센싱할 수 있다. 진동 구조의 구체적인 구조에 대해서는 도 3 및 도 4a를 참조하여 후술하도록 한다.The user's
진동부(112)는 전체 음향이 수신됨에 따라 진동할 수 있다. 예를 들어, 진동부(112)는 진동부(112)의 공진주파수에 근접한 주파수의 음향이 수신됨에 따라 진동할 수 있다. 각 진동부(112)는 전체 음향을 수신하는 일 면을 형성할 수 있다. 또한, 진동부들이 사용자 마이크(110) 내에 평면적으로 배열됨에 따라, 사용자 마이크(110)는 진동부들의 복수의 면들에 대응되는 일 면을 형성할 수 있다. 진동부(112)는 전체 음향이 수신됨에 따라 전체 음향의 주파수에 기초하여 일 면에 직교하는 방향으로 진동할 수 있다. 진동부(112)가 형성하는 일 면에 대해서는 도 4a를 참조하여 후술하도록 한다.The
진동 검출부(113)는 진동부(112)의 진동을 수신하고, 수신된 진동에 대응되는 전기적 신호를 생성할 수 있다. 진동 검출부(113)에 의해 진동이 전기적 신호로 변환됨으로써, 음향 신호 처리 장치는 수신되는 음향에 대한 다양한 처리 및 연산을 수행할 수 있다.The
도 3은 사용자 마이크의 구성을 예시적으로 도시한 도면이다.3 is a diagram showing the configuration of a user's microphone by way of example.
도 3을 참조하면, 사용자 마이크(110)는 지지대(115) 및 복수의 진동 구조들을 포함할 수 있다. 지지대(115)는 캐비티(116)를 관통하도록 형성될 수 있다. 지지대(115)로는 예를 들면 실리콘 기판이 사용될 수 있지만, 이에 한정되지는 않는다.Referring to FIG. 3 , a
복수의 진동 구조들은 지지대(115)의 캐비티(116) 위에 소정 형태로 배열될 수 있다. 진동 구조(111)는 서로 겹침 없이 평면적으로 배열될 수 있다. 각 진동 구조(111)는 도시된 바와 같이 일 측은 지지대(115)에 고정되며, 타 측은 캐비티(116) 쪽을 향하여 연장되도록 배치될 수 있다.A plurality of vibration structures may be arranged in a predetermined shape on the
진동 구조(111)는 예를 들면, 서로 다른 대역의 음향 주파수를 감지하도록 마련될 수 있다. 즉, 진동 구조(111)는 서로 다른 중심 주파수 또는 공진 주파수를 가지도록 마련될 수 있다. 이를 위해, 진동 구조(111)는 서로 다른 치수(dimension)를 가지도록 마련될 수 있다. 진동 구조(111)의 치수는 진동 구조(111)에 대해 원하는 공진 주파수를 고려하여 설정될 수 있다.The vibrating
도 4a 내지 도 4c는 도 3의 진동 구조의 단면을 도시한 도면들이다.4a to 4c are cross-sectional views of the vibrating structure of FIG. 3 .
도 4a를 참조하면, 진동 구조(111)는 진동부(112), 진동 검출부(113) 및 질량체(114)를 포함할 수 있다. 진동 구조(111)는 도시된 바와 같이 일 측은 지지대(115)에 고정되며, 타 측은 캐비티 쪽을 향하여 연장되도록 배치될 수 있다.Referring to FIG. 4A , the
각 진동 구조(111)는 입력되는 음향에 반응하여 진동하는 진동부(112)와, 진동부(112)의 움직임을 센싱하는 진동 검출부(113)를 포함할 수 있다. 또한, 진동 구조(111)는 진동부(112)에 소정의 질량(mass)을 제공하기 위한 질량체(114)를 더 포함할 수 있다.Each vibrating
진동부(112)는 수신되는 음향의 주파수에 기초하여 진동할 수 있다. 진동부(112)는 수신되는 음향의 주파수가 공진 주파수에 근접할수록 크게 진동하고, 수신되는 음향의 주파수가 공진 주파수에 대해 멀수록 작게 진동할 수 있다. 또는 진동부(112)는 센싱 가능한 주파수 대역의 음향이 수신된 경우에 진동하고, 센싱 가능한 주파수 대역을 벗어나는 음향이 수신된 경우에는 진동하지 않을 수 있다.The
도 4b 및 도 4c를 참조하면, 진동부(112)는 음향을 수신하는 일 면(112a)을 형성할 수 있다.Referring to FIGS. 4B and 4C , the
진동부(112)는 전체 음향이 수신됨에 따라 일 면(112a)에 직교하는 방향으로 진동할 수 있다. 진동부(112)는 수신되는 음향의 전파 방향(41)과 일 면(112a)이 이루는 각도에 기초한 세기로 진동할 수 있다. 진동부(112)는 음향의 전파 방향(41)과 일 면(112a)이 이루는 각도가 90°에 근접할수록 큰 진동 세기로 진동하고, 0°에 근접할수록 작은 진동 세기로 진동할 수 있다.The
도 4b에 도시된 바와 같이 일 면(112a)에 대해 90°로 전파되는 음향이 수신되는 경우 진동부(112)는 가장 큰 진동 세기로 진동할 수 있다. 또한, 도 4c에 도시된 바와 같이 일 면(112a)에 대해 90°보다 작은 각도로 전파되는 음향이 수신되는 경우 진동부(112)는 가장 도 4b에서보다 작은 진동 세기로 진동할 수 있다.As shown in FIG. 4B , when sound propagating at 90° with respect to one
이와 같은 진동부(112)의 진동 동작에 기인하여 사용자 마이크(또는 진동 구조들)는 음향의 전파 방향(41)을 고려하여 음향 신호 처리 장치 내에 배치될 수 있다. 예를 들어, 사용자 마이크는 사용자 음성이 90°에 근접한 각도로 일 면(112a)에 전파되도록 음향 신호 처리 장치 내에 배치될 수 있다. 다시 말해, 사용자 마이크는 일 면(112a)이 사용자 음성의 발화 지점을 향하도록 배치될 수 있으며, 이러한 배치에 관해서는 도 10a 및 도 10b를 참조하여 후술하도록 한다.Due to the vibrating operation of the vibrating
도 5는 비교예에 따른 앰비언트 마이크들을 이용한 음향 센싱 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a sound sensing method using ambient microphones according to a comparative example.
도 5의 비교예에 따른 음향 센싱 방법은 특정 방향의 음향을 극대화하기 위하여, 복수의 앰비언트 마이크들(510)을 이용할 수 있다. 복수의 앰비언트 마이크들(510)은 소정 간격(D)을 두고 배치되며, 그 간격(D)으로 인해 음향이 각 앰비언트 마이크에 도달하는 시간 또는 위상 지연(phase delay)이 생기고, 그 시간 또는 위상 지연을 보상하는 정도를 다르게 함으로써 전체의 지향성이 조절될 수 있다. 이러한 지향성 조절 방법은 Time Difference of Arrival(TDOA)로 지칭될 수 있다.The sound sensing method according to the comparative example of FIG. 5 may use a plurality of
다만, 전술한 방법은 음향이 각 앰비언트 마이크에 도달하는 시간에 차이가 있다는 것을 전제하는 바, 가청 주파수대역의 파장(wavelength)을 고려하여 간격이 설정되어야 하므로 앰비언트 마이크들(510) 간의 간격 설정에 제약이 있을 수 있다. 간격 설정에 제약이 있기 때문에, 전술한 방법을 수행하는 장치의 소형화에 제약이 있을 수 있다. 특히, 낮은 주파수는 파장의 길이가 길어서, 낮은 주파수의 음향을 구분하기 위해서는 앰비언트 마이크들(510) 간의 간격이 넓고, 각 앰비언트 마이크의 신호 대 잡음비(SNR; signal-to-noise ratio)가 높아야 할 수 있다.However, since the above method assumes that there is a difference in the time at which sound reaches each ambient microphone, the interval must be set in consideration of the wavelength of the audible frequency band. There may be restrictions. Since there is a limitation in setting the interval, there may be a limitation in miniaturization of a device performing the above-described method. In particular, since a low frequency has a long wavelength, the distance between the
이에 더해, 전술한 방법은 각 앰비언트 마이크에서 센싱되는 음향의 주파수 대역에 따라서 위상(phase)이 다르게 되므로, 각 주파수 별로 위상을 보상해주어야 할 수 있다. 각 주파수 별로 위상을 보상하기 위해서, 전술한 방법은 알맞은 웨이트를 각 주파수 별로 적용하는 복잡한 신호처리 과정이 요구될 수 있다.In addition, since the above method has a different phase depending on the frequency band of the sound sensed by each ambient microphone, the phase may need to be compensated for each frequency. In order to compensate the phase for each frequency, the above-described method may require a complex signal processing process of applying an appropriate weight for each frequency.
음향 신호 처리 장치는 도 5의 비교예와 달리 마이크들간의 간격에 제약이 없고, 복잡한 신호처리 없이 간단한 연산만으로 방향을 구분하여 특정 방향의 음향을 획득할 수 있다. 이하 도면들을 참고하여 음향 신호 처리 장치의 효율적인 구조 및 운용에 대해 상세히 설명한다.Unlike the comparative example of FIG. 5 , the sound signal processing apparatus has no restrictions on the distance between the microphones and can acquire sound in a specific direction by distinguishing directions with simple calculations without complex signal processing. An efficient structure and operation of the acoustic signal processing apparatus will be described in detail with reference to the following drawings.
도 6은 일 실시예에 따른 사용자 마이크의 지향 패턴을 설명하기 위한 도면이다.6 is a diagram for explaining a directing pattern of a user's microphone according to an exemplary embodiment.
도 6을 참조하면, 사용자 마이크(110)는 양지향성 지향 패턴(61 및 62)을 가질 수 있다. 예를 들어, 양지향성 지향 패턴(61 및 62)은 사용자 마이크(110)의 전면(+z방향)을 지향하는 전면부(61)와 사용자 마이크(110)의 후면(-z방향)을 지향하는 후면부(62)로 구성되는 8자형(figure-8)의 지향 패턴일 수 있다.Referring to FIG. 6 , a
진동부가 형성하는 일 면(112a)에 음향이 수직으로 전파되는 경우 진동부가 가장 민감하게 반응함으로써 큰 진동 세기로 진동할 수 있다. 따라서, 일 면(112a)에 직교하는 방향인 사용자 마이크(110)의 전면 방향(+z방향) 및 후면 방향(-z방향)에 기초한 지향 패턴이 형성될 수 있다. 이 경우 사용자 마이크(110)는 지향하지 않는 방향(예를 들어 +x방향 및 -x방향)에서 수신되는 음향에 대해서는 반응하는 민감도가 저하될 수 있다. 따라서 사용자 마이크(110)는 지향하지 않는 방향(예를 들어 +x방향 및 -x방향)에서 수신되는 음향을 감쇄시킬 수 있다.When sound propagates vertically to one
사용자 마이크(110)의 구조에 따라 한 면에는 음향이 수신되는 것을 블록(block)함으로써 +z방향 또는 -z방향의 단일지향성 패턴이 형성될 수도 있다. 상술한 사용자 마이크(110)의 지향 패턴들은 예시에 불과하며 진동 구조들(또는 진동부들)의 배치에 따라 지향 패턴은 다양하게 변형될 수 있다.Depending on the structure of the user's
도 7은 사용자 마이크의 지향 패턴을 측정한 결과를 나타내는 도면이다.7 is a diagram showing a result of measuring a directivity pattern of a user's microphone.
도 7에 도시된 바와 같이, 사용자 마이크는 다양한 주파수에 대해 균일하게 양지향성의 지향 패턴을 가지는 것을 확인할 수 있다. 즉, 다양한 주파수에 대해 0° 방향과 180° 방향인 도 6의 +z 축 방향 및 -z 축 방향으로의 지향성을 가지고 있음을 확인할 수 있다.As shown in FIG. 7 , it can be confirmed that the user's microphone has a uniform bi-directional directing pattern for various frequencies. That is, it can be seen that the antenna has directivity in the +z-axis direction and the -z-axis direction of FIG. 6, which are the 0° direction and the 180° direction for various frequencies.
도 8은 일 실시예에 따른 음향 신호 처리 장치의 신호 처리를 설명하기 위한 도면이다.8 is a diagram for explaining signal processing of a sound signal processing apparatus according to an exemplary embodiment.
도 8을 참조하면, 사용자 마이크(110)는 양지향성 지향 패턴(81)을 가지고, 앰비언트 마이크(120)는 전지향성 또는 무지향성 지향 패턴(82)을 가질 수 있다. 사용자 마이크(110)는 앰비언트 마이크(120)가 센싱한 음향의 위상과 동위상(in-phase)인 음향을 양지향성 지향 패턴(81)의 전면 방향(예를 들어, 도 6의 +z방향)으로부터 센싱할 수 있고, 앰비언트 마이크(120)가 센싱한 음향의 위상과 반대위상(anti-phase)인 음향을 후면 방향(예를 들어, 도 6의 -z방향)으로부터 센싱할 수 있다. 다만 도 8에 도시된 사용자 마이크(110)의 지향 패턴은 예시에 불과하며 상술하였듯이 사용자 마이크(110)의 구조 및 진동 구조들(또는 진동부들)의 배치에 따라 지향 패턴은 다양하게 변형될 수 있다.Referring to FIG. 8 , the
도 9는 일 실시예에 따른 사용자 마이크 및 앰비언트 마이크의 지향 패턴들을 측정한 그래프이다.9 is a graph in which directive patterns of a user's microphone and an ambient microphone are measured according to an exemplary embodiment.
도 9를 참조하면, 사용자 마이크는 양지향성 지향 패턴을 가지고, 앰비언트 마이크는 전지향성(또는 무지향성) 지향 패턴을 가지는 것을 알 수 있다. 예를 들어, 사용자 마이크는 전면(도 6의 +z방향)에 대응하는 330°~30°(사용자 마이크가 형성하는 일 면 기준 60°~120°) 영역으로부터 전달된 음향을 센싱할 수 있고, 후면(도 6의 -z방향)에 대응하는 150°~210°(사용자 마이크가 형성하는 일 면 기준 240°~300°) 영역으로부터 전달된 음향을 센싱할 수 있다. 예를 들어, 사용자 마이크는 30°(사용자 마이크가 형성하는 일 면 기준 120°) 영역에서는 0°(사용자 마이크가 형성하는 일 면 기준 90°) 영역 대비 대략 0.85배의 크기의 음향을 센싱할 수 있다.Referring to FIG. 9 , it can be seen that the user microphone has a bi-directional directing pattern and the ambient microphone has an omni-directional (or non-directional) directing pattern. For example, the user's microphone can sense sound transmitted from an area of 330° to 30° (60° to 120° based on one side formed by the user's microphone) corresponding to the front side (+z direction in FIG. 6), Sound transmitted from an area of 150° to 210° (240° to 300° based on one side formed by the user's microphone) corresponding to the rear surface (-z direction in FIG. 6) can be sensed. For example, the user's microphone can sense approximately 0.85 times as much sound in an area of 30° (120° based on one side formed by the user's microphone) than in an area of 0° (90° based on one side formed by the user's microphone). have.
앰비언트 마이크는 주변 360° 영역의 모든 방향으로부터 전달된 음향을 센싱할 수 있다.Ambient microphones can sense sound transmitted from all directions in a 360° area around them.
사용자 마이크는 90° 또는 270°(사용자 마이크가 형성하는 일 면 기준 0°)에 근접한 방향에서 수신되는 음향을 감쇄시킬 수 있다. 도 9에 따른 실시예에서 사용자 마이크는 60° 내지 120°의 방향에서 수신되는 음향에 대해서는 낮은 민감도로 반응하므로 해당 방향의 음향을 감쇄시킬 수 있다.The user's microphone may attenuate sound received from a direction close to 90° or 270° (0° based on one side formed by the user's microphone). In the embodiment of FIG. 9 , the user's microphone reacts with low sensitivity to sound received in a direction of 60° to 120°, and thus can attenuate sound in a corresponding direction.
도 9에서는 하나의 주파수에 대한 결과만을 도시했으나, 도 7에서 전술히였듯이, 사용자 마이크는 다양한 주파수에 대해 균일한 민감도를 가질 수 있으므로, 다양한 주파수에 대한 결과들도 유사한 형태의 지향 패턴을 형성할 수 있음은 물론이다. 예를 들어, 다양한 주파수들은 가청 주파수 영역의 주파수들일 수 있고, 사용자 마이크에 대해 주파수의 고저와 무관하게 유사한 형태의 지향 패턴이 형성될 수 있다.Although FIG. 9 shows the results for only one frequency, as described above in FIG. 7, since the user's microphone can have uniform sensitivity to various frequencies, the results for various frequencies can form similar directing patterns. Of course you can. For example, the various frequencies may be frequencies in the audible frequency range, and a directing pattern of a similar form may be formed for a user's microphone regardless of the high and low frequencies.
도 10a 및 도 10b는 사용자 음성의 발화 지점에 대한 진동부의 배치를 도시한 도면들이다.10A and 10B are diagrams illustrating the arrangement of a vibrator with respect to an ignition point of a user's voice.
도 10a 및 도 10b를 참조하면, 사용자 음성의 발화 지점(42)으로부터 전파된 사용자 음성이 진동부(112)가 형성하는 일 면(112a)에 수신될 수 있다.Referring to FIGS. 10A and 10B , the user voice propagated from the
도 10a에 도시된 바와 같이 사용자 음성의 전파 방향과 진동부(112)가 형성하는 일 면(112a)이 직교하는 경우 진동부(112)가 가장 민감하게 반응하고, 사용자 음성이 가장 크게 센싱될 수 있다. 따라서, 사용자 마이크는 진동부(112)(또는 복수의 진동부들)가 형성하는 일 면(112a)이 사용자 음성의 발화 지점(42)에 대응되는 방향으로 배치되도록 음향 신호 처리 장치 내에 배치될 수 있다.As shown in FIG. 10A, when the propagation direction of the user's voice and the
다시 말해, 사용자 마이크는 진동부(112)(또는 복수의 진동부들)가 형성하는 일 면(112a)과 사용자 음성의 발화 지점(42)으로부터 일 면(112a)으로 향하는 방향이 서로 대응되도록(바람직하게는 90°를 이루도록) 배치될 수 있다.In other words, in the user's microphone, one
한편, 일 면(112a)과 사용자 음성의 전파 방향이 이루는 각도가 90°인 경우 가장 큰 민감도로 음향이 센싱될 수 있지만, 공정상 또는 사용상의 여러 제약으로 인해 그 각도가 90°로 유지되기 어려울 수 있다. 예를 들어, 도 10b에 도시된 바와 같이 사용자 음성의 전파 방향과 일 면(112a)이 90° 미만의 각도를 이룰 수 있다. 다만, 이 경우에도 도 9에서 상술하였듯이 사용자 마이크는 사용자 음성을 센싱할 수 있다.On the other hand, when the angle between one
사용자 마이크는 공정상 및 사용상의 유연성을 확보하며 사용자 음성을 효과적으로 센싱하기 위한 각도로 음향 신호 처리 장치 내에 배치될 수 있다. 사용자 마이크는 진동부(112)(또는 복수의 진동부들)가 형성하는 일 면(112a)과 사용자 음성의 발화 지점(42)으로부터 일 면(112a)으로 향하는 방향이 60° 내지 120°를 이루도록 음향 신호 처리 장치에 배치될 수 있다. 도 9에 상술하였듯이 사용자 마이크가 60° 또는 120°로 음향을 수신하더라도 90°로 수신하는 것 대비 대략 0.85배의 크기로 음향을 수신할 수 있다. 따라서, 60° 내지 120°는 공정상 및 사용상의 유연성을 제공하며 사용자 음성을 센싱하기에 충분한 각도일 수 있다.The user's microphone may be disposed in the acoustic signal processing device at an angle to effectively sense the user's voice while ensuring flexibility in processing and use. The user's microphone is configured such that one
이와 같이 사용자 마이크가 사용자 음성의 발화 지점(42)을 지향하도록 배치된 경우, 사용자 음성의 발화 지점(42)과 이격된 곳에서 발생하는 외부 음향에 대해서는 낮은 민감도로 반응할 수 있다. 따라서, 사용자 마이크는 외부 음향을 감쇄시킬 수 있다.In this way, when the user's microphone is disposed to direct the user's voice to the
이러한 사용자 마이크의 배치가 음향 신호 처리 장치에 적용되는 실시예에 관해서는 도 17c를 참조하여 도시적으로 설명하도록 한다.An embodiment in which the arrangement of the user microphone is applied to the sound signal processing device will be illustrated with reference to FIG. 17C.
도 11은 일 실시예에 따른 음향 조정부의 음향 조정 과정을 도시한 도면이다.11 is a diagram illustrating a sound control process of a sound control unit according to an embodiment.
도 11을 참조하면, 2개의 시간 프레임들 각각에서, 상이한 주파수 대역을 센싱하는 3개의 진동 구조들에 의해 생성된 전기적 음향 신호 프레임들(1210a 내지 1210f)이 도시된다. 음향 신호 프레임들은 음향 조정부(1100)에 입력되며, 음향 조정부(1100)는 각 진동 구조에 하나씩 포함되거나, 사용자 마이크에 하나가 포함될 수도 있다.Referring to FIG. 11 , in each of two time frames, electrical
사용자 마이크의 음향 조정부(1100)는 임계값에 기초하여, 진동 구조들에 의해 생성된 전기적 신호들 중 감쇄시킬 전기적 신호를 결정할 수 있다. 음향 조정부(1100)는 결정된 전기적 신호를 감쇄시킬 수 있다. 여기서, 감쇄되는 전기적 신호는 외부 음향에 대응되는 신호일 수 있다. 음향 조정부(1100)에 의해 외부 음향에 대응되는 신호가 감쇄됨에 따라 사용자 음성이 극대화될 수 있다.The
“Frame 0”는 첫째 시간 구간에서 측정한 음향 신호 프레임을 나타낸다. “Frame j”는 상기 첫째 시간 구간 이후, j번째 시간 구간에서 측정한 음향 신호 프레임을 나타낸다. 제1 내지 제3 음향 신호 프레임들(1110a 내지 1110c)은 동일 시간 구간(첫째 시간 구간)에서 측정한 프레임들이고, 제4 내지 제6 음향 신호 프레임들(1110d 내지 1110f)도 동일 시간 구간(j번째 시간 구간)에서 측정한 프레임이다.“
제1 및 제4 음향 신호 프레임(1110a, 1110d)은 동일 주파수 대역에 있고, 동일 진동 구조를 통해 음향 조정부(1100)에 입력될 수 있다. 제2 및 제5 음향 신호 프레임(1110b, 1110e)은 동일 주파수 대역에 있고, 동일 진동 구조를 통해 음향 조정부(1100)에 입력될 수 있다. 제3 및 제6 음향 신호 프레임(1110c, 1110f)은 동일 주파수 대역에 있고, 동일 진동 구조를 통해 음향 조정부(1100)에 입력될 수 있다. 제1 및 제4 음향 신호 프레임(1110a, 1110d)의 주파수 대역과 제2 및 제5 음향 신호 프레임(1110b, 1110e)의 주파수 대역과 제3 및 제6 음향 신호 프레임(1110c, 1110f)의 주파수 대역은 상이하다.The first and fourth
도 11에서 “Drop”은 음향 조정부(1100)가 입력된 음향 신호를 감쇄시킬 음향 신호로 결정한 경우를 나타내고, “Add”는 음향 조정부(1100)가 입력된 음향 신호를 감쇄시키지 않는 경우를 나타낸다.In FIG. 11, “Drop” indicates a case in which the
도 11을 참조하면, 제1 내지 제4 음향 신호 프레임(1110a 내지 1110d)의 경우처럼 음향 신호의 세기가 임계값(T)이하이거나 임계값(T)을 초과하더라도 초과 정도가 설정된 값 이하인 경우, 음향 조정부(1100)는 해당 음향 신호를 감쇄시킬 수 있다(Drop).Referring to FIG. 11, as in the case of the first to fourth
반면, 제5 및 제6 음향 신호 프레임(1110e, 1110f)과 같이 음향 신호의 세기가 임계값(T)을 초과하고, 초과 정도가 기 설정된 값을 초과하는 경우, 음향 조정부(1100)는 해당 음향 신호를 감쇄시키지 않을 수 있다(Add).On the other hand, as in the fifth and sixth
음향 조정부(1100)의 출력 결과는 예를 들어 증폭부 등을 거쳐 프로세서(130)에 전달될 수 있다.An output result of the
도 12는 일 실시예에 따른 사용자 마이크로부터 생성된 사용자 음성 신호를 도시한 도면이다.12 is a diagram illustrating a user voice signal generated from a user microphone according to an exemplary embodiment.
도 12를 참조하면, 도 5의 비교예에 따른 방법으로 사용자 음성을 센싱한 결과를 나타낸 제1 그래프(1210) 및 사용자 마이크가 사용자 음성을 센싱한 결과를 나타낸 제2 그래프(1220)가 도시된다.Referring to FIG. 12, a
제1 그래프(1210)는 도 5의 비교예에 따라 복수의 앰비언트 마이크들을 이용하여 외부 음향을 감쇄한 결과를 나타낸다. 제1 그래프(1210)에는 사용자 음성에 대응되는 신호(1210a) 및 외부 음향에 대응되는 신호(1210b)가 나타난다. 외부 음향에 대응되는 신호(1210b)는 사용자 음성에 대응되는 신호(1210a)보다는 감쇄된 것으로 확인되나 센싱될 수 있을 정도의 신호가 남아있음이 확인된다.A
제2 그래프(1220)는 사용자 마이크가 외부 음향 신호를 감쇄시킴으로써 생성한 사용자 음성 신호를 나타낸다. 제2 그래프(1220)에는 사용자 음성에 대응되는 신호(1220a) 및 외부 음향에 대응되는 신호(1220b)가 나타난다. 제2 그래프(1220)에서 외부 음향에 대응되는 신호(1220b)가 확연히 감쇄된 것으로 확인된다. 제2 그래프(1220)에서 외부 음향에 대응되는 신호(1220b)는 센싱되기 어려운 정도로서 무음에 가까운 수준으로 감쇄된 것이 확인된다.A
사용자 마이크는 진동 구조들이 갖는 지향성에 기초한, 사용자 음성의 발화 지점을 향한 배치를 통해 외부 음향을 감쇄시킬 수 있다. 또는, 사용자 마이크는 임계값에 기초하여 진동 구조들에 의해 생성된 신호들 중 일부 신호를 감쇄시킴으로써 외부 음향을 감쇄시킬 수 있다. 결과적으로, 사용자 마이크는 상술한 두가지 방법들 중 하나 또는 두가지 방법을 모두 사용함으로써 외부 음향 신호를 감쇄시키고, 사용자 음성 신호를 생성할 수 있다.The user's microphone may attenuate external sound by being disposed toward an ignition point of the user's voice based on directivity of the vibration structures. Alternatively, the user's microphone may attenuate external sound by attenuating some of the signals generated by the vibration structures based on the threshold value. As a result, the user's microphone can attenuate an external sound signal and generate a user's voice signal by using one or both of the above two methods.
도 13은 일 실시예에 따른 차분 연산 방법을 설명하기 위한 도면이다.13 is a diagram for explaining a difference calculation method according to an exemplary embodiment.
도 13을 참조하면, 앰비언트 마이크(120)로부터 생성된 전체 음향 신호 및 사용자 마이크(110)로부터 생성된 사용자 음성 신호가 프로세서(130)에 입력될 수 있다. 프로세서(130)는 입력된 신호들에 대한 연산을 통해 외부 음향 신호를 생성할 수 있다.Referring to FIG. 13 , the entire sound signal generated from the
전체 음향은 외부 음향 및 사용자 음성을 포함하므로, 전체 음향에 대응되는 전체 음향 신호는 외부 음향에 대응되는 신호 및 사용자 음성에 대응되는 신호를 포함할 수 있다. 전체 음향 신호는 어느 종류의 음향도 감쇄되거나 강조되지 않은 신호일 수 있다. 사용자 음성 신호는 사용자 음성이 높은 민감도로 센싱되고 외부 음향이 낮은 민감도로 센싱됨으로써 전체 음향에서 외부 음향이 감쇄된 신호일 수 있다.Since the overall sound includes the external sound and the user's voice, the overall sound signal corresponding to the overall sound may include a signal corresponding to the external sound and a signal corresponding to the user's voice. The total acoustic signal may be a signal in which no kind of sound is attenuated or enhanced. The user voice signal may be a signal obtained by attenuating the external sound from the overall sound by sensing the user voice with high sensitivity and the external sound with low sensitivity.
따라서, 프로세서(130)는 전체 음향 신호로부터 사용자 음성 신호를 차분 연산함으로써 전체 음향 신호에서 사용자 음성에 대응되는 신호는 감쇄되고 외부 음향에 대응되는 신호는 유지되는 신호를 생성할 수 있다. 이와 같이 프로세서(130)는 외부 음향에 대응되는 신호가 강조된 외부 음향 신호를 생성할 수 있다.Accordingly, the
도 14는 도 13의 차분 연산 방법의 일 예를 설명하기 위한 도면이다.14 is a diagram for explaining an example of the difference calculation method of FIG. 13 .
도 14를 참조하면, 사용자 마이크(110)로부터 생성된 사용자 음성 신호가 적응 필터(1400)에 입력될 수 있다. 앰비언트 마이크(120)로부터 생성된 전체 음향 신호로부터, 적응 필터(1400)의 출력 신호가 차분 연산되고, 차분 연산의 결과인 피드백 신호가 적응 필터(1400)에 입력될 수 있다. 피드백된 적응 필터(1400)의 출력 신호가 전체 음향 신호로부터 차분 연산됨으로써 최종적으로 외부 음향 신호가 생성될 수 있다.Referring to FIG. 14 , a user voice signal generated from a
적응 필터(1400)는 피드백 신호에 기초하여 파라미터들을 조정할 수 있다. 여기서, 파라미터들은 차분 연산 결과 전체 음향 신호에서 사용자 음성이 감쇄될 수 있도록 조정될 수 있다. 적응 필터(1400)는 예를 들어, 오차 신호를 최소화하기 위한 최소 자승 평균(LMS) 알고리즘, 필터링된-X LMS(FXLMS) 알고리즘, 필터링된-오차 LMS(FELMS) 알고리즘, 경사 하강(steepest descent) 알고리즘 또는 재귀형 최소 자승(recursive least square, RLS) 알고리즘 등과 같은 다양한 알고리즘에 따라 동작할 수 있다. 파라미터들은 예를 들어, 신호들 간의 상관계수, 신호들의 딜레이 또는 신호들의 진폭에 관한 파라미터들을 포함할 수 있다. 상관계수는 스피어만 상관계수(Spearman correlation coefficient), 크론바흐 알파 계수(Cronbach's alpha) 또는 피어슨 상관계수(Pearson correlation coefficient) 등을 포함할 수 있다.
프로세서는 입력된 신호들에 대한 연산을 통해 외부 음향 신호를 생성할 수 있다. 프로세서는 사용자 음성 신호가 적응 필터(1400)에 입력됨에 따라 적응 필터(1400)로부터 출력되는 신호를 전체 음향 신호로부터 차분 연산함으로써 피드백 신호를 생성할 수 있다. 프로세서는 피드백 신호를 적응 필터(1400)에 입력함으로써 파라미터들을 조정하도록 적응 필터(1400)를 제어할 수 있다. 프로세서는 피드백 신호가 인가됨에 따라 파라미터들이 조정된 적응 필터(1400)로부터의 출력 신호를 전체 음향 신호로부터 차분 연산함으로써 최종적으로 사용자 음성에 대응되는 신호가 감쇄된 외부 음향 신호를 생성할 수 있다.The processor may generate an external acoustic signal through an operation on input signals. As the user voice signal is input to the
다른 실시예에서, 음향 신호 처리 장치는 적응 필터(1400)를 사용하지 않고 뉴럴 네트워크(Neural network) 연산을 통해 차분 연산을 수행할 수도 있다. 예를 들어, 음향 신호 처리 장치는 CNN(Convolution neural network) 연산, DNN(Deep neural network) 연산 또는 RNN(Recurrent neural network) 연산 등을 통해 차분 연산을 수행할 수 있다. 다만, 음향 신호 처리 장치에 채용되는 뉴럴 네트워크의 종류는 이에 제한되지 않는다.In another embodiment, the acoustic signal processing apparatus may perform a difference operation through a neural network operation without using the
도 15는 일 실시예에 따른 외부 음향 신호를 도시한 도면이다.15 is a diagram illustrating an external acoustic signal according to an exemplary embodiment.
도 15를 참조하면, 도 5의 비교예에 따른 방법으로 출력된 음향 신호를 나타낸 제1 그래프(1510) 및 음향 신호 처리 장치로부터 생성된 외부 음향 신호를 나타낸 제2 그래프(1520)가 도시된다. 제1 그래프(1510)에는 외부 음향에 대응되는 신호(1510b) 및 사용자 음성에 대응되는 신호(1510a)가 나타난다. 제2 그래프(1520)에 또한 외부 음향에 대응되는 신호(1520b) 및 사용자 음성에 대응되는 신호(1520a)가 나타난다.Referring to FIG. 15 , a
제1 그래프(1510)는 도 5의 비교예에 따라 복수의 앰비언트 마이크들을 이용하여 출력한 음향 신호를 나타낸다. 앰비언트 마이크에 근접한 지점에서 발화된 사용자 음성에 대응되는 신호(1510a)가 강조되며 외부 음향에 대응되는 신호(1510b)는 감쇄되어 나타난 것이 확인된다. 제1 그래프(1510)에 따르면 도 5의 비교예에서는 외부 음향이 명확히 센싱되지 않고, 외부 음향에 따른 기능들 또한 수행되기 어렵다.A
제2 그래프(1520)는 도 음향 신호 처리 장치가 생성한 외부 음향 신호를 나타낸다. 사용자 마이크 및 앰비언트 마이크와 사용자 음성의 발화 지점이 근접함에도 불구하고 사용자 음성에 대응되는 신호(1520a)가 감쇄된 것이 확인된다. 반면에 외부 음향에 대응되는 신호(1520b)는 강조된 것이 확인된다. 제2 그래프(1520)에 따르면 음향 신호 처리 장치는 사용자 음성을 배제하며 외부 음향을 명확히 센싱할 수 있고, 이에 따라 외부 음향에 응답하여 대응되는 기능을 수행할 수 있다.A
제1 그래프(1510)에서는 외부 음향에 대응되는 신호(1510b)가 -34.45dB로 측정되고 사용자 음성에 대응되는 신호(1510a)가 -17.76dB로 측정되었다. 제2 그래프(1520)에서는 외부 음향에 대응되는 신호(1520b)가 -19.98dB로 측정되고 사용자 음성에 대응되는 신호(1520a)가 -25.41dB로 측정되었다. 따라서, 외부 음향에 대응되는 신호(1510b, 1520b) 대비 사용자 음성에 대응되는 신호(1510a, 1520a)의 차이는 제1 그래프(1510)에서 -16.69dB가 되고 제2 그래프(1520)에서 5.43dB가 된다. 이는 사용자 음성에 비하여 외부 음향이 강조된 정도를 나타내는 수치이며, 제1 그래프(1510) 및 제2 그래프(1520)에서 그 수치의 차이는 22.12dB이 된다. 음향 신호 처리 장치는 도 5의 비교예에 따른 경우보다 22dB이 넘는 수치만큼 사용자 음성 감쇄 및 외부 음향 강조를 수행함이 확인된다.In the
도 16a 및 도 16b는 실시예들에 따른 디스플레이를 도시한 도면들이다.16A and 16B are diagrams illustrating displays according to embodiments.
음향 신호 처리 장치는 시각 정보를 출력하는 디스플레이(1600)를 더 포함할 수 있다. 디스플레이(1600)는 프로세서의 제어에 응답하여 다양한 시각 정보를 표시할 수 있다. 프로세서는 사용자 음성 신호에 대응되는 기능 또는 외부 음향 신호에 대응되는 기능을 수행할 수 있다. 프로세서는 기능의 수행 결과를 디스플레이(1600)에 표시할 수 있다. 프로세서는 사용자 음성 신호에 대응되는 기능 및 외부 음향 신호에 대응되는 기능을 모두 수행하는 경우, 수행되는 기능들 각각의 수행 결과를 디스플레이(1600)의 상이한 영역에 표시할 수 있다.The sound signal processing apparatus may further include a
도 16a를 참조하면, 디스플레이(1600)는 하나의 프레임 내에 제1 영역(1600a) 및 제2 영역(1600b)을 포함할 수 있다. 예를 들어, 디스플레이(1600)는 사용자 음성 신호에 대응되는 기능의 수행 결과를 제1 영역(1600a)에 표시하고 외부 음향 신호에 대응되는 기능의 수행 결과를 제2 영역(1600b)에 표시할 수 있다.Referring to FIG. 16A , a
도 16b를 참조하면, 디스플레이(1600)는 개별적인 프레임으로 형성되는 제1 영역(1600a) 및 제2 영역(1600b)을 포함할 수 있다. 예를 들어, 디스플레이(1600)는 사용자 음성 신호에 대응되는 기능의 수행 결과를 제1 영역(1600a)에 표시하고 외부 음향 신호에 대응되는 기능의 수행 결과를 제2 영역(1600b)에 표시할 수 있다.Referring to FIG. 16B , the
도 17a 내지 도 17c는 음향 신호 처리 장치가 안경형 웨어러블 장치인 실시예들을 도시한 도면들이다.17A to 17C are diagrams illustrating embodiments in which a sound signal processing device is a glasses-type wearable device.
도 17a를 참조하면, 음향 신호 처리 장치(100)는 안경형 웨어러블 장치이며 안경 프레임(1700)을 포함할 수 있다. 안경 프레임(1700)은 안경 브릿지(1700a), 안경테(1700b) 및 안경 다리(1700c)를 포함할 수 있다.Referring to FIG. 17A , the sound
사용자 마이크 및 앰비언트 마이크는 안경 프레임(1700)에 배치될 수 있다. 사용자 마이크 및 앰비언트 마이크는 수신하고자 하는 음향에 따라 안경 프레임(1700)의 다양한 위치에 배치될 수 있다. 예를 들어, 사용자 마이크는 사용자 음성을 보다 근접한 위치에서 수신할 수 있도록 안경 브릿지(1700a) 또는 안경테(1700b)에 배치될 수 있다. 또한, 앰비언트 마이크는 안경테(1700b) 또는 안경 다리(1700c)에 배치될 수 있다.A user microphone and an ambient microphone may be placed in the
한편, 도 17a는 음향 신호 처리 장치(100)가 안경형 웨어러블 장치인 것으로 도시되었으나, 이는 예시에 불과하며 음향 신호 처리 장치(100)는 손목에 착용하는 워치(watch) 또는 팔찌 형태이거나, 목에 착용하는 목걸이 형태, 또는 귀에 착용하는 이어폰, 헤드폰 등의 다양한 형태의 웨어러블 장치일 수 있다. 음향 신호 처리 장치(100)는 사용자가 착용 가능한 형태라면 제한 없이 해당될 수 있다.On the other hand, FIG. 17A shows that the sound
도 17b를 참조하면 사용자 마이크(110)는 음향 신호 처리 장치(100)의 안경 브릿지(1700a)에 배치되고 앰비언트 마이크(120)는 음향 신호 처리 장치(100)의 안경 다리(1700c)에 배치될 수 있다.Referring to FIG. 17B , the
사용자 음성의 발화 지점은 사용자의 구강 또는 입술에 해당하므로, 사용자 마이크(110)는 발화 지점에 대응되도록 안경 브릿지(1700a)에 배치될 수 있다. 앰비언트 마이크(120)는 사용자의 측면 방향의 외부 음향을 보다 효과적으로 수신하고, 사용자 음성의 발화 지점에서 멀도록 안경 다리(1700c)에 배치될 수 있다. 다만, 상술하였듯이 마이크들의 배치는 안경 프레임(1700) 내에 다양한 위치들에 배치될 수 있다.Since the speech point of the user's voice corresponds to the user's mouth or lips, the user's
도 17c를 참조하면 사용자 음성의 발화 지점(42)으로부터 사용자 음성이 사용자 마이크(110)에 전파되는 것이 도시된다.Referring to FIG. 17C , the propagation of the user voice from the
사용자 음성의 발화 지점(42)은 사용자의 구강 또는 입술에 대응되는 위치일 수 있다. 사용자 음성은 사용자 마이크(110)에 전파되어 사용자 마이크(110)의 진동부(112)가 형성하는 일 면(112a)에 수신될 수 있다. 여기서, 사용자 음성이 진동부(112)가 형성하는 일 면(112a)에 수직으로 전파될 경우 사용자 마이크(110)에 의해 가장 큰 민감도로 센싱될 수 있다.The
따라서, 도 17c에 도시된 바와 같이 사용자 마이크(110)는 음향 신호 처리 장치(100)에서 사용자 음성의 발화 지점(42)으로부터 일 면(112a)으로 향하는 방향이 수직이 되도록 배치될 수 있다. 사용자의 정면 또는 측면으로부터 외부인의 음성이 수신되는 경우, 사용자 마이크(110)의 일 면(112a)과 평행한 방향으로 수신되므로 외부인 음성은 사용자 마이크(110)에 의해 가장 낮은 민감도로 센싱되거나, 센싱되지 않을 수 있다. 이와 같은 배치로 인해 사용자 마이크(110)는 외부 음향을 감쇄시키고 사용자 음성은 강조할 수 있다.Accordingly, as shown in FIG. 17C , the
다만, 공정상 또는 사용상의 제약으로 인해 수직을 유지하는 것이 어려우므로 사용자 마이크(110)는 일 면(112a)과 사용자 음성의 진행 방향이 60° 내지 120°를 이루도록 배치될 수도 있다. 도 9 및 도 10b를 참조하여 상술하였듯이 사용자 마이크(110)가 위 각도로 배치되더라도 사용자 음성을 효과적으로 센싱할 수 있고, 이에 따라 사용자 음성이 감쇄된 외부 음향 신호가 생성될 수 있다.However, since it is difficult to maintain a vertical position due to process or use restrictions, the
도 18a 및 도 18b는 디스플레이에 기능의 수행 결과가 표시되는 실시예들을 도시한 도면들이다.18A and 18B are diagrams illustrating embodiments in which a result of performing a function is displayed on a display.
도 18a 및 도 18b를 참조하면, 디스플레이는 제1 영역(1600a) 및 제2 영역(1600b)을 포함하고 각 영역에 상이한 시각 정보를 표시할 수 있다.Referring to FIGS. 18A and 18B , the display may include a
도 18a에 도시된 바와 같이 사용자 마이크(110) 및 앰비언트 마이크(120)는 외부 음향인 외부인 음성을 수신하고, 동시에 사용자 음성 또한 수신할 수 있다. 외부인 음성은 사용자 마이크(110)의 전면 방향에서 수신되므로 진동부가 형성하는 일 면에 평행하거나 평행에 가까운 각도록 수신될 수 있다. 이에 따라, 사용자 마이크(110)는 외부인 음성을 감쇄시킬 수 있다.As shown in FIG. 18A , the
음향 신호 처리 장치(100)는 사용자 마이크(110)를 이용하여 사용자 음성 신호를 생성하고, 신호들 간의 차분 연산을 통해 사용자 음성이 감쇄된 외부 음향 신호를 생성할 수 있다. 음향 신호 처리 장치(100)는 외부 음향 신호에 대응되는 시각 정보(120a)를 제1 영역(1600a)에 표시하고, 사용자 음성 신호에 대응되는 시각 정보(110a)를 제2 영역(1600b)에 표시할 수 있다.The sound
도 18a에 따른 실시예에서, 음향 신호 처리 장치(100)는 외부인 음성을 인식하고 이를 텍스트로 변환한 후 제1 영역(1600a)에 표시할 수 있다. 예를 들어, 외부인이 외국인인 경우, 음향 신호 처리 장치(100)는 수신된 외부인 음성에 대해 번역을 수행한 후 제1 영역(1600a)에 번역 결과를 표시할 수 있다. 동시에, 음향 신호 처리 장치(100)는 사용자 음성에 대응되는 기능을 수행하고 그 수행 결과를 제2 영역(1600b)에 표시할 수 있다.In the embodiment of FIG. 18A , the sound
도 18b에 도시된 바와 같이 사용자 마이크(110) 및 앰비언트 마이크(120)는 음향 출력 장치로부터 외부 음향(예를 들어, 음악 등)을 수신하고, 동시에 사용자 음성 또한 수신할 수 있다. 외부 음향은 사용자 마이크(110)의 전면 방향에서 수신되므로 진동부가 형성하는 일 면에 평행하거나 평행에 가까운 각도록 수신될 수 있다. 이에 따라, 사용자 마이크(110)는 외부 음향을 감쇄시킬 수 있다.As shown in FIG. 18B , the
음향 신호 처리 장치(100)는 사용자 마이크(110)를 이용하여 사용자 음성 신호를 생성하고, 신호들 간의 차분 연산을 통해 사용자 음성이 감쇄된 외부 음향 신호를 생성할 수 있다. 음향 신호 처리 장치(100)는 외부 음향 신호에 대응되는 시각 정보(120a)를 제1 영역(1600a)에 표시하고, 사용자 음성 신호에 대응되는 시각 정보(110a)를 제2 영역(1600b)에 표시할 수 있다.The sound
도 18b에 따른 실시예에서, 음향 신호 처리 장치(100)는 사용자 음성이 감쇄된 외부 음향 신호를 녹음 또는 녹화할 수 있다. 음향 신호 처리 장치(100)는 사용자 음성이 수신되더라도 사용자 음성을 효과적으로 감쇄시키므로 외부 음향만을 녹음할 수 있다. 예를 들어, 음향 신호 처리 장치(100)는 외부 음향을 녹음 중이라는 표시를 제1 영역(1600a)에 표시할 수 있다. 동시에, 음향 신호 처리 장치(100)는 사용자 음성에 대응되는 기능을 수행하고 그 수행 결과를 제2 영역(1600b)에 표시할 수 있다.In the embodiment according to FIG. 18B , the sound
한편, 상술한 수신된 신호들에 기초하여 수행되는 다양한 기능들은 예시에 불과하며 다양하게 변형되어 실시될 수 있다.Meanwhile, various functions performed based on the above-described received signals are merely examples and may be variously modified and implemented.
도 19는 다른 실시예에 따른 음향 신호 처리 장치의 구성을 도시한 블록도이다.19 is a block diagram showing the configuration of a sound signal processing device according to another embodiment.
도 19를 참조하면, 음향 신호 처리 장치(1900)는 사용자 마이크(1910), 앰비언트 마이크(1920) 및 프로세서(1930)를 포함할 수 있다. 도 19에 도시된 음향 신호 처리 장치(1900)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 음향 신호 처리 장치(1900)에 도 19에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다. 한편, 도 19의 사용자 마이크(1910)는 도 1의 사용자 마이크에 대응되며, 도 19의 앰비언트 마이크(1920)는 도 1의 앰비언트 마이크 및 도 5의 앰비언트 마이크와는 구조 및 동작 방법이 상이하고 도 1의 사용자 마이크와 유사한 구조를 가질 수 있다.Referring to FIG. 19 , a sound
도 19의 실시예에 따른 음향 신호 처리 장치(1900)는 도 1의 실시예에 따른 음향 신호 처리 장치와 달리 앰비언트 마이크(1920)가 사용자 마이크(1910)와 대응되는 구조를 가질 수 있다. 앰비언트 마이크(1920)는 사용자 마이크(1910)와 같이 복수의 진동 구조들을 포함하며, 수신되는 음향의 전파 방향을 고려하여 음향 신호 처리 장치(1900) 내에 배치될 수 있다.Unlike the sound signal processing device according to the embodiment of FIG. 1 , the sound
사용자 마이크(1910)는 제1 면(plane)을 형성하며 제1 면을 통해 음향을 수신할 수 있다. 사용자 마이크(1910)는, 제1 면이 사용자 음성의 발화 지점에 대응되는 방향으로 배치되도록 음향 신호 처리 장치(1900) 내에 배치될 수 있다. 이와 같은 배치로 인해 사용자 마이크(1910)는 외부 음향이 감쇄된 사용자 음성 신호를 생성할 수 있다.The
앰비언트 마이크(1920)는 제2 면(plane)을 형성하며 제2 면을 통해 음향을 수신할 수 있다. 앰비언트 마이크(1920)는, 제2 면이 사용자 마이크가 배치되는 방향과 상이한 방향으로 배치되도록 음향 신호 처리 장치(1900) 내에 배치될 수 있다. 따라서, 앰비언트 마이크(1920)는 사용자 음성의 발화 지점에 대응되도록 배치되지 않으므로, 앰비언트 마이크(1920)에서는 사용자 마이크(1910)에서 생성되는 음향 신호에 비하여 사용자 음성이 감쇄된 음향 신호가 생성될 수 있다.The
또한, 앰비언트 마이크(1920)는, 제2 면이 외부 음향의 발생 지점에 대응되는 방향으로 배치되도록 음향 신호 처리 장치(1900) 내에 될 수 있다. 앰비언트 마이크(1920)의 이와 같은 배치로 인해 외부 음향은 높은 민감도로 센싱되고 사용자 음성은 낮은 민감도로 센싱될 수 있다. 따라서, 앰비언트 마이크(1920)에 수신된 전체 음향에서 사용자 음성은 감쇄되고, 앰비언트 마이크(1920)에서 생성되는 음향 신호인 제1 외부 음향 신호는 사용자 음성이 감쇄된 신호일 수 있다.Also, the
프로세서(1930)는 제1 외부 음향 신호로부터 사용자 음성 신호를 차분 연산함으로써 제2 외부 음향 신호를 생성할 수 있다. 제1 외부 음향 신호에는 사용자 음성이 이미 감쇄되어 센싱되어있지만, 프로세서(1930)는 앰비언트 마이크(1920)의 제1 외부 음향 신호로부터 사용자 마이크(1910)의 사용자 음성 신호를 차분 연산함으로써 사용자 음성이 보다 더 감쇄된 제2 외부 음향 신호를 생성할 수 있다.The
도 20은 도 19의 실시예에 따른 사용자 마이크 및 앰비언트 마이크의 배치를 설명하기 위한 도면이다.FIG. 20 is a diagram for explaining arrangement of a user microphone and an ambient microphone according to the embodiment of FIG. 19 .
도 20을 참조하면, 사용자 음성의 발화 지점(42)으로부터 전파된 사용자 음성이 사용자 마이크의 진동부(1912)가 형성하는 제1 면(1912a)에 수신될 수 있다. 또한, 외부 음향의 발생 지점(43)으로부터 전파된 외부 음향이 앰비언트 마이크의 진동부(1922)가 형성하는 제2 면(1922a)에 수신될 수 있다.Referring to FIG. 20 , the user's voice propagated from the
도 20에 도시된 바와 같이 사용자 음성의 전파 방향과 사용자 마이크의 진동부(1912)가 형성하는 제1 면(1912a)이 직교하는 경우 진동부(1912)가 가장 민감하게 반응하고, 사용자 음성이 가장 크게 센싱될 수 있다. 따라서, 사용자 마이크는 진동부(1912)(또는 복수의 진동부들)가 형성하는 제1 면(1912a)이 사용자 음성의 발화 지점(42)에 대응되는 방향으로 배치되도록 음향 신호 처리 장치 내에 배치될 수 있다.As shown in FIG. 20, when the propagation direction of the user's voice and the
다시 말해, 사용자 마이크는 진동부(1912)(또는 복수의 진동부들)가 형성하는 제1 면(1912a)과 사용자 음성의 발화 지점(42)으로부터 일 면(1912a)으로 향하는 방향이 서로 대응되도록(바람직하게는 90°를 이루도록) 배치될 수 있다. 예를 들어, 사용자 마이크는 진동부(1912)(또는 복수의 진동부들)가 형성하는 제1 면(1912a)과 사용자 음성의 발화 지점(42)으로부터 제1 면(1912a)으로 향하는 방향이 60° 내지 120°를 이루도록 음향 신호 처리 장치에 배치될 수 있다.In other words, in the user's microphone, the
또한, 도 20에 도시된 바와 같이 외부 음향의 전파 방향과 앰비언트 마이크의 진동부(1922)가 형성하는 제2 면(1922a)이 직교하는 경우 진동부(1922)가 가장 민감하게 반응하고, 외부 음향이 가장 크게 센싱될 수 있다. 따라서, 앰비언트 마이크는 진동부(1922)(또는 복수의 진동부들)가 형성하는 제2 면(1922a)이 외부 음향의 발생 지점(43)에 대응되는 방향으로 배치되도록 음향 신호 처리 장치 내에 배치될 수 있다.20, when the propagation direction of the external sound and the
다시 말해, 앰비언트 마이크는 진동부(1922)(또는 복수의 진동부들)가 형성하는 제2 면(1922a)과 외부 음향의 발생 지점(43)으로부터 제2 면(1922a)으로 향하는 방향이 서로 대응되도록(바람직하게는 90°를 이루도록) 배치될 수 있다. 예를 들어, 앰비언트 마이크는 진동부(1922)(또는 복수의 진동부들)가 형성하는 제2 면(1922a)과 외부 음향의 발생 지점(43)으로부터 제2 면(1922a)으로 향하는 방향이 60° 내지 120°를 이루도록 음향 신호 처리 장치에 배치될 수 있다.In other words, in the ambient microphone, the
도 20에 도시된 바와 같이 음향 신호 처리 장치 내에서 사용자 마이크 및 앰비언트 마이크가 각각 상이한 지점에 대응되는 방향으로 배치됨에 따라, 사용자 마이크의 제1 면(1912a)에는 외부 음향이 90°에서 먼 각도(또는 평행에 근접한 각도로)로 수신되고, 앰비언트 마이크의 제2 면(1922a)에는 사용자 음성이 90°에서 먼 각도(또는 평행에 근접한 각도로)로 수신될 수 있다. 따라서, 사용자 마이크에는 외부 음향이 낮은 민감도로 센싱되고 앰비언트 마이크에는 사용자 음성이 낮은 민감도로 센싱될 수 있다. 즉, 사용자 마이크는 외부 음향이 감쇄된 사용자 음성 신호를 생성할 수 있고, 앰비언트 마이크는 사용자 음성이 감쇄된 제1 외부 음향 신호를 생성할 수 있다.As shown in FIG. 20, as the user microphone and the ambient microphone are arranged in directions corresponding to different points in the sound signal processing apparatus, the external sound is emitted on the
도 17a 내지 도 17c의 실시예에서와 같이, 음향 신호 처리 장치가 안경형 웨어러블 장치인 경우, 사용자 마이크는 제1 면(1912a)이 사용자 음성의 발화 지점인 사용자의 입술 또는 구강에 대응되는 방향으로 배치되도록 음향 신호 처리 장치 내에 배치될 수 있다. 앰비언트 마이크는 사용자 마이크가 배치되는 방향과는 상이한 방향으로 배치되며, 제2 면(1922a)이 사용자의 정면 또는 측면에 대응되는 방향으로 배치되도록 음향 신호 처리 장치 내에 배치될 수 있다.As in the embodiments of FIGS. 17A to 17C , when the sound signal processing device is a glasses-type wearable device, the
도 18a의 실시예를 참조하면, 외부 음향인 외부인의 음성이 사용자의 정면으로부터 수신될 수 있다. 앰비언트 마이크의 제2 면(1922a)이 외부 음향의 발생 지점인 사용자의 정면에 대응되는 방향으로 배치된 경우, 외부인의 음성은 엠비언트 마이크게 높은 민감도로 센싱되는 동시에 사용자 마이크에는 낮은 민감도로 센싱될 수 있다. 이 경우, 앰비언트 마이크는 외부 음향을 높은 민감도로 센싱하므로 사용자 음성이 감쇄된 제1 외부 음향 신호를 생성할 수 있다.Referring to the embodiment of FIG. 18A , an outsider's voice, which is external sound, may be received from the front of the user. When the
도 18b의 실시예에서도 마찬가지로, 외부 음향(예를 들어, 음악 등)이 사용자의 정면으로부터 수신되므로 앰비언트 마이크의 제2 면(1922a)이 외부 음향의 발생 지점인 사용자의 정면에 대응되는 방향으로 배치된 경우, 앰비언트 마이크는 외부 음향을 높은 민감도로 센싱할 수 있다.Similarly in the embodiment of FIG. 18B, since external sound (eg, music, etc.) is received from the front of the user, the
한편, 앰비언트 마이크의 제2 면(1922a)이 배치되는 방향은 사용자의 정면 또는 측면에 한정되지 않으며, 설계에 따라 다양한 방향으로 배치될 수 있다.Meanwhile, the direction in which the
도 21은 도 19의 실시예에 따른 차분 연산 방법을 설명하기 위한 도면이다.21 is a diagram for explaining a difference calculation method according to the embodiment of FIG. 19 .
도 21을 참조하면, 앰비언트 마이크(1920)로부터 생성된 제1 외부 음향 신호 및 사용자 마이크(1910)로부터 생성된 사용자 음성 신호가 프로세서(1930)에 입력될 수 있다. 프로세서(1930)는 입력된 신호들에 대한 연산을 통해 제2 외부 음향 신호를 생성할 수 있다.Referring to FIG. 21 , the first external sound signal generated from the
제1 외부 음향 신호는 외부 음향이 높은 민감도로 센싱되고 사용자 음성은 낮은 민감도로 센싱됨으로써 전체 음향에서 사용자 음성이 감쇄된 신호일 수 있다. 사용자 음성 신호는 사용자 음성이 높은 민감도로 센싱되고 외부 음향이 낮은 민감도로 센싱됨으로써 전체 음향에서 외부 음향이 감쇄된 신호일 수 있다.The first external sound signal may be a signal in which the user's voice is attenuated from the overall sound by sensing the external sound with high sensitivity and the user's voice with low sensitivity. The user voice signal may be a signal obtained by attenuating the external sound from the overall sound by sensing the user voice with high sensitivity and the external sound with low sensitivity.
프로세서(1930)는 제1 외부 음향 신호로부터 사용자 음성 신호를 차분 연산함으로써 제1 외부 음향 신호에서 사용자 음성에 대응되는 신호는 더욱 감쇄되고 외부 음향에 대응되는 신호는 유지되는 신호를 생성할 수 있다.The
프로세서(1930)는 적응 필터 또는 뉴럴 네트워크 등을 이용하여 신호들 간의 차분 연산을 수행할 수 있다.The
도 22는 또 다른 실시예에 따른 음향 신호 처리 장치의 구성을 도시한 블록도이다.22 is a block diagram showing the configuration of a sound signal processing device according to another embodiment.
도 22를 참조하면, 음향 신호 처리 장치(2200)는 지향성 마이크(2210), 앰비언트 마이크(2220) 및 프로세서(2230)를 포함할 수 있다. 음향 신호 처리 장치(2200)는 음향 출력 장치(2300)로부터의 출력 음향을 수신할 수 있다. 도 22에 도시된 음향 신호 처리 장치(2200)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 음향 신호 처리 장치(2200)에 도 22에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음은 당업자에게 자명하다. 한편, 도 22의 지향성 마이크(2210)는 도 1의 사용자 마이크에 대응될 수 있다.Referring to FIG. 22 , a sound
도 22의 실시예에서 음향 신호 처리 장치(2200)는 사용자에게 착용되지 않는 장치로서 음향 출력 장치(2300)에 근접하게 배치되거나, 음향 출력 장치(2300)에 포함될 수 있다. 도 22의 실시예의 출력 음향은 도 1의 실시예의 사용자 음성에 대응될 수 있다.In the embodiment of FIG. 22 , the sound
도 1의 실시예에서 음향 신호 처리 장치(2200)가 차분 연산을 통해 근접한 위치에서 발생하는 사용자 음성을 감쇄시키는 반면, 도 22의 실시예에서 음향 신호 처리 장치(2200)는 음향 출력 장치(2300)와 근접하므로, 차분 연산을 통해 근접한 위치에서 발생하는 출력 음향을 감쇄시킬 수 있다. 도 22의 실시예에서 음향 신호 처리 장치(2200)는 출력 음향이 감쇄된 외부 음향을 생성하는데, 외부 음향에는 사용자 음성이 포함될 수 있다. 따라서, 음향 출력 장치(2300)는 출력 음향을 수신하는 와중에도, 출력 음향이 감쇄되고 사용자 음성이 강조된 외부 음향 신호를 생성할 수 있다.In the embodiment of FIG. 1 , the sound
지향성 마이크(2210)는 음향 출력 장치(2300)로부터의 출력 음향 및 음향 출력 장치(2300)의 외부로부터 발생하는 외부 음향을 포함하는 전체 음향을 수신할 수 있다. 지향성 마이크(2210)는 수신된 전체 음향에서 외부 음향을 감쇄시킴으로써 출력 음향 신호를 생성할 수 있다. 지향성 마이크(2210)는, 전체 음향을 수신하는 일 면이 출력 음향의 발생 지점에 대응되는 방향으로 배치되도록 음향 신호 처리 장치(2200) 내에 배치될 수 있다. 지향성 마이크(2210)의 이와 같은 배치로 인해 출력 음향은 높은 민감도로 센싱되고 외부 음향은 낮은 민감도로 센싱될 수 있다. 따라서, 지향성 마이크(2210)에 수신된 전체 음향에서 외부 음향은 감쇄되고, 지향성 마이크(2210)에서 생성되는 음향 신호인 출력 음향 신호는 외부 음향이 감쇄된 신호일 수 있다.The
예를 들어, 지향성 마이크(2210)는 음향을 수신하는 일 면과 출력 음향의 발생 지점으로부터 일 면으로 향하는 방향이 60° 내지 120°를 이루도록 배치될 수 있다.For example, the
앰비언트 마이크(2220)는 전체 음향을 수신하고, 수신된 전체 음향으로부터 전체 음향 신호를 생성할 수 있다. 프로세서(2230)는 전체 음향 신호로부터 출력 음향 신호를 차분 연산함으로써 출력 음향이 감쇄된 외부 음향 신호를 생성할 수 있다.The
도 22의 음향 신호 처리 장치(2200)는 감쇄 또는 강조하는 신호의 종류만이 상이할뿐 동작 방법 및 배치는 도 1의 음향 신호 처리 장치에 대응되므로, 중복되는 설명은 생략한다.The sound
도 23은 도 22의 실시예에 따른 차분 연산 방법을 설명하기 위한 도면이다.FIG. 23 is a diagram for explaining a difference calculation method according to the embodiment of FIG. 22 .
도 23을 참조하면, 앰비언트 마이크(2220)로부터 생성된 전체 음향 신호 및 지향성 마이크(2210)로부터 생성된 출력 음향 신호가 프로세서(2230)에 입력될 수 있다. 프로세서(2230)는 입력된 신호들에 대한 연산을 통해 외부 음향 신호를 생성할 수 있다.Referring to FIG. 23 , the entire sound signal generated from the
전체 음향은 외부 음향 및 출력 음향을 포함하므로, 전체 음향에 대응되는 전체 음향 신호는 외부 음향에 대응되는 신호 및 출력 음향에 대응되는 신호를 포함할 수 있다. 한편, 외부 음향에는 사용자 음성이 포함될 수 있다. 전체 음향 신호는 어느 종류의 음향도 감쇄되거나 강조되지 않은 신호일 수 있다. 출력 음향 신호는 출력 음향이 높은 민감도로 센싱되고 외부 음향이 낮은 민감도로 센싱됨으로써 전체 음향에서 외부 음향이 감쇄된 신호일 수 있다.Since the total sound includes external sound and output sound, the total sound signal corresponding to the total sound may include a signal corresponding to the external sound and a signal corresponding to the output sound. Meanwhile, the external sound may include a user's voice. The total acoustic signal may be a signal in which no kind of sound is attenuated or enhanced. The output sound signal may be a signal obtained by attenuating the external sound from the overall sound by sensing the output sound with high sensitivity and the external sound with low sensitivity.
따라서, 프로세서(2230)는 전체 음향 신호로부터 출력 음향 신호를 차분 연산함으로써 전체 음향 신호에서 출력 음향에 대응되는 신호는 감쇄되고 외부 음향(또는 사용자 음성)에 대응되는 신호는 유지되는 신호를 생성할 수 있다. 이와 같이 프로세서(2230)는 외부 음향에 대응되는 신호가 강조된 외부 음향 신호를 생성할 수 있다.Accordingly, the
프로세서(2230)는 적응 필터 또는 뉴럴 네트워크 등을 이용하여 신호들 간의 차분 연산을 수행할 수 있다.The
도 24는 일 실시예에 따른 음향 신호 처리 방법을 나타내는 흐름도이다.24 is a flowchart illustrating a sound signal processing method according to an exemplary embodiment.
도 24를 참조하면, 음향 신호 처리 방법은 도 1에 도시된 음향 신호 처리 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 등을 참조하여 음향 신호 처리 장치에 관하여 전술된 내용은 도 24의 방법에도 적용됨을 알 수 있다.Referring to FIG. 24 , the sound signal processing method includes steps processed time-sequentially in the sound signal processing apparatus shown in FIG. 1 . Therefore, it can be seen that even if the content is omitted below, the above description of the acoustic signal processing apparatus with reference to FIG. 1 is also applied to the method of FIG. 24 .
단계 2410에서, 음향 신호 처리 장치는 사용자 음성 및 사용자의 외부로부터 발생하는 외부 음향을 포함하는 전체 음향을 수신할 수 있다.In
음향 신호 처리 장치는 상이한 주파수 대역의 음향을 센싱하는 복수의 진동 구조들 각각이 수신된 전체 음향의 주파수에 기초하여, 전체 음향을 수신하도록 형성된 일 면에 직교하는 방향으로 진동하는 진동할 수 있다.The sound signal processing apparatus may vibrate so that each of the plurality of vibration structures sensing sounds of different frequency bands vibrates in a direction orthogonal to a surface configured to receive all sounds, based on the frequencies of all sounds received.
음향 신호 처리 장치는 수신되는 음향의 전파 방향과 일 면이 이루는 각도에 기초한 진동 세기로 진동할 수 있다.The sound signal processing apparatus may vibrate with a vibration intensity based on an angle formed between the propagation direction of the received sound and one surface.
음향 신호 처리 장치는 각도가 90°에 근접할수록 큰 진동 세기로 진동하고, 각도가 0°에 근접할수록 작은 진동 세기로 진동할 수 있다.The sound signal processing device may vibrate with a higher vibration intensity as the angle approaches 90° and vibrate with a smaller vibration intensity as the angle approaches 0°.
음향 신호 처리 장치는 복수의 진동 구조들 각각의 진동에 대응되는 전기적 신호를 생성할 수 있다.The sound signal processing apparatus may generate an electrical signal corresponding to vibration of each of the plurality of vibration structures.
단계 2420에서, 음향 신호 처리 장치는 수신된 전체 음향으로부터 전체 음향 신호를 생성할 수 있다.In
단계 2430에서, 음향 신호 처리 장치는 수신된 전체 음향에서 외부 음향이 감쇄된 사용자 음성 신호를 생성할 수 있다.In
음향 신호 처리 장치는 임계값에 기초하여, 전기적 신호들 중 감쇄시킬 전기적 신호를 결정하고, 결정된 전기적 신호를 감쇄시킬 수 있다.The acoustic signal processing apparatus may determine an electrical signal to be attenuated among electrical signals based on the threshold value and attenuate the determined electrical signal.
음향 신호 처리 장치는 전기적 신호들의 평균 크기에 기초하여 임계값을 결정할 수 있다.The acoustic signal processing apparatus may determine a threshold value based on average amplitudes of electrical signals.
단계 2440에서, 음향 신호 처리 장치는 전체 음향 신호로부터 사용자 음성 신호를 차분 연산함으로써 사용자 음성이 감쇄된 외부 음향 신호를 생성할 수 있다.In
음향 신호 처리 장치는 사용자 음성 신호를 적응 필터에 입력하고, 적응 필터로부터 출력되는 신호를 전체 음향 신호로부터 차분 연산함으로써 피드백 신호를 생성하고, 피드백 신호를 적응 필터에 입력함으로써 파라미터들을 조정하도록 적응 필터를 제어할 수 있다.The acoustic signal processing apparatus generates a feedback signal by inputting a user voice signal to an adaptive filter, performing a differential operation on a signal output from the adaptive filter from an overall acoustic signal, and inputting the feedback signal to the adaptive filter to adjust parameters of the adaptive filter. You can control it.
음향 신호 처리 장치는 사용자 음성 신호에 대응되는 기능 및 외부 음향 신호에 대응되는 기능을 수행하고, 기능들 각각의 수행 결과를 디스플레이의 상이한 영역에 표시할 수 있다.The sound signal processing apparatus may perform a function corresponding to a user voice signal and a function corresponding to an external sound signal, and display results of each of the functions on different areas of the display.
상술한 바와 같이, 음향 신호 처리 장치는 별도의 연산 과정 없이 사용자 음성 신호를 생성할 수 있고, 사용자 음성 신호 및 전체 음향 신호에 대해 간단한 연산만을 통해 사용자 음성이 감쇄된 외부 음향 신호를 생성할 수 있다. 음향 신호 처리 장치는 생성된 사용자 음성 신호 및 외부 음향 신호 각각을 활용하여 다양한 기능을 수행할 수 있다.As described above, the sound signal processing apparatus can generate a user voice signal without a separate calculation process, and can generate an external sound signal in which the user voice is attenuated through a simple operation on the user voice signal and all sound signals. . The sound signal processing apparatus may perform various functions by utilizing each of the generated user voice signal and external sound signal.
한편, 전술한 도 24의 동작 방법은 그 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 기록될 수 있다. 컴퓨터로 읽을 수 있는 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Meanwhile, the above-described operating method of FIG. 24 may be recorded in a computer-readable recording medium in which one or more programs including instructions for executing the method are recorded. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks. magneto-optical media, such as ROM, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present disclosure is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present disclosure defined in the following claims are also within the scope of the present invention. belongs to
Claims (24)
상기 전체 음향을 수신하고, 상기 수신된 전체 음향으로부터 전체 음향 신호를 생성하는 앰비언트 마이크(ambient microphone); 및
상기 전체 음향 신호로부터 상기 사용자 음성 신호를 차분 연산함으로써 상기 사용자 음성이 감쇄된 외부 음향 신호를 생성하는 프로세서를 포함하는, 음향 신호 처리 장치.Receives the entire sound including the user's voice and external sound generated from the outside of the user, and a plane receiving the entire sound is disposed in a direction corresponding to the ignition point of the user's voice, thereby receiving the entire sound a user microphone for generating a user voice signal in which the external sound is attenuated;
an ambient microphone for receiving the overall sound and generating an overall sound signal from the received overall sound; and
and a processor configured to generate an external audio signal in which the user voice is attenuated by differentially calculating the user voice signal from the entire audio signal.
상기 사용자 마이크는,
상이한 주파수 대역의 음향을 센싱하는 복수의 진동 구조들을 포함하고,
상기 복수의 진동 구조들 각각은,
상기 전체 음향을 수신하는 상기 일 면을 형성하고, 상기 전체 음향이 수신됨에 따라 상기 전체 음향의 주파수에 기초하여 상기 일 면에 직교하는 방향으로 진동하는 진동부를 포함하는, 음향 신호 처리 장치.According to claim 1,
The user microphone,
Includes a plurality of vibration structures for sensing sounds of different frequency bands;
Each of the plurality of vibration structures,
and a vibration unit configured to form the one side that receives the entire sound and vibrate in a direction orthogonal to the one side based on a frequency of the entire sound as the entire sound is received.
상기 진동부는,
수신되는 음향의 전파 방향과 상기 진동부가 형성하는 일 면이 이루는 각도에 기초한 진동 세기(intensity)로 진동하는, 음향 신호 처리 장치.According to claim 2,
the vibrator,
A sound signal processing device that vibrates with a vibration intensity based on an angle between a propagation direction of a received sound and a surface formed by the vibration unit.
상기 진동부는,
상기 각도가 90°에 근접할수록 큰 진동 세기로 진동하고, 상기 각도가 0°에 근접할수록 작은 진동 세기로 진동하는, 음향 신호 처리 장치.According to claim 3,
the vibrator,
The sound signal processing apparatus vibrates with a large vibration intensity as the angle approaches 90 ° and vibrates with a small vibration intensity as the angle approaches 0 °.
상기 사용자 마이크는,
상기 일 면과 상기 사용자 음성의 발화 지점으로부터 상기 일 면으로 향하는 방향이 60° 내지 120°를 이루도록 배치되는, 음향 신호 처리 장치.According to claim 2,
The user microphone,
The acoustic signal processing device is arranged so that the one surface and a direction from the ignition point of the user voice to the one surface form an angle of 60 ° to 120 °.
상기 복수의 진동 구조들 각각은,
상기 진동부의 진동을 수신하고, 상기 수신된 진동에 대응되는 전기적 신호를 생성하는 진동 검출부를 더 포함하는, 음향 신호 처리 장치.According to claim 2,
Each of the plurality of vibration structures,
The acoustic signal processing apparatus further comprises a vibration detection unit for receiving the vibration of the vibration unit and generating an electrical signal corresponding to the received vibration.
상기 사용자 마이크는,
임계값에 기초하여, 상기 진동 구조들에 의해 생성된 전기적 신호들 중 감쇄시킬 전기적 신호를 결정하고, 상기 결정된 전기적 신호를 감쇄시키는 음향 조정부를 더 포함하는, 음향 신호 처리 장치.According to claim 6,
The user microphone,
The acoustic signal processing apparatus further comprises a sound control unit that determines an electrical signal to be attenuated among electrical signals generated by the vibration structures based on a threshold value, and attenuates the determined electrical signal.
상기 음향 조정부는,
상기 진동 구조들에 의해 생성된 전기적 신호들의 평균 크기에 기초하여 상기 임계값을 결정하는, 신호 처리 장치.According to claim 7,
The sound control unit,
and determining the threshold value based on an average magnitude of electrical signals generated by the vibrating structures.
상기 신호 처리 장치는,
피드백 신호에 기초하여 상기 전체 음향 신호에서 상기 사용자 음성이 감쇄되도록 파라미터들을 조정하는 적응 필터(adpative filter)를 더 포함하고,
상기 프로세서는,
상기 사용자 음성 신호가 상기 적응 필터에 입력됨에 따라 상기 적응 필터로부터 출력되는 신호를 상기 전체 음향 신호로부터 차분 연산함으로써 상기 피드백 신호를 생성하고, 상기 피드백 신호를 상기 적응 필터에 입력함으로써 상기 파라미터들을 조정하도록 상기 적응 필터를 제어하는, 음향 신호 처리 장치.According to claim 1,
The signal processing device,
Further comprising an adaptive filter for adjusting parameters such that the user's voice is attenuated from the entire acoustic signal based on a feedback signal;
the processor,
As the user voice signal is input to the adaptive filter, the feedback signal is generated by performing a differential operation on a signal output from the adaptive filter from the entire acoustic signal, and the parameters are adjusted by inputting the feedback signal to the adaptive filter. An acoustic signal processing device that controls the adaptive filter.
상기 음향 신호 처리 장치는,
시각 정보를 출력하는 디스플레이를 더 포함하고,
상기 프로세서는,
상기 사용자 음성 신호에 대응되는 기능 및 상기 외부 음향 신호에 대응되는 기능을 수행하고, 상기 기능들 각각의 수행 결과가 상기 디스플레이의 상이한 영역에 표시되도록 상기 디스플레이를 제어하는, 음향 신호 처리 장치.According to claim 1,
The sound signal processing device,
Further comprising a display outputting visual information,
the processor,
Acoustic signal processing apparatus for performing a function corresponding to the user voice signal and a function corresponding to the external acoustic signal, and controlling the display so that a result of performing each of the functions is displayed in a different area of the display.
상기 음향 신호 처리 장치는 안경형 웨어러블 장치이고,
상기 사용자 마이크 및 상기 앰비언트 마이크는 상기 안경형 웨어러블 장치의 안경 프레임에 배치되고,
상기 사용자 마이크는 상기 전체 음향을 수신하는 일 면이 상기 사용자 음성의 발화지점을 향하도록 배치되는, 음향 신호 처리 장치.According to claim 1,
The sound signal processing device is a glasses-type wearable device,
The user microphone and the ambient microphone are disposed on the glasses frame of the glasses-type wearable device;
The user microphone is arranged such that one surface receiving the entire sound faces an ignition point of the user voice.
상기 사용자 마이크는 상기 안경형 웨어러블 장치의 안경 브릿지(brigde) 또는 안경테에 배치되고,
상기 앰비언트 마이크는 상기 사용자 마이크와 이격되며 상기 안경형 웨어러블 장치의 안경테 또는 안경 다리에 배치되는, 음향 신호 처리 장치.According to claim 11,
The user's microphone is disposed on a glasses bridge or a glasses frame of the glasses-type wearable device,
The ambient microphone is spaced apart from the user microphone and is disposed on a frame or temple of the glasses-type wearable device.
상기 전체 음향을 수신하고, 상기 전체 음향을 수신하는 일 면이 상기 사용자 마이크가 배치되는 방향과 상이한 방향으로 배치되되 상기 외부 음향의 발생 지점에 대응되는 방향으로 배치됨으로써 상기 수신된 전체 음향에서 상기 사용자 음성이 감쇄된 제1 외부 음향 신호를 생성하는 앰비언트 마이크;
상기 제1 외부 음향 신호로부터 상기 사용자 음성 신호를 차분 연산함으로써 상기 사용자 음성이 상기 제1 외부 음향 신호에서보다 더 감쇄된 제2 외부 음향 신호를 생성하는 프로세서를 포함하는, 음향 신호 처리 장치.a user microphone according to claim 1;
The entire sound is received, and one surface receiving the entire sound is disposed in a direction different from the direction in which the user microphone is disposed but disposed in a direction corresponding to the generation point of the external sound, so that the user's microphone an ambient microphone for generating a first external sound signal in which voice is attenuated;
and a processor configured to generate a second external acoustic signal in which the user's voice is attenuated more than that of the first external acoustic signal by differentially calculating the user's voice signal from the first external acoustic signal.
상기 전체 음향을 수신하고, 상기 수신된 전체 음향으로부터 전체 음향 신호를 생성하는 앰비언트 마이크; 및
상기 전체 음향 신호로부터 상기 출력 음향 신호를 차분 연산함으로써 상기 출력 음향이 감쇄된 외부 음향 신호를 생성하는 프로세서를 포함하는, 음향 신호 처리 장치.By receiving total sound including sound output from the sound output device and external sound generated from the outside of the sound output device, and one side receiving the total sound is disposed in a direction corresponding to a point where the output sound is generated. a directional microphone for generating an output sound signal in which the external sound is attenuated from the received total sound;
an ambient microphone that receives the overall sound and generates an overall sound signal from the received overall sound; and
and a processor configured to generate an external sound signal in which the output sound is attenuated by differentially calculating the output sound signal from the entire sound signal.
상기 수신된 전체 음향으로부터 전체 음향 신호를 생성하는 단계;
상기 수신된 전체 음향에서 상기 외부 음향이 감쇄된 사용자 음성 신호를 생성하는 단계; 및
상기 전체 음향 신호로부터 상기 사용자 음성 신호를 차분 연산함으로써 상기 사용자 음성이 감쇄된 외부 음향 신호를 생성하는 단계를 포함하는, 음향 신호 처리 방법.Receiving overall sound including the user's voice and external sound generated from the outside of the user;
generating a total sound signal from the received total sound;
generating a user voice signal in which the external sound is attenuated from the received total sound; and
and generating an external audio signal in which the user voice is attenuated by differentially calculating the user voice signal from the entire audio signal.
상기 전체 음향을 수신하는 단계는,
상이한 주파수 대역의 음향을 센싱하는 복수의 진동 구조들 각각이 상기 수신된 전체 음향의 주파수에 기초하여, 상기 전체 음향을 수신하도록 형성된 일 면에 직교하는 방향으로 진동하는 진동하는 단계를 포함하는, 음향 신호 처리 방법.According to claim 15,
Receiving the entire sound,
and vibrating each of a plurality of vibrating structures for sensing sounds of different frequency bands in a direction orthogonal to a surface formed to receive the entire sound, based on the frequency of the received overall sound. signal processing method.
사용자 전체 음향을 수신하는 단계는,
수신되는 음향의 전파 방향과 상기 일 면이 이루는 각도에 기초한 진동 세기로 진동하는 단계를 더 포함하는, 음향 신호 처리 방법.According to claim 16,
The step of receiving the user's entire sound,
The acoustic signal processing method of claim 1, further comprising vibrating at a vibration intensity based on an angle formed between a propagation direction of the received sound and the one surface.
상기 전체 음향을 수신하는 단계는,
상기 각도가 90°에 근접할수록 큰 진동 세기로 진동하고, 상기 각도가 0°에 근접할수록 작은 진동 세기로 진동하는 단계를 더 포함하는, 음향 신호 처리 방법.According to claim 17,
Receiving the entire sound,
The sound signal processing method further comprising the step of vibrating with a large vibration intensity as the angle approaches 90 ° and vibrating with a small vibration intensity as the angle approaches 0 °.
상기 전체 음향을 수신하는 단계는,
상기 복수의 진동 구조들 각각의 진동에 대응되는 전기적 신호를 생성하는 단계를 포함하는, 음향 신호 처리 방법.According to claim 16,
Receiving the entire sound,
And generating an electrical signal corresponding to the vibration of each of the plurality of vibration structures, acoustic signal processing method.
상기 사용자 음성 신호를 생성하는 단계는,
임계값에 기초하여, 상기 전기적 신호들 중 감쇄시킬 전기적 신호를 결정하고, 상기 결정된 전기적 신호를 감쇄시키는 단계를 포함하는, 음향 신호 처리 방법.According to claim 19,
Generating the user voice signal,
Based on a threshold, determining an electrical signal to be attenuated among the electrical signals, and attenuating the determined electrical signal.
상기 사용자 음성 신호를 생성하는 단계는,
상기 전기적 신호들의 평균 크기에 기초하여 상기 임계값을 결정하는 단계를 더 포함하는, 음향 신호 처리 방법.21. The method of claim 20,
Generating the user voice signal,
Further comprising determining the threshold value based on the average magnitude of the electrical signals, the acoustic signal processing method.
상기 외부 음향 신호를 생성하는 단계는,
상기 사용자 음성 신호를 적응 필터에 입력하는 단계;
상기 적응 필터로부터 출력되는 신호를 상기 전체 음향 신호로부터 차분 연산함으로써 피드백 신호를 생성하는 단계; 및
상기 피드백 신호를 상기 적응 필터에 입력함으로써 파라미터들을 조정하도록 상기 적응 필터를 제어하는 단계를 포함하는, 음향 신호 처리 방법.According to claim 15,
Generating the external acoustic signal,
inputting the user voice signal to an adaptive filter;
generating a feedback signal by differentially calculating a signal output from the adaptive filter from the total acoustic signal; and
and controlling the adaptive filter to adjust parameters by inputting the feedback signal to the adaptive filter.
상기 외부 음향 신호를 생성하는 단계는,
상기 사용자 음성 신호에 대응되는 기능 및 상기 외부 음향 신호에 대응되는 기능을 수행하는 단계; 및
상기 기능들 각각의 수행 결과를 디스플레이의 상이한 영역에 표시하는 단계를 포함하는, 음향 신호 처리 방법.According to claim 15,
Generating the external acoustic signal,
performing a function corresponding to the user voice signal and a function corresponding to the external sound signal; and
And displaying a result of performing each of the functions in a different area of the display, the acoustic signal processing method.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/710,207 US20220392479A1 (en) | 2021-06-04 | 2022-03-31 | Sound signal processing apparatus and method of processing sound signal |
EP22166574.8A EP4109923A3 (en) | 2021-06-04 | 2022-04-04 | Sound signal processing apparatus and method of processing sound signal |
CN202210529643.XA CN115440241A (en) | 2021-06-04 | 2022-05-16 | Sound signal processing apparatus and method of processing sound signal |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20210072966 | 2021-06-04 | ||
KR1020210072966 | 2021-06-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220164395A true KR20220164395A (en) | 2022-12-13 |
Family
ID=84438989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210171203A KR20220164395A (en) | 2021-06-04 | 2021-12-02 | Apparatus and method for sound signal processing |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220164395A (en) |
-
2021
- 2021-12-02 KR KR1020210171203A patent/KR20220164395A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180182370A1 (en) | Active cancellation of noise in temporal bones | |
US8321213B2 (en) | Acoustic voice activity detection (AVAD) for electronic systems | |
US8098844B2 (en) | Dual-microphone spatial noise suppression | |
US8326611B2 (en) | Acoustic voice activity detection (AVAD) for electronic systems | |
GB2575404A (en) | Dual microphone voice processing for headsets with variable microphone array orientation | |
US20160157028A1 (en) | Stereophonic focused hearing | |
US8503692B2 (en) | Forming virtual microphone arrays using dual omnidirectional microphone array (DOMA) | |
CN102763160B (en) | Microphone array subset selection for robust noise reduction | |
US8693704B2 (en) | Method and apparatus for canceling noise from mixed sound | |
US20080175408A1 (en) | Proximity filter | |
US20090154715A1 (en) | Apparati and methods for sound transduction with minimal interference from background noise and minimal local acoustic radiation | |
JP5129024B2 (en) | Audio input device and audio conference system | |
EP2227034A1 (en) | Microphone unit | |
US20140126743A1 (en) | Acoustic voice activity detection (avad) for electronic systems | |
US20100098266A1 (en) | Multi-channel audio device | |
US11627413B2 (en) | Acoustic voice activity detection (AVAD) for electronic systems | |
EP3755004A1 (en) | Directional acoustic sensor, and methods of adjusting directional characteristics and attenuating acoustic signal in specific direction using the same | |
WO2010048635A1 (en) | Acoustic voice activity detection (avad) for electronic systems | |
US8422715B2 (en) | Microphone unit | |
US20220391170A1 (en) | Apparatus and method for signal processing | |
KR20220164395A (en) | Apparatus and method for sound signal processing | |
EP4109923A2 (en) | Sound signal processing apparatus and method of processing sound signal | |
CN114422933B (en) | Electronic equipment, sound field processing method thereof and sound field processing equipment | |
KR20220165173A (en) | Apparatus and method for signal processing | |
EP3661233B1 (en) | Wearable beamforming speaker array |