KR102174850B1 - Environment adaptation type beam forming apparatus for audio - Google Patents
Environment adaptation type beam forming apparatus for audio Download PDFInfo
- Publication number
- KR102174850B1 KR102174850B1 KR1020140149856A KR20140149856A KR102174850B1 KR 102174850 B1 KR102174850 B1 KR 102174850B1 KR 1020140149856 A KR1020140149856 A KR 1020140149856A KR 20140149856 A KR20140149856 A KR 20140149856A KR 102174850 B1 KR102174850 B1 KR 102174850B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound sources
- sound
- sound source
- received
- deflection
- Prior art date
Links
- 230000006978 adaptation Effects 0.000 title 1
- 230000003044 adaptive effect Effects 0.000 claims abstract description 8
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 29
- 238000009434 installation Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 27
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000010291 electrical method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
본 발명은 환경적응형 오디오 빔 포밍장치를 개시한다. 본 발명에 따른 환경적응형 오디오 빔 포밍장치는, 설치된 영역으로부터 적어도 둘의 음원을 수신하는 마이크로폰어레이, 상기 마이크로폰어레이에 수음되는 상기 수신된 각 음원 간의 각도를 분석해서 상기 설치된 영역의 주 음원발생 포인트를 결정하고, 상기 주 음원발생 포인트를 포함하는 상관관계 정보를 통해 각 음원의 시간속성을 동기화하는 편향제어부 및 상기 동기화된 각 음원을 입력받아 다중화된 편향음원을 출력하는 믹서를 포함한다.The present invention discloses an environmentally adaptive audio beam forming apparatus. The environmentally adaptive audio beam forming apparatus according to the present invention includes a microphone array receiving at least two sound sources from an installed area, and a main sound source generation point of the installed area by analyzing an angle between each of the received sound sources received by the microphone array. And a deflection control unit for synchronizing time attributes of each sound source through correlation information including the main sound source generation point, and a mixer configured to receive the synchronized sound sources and output multiplexed deflection sound sources.
Description
본 발명은 환경적응형 오디오 빔 포밍장치에 관한 것으로, 더욱 상세하게는 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 청음 효과를 개선하기 위한 환경적응형 오디오 빔 포밍장치에 관한 것이다.The present invention relates to an environmentally adaptive audio beam forming apparatus, and more particularly, an environmentally adaptive for extracting an optimal audio beam from the surrounding environment and improving the listening effect based on the attributes of the extracted optimal audio beam. It relates to an audio beam forming apparatus.
감시카메라의 수음 획득은 무지향성 콘덴서의 음향신호를 전압으로 변환하는 것에 의해 가능하다. 이러한 음향 신호는 방향성이 없이 전방의 또는 마이크로폰의 지향성에 좌우되고, 탐지 거리 및 음향 품질에 상당한 영향을 미친다. Acquisition of sound pickup of the surveillance camera is possible by converting the sound signal of the omni-directional capacitor into a voltage. These acoustic signals, without directionality, depend on the directivity of the front or of the microphone, and have a significant effect on the detection distance and sound quality.
특히, 감시카메라가 설치될 장소는 어떠한 음향이 주되게 존재하는지 또는 어떠한 특정음향이 얼마 정도의 레벨로 존재하는지 등에 대한 음향 대상을 확정하는 것이 어렵다.In particular, it is difficult to determine the sound object for the location where the surveillance camera is to be installed, which sound is mainly present or which specific sound is present at what level.
이와 같은 제약으로 감시카메라에서 음향 관련 기술은 극히 제한적인 기능으로 한정되고, 보다 특수한 음향관련 기능을 감시카메라에 구현하기 위해서는 상당한 별도 비용이 요구될 뿐만 아니라 상기 특수한 음향관련 기능을 뒷받침할 수 있는 상당량의 데이터베이스 구축이 이루어져야만 가능하다.Due to this limitation, the sound related technology in the surveillance camera is limited to extremely limited functions, and a considerable extra cost is required to implement more special sound related functions in the surveillance camera, as well as a considerable amount to support the special sound related functions. This is possible only when the database of the database is built.
또한, 상기 특수한 음향관련 기능을 뒷받침할 수 있는 상당량의 데이터베이스 구축과 더불어 감시카메라에서 실행하기 위한 알고리즘이 확보된다고 하더라도, 음향 학습 도중에 출현하는 각종 잡음을 효과적으로 제거하여 음향탐지 능력을 실용화 가능한 정도로 확보하는 데에 한계가 있다.In addition, even if a considerable amount of database is built to support the special sound-related functions and algorithms to be executed in the surveillance camera are secured, various noises appearing during sound learning are effectively removed to secure sound detection capabilities to a practical level. There is a limit to this.
그리고, 마이크로폰의 지향성 및 감도는 실내외 환경에 의해 상당한 성능 차이를 나타낸다. And, the directivity and sensitivity of the microphone show a significant performance difference depending on the indoor and outdoor environment.
실내의 경우, 마이크로폰이 위치한 주변의 공간 형상 및 크기뿐만 아니라, 벽면의 재질 등에 따라 반향 후 전해오는 음향들을 차별적으로 구별해서 신호 처리하는 데에 한계가 있다.In the case of indoors, there is a limitation in processing signals by differentially distinguishing sounds transmitted after reverberation according to not only the shape and size of the space around the microphone is located, but also the material of the wall.
실외의 경우, 실내와 다르게 음향의 반향이 상대적으로 적을 수 있으나 동일 조건의 마이크로폰을 사용할 경우에 실내보다 감도에 따른 거리가 줄어드는 단점이 있다. In the case of outdoors, unlike indoors, the reverberation of sound may be relatively small, but there is a disadvantage that the distance according to sensitivity decreases compared to indoors when a microphone under the same conditions is used.
또한, 지하 주차장 등의 공조 시설과 인접해서 감시카메라가 설치되는 경우, 인접한 공조기등으로부터 발생되는 상당한 크기의 소음으로 인해 원활한 수음을 획득하는 것이 불가하다.In addition, when a surveillance camera is installed adjacent to an air conditioning facility such as an underground parking lot, it is impossible to obtain smooth sound absorption due to a considerable amount of noise generated from an adjacent air conditioner.
따라서, 감시카메라의 수음 획득을 보다 용이하게 실현하기 위한 방안이 필요하다.Therefore, there is a need for a method for more easily realizing the acquisition of sound pickup of a surveillance camera.
따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 과제는 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 전기적으로 편향 지연하는 동기화 방식을 통해 청음에 유리한 신호로 수음된 신호를 변환시키는 환경적응형 오디오 빔 포밍장치를 제공하는 데 있다.Accordingly, the present invention was created to solve the above problem, and the object of the present invention is to extract the optimal audio beam from the surrounding environment, and to synchronize the electrical deflection delay based on the attributes of the extracted optimal audio beam. It is to provide an environmentally adaptive audio beam forming device that converts a received signal into a signal that is advantageous for listening through a method.
본 발명의 과제는 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The subject of the present invention is not limited to the above-mentioned object, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
상기 과제를 달성하기 위한 본 발명의 관점에 따른 환경적응형 오디오 빔 포밍장치는 설치된 영역으로부터 적어도 둘의 음원을 수신하는 마이크로폰어레이, 상기 마이크로폰어레이에 수음되는 상기 수신된 각 음원 간의 각도를 분석해서 상기 설치된 영역의 주 음원발생 포인트를 결정하고, 상기 주 음원발생 포인트를 포함하는 상관관계 정보를 통해 각 음원의 시간속성을 동기화하는 편향제어부 및 상기 동기화된 각 음원을 입력받아 다중화된 편향음원을 출력하는 믹서를 포함한다.The environment-adaptive audio beam forming apparatus according to the aspect of the present invention for achieving the above object is a microphone array receiving at least two sound sources from an installed area, and analyzing the angle between the received sound sources received by the microphone array and the A deflection control unit that determines the main sound source generation point of the installed area, synchronizes the time attributes of each sound source through correlation information including the main sound source generation point, and outputs multiplexed deflection sound sources by receiving the synchronized sound sources. Includes a mixer.
상기 편향제어부는 상기 수신된 각 음원의 유효 음원영역을 검출하는 음원영역 검출모듈, 상기 검출된 유효 음원영역들 간의 위상차 및 신호세기를 통해 상기 상관관계 정보를 계산하는 상관관계 추정모듈, 상기 상관관계 정보 및 미리 정해진 동기화 테이블을 통해 편향지연 계수를 계산하는 편향지연 계수 산출모듈 및 상기 편향지연 계수를 기초로 상기 수신된 각 음원의 시간속성을 동기화하는 편향지연 모듈을 포함할 수 있다.The deflection control unit includes a sound source region detection module that detects an effective sound source region of each of the received sound sources, a correlation estimation module that calculates the correlation information through a phase difference and signal strength between the detected effective sound source regions, and the correlation A deflection delay coefficient calculation module that calculates a deflection delay coefficient through information and a predetermined synchronization table, and a deflection delay module that synchronizes time attributes of each received sound source based on the deflection delay coefficient.
상기 편향제어부는 상기 적어도 둘의 음원에 대한 소스 역할을 하는 탐색신호의 생성을 제어하는 탐색신호 생성모듈을 더 포함할 수 있다.The deflection control unit may further include a search signal generation module for controlling generation of a search signal serving as a source for the at least two sound sources.
상기 편향제어부는 상기 수신된 각 음원 간의 동기화를 설정하는 설치 모드 및 상기 설치 모드에서 미리 정해진 동기화 설정에 기초해서 상기 수신된 각 음원 간의 동기화를 실행하는 동작 모드를 갖추고, 각 모드별로 구분 실행할 수 있다.The deflection control unit has an installation mode for setting synchronization between each of the received sound sources, and an operation mode for synchronizing each of the received sound sources based on a preset synchronization setting in the installation mode, and can be separately executed for each mode. .
상기 편향제어부는 상기 수신된 각 음원이 있을 때마다 상기 수신된 각 음원 간의 동기화를 설정하고, 실시간으로 가변된 동기화 설정에 기초해서 상기 수신된 각 음원 간의 동기화를 실행할 수 있다.The deflection control unit may set synchronization between the received sound sources whenever there is each of the received sound sources, and may perform synchronization between the received sound sources based on a synchronization setting changed in real time.
상기 편향제어부는 상기 수신된 각 음원 간의 동기화를 설정하는 경우, 미리 정해진 분석 풀 선정 기준을 토대로 수신된 음원들 중 분석 대상의 음원들을 특정할 수 있다.When setting synchronization between the received sound sources, the deflection control unit may specify sound sources to be analyzed among received sound sources based on a predetermined analysis pool selection criterion.
따라서, 본 발명에서는 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 전기적으로 편향 지연하는 동기화 방식을 통해 청음에 유리한 신호로 수음된 신호를 변환시킬 수 있는 이점이 있다.Therefore, in the present invention, the received signal can be converted into a signal advantageous for hearing through a synchronization method in which an optimal audio beam is extracted from the surrounding environment and electrically deflected based on the properties of the extracted optimal audio beam. There is an advantage.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the description of the claims.
도 1은 본 발명의 환경적응형 오디오 빔 포밍장치를 나타내는 블록도이다.
도 2는 도 1의 오디오 빔 포밍장치를 일 실시 예로 나타내는 회로도이다.
도 3은 도 1의 편향제어부를 일 실시 예로 나타내는 블록도이다.
도 4는 도 1의 편향제어부를 다른 실시 예로 나타내는 블록도이다.
도 5는 도 1에 도시된 장치의 수음 방식을 일례로 나타내는 개념도이다.
도 6은 도 1에 도시된 장치의 수음 방식을 다른 예로 나타내는 개념도이다.
도 7은 도 1에 도시된 장치의 수음 방식을 또 다른 예로 나타내는 개념도이다.
도 8은 도 1에 도시된 장치의 편향제어 방식을 일례로 나타내는 개념도이다.
도 9는 도 1에 도시된 장치의 편향제어 방식을 다른 예로 나타내는 개념도이다.
도 10은 도 1의 오디오 빔 포밍장치의 동작 과정을 일례로 나타내는 순서도이다.
도 11은 도 1의 오디오 빔 포밍장치의 동작 과정을 다른 예로 나타내는 순서도이다.
도 12는 도 1의 오디오 빔 포밍장치의 동작 과정을 또 다른 예로 나타내는 순서도이다.
도 13은 본 발명의 오디오 빔 포밍을 통한 제1 수음 특성을 나타내는 예시도이다.
도 14는 본 발명의 오디오 빔 포밍을 통한 제2 수음 특성을 나타내는 예시도이다.
그리고, 도 15는 본 발명의 오디오 빔 포밍을 통한 제3 수음 특성을 나타내는 예시도이다.1 is a block diagram showing an environment-adaptive audio beam forming apparatus according to the present invention.
FIG. 2 is a circuit diagram illustrating the audio beam forming apparatus of FIG. 1 as an example.
3 is a block diagram showing a deflection control unit of FIG. 1 as an example.
4 is a block diagram illustrating a deflection control unit of FIG. 1 according to another embodiment.
5 is a conceptual diagram illustrating an example of a pickup method of the device shown in FIG. 1.
6 is a conceptual diagram illustrating another example of a pickup method of the device shown in FIG. 1.
7 is a conceptual diagram showing another example of a pickup method of the apparatus shown in FIG. 1.
8 is a conceptual diagram illustrating a deflection control method of the device shown in FIG. 1 as an example.
9 is a conceptual diagram illustrating a deflection control method of the apparatus shown in FIG. 1 as another example.
10 is a flowchart illustrating an example of an operation process of the audio beam forming apparatus of FIG. 1.
11 is a flowchart illustrating another example of an operation process of the audio beam forming apparatus of FIG. 1.
12 is a flowchart illustrating another example of an operation process of the audio beam forming apparatus of FIG. 1.
13 is an exemplary diagram illustrating a first sound-receiving characteristic through audio beamforming according to the present invention.
14 is an exemplary diagram showing a second sound-receiving characteristic through audio beamforming according to the present invention.
And, FIG. 15 is an exemplary diagram showing a third sound-receiving characteristic through audio beamforming according to the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and are common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. Further, the embodiments described in the present specification will be described with reference to sectional views and/or schematic diagrams, which are ideal exemplary diagrams of the present invention. Therefore, the shape of the exemplary diagram may be modified by manufacturing technology and/or tolerance. In addition, in each of the drawings shown in the present invention, each component may be somewhat enlarged or reduced in consideration of convenience of description.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 다음과 같이 상세히 설명한다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 환경적응형 오디오 빔 포밍장치를 나타내는 블록도이다.1 is a block diagram showing an environment-adaptive audio beam forming apparatus according to the present invention.
도 1을 참조하면, 환경적응형 오디오 빔 포밍장치(100)는 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 전기적으로 편향 지연하는 동기화 방식을 통해 청음에 유리한 신호로 수음된 신호를 변환시키는 구성을 갖춘다.Referring to FIG. 1, the environment-adaptive audio
또한, 환경적응형 오디오 빔 포밍장치(100)는 주변환경으로부터 음원을 수음하는 장비에 구비 가능하다. 예를 들면, 환경적응형 오디오 빔 포밍장치(100)는 감시카메라에 구비 가능하다. 이하에서는 보다 구체적인 설명을 위해, 감시카메라에 구비되는 환경적응형 오디오 빔 포밍장치(100)를 위주로 설명하기로 한다.In addition, the environment-adaptive audio
오디오 빔 포밍장치(100)에서, 오디오 빔, 즉 특정 음원을 수음하기 위해서는 마이크로폰어레이(110)를 구비한다. 여기서, 마이크로폰어레이(110)는 다수의 마이크로폰이 배열된 구조물을 일컫는다.In the audio
전술한 마이크로폰의 수음 패턴은 무지향성, 양지향성 및 단일 지향성으로 분류 가능하다. 즉, 무지향성, 양지향성 및 단일 지향성 중 특정 수음 패턴을 갖는 마이크로폰의 경우, 주변환경의 모든 음원을 수음하는 것이 불가능하고, 특정 수음 패턴과 상응하는 음원만을 수음하는 것이 가능하다. 이것은 감시카메라의 FOV(Field Of View)과 마이크로폰의 수음 패턴이 일치할 수 없다는 한계가 있다는 것을 의미한다.The above-described microphone pickup pattern can be classified into omni-directional, bi-directional, and unidirectional. That is, in the case of a microphone having a specific sound-receiving pattern among omni-directional, bi-directional, and uni-directional, it is impossible to receive all sound sources in the surrounding environment, and it is possible to receive only sound sources corresponding to the specific sound-receiving pattern. This means that there is a limitation in that the field of view (FOV) of the surveillance camera and the pickup pattern of the microphone cannot be matched.
무지향성 콘덴서 마이크로폰의 경우 SNR(Signal to Noise Ratio)에 따라 상대적인 거리를 산출할 수 있으나, 이는 잡음이 불규칙하게 발생하는 장소에 감시카메라와 마이크로폰이 설치되었을 경우 신호에 비해 잡음의 세기가 같거나 클 경우 음향 신호를 분석하기 어렵고, 또한 실외의 경우 거리에 따른 대기모델의 음향의 거리별 음향의 감쇄 dB SPL(Sound Pressure Level)은 거리가 증가할 때마다 감쇄 폭도 증가한다.In the case of an omni-directional condenser microphone, the relative distance can be calculated according to the signal to noise ratio (SNR), but this is when a surveillance camera and a microphone are installed in a place where noise is irregularly generated, the intensity of noise is equal to or greater than the signal. In this case, it is difficult to analyze the sound signal, and in the case of outdoors, the sound attenuation dB SPL (Sound Pressure Level) by distance of the sound of the atmospheric model according to the distance increases as the distance increases.
예를 들어, 마이크로폰을 통해 현재 측정 잡음이 50 dB SPL이고, 1m에서 음원 발생시 70 dB가 측정되었다면(SNR 20dB), 동일한 크기의 소리가 10m에서 발생하는 경우 -20dB가 감쇄하여 50dB정도가 되면 감시카메라의 인접 소음과 차이가 없게 된다.For example, if the current measurement noise through a microphone is 50 dB SPL, and 70 dB is measured when a sound source is generated at 1 m (
잡음과 음원이 동일 크기이기 때문에 음원의 탐지가 어려울 뿐만 아니라 마이크로폰에 들어오는 입력이 잡음인지 탐지하고자 하는 음원인지를 판정하는 것도 용이하지 않은 측면이 있다. 그러므로, 거리보다는 마이크로폰으로 입력되는 SNR에 의해 음향 방향을 추정하는 성능에 대한 개선이 요구된다.Since the noise and the sound source are the same size, it is difficult to detect the sound source, and it is also difficult to determine whether the input to the microphone is noise or the sound source to be detected. Therefore, there is a need for improvement in the performance of estimating the acoustic direction by the SNR input to the microphone rather than the distance.
또한, 감시카메라에서 사용하는 무지향성 콘덴서 마이크로폰의 경우, 음향 검출 가능 레벨이 10dB이고 민감도가 대략 -44dB의 성능을 갖는 마이크로폰이라고 가정하면 음향 검출 거리는 10dB 이상 차이가 있어야 음향 검출이 가능하므로 '-44 - (10dB) = -33dB'와 같이 계산됨에 따라, 4~5m 거리로 예상할 수 있다. 즉, 저가의 무지향성 콘덴서 마이크로폰으로는 실, 내외에 설비되는 감시카메라에 적용하여 잡음 변화에 민감한 특성으로 수음 가능한 감시카메라를 구현하는 데에 한계가 있다.In addition, in the case of an omni-directional condenser microphone used in a surveillance camera, assuming that the sound detection level is 10dB and the sensitivity is a microphone with a performance of approximately -44dB, the sound detection distance must be 10dB or more to enable sound detection. -(10dB) = -33dB', it can be estimated as 4~5m distance. In other words, there is a limitation in implementing a surveillance camera capable of receiving sound with a characteristic sensitive to noise changes by applying it to surveillance cameras installed inside and outside the room as a low-cost omnidirectional condenser microphone.
지향성 측면에서 무지향성일 경우, 전면부 중심으로 좌우 90도로 커버되는 범위의 음향을 감지할 수 있고, 180도 방향의 음향은 전면부보다 감도가 줄어들기는 하나 반향되는 음향들 및 박스형 감시카메라의 FOV를 벗어난 부분의 음향도 함께 수음할 수 있다. 반면에, 감시하고자 하는 영역만을 수음하는 경우 마이크로폰의 설치방향을 조정할 필요가 있다. In the case of omni-directional in terms of directivity, it is possible to detect sound in a range of 90 degrees to the left and right from the center of the front part, and the sound in the 180-degree direction is less sensitive than the front part, but the echoed sounds and the FOV of the box-type surveillance camera You can also pick up the sound of the part that is off. On the other hand, in the case of receiving only the area to be monitored, it is necessary to adjust the installation direction of the microphone.
또한, 지향 영역을 좁게하거나 넓게하는 경우, 지향성 마이크로폰으로 교체가 필요하며, 감시카메라의 특성상 기계적으로 관련 부품을 탑재할 수 있는 공간이 한정되어 있음에 따라, 전술한 조정을 위한 관련 부품의 탑재가 한정적이다.In addition, in the case of narrowing or widening the directional area, it is necessary to replace it with a directional microphone, and due to the nature of the surveillance camera, the space for mechanically mounting related parts is limited. It is limited.
따라서, 감시카메라의 설치 주변환경에 맞게 음향 추적한 후 빔 포밍 조정을 기계적 방식이 아닌 전기적 방식으로 실현하는 것에 대한 이점이 있다.Therefore, there is an advantage in realizing the beam forming adjustment in an electrical method rather than a mechanical method after acoustic tracking according to the installation surrounding environment of the surveillance camera.
이를 위한, 본 발명의 환경적응형 오디오 빔 포밍장치(100)는 설치된 영역으로부터 적어도 둘의 음원을 수신하는 마이크로폰어레이(110), 마이크로폰어레이(110)에 수음되는 각 음원 간의 각도를 분석해서 설치된 영역의 주 음원발생 포인트를 결정하고, 결정된 주 음원발생 포인트를 포함하는 상관관계 정보를 통해 각 음원의 시간속성을 동기화하는 편향제어부(120) 및 동기화된 각 음원을 입력받아 다중화된 편향음원을 출력하는 믹서(130)를 포함한다.To this end, the environment-adaptive audio
도 2는 도 1의 오디오 빔 포밍장치를 일 실시 예로 나타내는 회로도이다.FIG. 2 is a circuit diagram illustrating the audio beam forming apparatus of FIG. 1 as an example.
도 2를 참조하면, 빔 포밍장치(100)는 증폭기(140), 스테레오 ADC(Analog-Digital Converter, 150) 및 DAC(Digital-Analog Converter, 160)를 더 포함할 수 있다.Referring to FIG. 2, the
증폭기(140)는 마이크로폰어레이(110)로부터 제공되는 음원을 증폭해서 신호 해석을 용이하게 하거나, 믹서(130)로부터 출력되는 다중화된 편향음원을 미리 정해진 출력 값으로 증폭할 수 있다.The
스테레오 ADC(150)는 증폭된 음원을 양자화 처리해서 신호 해석이 가능한 상태로 변환한 후 변환된 신호를 출력한다.The
전술한 편향제어부(120)는 감시카메라의 메인 프로세서와 별개로 존재하는 DSP 형태로 구비될 수 있다.The above-described
스테레오 ADC(150)로부터 출력된 변환된 신호는 DSP 형태의 편향제어부(120)로 전달됨에 따라, 감시카메라의 주변환경에 대응하는 신호 처리를 실행하여 보다 청음 효과가 개선된 신호를 생성할 수 있다.As the converted signal output from the
DAC(160)는 DSP로부터 출력된 신호를 아날로그 신호로 변환한 후, 변환된 신호를 믹서(130)로 전달한다.The
도 3은 도 1의 편향제어부를 일 실시 예로 나타내는 블록도이고, 도 4는 도 1의 편향제어부를 다른 실시 예로 나타내는 블록도이다.3 is a block diagram illustrating a deflection control unit of FIG. 1 as an example, and FIG. 4 is a block diagram illustrating a deflection control unit of FIG. 1 as another exemplary embodiment.
도 3을 참조하면, 편향제어부(120)는 스테레오 ADC(150)로부터 출력된 변환된 신호들인 각 음원의 유효 음원영역을 검출하는 음원영역 검출모듈(120-1-1), 검출된 유효 음원영역들 간의 위상차 및 신호세기를 통해 상관관계 정보를 계산하는 상관관계 추정모듈(120-1-2), 계산된 상관관계 정보 및 미리 정해진 동기화 테이블을 통해 편향지연 계수를 계산하는 편향지연 계수 산출모듈(120-1-3) 및 편향지연 계수를 기초로 수신된 각 음원의 시간 속성을 동기화하는 편향지연 모듈(120-1-4)을 포함할 수 있다.Referring to FIG. 3, the
도 4를 참조하면, 편향제어부(120)는 음원영역 검출모듈(120-2-1), 상관관계 추정모듈(120-2-2), 편향지연 계수 산출모듈(120-2-3), 및 편향지연 모듈(120-2-4)을 포함할 뿐만 아니라, 탐색신호 생성모듈(120-2-5)을 더 포함할 수도 있다.4, the
탐색신호 생성모듈(120-2-5)은 적어도 둘의 음원에 대한 소스 역할을 하는 탐색신호의 생성을 제어하는 모듈로서, 감시카메라를 설치하여 주변환경으로부터 직접 음원을 수음하는 것이 아니라 감시카메라의 설치 주변환경을 예측해서 인위적으로 음원을 생성하기 위한 용도로 활용될 수 있다. 따라서, 탐색신호 생성모듈은 특정 음원의 탐색신호만이 아니라, 다양한 종류의 탐색신호를 생성하는 것이 바람직하다.The search signal generation module (120-2-5) is a module that controls the generation of search signals serving as sources for at least two sound sources, and does not directly receive sound sources from the surrounding environment by installing a surveillance camera. It can be used for the purpose of artificially generating sound sources by predicting the surrounding environment of the installation. Therefore, it is preferable that the search signal generation module generates not only the search signal of a specific sound source, but also various types of search signals.
도 5는 도 1에 도시된 장치의 수음 방식을 일례로 나타내는 개념도이고, 도 6은 도 1에 도시된 장치의 수음 방식을 다른 예로 나타내는 개념도이며, 도 7은 도 1에 도시된 장치의 수음 방식을 또 다른 예로 나타내는 개념도이다.FIG. 5 is a conceptual diagram illustrating a pickup method of the device illustrated in FIG. 1 as an example, FIG. 6 is a conceptual diagram illustrating a pickup method of the device illustrated in FIG. 1 as another example, and FIG. 7 is a pickup method of the device illustrated in FIG. It is a conceptual diagram showing another example.
도 5를 참조하면, 마이크로폰어레이(110)에 좌측 45도 방향으로 편향된 두 개의 음원이 수음되는 경우, 각 음원이 마이크로폰어레이(110)에 도달되는 시간 차가 발생한다. 이에 따라, 마이크로폰어레이(110)는 발생한 시간 차로 인해 각 음원을 출력할 때에도 고스란히 이미 발생한 시간 차가 각 음원 사이에 존재한 상태로 출력을 한다.Referring to FIG. 5, when two sound sources deflected in the left 45 degree direction are received by the
이때, 본 발명의 편향제어부(120)를 통해 전기적인 편향 지연 방식으로 동기화하지 않을 경우, 마이크로폰어레이(110)로부터 각 음원 사이에 존재하는 시간 차가 그대로 유지된 상태로 출력된 신호가 믹서(130)로 전달된다. 결국, 믹서(130)는 각 음원 사이에 존재하는 시간 차가 반영된 상태로 각 음원을 가중합함으로써, 도 5에 도시된 바와 같이 두 신호 간의 상관관계가 낮아진 것을 원인으로 한 신호의 손실이 발생하고, 이에 따른 신호의 왜곡도 발생할 수 있다.At this time, when the synchronization is not performed through the
도 6을 참조하면, 마이크로폰어레이(110)에 편향되지 않은 두 개의 음원이 수음되는 경우, 각 음원이 마이크로폰어레이(110)에 도달되는 시간 차가 발생하지 않는다.Referring to FIG. 6, when two sound sources that are not deflected by the
이에 따라, 마이크로폰어레이(110)는 각 음원을 동시에 수음함에 따라, 시간 차가 없는 각 음원을 그대로 출력한다.Accordingly, the
이때, 본 발명의 편향제어부(120)를 통해 전기적인 편향 지연 방식으로 동기화하지 않을 경우, 마이크로폰어레이(110)로부터 출력된 신호가 믹서(130)로 전달된다. 결국, 믹서(130)는 시간 차가 없는 상태의 각 음원을 가중합함으로써, 도 6에 도시된 바와 같이 두 신호 간의 상관관계가 높아짐에 따라 신호의 손실이 발생하지 아니하고 최대의 신호 세기를 형성할 수 있다. 이와 같은 경우, 편향제어부(120)를 실행하지 않은 상태에서도 감시카메라의 주변으로부터 수음된 음질을 개선하기 위한 최적의 오디오 빔을 추출할 수 있다.In this case, when synchronization is not performed through the
도 7을 참조하면, 마이크로폰어레이(110)에 우측 45도 방향으로 편향된 두 개의 음원이 수음되는 경우, 각 음원이 마이크로폰어레이(110)에 도달되는 시간 차가 발생한다. 이에 따라, 마이크로폰어레이(110)는 발생한 시간 차로 인해 각 음원을 출력할 때에도 고스란히 이미 발생한 시간 차가 각 음원 사이에 존재한 상태로 출력을 한다.Referring to FIG. 7, when two sound sources deflected in the right 45 degree direction are received by the
이때, 본 발명의 편향제어부(120)를 통해 전기적인 편향 지연 방식으로 동기화하지 않을 경우, 마이크로폰어레이(110)로부터 각 음원 사이에 존재하는 시간 차가 그대로 유지된 상태로 출력된 신호가 믹서(130)로 전달된다. 결국, 믹서(130)는 각 음원 사이에 존재하는 시간 차가 반영된 상태로 각 음원을 가중합함으로써, 도 7에 도시된 바와 같이 두 신호 간의 상관관계가 낮아진 것을 원인으로 한 신호의 손실이 발생하고, 이에 따른 신호의 왜곡도 발생할 수 있다.At this time, when the synchronization is not performed through the
따라서, 도 5 및 도 7과 같은 상태로 수음되는 경우에는 편향제어부(120)를 실행해서 수음된 음원의 시간 속성을 동기화하는 보정이 필요하다.Therefore, when the sound is received in the state as shown in FIGS. 5 and 7, it is necessary to perform the
도 8은 도 1에 도시된 장치의 편향제어 방식을 일례로 나타내는 개념도이다.8 is a conceptual diagram illustrating a deflection control method of the device shown in FIG. 1 as an example.
도 8을 참조하면, 마이크로폰어레이(110)에 좌측 45도 방향으로 편향된 두 개의 음원이 수음되는 경우, 편향제어부(120)는 두 개의 음원 사이에 존재하는 위상차를 계산함에 따라 두 음원 간의 시간차를 포함한 상관관계 정보를 계산하고, 계산된 상관관계 정보를 이용해서 수음된 음원들 간의 시간 속성을 동기화한다.Referring to FIG. 8, when two sound sources deflected in the left 45 degree direction are received by the
편향제어부(120)는 수음된 두 개의 음원 중 제1 음원을 동기화 기준으로 하고, 두 개의 음원인 제1 음원과 제2 음원 간의 시간 차를 계산한다. 그리고, 편향제어부(120)는 계산된 시간 차만큼 제2 음원의 시간 속성을 지연시켜서 상기 두 개의 음원 간에 대한 시간 속성을 동기화한다.The
예를 들어, 편향제어부(120)는 수음된 두 개의 음원 중 마이크로폰어레이(110)에 늦게 도달된 음원을 상기 동기화 기준인 제1 음원으로 설정하고, 상기 두 개의 음원 중 마이크로폰어레이(110)에 먼저 도달된 음원을 제2 음원으로 설정하여 편향 제어의 대상으로 한다.For example, the
도 9는 도 1에 도시된 장치의 편향제어 방식을 다른 예로 나타내는 개념도이다.9 is a conceptual diagram illustrating a deflection control method of the apparatus shown in FIG. 1 as another example.
도 9를 참조하면, 마이크로폰어레이(110)에 편향되지 아니한 두 개의 음원이 수음되고, 도 8에서 설정된 편향 제어 설정이 유지되는 경우를 상정할 수 있다. 이 경우, 편향되지 아니한 두 개의 음원 중 어느 하나를 편향 제어함에 따라 원하지 않는 왜곡 현상이 발생할 수도 있다.Referring to FIG. 9, it may be assumed that two sound sources that are not deflected by the
즉, 편향제어부(120)는 마이크로폰어레이(110)에 수음되는 적어도 두 개의 음원 간에 대한 편향 정도를 판정하고, 판정 결과를 기초로 편향 제어를 실시하는 것이 바람직하다.That is, it is preferable that the
또한, 편향제어부(120)는 수음되는 음원이 3개 이상인 경우, 3개 이상의 음원들 중 동기화 대상이 되는 두 개의 음원을 추출해서 최적의 오디오 빔을 선정할 수 있다. 즉, 편향제어부(120)는 수신된 각 음원 간의 동기화를 설정하는 경우, 미리 정해진 분석 풀 선정 기준을 토대로 수신된 음원들 중 분석 대상의 음원들을 특정할 수 있다.In addition, when there are three or more sound sources to be received, the
예를 들어, 편향제어부(120)는 좌측 45도 방향으로 편향된 두 개의 음원이 수음되고 우측 45도 방향으로 한 개의 음원이 수음되는 경우, 주 편향 방향이 일치하는 좌측 45도 방향의 두 개의 음원을 동기화 대상으로 설정할 수 있다.For example, when two sound sources deflected in the left 45 degree direction are received and one sound source is received in the right 45 degree direction, the
한편, 편향제어부(120)는 수신된 각 음원 간의 동기화를 설정하는 설치 모드와, 설치 모드에서 미리 정해진 동기화 설정에 기초해서 수신된 각 음원 간의 동기화를 실행하는 동작 모드를 갖추고, 각 모드별로 구분 실행할 수 있다. On the other hand, the
다른 방식으로, 편향제어부(120)는 수신된 각 음원들이 있을 때마다 수신된 각 음원 간의 동기화를 설정하고, 실시간으로 가변된 동기화 설정에 기초해서 수신된 각 음원 간의 동기화를 실행하는 것도 가능하다.Alternatively, the
도 10은 도 1의 오디오 빔 포밍장치의 동작 과정을 일례로 나타내는 순서도이다.10 is a flowchart illustrating an example of an operation process of the audio beam forming apparatus of FIG. 1.
도 10을 참조하면, 빔 포밍장치(100)는 감시카메라의 출고 전에 무음실에서 자체 스피커로부터 재생한 음원을 자체 마이크로폰어레이(110)로 수음하는 방식으로 빔 포밍을 할 수 있으며, 이를 위해 먼저 상기 자체 스피커로부터 재생하는 음원의 생성을 위한 탐색 신호의 생성 제어를 실행한다(S100).Referring to FIG. 10, the
이후, 빔 포밍장치(100)는 탐색 신호의 생성으로 상기 자체 스피커로 출력된 음원을 마이크로폰어레이(110)로 수음한 후, 수음된 음원을 편향 지연하기 위한 편향 계수를 가변한다(S102).Thereafter, the
이후, 빔 폭이 고정된 상태에서 마이크로폰어레이(110)로부터 수음된 음원의 신호세기를 구한다(S104).Thereafter, the signal strength of the sound source received from the
이후, 출하 전 저장된 음압 계수와 설치 현장에서 수음된 음압의 절대값 차이를 계산하고(S106), 설치 환경에서의 음압 계수를 저장하거나 이전 음압 계수를 갱신한다(S108).Thereafter, the difference between the sound pressure coefficient stored before shipment and the sound pressure received at the installation site is calculated (S106), and the sound pressure coefficient in the installation environment is stored or the previous sound pressure coefficient is updated (S108).
상기 S102 내지 S108 단계를 미리 정해진 임계 실시회수까지 반복한다(S110).The steps S102 to S108 are repeated until a predetermined threshold number of executions (S110).
S110 단계까지 거친 결과를 토대로 전방향에 대한 음압 계수를 획득한다. 획득한 음압 계수가 클수록 장애물이 인접해 있다는 정보 취득이 가능하다. 이러한 정보는 정상 동작에서 빔폭 및 빔 방향으로 조정하는 데에 사용될 지표로서 사용될 수 있다.Based on the result of going through step S110, the sound pressure coefficient for all directions is obtained. The larger the obtained sound pressure coefficient, the more information that an obstacle is adjacent can be obtained. This information can be used as an indicator to be used to adjust the beam width and beam direction in normal operation.
상기 임계 실시회수가 도래하면 탐색 신호의 생성 제어를 중지한다(S112).When the threshold number of executions arrives, the generation control of the search signal is stopped (S112).
도 11은 도 1의 오디오 빔 포밍장치의 동작 과정을 다른 예로 나타내는 순서도이다.11 is a flowchart illustrating another example of an operation process of the audio beam forming apparatus of FIG. 1.
도 11을 참조하면, 빔 포밍장치(100)는 감시카메라의 설치환경에서 직접 설치환경 내의 음원을 수신한다(S200).Referring to FIG. 11, the
이후, 빔 포밍장치(100)는 설치환경 내의 음원을 마이크로폰어레이(110)로 수음한 후, 수음된 음원을 편향 지연하기 위한 편향 계수를 가변하고, 빔 폭이 고정된 상태에서 마이크로폰어레이(110)로부터 수음된 음원의 신호세기를 구한다(S202).Thereafter, the
이후, 출하 전 저장된 음압 계수와 설치 현장에서 수음된 음압의 절대값 차이를 계산하고, 설치 환경에서의 음압 계수를 저장하거나 이전 음압 계수를 갱신한다(S204).Thereafter, the difference between the sound pressure coefficient stored before shipment and the sound pressure received at the installation site is calculated, and the sound pressure coefficient in the installation environment is stored or the previous sound pressure coefficient is updated (S204).
상기 S202 내지 S204 단계를 미리 정해진 임계 실시회수까지 반복한다(S206).The steps S202 to S204 are repeated until a predetermined threshold number of executions (S206).
S206 단계까지 거친 결과를 토대로 전방향에 대한 음압 계수를 획득한다. 획득한 음압 계수가 클수록 장애물이 인접해 있다는 정보 취득이 가능하다. 이러한 정보는 정상 동작에서 빔폭 및 빔 방향으로 조정하는 데에 사용될 지표로서 사용될 수 있다.Based on the result of going through step S206, the sound pressure coefficient for all directions is obtained. The larger the obtained sound pressure coefficient, the more information that an obstacle is adjacent can be obtained. This information can be used as an indicator to be used to adjust the beam width and beam direction in normal operation.
상기 임계 실시회수가 도래하면 탐색 신호의 생성 제어를 중지한다(S208).When the threshold number of executions arrives, the search signal generation control is stopped (S208).
도 12는 도 1의 오디오 빔 포밍장치의 동작 과정을 또 다른 예로 나타내는 순서도이다.12 is a flowchart illustrating another example of an operation process of the audio beam forming apparatus of FIG. 1.
도 12를 참조하면, 빔 포밍장치(100)는 사용자의 선택에 따라 메뉴얼 모드 또는 자동 모드로 동작할 수 있으며, 메뉴얼 운용은 감시카메라의 FOV 내에서 GUI 화면상에서 결정할 수 있다(S300).Referring to FIG. 12, the
S300 단계에서 메뉴얼 모드가 아닌 자동 모드로 설정되는 경우, 빔 포밍장치(100)는 감시카메라 주변으로부터 수음을 한 후 유효한 음원 영역을 검출한다(S302).When the automatic mode is set instead of the manual mode in step S300, the
S302 단계에서 검출된 유효한 음원이 존재하는 경우, 유효한 음원을 이루는 음원들 간의 각도를 분석해서 설치된 영역 중 주 음원발생 포인트를 결정한다(S306).If there is a valid sound source detected in step S302, an angle between sound sources constituting the effective sound source is analyzed to determine a main sound source generation point among the installed regions (S306).
이후, 상기 결정된 주 음원발생 포인트를 포함한 상관관계 정보를 통해 각 음원의 시간속성을 동기화해서 최적의 오디오 빔을 추출한 상태에서, 최초 설정된 유저 입력에 기초한 청음 수준으로 상기 최적의 오디오 빔의 방향 및 빔 폭을 청음하기 유리한 상태와 매칭되도록 조정한다(S308).Thereafter, in a state in which the optimal audio beam is extracted by synchronizing the time attributes of each sound source through correlation information including the determined main sound source generation point, the direction and beam of the optimal audio beam at the listening level based on the initially set user input. The width is adjusted to match the favorable condition for listening (S308).
이후, 편향계수를 환산하여 반영하는 빔 포밍 조정을 지속하거나, 빔 포밍 조정을 종료할 수 있다(S310 및 S312).Thereafter, the beam forming adjustment in which the deflection coefficient is converted and reflected may be continued or the beam forming adjustment may be terminated (S310 and S312).
추가로, S300 단계에서 메뉴얼 모드가 설정되는 경우, 빔 포밍장치(100)는 유저로부터 메뉴얼 입력을 받는 과정을 더 수행한다(S300-1).In addition, when the manual mode is set in step S300, the
참고로, 도 13은 본 발명의 오디오 빔 포밍을 통한 제1 수음 특성을 나타내는 예시도이고, 도 14는 본 발명의 오디오 빔 포밍을 통한 제2 수음 특성을 나타내는 예시도이며, 도 15는 본 발명의 오디오 빔 포밍을 통한 제3 수음 특성을 나타내는 예시도이다.For reference, FIG. 13 is an exemplary diagram showing a first sound-receiving characteristic through audio beamforming according to the present invention, FIG. 14 is an exemplary diagram showing a second sound-receiving characteristic through audio beam forming according to the present invention, and FIG. 15 is It is an exemplary diagram showing a third sound-receiving characteristic through audio beamforming of.
도 13에 도시된 제1 수음 특성은 좌측 45도 편향되어 수음되는 특성이고, 도 14에 도시된 제2 수음 특성은 편향되지 아니한 상태로 수음되는 특성이며, 도 15에 도시된 제3 수음 특성은 우측 45도 편향되어 수음되는 특성을 예시한 것이다.The first sound-receiving characteristic shown in FIG. 13 is a characteristic in which the sound is received by being deflected 45 degrees to the left, the second sound-receiving characteristic shown in FIG. 14 is a characteristic in which the sound is received without being deflected, and the third sound-receiving characteristic shown in FIG. This is an illustration of the characteristic of being deflected by 45 degrees to the right.
이상과 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the above and the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features. You can understand that there is. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects.
또한, 본 발명은 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 전기적으로 편향 지연하는 동기화 방식을 통해 청음에 유리한 신호로 수음된 신호를 변환시키는 환경적응형 오디오 빔 포밍장치를 제공하기 위한 것임에 따라, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.In addition, the present invention extracts the optimal audio beam from the surrounding environment, and converts the received signal into a signal favorable to hearing through a synchronization method that electrically deflects delay based on the attributes of the extracted optimal audio beam. As it is intended to provide a type audio beam forming device, it is an invention that has industrial applicability because it is not only sufficiently commercially available or commercially possible, but also can be implemented clearly in reality.
100: 빔 포밍장치 110: 마이크로폰어레이
120: 편향제어부 120-1-1, 120-2-1: 음원영역 검출모듈
120-1-2, 120-2-2: 상관관계 추정모듈
120-1-3, 120-2-3: 편향지연 계수 산출모듈
120-1-4, 120-2-4: 편향지연 모듈
120-2-5: 탐색신호 생성모듈
130: 믹서 140: 증폭기
150: 스테레오 ADC 160: DAC100: beam forming device 110: microphone array
120: deflection control unit 120-1-1, 120-2-1: sound source region detection module
120-1-2, 120-2-2: correlation estimation module
120-1-3, 120-2-3: deflection delay coefficient calculation module
120-1-4, 120-2-4: deflection delay module
120-2-5: Search signal generation module
130: mixer 140: amplifier
150: stereo ADC 160: DAC
Claims (6)
상기 마이크로폰어레이에 수음되는 상기 수신된 각 음원 간의 각도를 분석해서 상기 설치된 영역의 주 음원발생 포인트를 결정하고, 상기 주 음원발생 포인트를 포함하는 상관관계 정보를 통해 각 음원의 시간속성을 동기화하는 편향제어부; 및
상기 동기화된 각 음원을 입력받아 다중화된 편향음원을 출력하는 믹서를 포함하되,
상기 편향제어부는 상기 수신된 각 음원의 유효 음원영역을 검출하는 음원영역 검출모듈;
상기 검출된 유효 음원영역들 간의 위상차 및 신호세기를 통해 상기 상관관계 정보를 계산하는 상관관계 추정모듈;
상기 상관관계 정보를 통해 편향지연 계수를 계산하는 편향지연 계수 산출모듈; 및
상기 편향지연 계수를 기초로 상기 수신된 각 음원의 시간속성을 동기화하는 편향지연 모듈을 포함하는 환경적응형 오디오 빔 포밍장치.A microphone array for receiving at least two sound sources from the installed area;
Deflection for determining the main sound source generation point of the installed area by analyzing the angle between the received sound sources received by the microphone array, and synchronizing the temporal properties of each sound source through correlation information including the main sound source generation point Control unit; And
Including a mixer for receiving each of the synchronized sound source and outputting the multiplexed deflected sound source,
The deflection control unit includes a sound source region detection module for detecting an effective sound source region of each of the received sound sources;
A correlation estimation module for calculating the correlation information through the phase difference and signal strength between the detected effective sound source regions;
A deflection delay coefficient calculation module for calculating a deflection delay coefficient through the correlation information; And
Environment-adaptive audio beam forming apparatus comprising a deflection delay module for synchronizing time attributes of each of the received sound sources based on the deflection delay coefficient.
상기 편향제어부는 상기 적어도 둘의 음원에 대한 소스 역할을 하는 탐색신호의 생성을 제어하는 탐색신호 생성모듈을 더 포함하는 환경적응형 오디오 빔 포밍장치.The method of claim 1,
The deflection control unit further comprises a search signal generation module for controlling generation of a search signal serving as a source for the at least two sound sources.
상기 편향제어부는 상기 수신된 각 음원 간의 동기화를 설정하는 설치 모드 및 상기 설치 모드에서 미리 정해진 동기화 설정에 기초해서 상기 수신된 각 음원 간의 동기화를 실행하는 동작 모드를 갖추고, 각 모드별로 구분 실행하는 환경적응형 오디오 빔 포밍장치.The method of claim 1,
The deflection control unit has an installation mode for setting synchronization between each of the received sound sources and an operation mode for synchronizing each of the received sound sources based on a synchronization setting predetermined in the installation mode, and an environment in which each mode is separately executed Adaptive audio beam forming device.
상기 편향제어부는 상기 수신된 각 음원이 있을 때마다 상기 수신된 각 음원 간의 동기화를 설정하고, 실시간으로 가변된 동기화 설정에 기초해서 상기 수신된 각 음원 간의 동기화를 실행하는 환경 적응형 오디오 빔 포밍장치.The method of claim 1,
The deflection control unit sets the synchronization between the received sound sources whenever each of the received sound sources is present, and an environment-adaptive audio beamforming device that performs synchronization between the received sound sources based on a synchronization setting varied in real time. .
상기 편향제어부는 상기 수신된 각 음원 간의 동기화를 설정하는 경우, 미리 정해진 분석 풀 선정 기준을 토대로 수신된 음원들 중 분석 대상의 음원들을 특정하는 환경 적응형 오디오 빔 포밍장치.The method according to claim 4 or 5,
When the deflection control unit sets the synchronization between the received sound sources, the environment adaptive audio beamforming apparatus specifies sound sources to be analyzed among received sound sources based on a predetermined analysis pool selection criterion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140149856A KR102174850B1 (en) | 2014-10-31 | 2014-10-31 | Environment adaptation type beam forming apparatus for audio |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140149856A KR102174850B1 (en) | 2014-10-31 | 2014-10-31 | Environment adaptation type beam forming apparatus for audio |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160050812A KR20160050812A (en) | 2016-05-11 |
KR102174850B1 true KR102174850B1 (en) | 2020-11-05 |
Family
ID=56025697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140149856A KR102174850B1 (en) | 2014-10-31 | 2014-10-31 | Environment adaptation type beam forming apparatus for audio |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102174850B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120076316A1 (en) * | 2010-09-24 | 2012-03-29 | Manli Zhu | Microphone Array System |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101409169B1 (en) * | 2007-09-05 | 2014-06-19 | 삼성전자주식회사 | Sound zooming method and apparatus by controlling null widt |
KR101415026B1 (en) * | 2007-11-19 | 2014-07-04 | 삼성전자주식회사 | Method and apparatus for acquiring the multi-channel sound with a microphone array |
US8976986B2 (en) | 2009-09-21 | 2015-03-10 | Microsoft Technology Licensing, Llc | Volume adjustment based on listener position |
-
2014
- 2014-10-31 KR KR1020140149856A patent/KR102174850B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120076316A1 (en) * | 2010-09-24 | 2012-03-29 | Manli Zhu | Microphone Array System |
Also Published As
Publication number | Publication date |
---|---|
KR20160050812A (en) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11979734B2 (en) | Method to determine loudspeaker change of placement | |
KR20120071452A (en) | Directonal sound source filtering apparatus using microphone array and controlling method thereof | |
CN106782584B (en) | Audio signal processing device, method and electronic device | |
KR102171226B1 (en) | Audio adaptation to room | |
US9769552B2 (en) | Method and apparatus for estimating talker distance | |
KR101460060B1 (en) | Method for compensating audio frequency characteristic and AV apparatus using the same | |
CN105812969A (en) | Method, system and device for picking up sound signal | |
CN106872945B (en) | Sound source positioning method and device and electronic equipment | |
KR20110047852A (en) | Method and Apparatus for recording sound source adaptable to operation environment | |
US8023662B2 (en) | Reverberation adjusting apparatus, reverberation correcting method, and sound reproducing system | |
CN109155884A (en) | Stereo separation is carried out with omnidirectional microphone and orientation inhibits | |
JP2009206754A (en) | Surround sound output device and program | |
US12136432B2 (en) | Methods for reducing error in environmental noise compensation systems | |
JP5737342B2 (en) | Sound collecting device and program | |
JP6508899B2 (en) | Sound environment control device and sound environment control system using the same | |
US20230232153A1 (en) | A sound output unit and a method of operating it | |
KR102174850B1 (en) | Environment adaptation type beam forming apparatus for audio | |
JP2012255852A (en) | Television apparatus | |
KR102333476B1 (en) | Apparatus and Method for Sound Source Separation based on Rada | |
CN107277690B (en) | Sound processing method and device and electronic equipment | |
KR20110041258A (en) | Apparatus for ssound filtering | |
KR102407872B1 (en) | Apparatus and Method for Sound Source Separation based on Rada | |
JP4293884B2 (en) | Stereo microphone device | |
KR102003675B1 (en) | System and method for detecting trouble of line-array speaker | |
KR102113572B1 (en) | Sound reduction system and sound reduction method using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |