KR102174850B1 - Environment adaptation type beam forming apparatus for audio - Google Patents

Environment adaptation type beam forming apparatus for audio Download PDF

Info

Publication number
KR102174850B1
KR102174850B1 KR1020140149856A KR20140149856A KR102174850B1 KR 102174850 B1 KR102174850 B1 KR 102174850B1 KR 1020140149856 A KR1020140149856 A KR 1020140149856A KR 20140149856 A KR20140149856 A KR 20140149856A KR 102174850 B1 KR102174850 B1 KR 102174850B1
Authority
KR
South Korea
Prior art keywords
sound sources
sound
sound source
received
deflection
Prior art date
Application number
KR1020140149856A
Other languages
Korean (ko)
Other versions
KR20160050812A (en
Inventor
김지만
김진수
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140149856A priority Critical patent/KR102174850B1/en
Publication of KR20160050812A publication Critical patent/KR20160050812A/en
Application granted granted Critical
Publication of KR102174850B1 publication Critical patent/KR102174850B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

본 발명은 환경적응형 오디오 빔 포밍장치를 개시한다. 본 발명에 따른 환경적응형 오디오 빔 포밍장치는, 설치된 영역으로부터 적어도 둘의 음원을 수신하는 마이크로폰어레이, 상기 마이크로폰어레이에 수음되는 상기 수신된 각 음원 간의 각도를 분석해서 상기 설치된 영역의 주 음원발생 포인트를 결정하고, 상기 주 음원발생 포인트를 포함하는 상관관계 정보를 통해 각 음원의 시간속성을 동기화하는 편향제어부 및 상기 동기화된 각 음원을 입력받아 다중화된 편향음원을 출력하는 믹서를 포함한다.The present invention discloses an environmentally adaptive audio beam forming apparatus. The environmentally adaptive audio beam forming apparatus according to the present invention includes a microphone array receiving at least two sound sources from an installed area, and a main sound source generation point of the installed area by analyzing an angle between each of the received sound sources received by the microphone array. And a deflection control unit for synchronizing time attributes of each sound source through correlation information including the main sound source generation point, and a mixer configured to receive the synchronized sound sources and output multiplexed deflection sound sources.

Description

환경적응형 오디오 빔 포밍장치{Environment adaptation type beam forming apparatus for audio}Environment adaptation type beam forming apparatus for audio

본 발명은 환경적응형 오디오 빔 포밍장치에 관한 것으로, 더욱 상세하게는 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 청음 효과를 개선하기 위한 환경적응형 오디오 빔 포밍장치에 관한 것이다.The present invention relates to an environmentally adaptive audio beam forming apparatus, and more particularly, an environmentally adaptive for extracting an optimal audio beam from the surrounding environment and improving the listening effect based on the attributes of the extracted optimal audio beam. It relates to an audio beam forming apparatus.

감시카메라의 수음 획득은 무지향성 콘덴서의 음향신호를 전압으로 변환하는 것에 의해 가능하다. 이러한 음향 신호는 방향성이 없이 전방의 또는 마이크로폰의 지향성에 좌우되고, 탐지 거리 및 음향 품질에 상당한 영향을 미친다. Acquisition of sound pickup of the surveillance camera is possible by converting the sound signal of the omni-directional capacitor into a voltage. These acoustic signals, without directionality, depend on the directivity of the front or of the microphone, and have a significant effect on the detection distance and sound quality.

특히, 감시카메라가 설치될 장소는 어떠한 음향이 주되게 존재하는지 또는 어떠한 특정음향이 얼마 정도의 레벨로 존재하는지 등에 대한 음향 대상을 확정하는 것이 어렵다.In particular, it is difficult to determine the sound object for the location where the surveillance camera is to be installed, which sound is mainly present or which specific sound is present at what level.

이와 같은 제약으로 감시카메라에서 음향 관련 기술은 극히 제한적인 기능으로 한정되고, 보다 특수한 음향관련 기능을 감시카메라에 구현하기 위해서는 상당한 별도 비용이 요구될 뿐만 아니라 상기 특수한 음향관련 기능을 뒷받침할 수 있는 상당량의 데이터베이스 구축이 이루어져야만 가능하다.Due to this limitation, the sound related technology in the surveillance camera is limited to extremely limited functions, and a considerable extra cost is required to implement more special sound related functions in the surveillance camera, as well as a considerable amount to support the special sound related functions. This is possible only when the database of the database is built.

또한, 상기 특수한 음향관련 기능을 뒷받침할 수 있는 상당량의 데이터베이스 구축과 더불어 감시카메라에서 실행하기 위한 알고리즘이 확보된다고 하더라도, 음향 학습 도중에 출현하는 각종 잡음을 효과적으로 제거하여 음향탐지 능력을 실용화 가능한 정도로 확보하는 데에 한계가 있다.In addition, even if a considerable amount of database is built to support the special sound-related functions and algorithms to be executed in the surveillance camera are secured, various noises appearing during sound learning are effectively removed to secure sound detection capabilities to a practical level. There is a limit to this.

그리고, 마이크로폰의 지향성 및 감도는 실내외 환경에 의해 상당한 성능 차이를 나타낸다. And, the directivity and sensitivity of the microphone show a significant performance difference depending on the indoor and outdoor environment.

실내의 경우, 마이크로폰이 위치한 주변의 공간 형상 및 크기뿐만 아니라, 벽면의 재질 등에 따라 반향 후 전해오는 음향들을 차별적으로 구별해서 신호 처리하는 데에 한계가 있다.In the case of indoors, there is a limitation in processing signals by differentially distinguishing sounds transmitted after reverberation according to not only the shape and size of the space around the microphone is located, but also the material of the wall.

실외의 경우, 실내와 다르게 음향의 반향이 상대적으로 적을 수 있으나 동일 조건의 마이크로폰을 사용할 경우에 실내보다 감도에 따른 거리가 줄어드는 단점이 있다. In the case of outdoors, unlike indoors, the reverberation of sound may be relatively small, but there is a disadvantage that the distance according to sensitivity decreases compared to indoors when a microphone under the same conditions is used.

또한, 지하 주차장 등의 공조 시설과 인접해서 감시카메라가 설치되는 경우, 인접한 공조기등으로부터 발생되는 상당한 크기의 소음으로 인해 원활한 수음을 획득하는 것이 불가하다.In addition, when a surveillance camera is installed adjacent to an air conditioning facility such as an underground parking lot, it is impossible to obtain smooth sound absorption due to a considerable amount of noise generated from an adjacent air conditioner.

따라서, 감시카메라의 수음 획득을 보다 용이하게 실현하기 위한 방안이 필요하다.Therefore, there is a need for a method for more easily realizing the acquisition of sound pickup of a surveillance camera.

대한민국 공개특허공보 제10-2012-0068875 (2012.06.27)Republic of Korea Patent Publication No. 10-2012-0068875 (2012.06.27)

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 과제는 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 전기적으로 편향 지연하는 동기화 방식을 통해 청음에 유리한 신호로 수음된 신호를 변환시키는 환경적응형 오디오 빔 포밍장치를 제공하는 데 있다.Accordingly, the present invention was created to solve the above problem, and the object of the present invention is to extract the optimal audio beam from the surrounding environment, and to synchronize the electrical deflection delay based on the attributes of the extracted optimal audio beam. It is to provide an environmentally adaptive audio beam forming device that converts a received signal into a signal that is advantageous for listening through a method.

본 발명의 과제는 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The subject of the present invention is not limited to the above-mentioned object, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위한 본 발명의 관점에 따른 환경적응형 오디오 빔 포밍장치는 설치된 영역으로부터 적어도 둘의 음원을 수신하는 마이크로폰어레이, 상기 마이크로폰어레이에 수음되는 상기 수신된 각 음원 간의 각도를 분석해서 상기 설치된 영역의 주 음원발생 포인트를 결정하고, 상기 주 음원발생 포인트를 포함하는 상관관계 정보를 통해 각 음원의 시간속성을 동기화하는 편향제어부 및 상기 동기화된 각 음원을 입력받아 다중화된 편향음원을 출력하는 믹서를 포함한다.The environment-adaptive audio beam forming apparatus according to the aspect of the present invention for achieving the above object is a microphone array receiving at least two sound sources from an installed area, and analyzing the angle between the received sound sources received by the microphone array and the A deflection control unit that determines the main sound source generation point of the installed area, synchronizes the time attributes of each sound source through correlation information including the main sound source generation point, and outputs multiplexed deflection sound sources by receiving the synchronized sound sources. Includes a mixer.

상기 편향제어부는 상기 수신된 각 음원의 유효 음원영역을 검출하는 음원영역 검출모듈, 상기 검출된 유효 음원영역들 간의 위상차 및 신호세기를 통해 상기 상관관계 정보를 계산하는 상관관계 추정모듈, 상기 상관관계 정보 및 미리 정해진 동기화 테이블을 통해 편향지연 계수를 계산하는 편향지연 계수 산출모듈 및 상기 편향지연 계수를 기초로 상기 수신된 각 음원의 시간속성을 동기화하는 편향지연 모듈을 포함할 수 있다.The deflection control unit includes a sound source region detection module that detects an effective sound source region of each of the received sound sources, a correlation estimation module that calculates the correlation information through a phase difference and signal strength between the detected effective sound source regions, and the correlation A deflection delay coefficient calculation module that calculates a deflection delay coefficient through information and a predetermined synchronization table, and a deflection delay module that synchronizes time attributes of each received sound source based on the deflection delay coefficient.

상기 편향제어부는 상기 적어도 둘의 음원에 대한 소스 역할을 하는 탐색신호의 생성을 제어하는 탐색신호 생성모듈을 더 포함할 수 있다.The deflection control unit may further include a search signal generation module for controlling generation of a search signal serving as a source for the at least two sound sources.

상기 편향제어부는 상기 수신된 각 음원 간의 동기화를 설정하는 설치 모드 및 상기 설치 모드에서 미리 정해진 동기화 설정에 기초해서 상기 수신된 각 음원 간의 동기화를 실행하는 동작 모드를 갖추고, 각 모드별로 구분 실행할 수 있다.The deflection control unit has an installation mode for setting synchronization between each of the received sound sources, and an operation mode for synchronizing each of the received sound sources based on a preset synchronization setting in the installation mode, and can be separately executed for each mode. .

상기 편향제어부는 상기 수신된 각 음원이 있을 때마다 상기 수신된 각 음원 간의 동기화를 설정하고, 실시간으로 가변된 동기화 설정에 기초해서 상기 수신된 각 음원 간의 동기화를 실행할 수 있다.The deflection control unit may set synchronization between the received sound sources whenever there is each of the received sound sources, and may perform synchronization between the received sound sources based on a synchronization setting changed in real time.

상기 편향제어부는 상기 수신된 각 음원 간의 동기화를 설정하는 경우, 미리 정해진 분석 풀 선정 기준을 토대로 수신된 음원들 중 분석 대상의 음원들을 특정할 수 있다.When setting synchronization between the received sound sources, the deflection control unit may specify sound sources to be analyzed among received sound sources based on a predetermined analysis pool selection criterion.

따라서, 본 발명에서는 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 전기적으로 편향 지연하는 동기화 방식을 통해 청음에 유리한 신호로 수음된 신호를 변환시킬 수 있는 이점이 있다.Therefore, in the present invention, the received signal can be converted into a signal advantageous for hearing through a synchronization method in which an optimal audio beam is extracted from the surrounding environment and electrically deflected based on the properties of the extracted optimal audio beam. There is an advantage.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 환경적응형 오디오 빔 포밍장치를 나타내는 블록도이다.
도 2는 도 1의 오디오 빔 포밍장치를 일 실시 예로 나타내는 회로도이다.
도 3은 도 1의 편향제어부를 일 실시 예로 나타내는 블록도이다.
도 4는 도 1의 편향제어부를 다른 실시 예로 나타내는 블록도이다.
도 5는 도 1에 도시된 장치의 수음 방식을 일례로 나타내는 개념도이다.
도 6은 도 1에 도시된 장치의 수음 방식을 다른 예로 나타내는 개념도이다.
도 7은 도 1에 도시된 장치의 수음 방식을 또 다른 예로 나타내는 개념도이다.
도 8은 도 1에 도시된 장치의 편향제어 방식을 일례로 나타내는 개념도이다.
도 9는 도 1에 도시된 장치의 편향제어 방식을 다른 예로 나타내는 개념도이다.
도 10은 도 1의 오디오 빔 포밍장치의 동작 과정을 일례로 나타내는 순서도이다.
도 11은 도 1의 오디오 빔 포밍장치의 동작 과정을 다른 예로 나타내는 순서도이다.
도 12는 도 1의 오디오 빔 포밍장치의 동작 과정을 또 다른 예로 나타내는 순서도이다.
도 13은 본 발명의 오디오 빔 포밍을 통한 제1 수음 특성을 나타내는 예시도이다.
도 14는 본 발명의 오디오 빔 포밍을 통한 제2 수음 특성을 나타내는 예시도이다.
그리고, 도 15는 본 발명의 오디오 빔 포밍을 통한 제3 수음 특성을 나타내는 예시도이다.
1 is a block diagram showing an environment-adaptive audio beam forming apparatus according to the present invention.
FIG. 2 is a circuit diagram illustrating the audio beam forming apparatus of FIG. 1 as an example.
3 is a block diagram showing a deflection control unit of FIG. 1 as an example.
4 is a block diagram illustrating a deflection control unit of FIG. 1 according to another embodiment.
5 is a conceptual diagram illustrating an example of a pickup method of the device shown in FIG. 1.
6 is a conceptual diagram illustrating another example of a pickup method of the device shown in FIG. 1.
7 is a conceptual diagram showing another example of a pickup method of the apparatus shown in FIG. 1.
8 is a conceptual diagram illustrating a deflection control method of the device shown in FIG. 1 as an example.
9 is a conceptual diagram illustrating a deflection control method of the apparatus shown in FIG. 1 as another example.
10 is a flowchart illustrating an example of an operation process of the audio beam forming apparatus of FIG. 1.
11 is a flowchart illustrating another example of an operation process of the audio beam forming apparatus of FIG. 1.
12 is a flowchart illustrating another example of an operation process of the audio beam forming apparatus of FIG. 1.
13 is an exemplary diagram illustrating a first sound-receiving characteristic through audio beamforming according to the present invention.
14 is an exemplary diagram showing a second sound-receiving characteristic through audio beamforming according to the present invention.
And, FIG. 15 is an exemplary diagram showing a third sound-receiving characteristic through audio beamforming according to the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the disclosure of the present invention complete, and are common knowledge in the technical field to which the present invention pertains. It is provided to completely inform the scope of the invention to those who have, and the invention is only defined by the scope of the claims. The same reference numerals refer to the same components throughout the specification.

또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. Further, the embodiments described in the present specification will be described with reference to sectional views and/or schematic diagrams, which are ideal exemplary diagrams of the present invention. Therefore, the shape of the exemplary diagram may be modified by manufacturing technology and/or tolerance. In addition, in each of the drawings shown in the present invention, each component may be somewhat enlarged or reduced in consideration of convenience of description.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 다음과 같이 상세히 설명한다.Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 환경적응형 오디오 빔 포밍장치를 나타내는 블록도이다.1 is a block diagram showing an environment-adaptive audio beam forming apparatus according to the present invention.

도 1을 참조하면, 환경적응형 오디오 빔 포밍장치(100)는 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 전기적으로 편향 지연하는 동기화 방식을 통해 청음에 유리한 신호로 수음된 신호를 변환시키는 구성을 갖춘다.Referring to FIG. 1, the environment-adaptive audio beam forming apparatus 100 extracts an optimal audio beam from the surrounding environment, and is electrically deflected based on the attributes of the extracted optimal audio beam. It is equipped with a configuration that converts the received signal into a signal favorable to

또한, 환경적응형 오디오 빔 포밍장치(100)는 주변환경으로부터 음원을 수음하는 장비에 구비 가능하다. 예를 들면, 환경적응형 오디오 빔 포밍장치(100)는 감시카메라에 구비 가능하다. 이하에서는 보다 구체적인 설명을 위해, 감시카메라에 구비되는 환경적응형 오디오 빔 포밍장치(100)를 위주로 설명하기로 한다.In addition, the environment-adaptive audio beam forming apparatus 100 may be provided in equipment that receives sound sources from the surrounding environment. For example, the environment-adaptive audio beam forming apparatus 100 may be provided in a surveillance camera. Hereinafter, for a more detailed description, an environmentally adaptive audio beam forming apparatus 100 provided in a surveillance camera will be mainly described.

오디오 빔 포밍장치(100)에서, 오디오 빔, 즉 특정 음원을 수음하기 위해서는 마이크로폰어레이(110)를 구비한다. 여기서, 마이크로폰어레이(110)는 다수의 마이크로폰이 배열된 구조물을 일컫는다.In the audio beam forming apparatus 100, a microphone array 110 is provided to receive an audio beam, that is, a specific sound source. Here, the microphone array 110 refers to a structure in which a plurality of microphones are arranged.

전술한 마이크로폰의 수음 패턴은 무지향성, 양지향성 및 단일 지향성으로 분류 가능하다. 즉, 무지향성, 양지향성 및 단일 지향성 중 특정 수음 패턴을 갖는 마이크로폰의 경우, 주변환경의 모든 음원을 수음하는 것이 불가능하고, 특정 수음 패턴과 상응하는 음원만을 수음하는 것이 가능하다. 이것은 감시카메라의 FOV(Field Of View)과 마이크로폰의 수음 패턴이 일치할 수 없다는 한계가 있다는 것을 의미한다.The above-described microphone pickup pattern can be classified into omni-directional, bi-directional, and unidirectional. That is, in the case of a microphone having a specific sound-receiving pattern among omni-directional, bi-directional, and uni-directional, it is impossible to receive all sound sources in the surrounding environment, and it is possible to receive only sound sources corresponding to the specific sound-receiving pattern. This means that there is a limitation in that the field of view (FOV) of the surveillance camera and the pickup pattern of the microphone cannot be matched.

무지향성 콘덴서 마이크로폰의 경우 SNR(Signal to Noise Ratio)에 따라 상대적인 거리를 산출할 수 있으나, 이는 잡음이 불규칙하게 발생하는 장소에 감시카메라와 마이크로폰이 설치되었을 경우 신호에 비해 잡음의 세기가 같거나 클 경우 음향 신호를 분석하기 어렵고, 또한 실외의 경우 거리에 따른 대기모델의 음향의 거리별 음향의 감쇄 dB SPL(Sound Pressure Level)은 거리가 증가할 때마다 감쇄 폭도 증가한다.In the case of an omni-directional condenser microphone, the relative distance can be calculated according to the signal to noise ratio (SNR), but this is when a surveillance camera and a microphone are installed in a place where noise is irregularly generated, the intensity of noise is equal to or greater than the signal. In this case, it is difficult to analyze the sound signal, and in the case of outdoors, the sound attenuation dB SPL (Sound Pressure Level) by distance of the sound of the atmospheric model according to the distance increases as the distance increases.

예를 들어, 마이크로폰을 통해 현재 측정 잡음이 50 dB SPL이고, 1m에서 음원 발생시 70 dB가 측정되었다면(SNR 20dB), 동일한 크기의 소리가 10m에서 발생하는 경우 -20dB가 감쇄하여 50dB정도가 되면 감시카메라의 인접 소음과 차이가 없게 된다.For example, if the current measurement noise through a microphone is 50 dB SPL, and 70 dB is measured when a sound source is generated at 1 m (SNR 20 dB), if a sound of the same size occurs at 10 m, -20 dB is attenuated and is monitored when it reaches 50 dB. There is no difference from the noise adjacent to the camera.

잡음과 음원이 동일 크기이기 때문에 음원의 탐지가 어려울 뿐만 아니라 마이크로폰에 들어오는 입력이 잡음인지 탐지하고자 하는 음원인지를 판정하는 것도 용이하지 않은 측면이 있다. 그러므로, 거리보다는 마이크로폰으로 입력되는 SNR에 의해 음향 방향을 추정하는 성능에 대한 개선이 요구된다.Since the noise and the sound source are the same size, it is difficult to detect the sound source, and it is also difficult to determine whether the input to the microphone is noise or the sound source to be detected. Therefore, there is a need for improvement in the performance of estimating the acoustic direction by the SNR input to the microphone rather than the distance.

또한, 감시카메라에서 사용하는 무지향성 콘덴서 마이크로폰의 경우, 음향 검출 가능 레벨이 10dB이고 민감도가 대략 -44dB의 성능을 갖는 마이크로폰이라고 가정하면 음향 검출 거리는 10dB 이상 차이가 있어야 음향 검출이 가능하므로 '-44 - (10dB) = -33dB'와 같이 계산됨에 따라, 4~5m 거리로 예상할 수 있다. 즉, 저가의 무지향성 콘덴서 마이크로폰으로는 실, 내외에 설비되는 감시카메라에 적용하여 잡음 변화에 민감한 특성으로 수음 가능한 감시카메라를 구현하는 데에 한계가 있다.In addition, in the case of an omni-directional condenser microphone used in a surveillance camera, assuming that the sound detection level is 10dB and the sensitivity is a microphone with a performance of approximately -44dB, the sound detection distance must be 10dB or more to enable sound detection. -(10dB) = -33dB', it can be estimated as 4~5m distance. In other words, there is a limitation in implementing a surveillance camera capable of receiving sound with a characteristic sensitive to noise changes by applying it to surveillance cameras installed inside and outside the room as a low-cost omnidirectional condenser microphone.

지향성 측면에서 무지향성일 경우, 전면부 중심으로 좌우 90도로 커버되는 범위의 음향을 감지할 수 있고, 180도 방향의 음향은 전면부보다 감도가 줄어들기는 하나 반향되는 음향들 및 박스형 감시카메라의 FOV를 벗어난 부분의 음향도 함께 수음할 수 있다. 반면에, 감시하고자 하는 영역만을 수음하는 경우 마이크로폰의 설치방향을 조정할 필요가 있다. In the case of omni-directional in terms of directivity, it is possible to detect sound in a range of 90 degrees to the left and right from the center of the front part, and the sound in the 180-degree direction is less sensitive than the front part, but the echoed sounds and the FOV of the box-type surveillance camera You can also pick up the sound of the part that is off. On the other hand, in the case of receiving only the area to be monitored, it is necessary to adjust the installation direction of the microphone.

또한, 지향 영역을 좁게하거나 넓게하는 경우, 지향성 마이크로폰으로 교체가 필요하며, 감시카메라의 특성상 기계적으로 관련 부품을 탑재할 수 있는 공간이 한정되어 있음에 따라, 전술한 조정을 위한 관련 부품의 탑재가 한정적이다.In addition, in the case of narrowing or widening the directional area, it is necessary to replace it with a directional microphone, and due to the nature of the surveillance camera, the space for mechanically mounting related parts is limited. It is limited.

따라서, 감시카메라의 설치 주변환경에 맞게 음향 추적한 후 빔 포밍 조정을 기계적 방식이 아닌 전기적 방식으로 실현하는 것에 대한 이점이 있다.Therefore, there is an advantage in realizing the beam forming adjustment in an electrical method rather than a mechanical method after acoustic tracking according to the installation surrounding environment of the surveillance camera.

이를 위한, 본 발명의 환경적응형 오디오 빔 포밍장치(100)는 설치된 영역으로부터 적어도 둘의 음원을 수신하는 마이크로폰어레이(110), 마이크로폰어레이(110)에 수음되는 각 음원 간의 각도를 분석해서 설치된 영역의 주 음원발생 포인트를 결정하고, 결정된 주 음원발생 포인트를 포함하는 상관관계 정보를 통해 각 음원의 시간속성을 동기화하는 편향제어부(120) 및 동기화된 각 음원을 입력받아 다중화된 편향음원을 출력하는 믹서(130)를 포함한다.To this end, the environment-adaptive audio beam forming apparatus 100 of the present invention analyzes the angle between the microphone array 110 receiving at least two sound sources from the installed area and each sound source received by the microphone array 110 to be installed area A deflection control unit 120 that determines the main sound source generation point of and synchronizes the time attributes of each sound source through correlation information including the determined main sound source generation point, and outputs multiplexed deflection sound sources by receiving the synchronized sound sources. Includes a mixer 130.

도 2는 도 1의 오디오 빔 포밍장치를 일 실시 예로 나타내는 회로도이다.FIG. 2 is a circuit diagram illustrating the audio beam forming apparatus of FIG. 1 as an example.

도 2를 참조하면, 빔 포밍장치(100)는 증폭기(140), 스테레오 ADC(Analog-Digital Converter, 150) 및 DAC(Digital-Analog Converter, 160)를 더 포함할 수 있다.Referring to FIG. 2, the beam forming apparatus 100 may further include an amplifier 140, a stereo analog-digital converter (ADC) 150, and a digital-analog converter (DAC) 160.

증폭기(140)는 마이크로폰어레이(110)로부터 제공되는 음원을 증폭해서 신호 해석을 용이하게 하거나, 믹서(130)로부터 출력되는 다중화된 편향음원을 미리 정해진 출력 값으로 증폭할 수 있다.The amplifier 140 may amplify the sound source provided from the microphone array 110 to facilitate signal analysis, or may amplify the multiplexed deflected sound source output from the mixer 130 to a predetermined output value.

스테레오 ADC(150)는 증폭된 음원을 양자화 처리해서 신호 해석이 가능한 상태로 변환한 후 변환된 신호를 출력한다.The stereo ADC 150 quantizes the amplified sound source, converts it into a state in which signal analysis is possible, and outputs the converted signal.

전술한 편향제어부(120)는 감시카메라의 메인 프로세서와 별개로 존재하는 DSP 형태로 구비될 수 있다.The above-described deflection control unit 120 may be provided in the form of a DSP that exists separately from the main processor of the surveillance camera.

스테레오 ADC(150)로부터 출력된 변환된 신호는 DSP 형태의 편향제어부(120)로 전달됨에 따라, 감시카메라의 주변환경에 대응하는 신호 처리를 실행하여 보다 청음 효과가 개선된 신호를 생성할 수 있다.As the converted signal output from the stereo ADC 150 is transmitted to the DSP-type deflection control unit 120, signal processing corresponding to the surrounding environment of the surveillance camera is performed, thereby generating a signal with improved hearing effect. .

DAC(160)는 DSP로부터 출력된 신호를 아날로그 신호로 변환한 후, 변환된 신호를 믹서(130)로 전달한다.The DAC 160 converts the signal output from the DSP into an analog signal and then transmits the converted signal to the mixer 130.

도 3은 도 1의 편향제어부를 일 실시 예로 나타내는 블록도이고, 도 4는 도 1의 편향제어부를 다른 실시 예로 나타내는 블록도이다.3 is a block diagram illustrating a deflection control unit of FIG. 1 as an example, and FIG. 4 is a block diagram illustrating a deflection control unit of FIG. 1 as another exemplary embodiment.

도 3을 참조하면, 편향제어부(120)는 스테레오 ADC(150)로부터 출력된 변환된 신호들인 각 음원의 유효 음원영역을 검출하는 음원영역 검출모듈(120-1-1), 검출된 유효 음원영역들 간의 위상차 및 신호세기를 통해 상관관계 정보를 계산하는 상관관계 추정모듈(120-1-2), 계산된 상관관계 정보 및 미리 정해진 동기화 테이블을 통해 편향지연 계수를 계산하는 편향지연 계수 산출모듈(120-1-3) 및 편향지연 계수를 기초로 수신된 각 음원의 시간 속성을 동기화하는 편향지연 모듈(120-1-4)을 포함할 수 있다.Referring to FIG. 3, the deflection control unit 120 includes a sound source region detection module 120-1-1 for detecting an effective sound source region of each sound source, which is converted signals output from the stereo ADC 150, and the detected effective sound source region. A correlation estimation module 120-1-2 that calculates correlation information through the phase difference and signal strength between them, a deflection delay coefficient calculation module that calculates a deflection delay coefficient through the calculated correlation information and a predetermined synchronization table ( 120-1-3) and a deflection delay module 120-1-4 for synchronizing time attributes of each sound source received based on the deflection delay coefficient.

도 4를 참조하면, 편향제어부(120)는 음원영역 검출모듈(120-2-1), 상관관계 추정모듈(120-2-2), 편향지연 계수 산출모듈(120-2-3), 및 편향지연 모듈(120-2-4)을 포함할 뿐만 아니라, 탐색신호 생성모듈(120-2-5)을 더 포함할 수도 있다.4, the deflection control unit 120 includes a sound source region detection module 120-2-1, a correlation estimation module 120-2-2, a deflection delay coefficient calculation module 120-2-3, and In addition to including the deflection delay module 120-2-4, it may further include a search signal generation module 120-2-5.

탐색신호 생성모듈(120-2-5)은 적어도 둘의 음원에 대한 소스 역할을 하는 탐색신호의 생성을 제어하는 모듈로서, 감시카메라를 설치하여 주변환경으로부터 직접 음원을 수음하는 것이 아니라 감시카메라의 설치 주변환경을 예측해서 인위적으로 음원을 생성하기 위한 용도로 활용될 수 있다. 따라서, 탐색신호 생성모듈은 특정 음원의 탐색신호만이 아니라, 다양한 종류의 탐색신호를 생성하는 것이 바람직하다.The search signal generation module (120-2-5) is a module that controls the generation of search signals serving as sources for at least two sound sources, and does not directly receive sound sources from the surrounding environment by installing a surveillance camera. It can be used for the purpose of artificially generating sound sources by predicting the surrounding environment of the installation. Therefore, it is preferable that the search signal generation module generates not only the search signal of a specific sound source, but also various types of search signals.

도 5는 도 1에 도시된 장치의 수음 방식을 일례로 나타내는 개념도이고, 도 6은 도 1에 도시된 장치의 수음 방식을 다른 예로 나타내는 개념도이며, 도 7은 도 1에 도시된 장치의 수음 방식을 또 다른 예로 나타내는 개념도이다.FIG. 5 is a conceptual diagram illustrating a pickup method of the device illustrated in FIG. 1 as an example, FIG. 6 is a conceptual diagram illustrating a pickup method of the device illustrated in FIG. 1 as another example, and FIG. 7 is a pickup method of the device illustrated in FIG. It is a conceptual diagram showing another example.

도 5를 참조하면, 마이크로폰어레이(110)에 좌측 45도 방향으로 편향된 두 개의 음원이 수음되는 경우, 각 음원이 마이크로폰어레이(110)에 도달되는 시간 차가 발생한다. 이에 따라, 마이크로폰어레이(110)는 발생한 시간 차로 인해 각 음원을 출력할 때에도 고스란히 이미 발생한 시간 차가 각 음원 사이에 존재한 상태로 출력을 한다.Referring to FIG. 5, when two sound sources deflected in the left 45 degree direction are received by the microphone array 110, a time difference occurs when each sound source reaches the microphone array 110. Accordingly, even when outputting each sound source due to a time difference that has occurred, the microphone array 110 outputs a state in which a time difference that has already occurred exists between the sound sources.

이때, 본 발명의 편향제어부(120)를 통해 전기적인 편향 지연 방식으로 동기화하지 않을 경우, 마이크로폰어레이(110)로부터 각 음원 사이에 존재하는 시간 차가 그대로 유지된 상태로 출력된 신호가 믹서(130)로 전달된다. 결국, 믹서(130)는 각 음원 사이에 존재하는 시간 차가 반영된 상태로 각 음원을 가중합함으로써, 도 5에 도시된 바와 같이 두 신호 간의 상관관계가 낮아진 것을 원인으로 한 신호의 손실이 발생하고, 이에 따른 신호의 왜곡도 발생할 수 있다.At this time, when the synchronization is not performed through the deflection control unit 120 of the present invention through the electric deflection delay method, the signal output from the microphone array 110 while maintaining the time difference between the sound sources is maintained as is, the mixer 130 Is delivered to. As a result, the mixer 130 weights each sound source in a state in which the time difference existing between the sound sources is reflected, thereby causing loss of a signal due to a decrease in the correlation between the two signals as shown in FIG. Accordingly, signal distortion may also occur.

도 6을 참조하면, 마이크로폰어레이(110)에 편향되지 않은 두 개의 음원이 수음되는 경우, 각 음원이 마이크로폰어레이(110)에 도달되는 시간 차가 발생하지 않는다.Referring to FIG. 6, when two sound sources that are not deflected by the microphone array 110 are received, there is no time difference between each sound source reaching the microphone array 110.

이에 따라, 마이크로폰어레이(110)는 각 음원을 동시에 수음함에 따라, 시간 차가 없는 각 음원을 그대로 출력한다.Accordingly, the microphone array 110 simultaneously receives each sound source and outputs each sound source without a time difference as it is.

이때, 본 발명의 편향제어부(120)를 통해 전기적인 편향 지연 방식으로 동기화하지 않을 경우, 마이크로폰어레이(110)로부터 출력된 신호가 믹서(130)로 전달된다. 결국, 믹서(130)는 시간 차가 없는 상태의 각 음원을 가중합함으로써, 도 6에 도시된 바와 같이 두 신호 간의 상관관계가 높아짐에 따라 신호의 손실이 발생하지 아니하고 최대의 신호 세기를 형성할 수 있다. 이와 같은 경우, 편향제어부(120)를 실행하지 않은 상태에서도 감시카메라의 주변으로부터 수음된 음질을 개선하기 위한 최적의 오디오 빔을 추출할 수 있다.In this case, when synchronization is not performed through the deflection control unit 120 of the present invention in an electrical deflection delay method, a signal output from the microphone array 110 is transmitted to the mixer 130. As a result, the mixer 130 weights each sound source without a time difference, thereby increasing the correlation between the two signals, as shown in FIG. 6, so that signal loss does not occur and the maximum signal strength can be formed. have. In this case, even when the deflection control unit 120 is not executed, an optimal audio beam for improving sound quality received from the surroundings of the surveillance camera may be extracted.

도 7을 참조하면, 마이크로폰어레이(110)에 우측 45도 방향으로 편향된 두 개의 음원이 수음되는 경우, 각 음원이 마이크로폰어레이(110)에 도달되는 시간 차가 발생한다. 이에 따라, 마이크로폰어레이(110)는 발생한 시간 차로 인해 각 음원을 출력할 때에도 고스란히 이미 발생한 시간 차가 각 음원 사이에 존재한 상태로 출력을 한다.Referring to FIG. 7, when two sound sources deflected in the right 45 degree direction are received by the microphone array 110, a time difference occurs when each sound source reaches the microphone array 110. Accordingly, even when outputting each sound source due to a time difference that has occurred, the microphone array 110 outputs a state in which a time difference that has already occurred exists between the sound sources.

이때, 본 발명의 편향제어부(120)를 통해 전기적인 편향 지연 방식으로 동기화하지 않을 경우, 마이크로폰어레이(110)로부터 각 음원 사이에 존재하는 시간 차가 그대로 유지된 상태로 출력된 신호가 믹서(130)로 전달된다. 결국, 믹서(130)는 각 음원 사이에 존재하는 시간 차가 반영된 상태로 각 음원을 가중합함으로써, 도 7에 도시된 바와 같이 두 신호 간의 상관관계가 낮아진 것을 원인으로 한 신호의 손실이 발생하고, 이에 따른 신호의 왜곡도 발생할 수 있다.At this time, when the synchronization is not performed through the deflection control unit 120 of the present invention through the electric deflection delay method, the signal output from the microphone array 110 while maintaining the time difference between the sound sources is maintained as is, the mixer 130 Is delivered to. As a result, the mixer 130 weights each sound source in a state in which the time difference existing between the sound sources is reflected, thereby causing loss of a signal due to a decrease in the correlation between the two signals as shown in FIG. 7, Accordingly, signal distortion may also occur.

따라서, 도 5 및 도 7과 같은 상태로 수음되는 경우에는 편향제어부(120)를 실행해서 수음된 음원의 시간 속성을 동기화하는 보정이 필요하다.Therefore, when the sound is received in the state as shown in FIGS. 5 and 7, it is necessary to perform the deflection control unit 120 to synchronize the time attribute of the sound source received.

도 8은 도 1에 도시된 장치의 편향제어 방식을 일례로 나타내는 개념도이다.8 is a conceptual diagram illustrating a deflection control method of the device shown in FIG. 1 as an example.

도 8을 참조하면, 마이크로폰어레이(110)에 좌측 45도 방향으로 편향된 두 개의 음원이 수음되는 경우, 편향제어부(120)는 두 개의 음원 사이에 존재하는 위상차를 계산함에 따라 두 음원 간의 시간차를 포함한 상관관계 정보를 계산하고, 계산된 상관관계 정보를 이용해서 수음된 음원들 간의 시간 속성을 동기화한다.Referring to FIG. 8, when two sound sources deflected in the left 45 degree direction are received by the microphone array 110, the deflection control unit 120 calculates the phase difference between the two sound sources, including the time difference between the two sound sources. Correlation information is calculated, and time properties between the received sound sources are synchronized using the calculated correlation information.

편향제어부(120)는 수음된 두 개의 음원 중 제1 음원을 동기화 기준으로 하고, 두 개의 음원인 제1 음원과 제2 음원 간의 시간 차를 계산한다. 그리고, 편향제어부(120)는 계산된 시간 차만큼 제2 음원의 시간 속성을 지연시켜서 상기 두 개의 음원 간에 대한 시간 속성을 동기화한다.The deflection control unit 120 uses a first sound source among the two sound sources received as a synchronization reference, and calculates a time difference between the first sound source and the second sound source, which are two sound sources. Further, the deflection control unit 120 synchronizes the time attributes of the two sound sources by delaying the time attributes of the second sound source by the calculated time difference.

예를 들어, 편향제어부(120)는 수음된 두 개의 음원 중 마이크로폰어레이(110)에 늦게 도달된 음원을 상기 동기화 기준인 제1 음원으로 설정하고, 상기 두 개의 음원 중 마이크로폰어레이(110)에 먼저 도달된 음원을 제2 음원으로 설정하여 편향 제어의 대상으로 한다.For example, the deflection control unit 120 sets a sound source that has arrived late to the microphone array 110 among the two sound sources as the first sound source, which is the synchronization criterion, and first among the two sound sources, the microphone array 110 The reached sound source is set as the second sound source and is subjected to deflection control.

도 9는 도 1에 도시된 장치의 편향제어 방식을 다른 예로 나타내는 개념도이다.9 is a conceptual diagram illustrating a deflection control method of the apparatus shown in FIG. 1 as another example.

도 9를 참조하면, 마이크로폰어레이(110)에 편향되지 아니한 두 개의 음원이 수음되고, 도 8에서 설정된 편향 제어 설정이 유지되는 경우를 상정할 수 있다. 이 경우, 편향되지 아니한 두 개의 음원 중 어느 하나를 편향 제어함에 따라 원하지 않는 왜곡 현상이 발생할 수도 있다.Referring to FIG. 9, it may be assumed that two sound sources that are not deflected by the microphone array 110 are received and the deflection control setting set in FIG. 8 is maintained. In this case, unwanted distortion may occur as one of the two sound sources that are not deflected is deflected.

즉, 편향제어부(120)는 마이크로폰어레이(110)에 수음되는 적어도 두 개의 음원 간에 대한 편향 정도를 판정하고, 판정 결과를 기초로 편향 제어를 실시하는 것이 바람직하다.That is, it is preferable that the deflection control unit 120 determines a degree of deflection between at least two sound sources received by the microphone array 110 and performs deflection control based on the determination result.

또한, 편향제어부(120)는 수음되는 음원이 3개 이상인 경우, 3개 이상의 음원들 중 동기화 대상이 되는 두 개의 음원을 추출해서 최적의 오디오 빔을 선정할 수 있다. 즉, 편향제어부(120)는 수신된 각 음원 간의 동기화를 설정하는 경우, 미리 정해진 분석 풀 선정 기준을 토대로 수신된 음원들 중 분석 대상의 음원들을 특정할 수 있다.In addition, when there are three or more sound sources to be received, the deflection control unit 120 may select an optimal audio beam by extracting two sound sources to be synchronized among the three or more sound sources. That is, when setting synchronization between the received sound sources, the deflection control unit 120 may specify sound sources to be analyzed among the received sound sources based on a predetermined analysis pool selection criterion.

예를 들어, 편향제어부(120)는 좌측 45도 방향으로 편향된 두 개의 음원이 수음되고 우측 45도 방향으로 한 개의 음원이 수음되는 경우, 주 편향 방향이 일치하는 좌측 45도 방향의 두 개의 음원을 동기화 대상으로 설정할 수 있다.For example, when two sound sources deflected in the left 45 degree direction are received and one sound source is received in the right 45 degree direction, the deflection control unit 120 selects two sound sources in the left 45 degree direction with the same main deflection direction. Can be set as a synchronization target.

한편, 편향제어부(120)는 수신된 각 음원 간의 동기화를 설정하는 설치 모드와, 설치 모드에서 미리 정해진 동기화 설정에 기초해서 수신된 각 음원 간의 동기화를 실행하는 동작 모드를 갖추고, 각 모드별로 구분 실행할 수 있다. On the other hand, the deflection control unit 120 has an installation mode for setting synchronization between each received sound source and an operation mode for performing synchronization between each received sound source based on a preset synchronization setting in the installation mode. I can.

다른 방식으로, 편향제어부(120)는 수신된 각 음원들이 있을 때마다 수신된 각 음원 간의 동기화를 설정하고, 실시간으로 가변된 동기화 설정에 기초해서 수신된 각 음원 간의 동기화를 실행하는 것도 가능하다.Alternatively, the deflection control unit 120 may set synchronization between each received sound source whenever there are received sound sources, and may perform synchronization between each received sound source based on a synchronization setting varied in real time.

도 10은 도 1의 오디오 빔 포밍장치의 동작 과정을 일례로 나타내는 순서도이다.10 is a flowchart illustrating an example of an operation process of the audio beam forming apparatus of FIG. 1.

도 10을 참조하면, 빔 포밍장치(100)는 감시카메라의 출고 전에 무음실에서 자체 스피커로부터 재생한 음원을 자체 마이크로폰어레이(110)로 수음하는 방식으로 빔 포밍을 할 수 있으며, 이를 위해 먼저 상기 자체 스피커로부터 재생하는 음원의 생성을 위한 탐색 신호의 생성 제어를 실행한다(S100).Referring to FIG. 10, the beam forming apparatus 100 may perform beamforming by receiving a sound source reproduced from its own speaker in a silent room before the surveillance camera is shipped with its own microphone array 110, and for this purpose, first A search signal generation control for generating a sound source reproduced from its own speaker is executed (S100).

이후, 빔 포밍장치(100)는 탐색 신호의 생성으로 상기 자체 스피커로 출력된 음원을 마이크로폰어레이(110)로 수음한 후, 수음된 음원을 편향 지연하기 위한 편향 계수를 가변한다(S102).Thereafter, the beam forming apparatus 100 receives the sound source output through the own speaker through the microphone array 110 by generating a search signal, and then changes a deflection coefficient for deflecting the received sound source (S102).

이후, 빔 폭이 고정된 상태에서 마이크로폰어레이(110)로부터 수음된 음원의 신호세기를 구한다(S104).Thereafter, the signal strength of the sound source received from the microphone array 110 is obtained while the beam width is fixed (S104).

이후, 출하 전 저장된 음압 계수와 설치 현장에서 수음된 음압의 절대값 차이를 계산하고(S106), 설치 환경에서의 음압 계수를 저장하거나 이전 음압 계수를 갱신한다(S108).Thereafter, the difference between the sound pressure coefficient stored before shipment and the sound pressure received at the installation site is calculated (S106), and the sound pressure coefficient in the installation environment is stored or the previous sound pressure coefficient is updated (S108).

상기 S102 내지 S108 단계를 미리 정해진 임계 실시회수까지 반복한다(S110).The steps S102 to S108 are repeated until a predetermined threshold number of executions (S110).

S110 단계까지 거친 결과를 토대로 전방향에 대한 음압 계수를 획득한다. 획득한 음압 계수가 클수록 장애물이 인접해 있다는 정보 취득이 가능하다. 이러한 정보는 정상 동작에서 빔폭 및 빔 방향으로 조정하는 데에 사용될 지표로서 사용될 수 있다.Based on the result of going through step S110, the sound pressure coefficient for all directions is obtained. The larger the obtained sound pressure coefficient, the more information that an obstacle is adjacent can be obtained. This information can be used as an indicator to be used to adjust the beam width and beam direction in normal operation.

상기 임계 실시회수가 도래하면 탐색 신호의 생성 제어를 중지한다(S112).When the threshold number of executions arrives, the generation control of the search signal is stopped (S112).

도 11은 도 1의 오디오 빔 포밍장치의 동작 과정을 다른 예로 나타내는 순서도이다.11 is a flowchart illustrating another example of an operation process of the audio beam forming apparatus of FIG. 1.

도 11을 참조하면, 빔 포밍장치(100)는 감시카메라의 설치환경에서 직접 설치환경 내의 음원을 수신한다(S200).Referring to FIG. 11, the beam forming apparatus 100 directly receives a sound source in the installation environment from the installation environment of the surveillance camera (S200).

이후, 빔 포밍장치(100)는 설치환경 내의 음원을 마이크로폰어레이(110)로 수음한 후, 수음된 음원을 편향 지연하기 위한 편향 계수를 가변하고, 빔 폭이 고정된 상태에서 마이크로폰어레이(110)로부터 수음된 음원의 신호세기를 구한다(S202).Thereafter, the beam forming apparatus 100 receives the sound source in the installation environment with the microphone array 110, and then varies a deflection coefficient for deflecting the received sound source, and the microphone array 110 in a state where the beam width is fixed. The signal strength of the sound source received from is obtained (S202).

이후, 출하 전 저장된 음압 계수와 설치 현장에서 수음된 음압의 절대값 차이를 계산하고, 설치 환경에서의 음압 계수를 저장하거나 이전 음압 계수를 갱신한다(S204).Thereafter, the difference between the sound pressure coefficient stored before shipment and the sound pressure received at the installation site is calculated, and the sound pressure coefficient in the installation environment is stored or the previous sound pressure coefficient is updated (S204).

상기 S202 내지 S204 단계를 미리 정해진 임계 실시회수까지 반복한다(S206).The steps S202 to S204 are repeated until a predetermined threshold number of executions (S206).

S206 단계까지 거친 결과를 토대로 전방향에 대한 음압 계수를 획득한다. 획득한 음압 계수가 클수록 장애물이 인접해 있다는 정보 취득이 가능하다. 이러한 정보는 정상 동작에서 빔폭 및 빔 방향으로 조정하는 데에 사용될 지표로서 사용될 수 있다.Based on the result of going through step S206, the sound pressure coefficient for all directions is obtained. The larger the obtained sound pressure coefficient, the more information that an obstacle is adjacent can be obtained. This information can be used as an indicator to be used to adjust the beam width and beam direction in normal operation.

상기 임계 실시회수가 도래하면 탐색 신호의 생성 제어를 중지한다(S208).When the threshold number of executions arrives, the search signal generation control is stopped (S208).

도 12는 도 1의 오디오 빔 포밍장치의 동작 과정을 또 다른 예로 나타내는 순서도이다.12 is a flowchart illustrating another example of an operation process of the audio beam forming apparatus of FIG. 1.

도 12를 참조하면, 빔 포밍장치(100)는 사용자의 선택에 따라 메뉴얼 모드 또는 자동 모드로 동작할 수 있으며, 메뉴얼 운용은 감시카메라의 FOV 내에서 GUI 화면상에서 결정할 수 있다(S300).Referring to FIG. 12, the beam forming apparatus 100 may operate in a manual mode or an automatic mode according to a user's selection, and manual operation may be determined on a GUI screen within the FOV of the surveillance camera (S300).

S300 단계에서 메뉴얼 모드가 아닌 자동 모드로 설정되는 경우, 빔 포밍장치(100)는 감시카메라 주변으로부터 수음을 한 후 유효한 음원 영역을 검출한다(S302).When the automatic mode is set instead of the manual mode in step S300, the beam forming apparatus 100 detects an effective sound source region after receiving sound from the surroundings of the surveillance camera (S302).

S302 단계에서 검출된 유효한 음원이 존재하는 경우, 유효한 음원을 이루는 음원들 간의 각도를 분석해서 설치된 영역 중 주 음원발생 포인트를 결정한다(S306).If there is a valid sound source detected in step S302, an angle between sound sources constituting the effective sound source is analyzed to determine a main sound source generation point among the installed regions (S306).

이후, 상기 결정된 주 음원발생 포인트를 포함한 상관관계 정보를 통해 각 음원의 시간속성을 동기화해서 최적의 오디오 빔을 추출한 상태에서, 최초 설정된 유저 입력에 기초한 청음 수준으로 상기 최적의 오디오 빔의 방향 및 빔 폭을 청음하기 유리한 상태와 매칭되도록 조정한다(S308).Thereafter, in a state in which the optimal audio beam is extracted by synchronizing the time attributes of each sound source through correlation information including the determined main sound source generation point, the direction and beam of the optimal audio beam at the listening level based on the initially set user input. The width is adjusted to match the favorable condition for listening (S308).

이후, 편향계수를 환산하여 반영하는 빔 포밍 조정을 지속하거나, 빔 포밍 조정을 종료할 수 있다(S310 및 S312).Thereafter, the beam forming adjustment in which the deflection coefficient is converted and reflected may be continued or the beam forming adjustment may be terminated (S310 and S312).

추가로, S300 단계에서 메뉴얼 모드가 설정되는 경우, 빔 포밍장치(100)는 유저로부터 메뉴얼 입력을 받는 과정을 더 수행한다(S300-1).In addition, when the manual mode is set in step S300, the beam forming apparatus 100 further performs a process of receiving a manual input from the user (S300-1).

참고로, 도 13은 본 발명의 오디오 빔 포밍을 통한 제1 수음 특성을 나타내는 예시도이고, 도 14는 본 발명의 오디오 빔 포밍을 통한 제2 수음 특성을 나타내는 예시도이며, 도 15는 본 발명의 오디오 빔 포밍을 통한 제3 수음 특성을 나타내는 예시도이다.For reference, FIG. 13 is an exemplary diagram showing a first sound-receiving characteristic through audio beamforming according to the present invention, FIG. 14 is an exemplary diagram showing a second sound-receiving characteristic through audio beam forming according to the present invention, and FIG. 15 is It is an exemplary diagram showing a third sound-receiving characteristic through audio beamforming of.

도 13에 도시된 제1 수음 특성은 좌측 45도 편향되어 수음되는 특성이고, 도 14에 도시된 제2 수음 특성은 편향되지 아니한 상태로 수음되는 특성이며, 도 15에 도시된 제3 수음 특성은 우측 45도 편향되어 수음되는 특성을 예시한 것이다.The first sound-receiving characteristic shown in FIG. 13 is a characteristic in which the sound is received by being deflected 45 degrees to the left, the second sound-receiving characteristic shown in FIG. 14 is a characteristic in which the sound is received without being deflected, and the third sound-receiving characteristic shown in FIG. This is an illustration of the characteristic of being deflected by 45 degrees to the right.

이상과 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the above and the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features. You can understand that there is. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects.

또한, 본 발명은 주변환경으로부터 최적의 오디오 빔을 추출하고, 추출된 최적의 오디오 빔에 대한 속성을 기초로 전기적으로 편향 지연하는 동기화 방식을 통해 청음에 유리한 신호로 수음된 신호를 변환시키는 환경적응형 오디오 빔 포밍장치를 제공하기 위한 것임에 따라, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.In addition, the present invention extracts the optimal audio beam from the surrounding environment, and converts the received signal into a signal favorable to hearing through a synchronization method that electrically deflects delay based on the attributes of the extracted optimal audio beam. As it is intended to provide a type audio beam forming device, it is an invention that has industrial applicability because it is not only sufficiently commercially available or commercially possible, but also can be implemented clearly in reality.

100: 빔 포밍장치 110: 마이크로폰어레이
120: 편향제어부 120-1-1, 120-2-1: 음원영역 검출모듈
120-1-2, 120-2-2: 상관관계 추정모듈
120-1-3, 120-2-3: 편향지연 계수 산출모듈
120-1-4, 120-2-4: 편향지연 모듈
120-2-5: 탐색신호 생성모듈
130: 믹서 140: 증폭기
150: 스테레오 ADC 160: DAC
100: beam forming device 110: microphone array
120: deflection control unit 120-1-1, 120-2-1: sound source region detection module
120-1-2, 120-2-2: correlation estimation module
120-1-3, 120-2-3: deflection delay coefficient calculation module
120-1-4, 120-2-4: deflection delay module
120-2-5: Search signal generation module
130: mixer 140: amplifier
150: stereo ADC 160: DAC

Claims (6)

설치된 영역으로부터 적어도 둘의 음원을 수신하는 마이크로폰어레이;
상기 마이크로폰어레이에 수음되는 상기 수신된 각 음원 간의 각도를 분석해서 상기 설치된 영역의 주 음원발생 포인트를 결정하고, 상기 주 음원발생 포인트를 포함하는 상관관계 정보를 통해 각 음원의 시간속성을 동기화하는 편향제어부; 및
상기 동기화된 각 음원을 입력받아 다중화된 편향음원을 출력하는 믹서를 포함하되,
상기 편향제어부는 상기 수신된 각 음원의 유효 음원영역을 검출하는 음원영역 검출모듈;
상기 검출된 유효 음원영역들 간의 위상차 및 신호세기를 통해 상기 상관관계 정보를 계산하는 상관관계 추정모듈;
상기 상관관계 정보를 통해 편향지연 계수를 계산하는 편향지연 계수 산출모듈; 및
상기 편향지연 계수를 기초로 상기 수신된 각 음원의 시간속성을 동기화하는 편향지연 모듈을 포함하는 환경적응형 오디오 빔 포밍장치.
A microphone array for receiving at least two sound sources from the installed area;
Deflection for determining the main sound source generation point of the installed area by analyzing the angle between the received sound sources received by the microphone array, and synchronizing the temporal properties of each sound source through correlation information including the main sound source generation point Control unit; And
Including a mixer for receiving each of the synchronized sound source and outputting the multiplexed deflected sound source,
The deflection control unit includes a sound source region detection module for detecting an effective sound source region of each of the received sound sources;
A correlation estimation module for calculating the correlation information through the phase difference and signal strength between the detected effective sound source regions;
A deflection delay coefficient calculation module for calculating a deflection delay coefficient through the correlation information; And
Environment-adaptive audio beam forming apparatus comprising a deflection delay module for synchronizing time attributes of each of the received sound sources based on the deflection delay coefficient.
삭제delete 제1 항에 있어서,
상기 편향제어부는 상기 적어도 둘의 음원에 대한 소스 역할을 하는 탐색신호의 생성을 제어하는 탐색신호 생성모듈을 더 포함하는 환경적응형 오디오 빔 포밍장치.
The method of claim 1,
The deflection control unit further comprises a search signal generation module for controlling generation of a search signal serving as a source for the at least two sound sources.
제1 항에 있어서,
상기 편향제어부는 상기 수신된 각 음원 간의 동기화를 설정하는 설치 모드 및 상기 설치 모드에서 미리 정해진 동기화 설정에 기초해서 상기 수신된 각 음원 간의 동기화를 실행하는 동작 모드를 갖추고, 각 모드별로 구분 실행하는 환경적응형 오디오 빔 포밍장치.
The method of claim 1,
The deflection control unit has an installation mode for setting synchronization between each of the received sound sources and an operation mode for synchronizing each of the received sound sources based on a synchronization setting predetermined in the installation mode, and an environment in which each mode is separately executed Adaptive audio beam forming device.
제1 항에 있어서,
상기 편향제어부는 상기 수신된 각 음원이 있을 때마다 상기 수신된 각 음원 간의 동기화를 설정하고, 실시간으로 가변된 동기화 설정에 기초해서 상기 수신된 각 음원 간의 동기화를 실행하는 환경 적응형 오디오 빔 포밍장치.
The method of claim 1,
The deflection control unit sets the synchronization between the received sound sources whenever each of the received sound sources is present, and an environment-adaptive audio beamforming device that performs synchronization between the received sound sources based on a synchronization setting varied in real time. .
제4 항 또는 제5 항에 있어서,
상기 편향제어부는 상기 수신된 각 음원 간의 동기화를 설정하는 경우, 미리 정해진 분석 풀 선정 기준을 토대로 수신된 음원들 중 분석 대상의 음원들을 특정하는 환경 적응형 오디오 빔 포밍장치.
The method according to claim 4 or 5,
When the deflection control unit sets the synchronization between the received sound sources, the environment adaptive audio beamforming apparatus specifies sound sources to be analyzed among received sound sources based on a predetermined analysis pool selection criterion.
KR1020140149856A 2014-10-31 2014-10-31 Environment adaptation type beam forming apparatus for audio KR102174850B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140149856A KR102174850B1 (en) 2014-10-31 2014-10-31 Environment adaptation type beam forming apparatus for audio

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140149856A KR102174850B1 (en) 2014-10-31 2014-10-31 Environment adaptation type beam forming apparatus for audio

Publications (2)

Publication Number Publication Date
KR20160050812A KR20160050812A (en) 2016-05-11
KR102174850B1 true KR102174850B1 (en) 2020-11-05

Family

ID=56025697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140149856A KR102174850B1 (en) 2014-10-31 2014-10-31 Environment adaptation type beam forming apparatus for audio

Country Status (1)

Country Link
KR (1) KR102174850B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076316A1 (en) * 2010-09-24 2012-03-29 Manli Zhu Microphone Array System

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101409169B1 (en) * 2007-09-05 2014-06-19 삼성전자주식회사 Sound zooming method and apparatus by controlling null widt
KR101415026B1 (en) * 2007-11-19 2014-07-04 삼성전자주식회사 Method and apparatus for acquiring the multi-channel sound with a microphone array
US8976986B2 (en) 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076316A1 (en) * 2010-09-24 2012-03-29 Manli Zhu Microphone Array System

Also Published As

Publication number Publication date
KR20160050812A (en) 2016-05-11

Similar Documents

Publication Publication Date Title
US11979734B2 (en) Method to determine loudspeaker change of placement
KR20120071452A (en) Directonal sound source filtering apparatus using microphone array and controlling method thereof
CN106782584B (en) Audio signal processing device, method and electronic device
KR102171226B1 (en) Audio adaptation to room
US9769552B2 (en) Method and apparatus for estimating talker distance
KR101460060B1 (en) Method for compensating audio frequency characteristic and AV apparatus using the same
CN105812969A (en) Method, system and device for picking up sound signal
CN106872945B (en) Sound source positioning method and device and electronic equipment
KR20110047852A (en) Method and Apparatus for recording sound source adaptable to operation environment
US8023662B2 (en) Reverberation adjusting apparatus, reverberation correcting method, and sound reproducing system
CN109155884A (en) Stereo separation is carried out with omnidirectional microphone and orientation inhibits
JP2009206754A (en) Surround sound output device and program
US12136432B2 (en) Methods for reducing error in environmental noise compensation systems
JP5737342B2 (en) Sound collecting device and program
JP6508899B2 (en) Sound environment control device and sound environment control system using the same
US20230232153A1 (en) A sound output unit and a method of operating it
KR102174850B1 (en) Environment adaptation type beam forming apparatus for audio
JP2012255852A (en) Television apparatus
KR102333476B1 (en) Apparatus and Method for Sound Source Separation based on Rada
CN107277690B (en) Sound processing method and device and electronic equipment
KR20110041258A (en) Apparatus for ssound filtering
KR102407872B1 (en) Apparatus and Method for Sound Source Separation based on Rada
JP4293884B2 (en) Stereo microphone device
KR102003675B1 (en) System and method for detecting trouble of line-array speaker
KR102113572B1 (en) Sound reduction system and sound reduction method using the same

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right