KR101107120B1 - Device for sound source tracing and object recognition and method for sound source tracing and object recognition - Google Patents

Device for sound source tracing and object recognition and method for sound source tracing and object recognition Download PDF

Info

Publication number
KR101107120B1
KR101107120B1 KR1020100019580A KR20100019580A KR101107120B1 KR 101107120 B1 KR101107120 B1 KR 101107120B1 KR 1020100019580 A KR1020100019580 A KR 1020100019580A KR 20100019580 A KR20100019580 A KR 20100019580A KR 101107120 B1 KR101107120 B1 KR 101107120B1
Authority
KR
South Korea
Prior art keywords
sound source
camera
person
microphones
module
Prior art date
Application number
KR1020100019580A
Other languages
Korean (ko)
Other versions
KR20110100533A (en
Inventor
정연모
김태완
김동훈
노현진
박흥준
Original Assignee
주식회사 크라스아이디
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크라스아이디, 경희대학교 산학협력단 filed Critical 주식회사 크라스아이디
Priority to KR1020100019580A priority Critical patent/KR101107120B1/en
Publication of KR20110100533A publication Critical patent/KR20110100533A/en
Application granted granted Critical
Publication of KR101107120B1 publication Critical patent/KR101107120B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법에 대한 것으로서, 특히 복수개의 마이크로폰이 구비된 마이크로폰 어레이를 이용하여 음원이 발생한 방향을 계산하고 해당 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법에 관한 것이다. 본 발명은 복수개의 마이크로폰이 마련된 마이크로폰 어레이를 이용하여 음원이 발생된 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 확인 장치와 음원 추적 및 객체 확인 방법을 제공할 수 있다. 또한, 본 발명은 자동으로 음원이 발생된 방향으로 카메라를 회전시킨 후 자동으로 객체를 확인할 수 있으므로, 무인으로 운영이 가능한 음원 추적 및 객체 확인 장치와 음원 추적 및 객체 확인 방법을 제공할 수 있다.The present invention relates to a sound source tracking and object recognition apparatus and a sound source tracking and object recognition method, in particular, by using a microphone array having a plurality of microphones to calculate the direction in which the sound source is generated and to rotate the camera in the corresponding direction to identify the object A sound source tracking and object recognition apparatus and a sound source tracking and object recognition method. The present invention can provide a sound source tracking and object identification apparatus and a sound source tracking and object identification method capable of identifying an object by rotating a camera in a direction in which a sound source is generated using a microphone array provided with a plurality of microphones. In addition, the present invention can automatically identify the object after rotating the camera in the direction in which the sound source is automatically generated, it is possible to provide a sound source tracking and object identification device and sound source tracking and object confirmation method that can be operated unattended.

Description

음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법{DEVICE FOR SOUND SOURCE TRACING AND OBJECT RECOGNITION AND METHOD FOR SOUND SOURCE TRACING AND OBJECT RECOGNITION}DEVICE FOR SOUND SOURCE TRACING AND OBJECT RECOGNITION AND METHOD FOR SOUND SOURCE TRACING AND OBJECT RECOGNITION}

본 발명은 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법에 대한 것으로서, 특히 복수개의 마이크로폰이 구비된 마이크로폰 어레이를 이용하여 음원이 발생한 방향을 계산하고 해당 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법에 관한 것이다.The present invention relates to a sound source tracking and object recognition apparatus and a sound source tracking and object recognition method, in particular, by using a microphone array having a plurality of microphones to calculate the direction in which the sound source is generated and to rotate the camera in the corresponding direction to identify the object The present invention relates to a sound source tracking and object recognition apparatus and a sound source tracking and object recognition method.

폐쇄 회로 텔레비전(closed-circuit television, CCTV)은 비디오 카메라를 이용하여 특정 장소의 한정된 모니터로 신호를 전송하는 장치이다. 이러한 폐쇄 회로 텔레비전을 이용한 감시 카메라는 일반적으로 카메라의 방향을 고정시켜 특정 장소만을 감시하거나, 카메라를 회전시켜 여러 장소를 감시할 수 있도록 한다. 즉, 기존의 감시 카메라는 특정적인 한 장소만을 감시하거나, 카메라를 정속으로 회전시켜 여러 장소를 감시하며, 관리자가 모니터를 이용하여 카메라에서 취득되는 영상을 판단한다. 하지만, 이와 같이 한 장소만을 감시하도록 고정되거나 정속으로 회전하는 감시 카메라로는 객체를 보다 능동적으로 감시할 수 없다. 즉, 기존의 감시 카메라는 카메라가 영상을 취득할 수 있는 지역만을 감시할 수 밖에 없는 한계를 가지게 된다.Closed-circuit television (CCTV) is a device that transmits a signal to a limited monitor in a specific place using a video camera. Surveillance cameras using such closed-circuit televisions generally have a fixed orientation of the camera to monitor only a specific place or rotate the camera to monitor multiple places. That is, the existing surveillance camera monitors only one specific place or rotates the camera at constant speed to monitor various places, and the administrator determines the image acquired from the camera by using the monitor. However, such a surveillance camera that is fixed or rotated at constant speed to monitor only one place cannot monitor the object more actively. In other words, the existing surveillance camera has a limit that can only monitor the area where the camera can acquire the image.

또한, 기존의 감시 카메라는 항상 카메라에서 취득되는 영상을 모니터링하는 관리자가 있어야 하며, 관리자의 부재 시 외부인을 감시할 수 없는 문제점이 있다.In addition, the existing surveillance camera should always have a manager to monitor the image acquired from the camera, there is a problem that can not monitor the outsider in the absence of the manager.

본 발명의 목적은 음원이 발생한 지역을 추적하여 능동적으로 객체를 확인할 수 있는 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법을 제공하는 것이다.An object of the present invention is to provide a sound source tracking and object recognition apparatus and sound source tracking and object recognition method that can actively identify the object by tracking the area where the sound source occurred.

본 발명의 다른 목적은 관리자 없이 무인으로 특정 지역을 감시할 수 있는 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법을 제공하는 것이다.Another object of the present invention is to provide a sound source tracking and object recognition apparatus and a sound source tracking and object recognition method capable of monitoring a specific area unattended without an administrator.

상술한 목적을 달성하기 위해 본 발명은 카메라와, 복수개의 마이크로폰이 마련된 마이크로폰 어레이와, 상기 마이크로폰 어레이에서 측정된 음원을 수집하는 데이터 수집 장치와, 상기 데이터 수집 장치에서 수집된 음원을 분석하여 음원의 방향을 도출하며, 도출된 방향의 객체를 상기 카메라를 이용하여 확인하는 프로세서를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치를 제공한다. 상기 복수개의 마이크로폰은 서로 일정 간격으로 이격되며, 상기 복수개의 마이크로폰은 서로 동일한 방향의 음원을 수집한다. 이를 위해 상기 복수개의 마이크로폰은 일렬로 배열되는 것이 바람직하다. 데이터 수집 장치는 DAQ(Data Acquisition)를 포함할 수 있다. 상기 프로세서는 상기 마이크로폰 어레이에서 측정된 음원의 방향을 계산하는 음원 방향 계산 모듈과, 상기 음원 방향 계산 모듈에서 도출된 음원의 방향으로 상기 카메라를 회전시키는 카메라 회전 모듈, 및 상기 카메라에서 수집된 영상에서 객체를 확인하는 객체 확인 모듈을 포함한다. 상기 카메라 회전 모듈에 의해 상기 카메라를 회전시키는 구동부를 포함하며, 상기 구동부는 서보모터 또는 스태핑모터를 포함하는 것이 바람직하다. 상기 음원 방향 계산 모듈은 상기 복수개의 마이크로폰 중 음원 탐지에 사용된 마이크로폰 사이의 거리 및 음원 탐지에 사용된 마이크로폰 신호 간의 딜레이 값과, 온도에 따라 변화하는 음속으로 음원의 방향을 계산한다. 상기 음원의 방향은 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(

Figure 112010014055831-pat00001
로 나타내며, 상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
Figure 112010014055831-pat00002
는,
Figure 112010014055831-pat00003
이며, 상기
Figure 112010014055831-pat00004
는 온도에 따라 변화하는 음속이고, 상기
Figure 112010014055831-pat00005
는 상기 복수개의 마이크로폰 중 음원을 측정한 마이크로폰 신호간의 딜레이 값이며, 상기
Figure 112010014055831-pat00006
는 상기 복수개의 마이크로폰 사이의 거리이고, 상기
Figure 112010014055831-pat00007
는 상기 마이크로폰 어레이에서 음원을 측정하는 방향과, 상기 음원과의 각도이다. 상기 객체 확인 모듈은, 상기 카메라를 통해 입력된 영상을 동작 감지(Motion Detection) 기술을 이용하여 움직이는 물체를 확인하는 움직임 판단 모듈과, 상기 움직임 판단 모듈에서 움직이는 물체를 확인할 경우, 상기 카메라를 통해 입력된 영상의 처리를 위한 전 처리 과정을 수행하는 영상 처리 모듈, 및 상기 영상 처리 모듈에서 처리된 영상의 객체가 사람인지 아닌지 학습 알고리듬을 이용하여 미리 학습되어져 있는 자료를 통해 판단하는 사람 판단 모듈을 포함한다. 상기 사람 판단 모듈에서 확인된 객체를 저장하는 객체 저장 모듈을 더 포함할 수 있다. 상기 사람 판단 모듈은 학습 알고리듬에 의해 미리 저장된 객체 모델 데이터베이스와, 상기 객체 모델 데이터베이스와 상기 카메라에서 수집된 영상의 객체를 비교하여 외부인을 판별하는 외부인 판별 모듈을 더 포함할 수 있다. 이 경우, 상기 객체 확인 모듈에서 객체의 주체가 외부인으로 판별될 경우, 알람 및 경보를 발생시키는 알람을 더 포함할 수 있다.In order to achieve the above object, the present invention provides a camera, a microphone array provided with a plurality of microphones, a data collection device for collecting sound sources measured by the microphone array, and a sound source collected by the data collection device. It provides a sound source tracking and object recognition apparatus comprising a processor for deriving a direction, and identifying the object of the derived direction by using the camera. The plurality of microphones are spaced apart from each other at regular intervals, and the plurality of microphones collect sound sources in the same direction. To this end, the plurality of microphones are preferably arranged in a line. The data acquisition device may include a data acquisition (DAQ). The processor may include a sound source direction calculation module for calculating a direction of a sound source measured by the microphone array, a camera rotation module for rotating the camera in a direction of a sound source derived from the sound source direction calculation module, and an image collected by the camera. Includes an object validation module that validates objects. Preferably, the camera rotating module includes a driving unit for rotating the camera, and the driving unit includes a servo motor or a stepping motor. The sound source direction calculation module calculates a direction of a sound source with a distance between the microphones used for sound source detection and a microphone signal used for sound source detection among the plurality of microphones, and a sound velocity varying with temperature. The direction of the sound source is an angle between the direction in which the microphone array measures the sound source and the sound source (
Figure 112010014055831-pat00001
The angle between the sound source and the direction in which the microphone array measures the sound source (
Figure 112010014055831-pat00002
Quot;
Figure 112010014055831-pat00003
And said
Figure 112010014055831-pat00004
Is the speed of sound that changes with temperature, and
Figure 112010014055831-pat00005
Denotes a delay value between microphone signals obtained by measuring a sound source among the plurality of microphones.
Figure 112010014055831-pat00006
Is a distance between the plurality of microphones,
Figure 112010014055831-pat00007
Is a direction in which the sound source is measured in the microphone array and an angle between the sound source. The object identification module may include a motion determination module for identifying a moving object by using a motion detection technique and an image input through the camera, and an input through the camera when checking a moving object in the motion determination module. An image processing module for performing a pre-processing process for processing the processed image, and a person determination module for judging through the pre-learned data using a learning algorithm whether the object of the image processed by the image processing module is a human do. The apparatus may further include an object storage module configured to store the object identified by the person determination module. The person determining module may further include an outsider determination module that determines an outsider by comparing an object model database stored in advance by a learning algorithm with an object of an image collected by the object model database and the camera. In this case, when it is determined that the subject of the object as an external person in the object identification module, the object may further include an alarm for generating an alarm.

또한, 본 발명은 음원의 발생 여부를 판단하는 단계와, 상기 발생한 음원의 방향을 계산하는 단계와, 상기 음원이 발생한 지역으로 카메라를 회전하는 단계와, 상기 카메라에서 취득된 영상에서 사람의 얼굴을 인식하는 단계와, 상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법을 제공한다. 상기 발생한 음원의 방향을 계산하는 단계는, 복수개의 마이크로폰이 구비된 마이크로폰 어레이로 음원을 수신하는 단계와, 상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도를 계산하여 발생한 음원의 방향을 계산하는 단계를 포함한다. 상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도를 계산하여 발생한 음원의 방향을 계산하는 단계에서, 상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(

Figure 112010014055831-pat00008
는,
Figure 112010014055831-pat00009
이며, 상기
Figure 112010014055831-pat00010
는 온도에 따라 변화하는 음속이고, 상기
Figure 112010014055831-pat00011
는 상기 복수개의 마이크로폰 중 음원을 측정한 마이크로폰 신호간의 딜레이 값이며, 상기
Figure 112010014055831-pat00012
는 상기 복수개의 마이크로폰 사이의 거리이다. 상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계는, 상기 인식된 사람의 얼굴과 학습 알고리듬으로 미리 학습된 사람의 얼굴 자료를 매칭하여 외부인을 판별하는 단계를 포함한다. 상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계, 이후 상기 인식된 사람의 얼굴이 외부인으로 판별될 경우, 경보 및 알람 발생 단계를 더 포함할 수 있다.In addition, the present invention comprises the steps of determining whether the sound source is generated, calculating the direction of the generated sound source, rotating the camera to the area where the sound source is generated, and the face of the person in the image obtained by the camera It provides a sound source tracking and object recognition method comprising the step of recognizing, and determining whether the recognized person is an external person based on the recognized person's face. The calculating of the direction of the generated sound source may include receiving a sound source with a microphone array provided with a plurality of microphones, and calculating the direction of the generated sound source by calculating a direction between the microphone array measuring a sound source and an angle between the sound source. Steps. In the step of calculating the direction of the sound source generated by calculating the direction between the microphone array measuring the sound source and the sound source, the angle between the direction in which the microphone array measures the sound source and the sound source (
Figure 112010014055831-pat00008
Quot;
Figure 112010014055831-pat00009
And said
Figure 112010014055831-pat00010
Is the speed of sound that changes with temperature, and
Figure 112010014055831-pat00011
Denotes a delay value between microphone signals obtained by measuring a sound source among the plurality of microphones.
Figure 112010014055831-pat00012
Is the distance between the plurality of microphones. The determining of whether the recognized person is an outsider based on the recognized person's face includes determining the outsider by matching the recognized person's face with the face material of the previously learned person using a learning algorithm. The method may further include determining whether the recognized person is an external person based on the recognized person's face, and then, when the recognized person's face is determined to be an external person, an alarm and an alarm generating step may be further included.

본 발명은 복수개의 마이크로폰이 마련된 마이크로폰 어레이를 이용하여 음원이 발생된 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 확인 장치와 음원 추적 및 객체 확인 방법을 제공할 수 있다.The present invention can provide a sound source tracking and object identification apparatus and a sound source tracking and object identification method capable of identifying an object by rotating a camera in a direction in which a sound source is generated using a microphone array provided with a plurality of microphones.

또한, 본 발명은 자동으로 음원이 발생된 방향으로 카메라를 회전시킨 후 자동으로 객체를 확인할 수 있으므로, 무인으로 운영이 가능한 음원 추적 및 객체 확인 장치와 음원 추적 및 객체 확인 방법을 제공할 수 있다.In addition, the present invention can automatically identify the object after rotating the camera in the direction in which the sound source is automatically generated, it is possible to provide a sound source tracking and object identification device and sound source tracking and object confirmation method that can be operated unattended.

도 1은 본 발명에 따른 음원 추적 및 객체 인식 장치의 개념도.
도 2는 본 발명에 따른 음원 추적 및 객체 인식 장치의 동작을 설명하기 위한 도면.
도 3은 본 발명에 따른 음원 추적 및 객체 인식 장치의 마이크로폰 어레이를 이용한 음원 방향 측정을 설명하기 위한 개념도.
도 4는 본 발명에 따른 음원 추적 및 객체 인식 방법의 순서도.1 is a conceptual diagram of a sound source tracking and object recognition apparatus according to the present invention.
2 is a view for explaining the operation of the sound source tracking and object recognition apparatus according to the present invention.
3 is a conceptual diagram illustrating a sound source direction measurement using the microphone array of the sound source tracking and object recognition apparatus according to the present invention.
4 is a flowchart of a sound source tracking and object recognition method according to the present invention;

이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.It will be apparent to those skilled in the art that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to let you know. Like reference numerals in the drawings refer to like elements.

도 1은 본 발명에 따른 음원 추적 및 객체 인식 장치의 개념도이고, 도 2는 본 발명에 따른 음원 추적 및 객체 인식 장치의 동작을 설명하기 위한 도면이다. 도 3은 본 발명에 따른 음원 추적 및 객체 인식 장치의 마이크로폰 어레이를 이용한 음원 방향 측정을 설명하기 위한 개념도이다.1 is a conceptual diagram of a sound source tracking and object recognition apparatus according to the present invention, Figure 2 is a view for explaining the operation of the sound source tracking and object recognition apparatus according to the present invention. 3 is a conceptual diagram illustrating a sound source direction measurement using a microphone array of a sound source tracking and object recognition apparatus according to the present invention.

본 발명에 따른 음원 추적 및 객체 인식 장치는 도 1에 도시된 바와 같이, 음원을 취득하는 마이크로폰 어레이(100)와, 마이크로폰 어레이(100)에서 취득된 음원을 수집하는 데이터 수집 장치(200)와, 데이터 수집 장치(200)에서 수집된 음원을 처리하는 프로세서(300)와, 경보를 발생시키는 알람(400)과, 영상을 수집하는 카메라(500)와, 음원이 발생한 지역으로 카메라를 회전시키는 구동부(600)를 포함한다. 이때, 구동부(600)는 회전각도 제어가 가능한 서보모터 또는 스태핑모터를 포함하는 것이 바람직하다.As shown in FIG. 1, the sound source tracking and object recognizing apparatus according to the present invention includes a microphone array 100 for acquiring a sound source, a data collection device 200 for collecting a sound source acquired from the microphone array 100, and Processor 300 for processing the sound source collected by the data collection device 200, the alarm 400 for generating an alarm, the camera 500 for collecting the image, the driving unit for rotating the camera to the region where the sound source occurred ( 600). At this time, the driving unit 600 preferably includes a servo motor or a stepping motor capable of controlling the rotation angle.

마이크로폰 어레이(100)는 복수개의 마이크로폰이 마련된 어레이로서, 본 실시예는 다섯 개의 마이크로폰, 즉, 제 1 내지 제 5 마이크로폰이 일렬로 어레이된 것을 예시한다. 이때, 본 발명의 마이크로폰 어레이(100)는 구비된 복수개의 마이크로폰이 서로 일정한 간격으로 이격되어 동일한 방향의 음원을 취득하는 것이 바람직하다.The microphone array 100 is an array provided with a plurality of microphones, and this embodiment illustrates that five microphones, that is, first to fifth microphones are arranged in a line. At this time, in the microphone array 100 of the present invention, it is preferable that a plurality of microphones provided are spaced apart from each other at regular intervals to obtain a sound source in the same direction.

데이터 수집 장치(200)는 마이크로폰 어레이(100)에서 취득된 음원을 수집하기 위한 것으로서, DAQ(Data Acquisition)를 포함한다. 또한, 데이터 수집 장치(200)에서 수집된 음원은 프로세서(300)에 전달된다.The data collection device 200 is for collecting a sound source obtained from the microphone array 100 and includes a data acquisition (DAQ). In addition, the sound source collected by the data collection device 200 is delivered to the processor 300.

프로세서(300)는 데이터 수집 장치(200)에서 수집된 음원 정보를 이용하여 객체를 확인하기 위한 것으로서, 음원 방향 계산 모듈과, 카메라 회전 모듈, 객체 확인 모듈을 포함한다.The processor 300 is for identifying an object by using sound source information collected by the data collection device 200, and includes a sound source direction calculation module, a camera rotation module, and an object identification module.

음원 방향 계산 모듈은 데이터 수집 장치(200)에서 수집된 음원 정보를 기초로 음원이 발생한 방향을 계산한다. 이는 도 3을 참조하면, 음원의 방향을 측정하기 위해 두 개의 마이크로폰을 이용할 경우, 제 1 마이크로폰과 제 2 마이크로폰에 취득되는 제 1 음향(l1)과 제 2 음향(l2) 사이의 거리는

Figure 112010014055831-pat00013
이며 소리의 빠르기는 온도에 따라 정해진 속도(
Figure 112010014055831-pat00014
)가 된다. 이때, 제 1 마이크로폰과 제 2 마이크로폰에서 측정된 두 개의 신호, 즉, 제 1 마이크로폰 신호와 제 2 마이크로폰 신호를 상호 상관(cross correlation)하면, 제 1 마이크로폰 신호와 제 2 마이크로폰 신호간의 딜레이 값(
Figure 112010014055831-pat00015
)을 알 수 있다. 이때, 소리의 빠르기인 온도에 따라 정해진 속도(
Figure 112010014055831-pat00016
)는 아래의 수학식1로부터 구할 수 있다.The sound source direction calculation module calculates a direction in which the sound source is generated based on the sound source information collected by the data collection device 200. 3, when two microphones are used to measure the direction of a sound source, the distance between the first sound l1 and the second sound l2 acquired by the first microphone and the second microphone is
Figure 112010014055831-pat00013
The speed of the sound is determined by the speed
Figure 112010014055831-pat00014
) In this case, when the two signals measured by the first microphone and the second microphone, that is, the first microphone signal and the second microphone signal are cross correlated, the delay value between the first microphone signal and the second microphone signal (
Figure 112010014055831-pat00015
Can be seen. At this time, the speed determined according to the temperature of the sound (
Figure 112010014055831-pat00016
) Can be obtained from Equation 1 below.

Figure 112010014055831-pat00017
Figure 112010014055831-pat00017

여기서,

Figure 112010014055831-pat00018
는 음향이 측정된 복수개의 마이크로폰 사이의 거리이며,
Figure 112010014055831-pat00019
는 마이크로폰 어레이(100)가 음향을 측정하는 방향과 음원이 발생한 지점의 각도이다. 또한, 이로부터 제 1 마이크로폰 신호와 제 2 마이크로폰 신호 사이의 각도(
Figure 112010014055831-pat00020
)는 아래의 수학식2로부터 구할 수 있다.here,
Figure 112010014055831-pat00018
Is the distance between a plurality of microphones for which sound is measured,
Figure 112010014055831-pat00019
Is the direction in which the microphone array 100 measures sound and the angle of the point where the sound source is generated. Also, therefrom, the angle between the first microphone signal and the second microphone signal (
Figure 112010014055831-pat00020
) Can be obtained from Equation 2 below.

Figure 112010014055831-pat00021
Figure 112010014055831-pat00021

상기에서는 두 개의 마이크로폰을 이용하였지만, 본 발명은 마이크로폰 어레이(100)에 구비된 마이크로폰의 개수가 많아질수록 보다 정밀한 값을 획득할 수 있다.Although two microphones were used in the above, the present invention can obtain more accurate values as the number of microphones provided in the microphone array 100 increases.

카메라 회전 모듈은 음원 방향 계산 모듈에 의해 도출된 음원의 방향으로 카메라(500)를 회전시킨다. 이는 카메라 렌즈의 방향과 마이크로폰 어레이(100)의 방향이 일치할 경우, 수학식2에서 도출된

Figure 112010014055831-pat00022
만큼 카메라를 회전시켜 음원 방향의 영상을 취득한다. 또한, 이러한 카메라(500)의 회전 동작은 구동부(600)를 이용하여 수행할 수 있다.The camera rotation module rotates the camera 500 in the direction of the sound source derived by the sound source direction calculation module. This is derived from Equation 2 when the direction of the camera lens and the direction of the microphone array 100 coincide.
Figure 112010014055831-pat00022
Rotate the camera as much as possible to acquire the image in the sound source direction. In addition, the rotation operation of the camera 500 may be performed using the driving unit 600.

객체 확인 모듈은 카메라(500)에서 취득된 영상의 객체를 확인하여 사람인지 아닌지를 판단한다. 이를 위해 객체 확인 모듈은 카메라(500)를 통해 영상이 입력된 후 동작 감지(Motion Detection) 기술을 이용하여 움직이는 물체를 확인하는 움직임 판단 모듈과, 영상 처리를 위한 전 처리 과정을 수행하는 영상 처리 모듈, 및 학습 알고리듬을 이용하여 미리 학습되어져 있는 자료를 통해 영상 처리 모듈에서 처리된 영상의 객체가 사람인지 아닌지 판단하는 사람 판단 모듈을 포함한다. 또한, 사람 판단 모듈은 학습 알고리듬에 의해 미리 저장된 객체 모델 데이터베이스와, 객체 모델 데이터베이스와 카메라에서 수집된 영상의 객체를 비교하여 외부인을 판별하는 외부인 판별을 더 포함할 수 있다. 또한, 본 발명은 사람 판단 모듈에서 판단된 객체, 예를 들어, 사람의 얼굴이 나타나는 영상 정보 등을 저장하는 객체 저장 모듈을 더 포함할 수도 있다.The object identification module checks the object of the image acquired by the camera 500 and determines whether or not it is a person. To this end, the object identification module is a motion determination module for identifying a moving object using a motion detection technique after an image is input through the camera 500, and an image processing module for performing a preprocessing process for image processing. And a person determination module that determines whether the object of the image processed by the image processing module is a person through the previously learned data using a learning algorithm. In addition, the person determination module may further include an outsider determination to determine an outsider by comparing an object model database stored by a learning algorithm with an object of an image collected by the camera and the object model database. In addition, the present invention may further include an object storage module that stores an object determined by the person determining module, for example, image information on which a face of a person appears.

한편, 알람(400)은 객체 확인 모듈에서 확인된 객체가 사람이 아니거나, 해당 지역에 통행이 승인된 등록된 사람이 아닐 경우, 경보를 발생시킨다. 이를 위해 본 발명에 따른 음원 추적 및 객체 인식 장치는 경보를 발생시킬 수 있는 스피커 등을 포함할 수 있다. 또한, 이러한 알람(400)은 외부인 판별 모듈에 의해 구동될 수 있으며, 외부인 판별 모듈이 구비되지 않을 경우, 알람(400)은 생략될 수도 있다.On the other hand, the alarm 400 generates an alarm when the object identified in the object confirmation module is not a person or a registered person whose traffic is approved in the region. To this end, the sound source tracking and object recognition apparatus according to the present invention may include a speaker for generating an alarm. In addition, the alarm 400 may be driven by an outsider determination module. When the outsider determination module is not provided, the alarm 400 may be omitted.

카메라(500)는 음원이 발생된 지역의 영상을 취득하기 위한 것으로서, 폐쇄 회로 텔레비전(closed-circuit television, CCTV)을 포함한다. 이때, 본 발명에서 사용되는 카메라(500)는 영상을 취득할 수 있는 모든 종류의 카메라를 모두 사용할 수 있다.The camera 500 is for acquiring an image of an area where a sound source is generated, and includes a closed-circuit television (CCTV). In this case, the camera 500 used in the present invention may use all kinds of cameras capable of acquiring an image.

상술한 바와 같이 본 발명은 복수개의 마이크로폰이 마련된 마이크로폰 어레이(100)를 이용하여 음원이 발생된 방향으로 카메라(500)를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 확인 장치를 제공할 수 있다. 또한, 본 발명은 자동으로 음원이 발생된 방향으로 카메라(500)를 회전시킨 후 자동으로 객체를 확인할 수 있으므로, 무인으로 운영이 가능한 음원 추적 및 객체 확인 장치를 제공할 수 있다.
As described above, the present invention may provide a sound source tracking and object identification apparatus capable of identifying an object by rotating the camera 500 in a direction in which a sound source is generated using the microphone array 100 provided with a plurality of microphones. In addition, the present invention can automatically check the object after rotating the camera 500 in the direction in which the sound source is automatically generated, it is possible to provide a sound source tracking and object confirmation apparatus that can be operated unattended.

다음은 본 발명에 따른 음원 추적 및 객체 인식 방법에 대해 도면을 참조하여 설명하고자 한다. 후술할 내용 중 전술된 본 발명에 따른 음원 추적 및 객체 인식 장치에 대한 설명과 중복되는 내용은 생략하거나 간략히 설명하기로 한다.Next, a sound source tracking and object recognition method according to the present invention will be described with reference to the accompanying drawings. Descriptions overlapping with the description of the sound source tracking and object recognition apparatus according to the present invention described above will be omitted or briefly described.

도 4는 본 발명에 따른 음원 추적 및 객체 인식 방법의 순서도이다.4 is a flowchart of a sound source tracking and object recognition method according to the present invention.

본 발명에 따른 음원 추적 및 객체 인식 방법은 도 4에 도시된 바와 같이, 기본 감시 단계(S1)와, 음원 발생 판단 단계(S2)와, 음원 방향 계산 단계(S3)와, 카메라 회전 단계(S4)와, 얼굴 인식 단계(S5)와, 외부인 판단 단계(S6), 및 경보 및 알람 발생 단계(S7)를 포함한다.In the sound source tracking and object recognition method according to the present invention, as shown in FIG. 4, the basic monitoring step S 1 , the sound source generation determining step S 2 , the sound source direction calculating step S 3 , and the camera rotation are performed. A step S 4 , a face recognition step S 5 , an outsider determination step S 6 , and an alarm and alarm generation step S 7 are included.

기본 감시 단계(S1)는 음원이 발생되기 전 대기 상태로서, 음원이 발생되기 전 감시 대상 지역을 감시한다. 이때, 카메라는 일반적인 특정 지역을 바라보도록 고정되거나, 일정한 속도로 감시 대상 지역을 회전하며 영상을 습득할 수 있다. 물론, 음원이 발생하기 전까지 마이크로폰 어레이만 동작하며, 음원이 발생한 후 카메라가 동작하도록 할 수도 있다.The basic monitoring step S 1 is a standby state before the sound source is generated, and monitors a region to be monitored before the sound source is generated. In this case, the camera may be fixed to look at a specific general area, or may acquire an image by rotating the monitoring target area at a constant speed. Of course, only the microphone array operates until the sound source is generated, and the camera may operate after the sound source is generated.

음원 발생 판단 단계(S2)는 음원의 발생 여부를 판단한다. 이는 복수개의 마이크로폰이 마련된 마이크로폰 어레이에서 음원의 취득 여부를 확인하여 수행할 수 있다. 이때, 음원이 발생됐을 경우, 음원 방향 계산 단계를 수행하며, 음원이 발생되지 않았을 경우, 기본 감시 단계와 음원 발생 판단 단계를 재수행한다.In the sound source generation determining step S 2 , it is determined whether the sound source is generated. This may be performed by checking whether a sound source is acquired from a microphone array provided with a plurality of microphones. In this case, when the sound source is generated, the sound source direction calculation step is performed, and when the sound source is not generated, the basic monitoring step and the sound source generation determination step are performed again.

음원 방향 계산 단계(S3)는 음원 발생 판단 단계에서 음원이 발생되었을 경우, 발생된 음원의 방향을 계산한다. 이는 복수개의 마이크로폰에서 취득된 음원을 이용하여 음원이 발생된 방향을 계산할 수 있으며, 자세하게는 전술된 본 발명에 따른 음원 추적과 객체 인식 장치의 음원 방향 계산 모듈에서 수행된 방법과 동일하게 수행될 수 있다.The sound source direction calculating step S 3 calculates the direction of the generated sound source when the sound source is generated in the sound source generation determining step. This may calculate the direction in which the sound source is generated using the sound sources acquired from the plurality of microphones, and may be performed in the same manner as the method performed in the sound source direction calculation module of the sound source tracking and object recognition apparatus according to the present invention described above. have.

카메라 회전 단계(S4)는 음원 방향 계산 단계에서 도출된 음원의 방향으로 카메라를 회전시켜 영상을 취득한다. 이러한 카메라의 회전은 모터를 이용하여 수행할 수 있다.In the camera rotation step S 4 , an image is obtained by rotating the camera in the direction of the sound source derived in the sound source direction calculation step. The rotation of the camera can be performed using a motor.

얼굴 인식 단계(S5)는 카메라를 이용하여 취득된 영상의 객체, 즉, 사람의 얼굴을 인식한다. 이러한 얼굴 인식 단계(S5)는 영상 입력 단계(S5-1)와, 움직임 판단 단계(S5-2)와, 영상 처리 단계(S5-3)와, 사람 판단 단계(S5-4)와, 전산망 등록 단계(S5-5)를 포함한다.In the face recognition step S 5 , an object of an image acquired by using a camera, that is, a face of a person is recognized. The face recognition step S 5 includes an image input step S 5-1 , a motion determination step S 5-2 , an image processing step S 5-3 , and a person determination step S 5-4. ), And a computer network registration step (S 5-5 ).

영상 입력 단계(S5-1)는 카메라에서 취득된 영상을 데이터 수집 장치를 통해 입력받는다.In the image input step S 5-1 , an image acquired by the camera is received through a data collection device.

움직임 판단 단계(S5-2)는 입력받은 영상에서 움직이는 객체가 있는지 동작 감지(Motion Detection) 기술을 이용하여 확인한다.The motion determination step S 5-2 checks whether there is a moving object in the input image by using a motion detection technique.

영상 처리 단계(S5-3)는 사람 판단 단계를 수행하기 전 영상을 전 처리 한 후 영상 처리한다.In the image processing step S 5-3 , the image is processed after pre-processing the image before performing the person determination step.

사람 판단 단계(S5-4)는 영상 처리 단계에서 처리된 영상을 이용하여 움직이는 객체가 사람인지 판단한다. 이는 학습 알고리듬을 이용하여 미리 학습되어져 있는 자료와 비교하여 사람인지 아닌지 판단한다.The person determining step S 5-4 determines whether the moving object is a human using the image processed in the image processing step. It uses a learning algorithm to determine whether or not a person is compared with previously learned data.

전산망 등록 단계(S5-5)는 사람 판단 단계에서 확인된 객체, 즉, 사람을 전산망에 등록한다. 이는 통행이 승인되지 않은 외부인과 통행이 승인된 내부인을 모두 등록할 수 있다. 물론, 전산망 등록 단계는 통행이 승인되지 않은 외부인만을 전산망에 등록할 수도 있으며, 이 경우, 전산망 등록 단계는 외부인 판단 단계 이후에 수행되는 것이 바람직하다.The computer network registration step S 5-5 registers the object identified in the person determination step, that is, the person, with the computer network. It can register both outsiders who are not authorized to pass and insiders who are authorized to pass. Of course, the computer network registration step may register only outsiders who are not authorized to pass in the computer network. In this case, the computer network registration step may be performed after the outsider determination step.

외부인 판단 단계(S6)는 사람 판단 단계에서 판단된 객체가 통행이 승인되지 않은 외부인인지, 통행이 승인된 내부인인지 확인한다. 이 역시, 사람 판단 단계와 유사하게 학습 알고리듬을 이용하여 사람 판단 단계에서 판단된 객체를 등록된 내부인과 비교하여 수행할 수 있다.The outsider determination step S 6 checks whether the object determined in the person determination step is an outsider who is not authorized to pass, or an insider who is approved to pass. Again, similar to the person determination step, the learning algorithm may be used to compare the object determined in the person determination step with a registered insider.

경보 및 알람 발생 단계(S7)는 외부인 판단 단계에서 객체가 통행이 승인되지 않은 외부인으로 판단됐을 경우, 경보 및 알람을 발생시켜 외부인의 침입을 알린다. 물론, 경우에 따라서 경보 및 알람 발생 단계는 생략될 수도 있다.Alarm and alarm generation step (S 7 ), when the object is determined to be an outsider is not approved to pass through the outsider determination step, it generates an alarm and alarm to inform the intrusion of outsiders. Of course, in some cases, the alarm and alarm generation step may be omitted.

상술한 바와 같이 본 발명은 복수개의 마이크로폰이 마련된 마이크로폰 어레이를 이용하여 음원이 발생된 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 확인 방법을 제공할 수 있다. 또한, 본 발명은 자동으로 음원이 발생된 방향으로 카메라를 회전시킨 후 자동으로 객체를 확인할 수 있으므로, 무인으로 운영이 가능한 음원 추적 및 객체 확인 방법을 제공할 수 있다.As described above, the present invention may provide a sound source tracking and object identification method capable of identifying an object by rotating a camera in a direction in which a sound source is generated using a microphone array provided with a plurality of microphones. In addition, the present invention can automatically identify the object after automatically rotating the camera in the direction in which the sound source is generated, it is possible to provide a sound source tracking and object confirmation method that can be operated unattended.

이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to the drawings and embodiments, those skilled in the art can be variously modified and changed within the scope of the invention without departing from the spirit of the invention described in the claims below. I can understand.

100: 마이크로폰 어레이 200: 데이터 수집 장치
300: 프로세서 400: 알람
500: 카메라 600: 모터100: microphone array 200: data acquisition device
300: processor 400: alarm
500: camera 600: motor

Claims (19)

카메라와,
복수개의 마이크로폰이 마련된 마이크로폰 어레이와,
상기 마이크로폰 어레이에서 측정된 음원을 수집하는 데이터 수집 장치와,
상기 데이터 수집 장치에서 수집된 음원을 분석하여 음원의 방향을 도출하며, 도출된 방향의 객체를 상기 카메라를 이용하여 확인하는 프로세서를 포함하며,
상기 프로세서는,
상기 마이크로폰 어레이에서 측정된 음원의 방향을 계산하는 음원 방향 계산 모듈과,
상기 음원 방향 계산 모듈에서 도출된 음원의 방향으로 상기 카메라를 회전시키는 카메라 회전 모듈, 및
상기 카메라에서 수집된 영상에서 객체를 확인하는 객체 확인 모듈을 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.Camera,
A microphone array provided with a plurality of microphones,
A data acquisition device for collecting a sound source measured by the microphone array;
A processor for analyzing a sound source collected by the data collection device to derive a direction of the sound source, and identifying an object of the derived direction by using the camera;
The processor comprising:
A sound source direction calculation module for calculating a direction of a sound source measured in the microphone array;
A camera rotation module for rotating the camera in the direction of the sound source derived from the sound source direction calculation module, and
Sound source tracking and object recognition device, characterized in that it comprises an object identification module for identifying the object from the image collected by the camera. 삭제delete 청구항 1에 있어서,
상기 복수개의 마이크로폰은 서로 동일한 방향의 음원을 수집하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 1,
And the plurality of microphones collect sound sources in the same direction as each other. 청구항 3에 있어서,
상기 복수개의 마이크로폰은 일렬로 배열된 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 3,
And the plurality of microphones are arranged in a line. 청구항 1에 있어서,
데이터 수집 장치는 DAQ(Data Acquisition)를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 1,
The data acquisition device includes a data acquisition device (DAQ) (Data Acquisition). 삭제delete 청구항 1에 있어서,
상기 카메라 회전 모듈에 의해 상기 카메라를 회전시키는 구동부를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 1,
Sound source tracking and object recognition device comprising a drive unit for rotating the camera by the camera rotation module. 청구항 7에 있어서,
상기 구동부는 서보모터 또는 스태핑모터를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 7,
The driving unit includes a servo motor or a stepping motor sound source tracking and object recognition device. 청구항 1에 있어서,
상기 음원 방향 계산 모듈은 상기 복수개의 마이크로폰 중 음원 탐지에 사용된 마이크로폰 사이의 거리 및 음원 탐지에 사용된 마이크로폰 신호 간의 딜레이 값과, 온도에 따라 변화하는 음속으로 음원의 방향을 계산하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 1,
The sound source direction calculation module calculates a direction of a sound source with a distance between the microphones used for sound source detection and a microphone signal used for sound source detection among the plurality of microphones, and a sound velocity varying with temperature. Sound source tracking and object recognition device. 청구항 9에 있어서,
상기 음원의 방향은 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
Figure 112010014055831-pat00023
로 나타내며,
상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
Figure 112010014055831-pat00024
는,
Figure 112010014055831-pat00025
이며,
상기
Figure 112010014055831-pat00026
는 온도에 따라 변화하는 음속이고,
상기
Figure 112010014055831-pat00027
는 상기 복수개의 마이크로폰 중 음원을 측정한 마이크로폰 신호간의 딜레이 값이며,
상기
Figure 112010014055831-pat00028
는 상기 복수개의 마이크로폰 사이의 거리이고,
상기
Figure 112010014055831-pat00029
는 상기 마이크로폰 어레이에서 음원을 측정하는 방향과, 상기 음원과의 각도인 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 9,
The direction of the sound source is an angle between the direction in which the microphone array measures the sound source and the sound source (
Figure 112010014055831-pat00023
Represented by
The angle between the direction in which the microphone array measures the sound source and the sound source (
Figure 112010014055831-pat00024
Quot;
Figure 112010014055831-pat00025
,
remind
Figure 112010014055831-pat00026
Is the speed of sound that changes with temperature,
remind
Figure 112010014055831-pat00027
Is a delay value between the microphone signals measured the sound source of the plurality of microphones,
remind
Figure 112010014055831-pat00028
Is a distance between the plurality of microphones,
remind
Figure 112010014055831-pat00029
Is a direction of measuring a sound source in the microphone array and an angle between the sound source and the sound source tracking and object recognizing apparatus. 청구항 1에 있어서,
상기 객체 확인 모듈은,
상기 카메라를 통해 입력된 영상을 동작 감지(Motion Detection) 기술을 이용하여 움직이는 물체를 확인하는 움직임 판단 모듈과,
상기 움직임 판단 모듈에서 움직이는 물체를 확인할 경우, 상기 카메라를 통해 입력된 영상의 처리를 위한 전 처리 과정을 수행하는 영상 처리 모듈, 및
상기 영상 처리 모듈에서 처리된 영상의 객체가 사람인지 아닌지 학습 알고리듬을 이용하여 미리 학습되어져 있는 자료를 통해 판단하는 사람 판단 모듈을 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 1,
The object identification module,
A motion determination module for identifying a moving object by using motion detection technology on the image input through the camera;
An image processing module that performs a preprocessing process for processing an image input through the camera when the moving object is checked by the motion determining module;
And a person determination module for determining whether the object of the image processed by the image processing module is a person or not based on previously learned data using a learning algorithm. 청구항 11에 있어서,
상기 사람 판단 모듈에서 확인된 객체를 저장하는 객체 저장 모듈을 더 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method of claim 11,
Sound source tracking and object recognition device further comprises an object storage module for storing the object identified in the person determination module. 청구항 11에 있어서,
상기 사람 판단 모듈은 학습 알고리듬에 의해 미리 저장된 객체 모델 데이터베이스와,
상기 객체 모델 데이터베이스와 상기 카메라에서 수집된 영상의 객체를 비교하여 외부인을 판별하는 외부인 판별 모듈을 더 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method of claim 11,
The person determination module includes an object model database stored in advance by a learning algorithm,
Sound source tracking and object recognition apparatus further comprises an external person determination module for determining the outsider by comparing the object model database and the object of the image collected by the camera. 청구항 13에 있어서,
상기 객체 확인 모듈에서 객체의 주체가 외부인으로 판별될 경우, 알람 및 경보를 발생시키는 알람을 더 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.The method according to claim 13,
The sound source tracking and object recognizing apparatus further comprises an alarm for generating an alarm and an alarm when the subject of the object is determined to be an external person in the object checking module. 음원의 발생 여부를 판단하는 단계와,
상기 발생한 음원의 방향을 계산하는 단계와,
상기 음원이 발생한 지역으로 카메라를 회전하는 단계와,
상기 카메라에서 취득된 영상에서 사람의 얼굴을 인식하는 단계와,
상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계를 포함하며,
상기 발생한 음원의 방향을 계산하는 단계는,
복수개의 마이크로폰이 구비된 마이크로폰 어레이로 음원을 수신하는 단계와,
상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도를 계산하여 발생한 음원의 방향을 계산하는 단계를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법.Determining whether a sound source is generated;
Calculating a direction of the generated sound source;
Rotating the camera to an area where the sound source is generated;
Recognizing a face of a person in an image acquired by the camera;
Determining whether the recognized person is an external person based on the recognized person's face,
Calculating the direction of the generated sound source,
Receiving a sound source with a microphone array equipped with a plurality of microphones,
And calculating a direction of a sound source generated by calculating a direction between the microphone array and a direction between the sound source and the sound source. 삭제delete 청구항 15에 있어서,
상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도를 계산하여 발생한 음원의 방향을 계산하는 단계에서,
상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
Figure 112011059386108-pat00039
)는,
Figure 112011059386108-pat00031
이며,
상기
Figure 112011059386108-pat00040
는 온도에 따라 변화하는 음속이고,
상기
Figure 112011059386108-pat00041
는 상기 복수개의 마이크로폰 중 음원을 측정한 마이크로폰 신호간의 딜레이 값이며,
상기
Figure 112011059386108-pat00042
는 상기 복수개의 마이크로폰 사이의 거리인 것을 특징으로 하는 음원 추적 및 객체 인식 방법.The method according to claim 15,
In the step of calculating the direction of the sound source generated by the microphone array by calculating the angle between the direction of measuring the sound source and the sound source,
The angle between the direction in which the microphone array measures the sound source and the sound source (
Figure 112011059386108-pat00039
),
Figure 112011059386108-pat00031
,
remind
Figure 112011059386108-pat00040
Is the speed of sound that changes with temperature,
remind
Figure 112011059386108-pat00041
Is a delay value between the microphone signals measured the sound source of the plurality of microphones,
remind
Figure 112011059386108-pat00042
The sound source tracking and object recognition method, characterized in that the distance between the plurality of microphones. 청구항 15에 있어서,
상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계는,
상기 인식된 사람의 얼굴과 학습 알고리듬으로 미리 학습된 사람의 얼굴 자료를 매칭하여 외부인을 판별하는 단계를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법.The method according to claim 15,
Determining whether the recognized person is an outsider based on the recognized person's face,
And matching the face material of the person who has been previously learned with the recognized person's face and the learning algorithm to determine an outsider. 청구항 15에 있어서,
상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계, 이후
상기 인식된 사람의 얼굴이 외부인으로 판별될 경우, 경보 및 알람 발생 단계를 더 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법.The method according to claim 15,
Determining whether the recognized person is an outsider based on the recognized person's face, and
When the face of the recognized person is determined to be an external person, the sound source tracking and object recognition method further comprising the step of generating an alarm and alarm.
KR1020100019580A 2010-03-04 2010-03-04 Device for sound source tracing and object recognition and method for sound source tracing and object recognition KR101107120B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100019580A KR101107120B1 (en) 2010-03-04 2010-03-04 Device for sound source tracing and object recognition and method for sound source tracing and object recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100019580A KR101107120B1 (en) 2010-03-04 2010-03-04 Device for sound source tracing and object recognition and method for sound source tracing and object recognition

Publications (2)

Publication Number Publication Date
KR20110100533A KR20110100533A (en) 2011-09-14
KR101107120B1 true KR101107120B1 (en) 2012-01-31

Family

ID=44952933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100019580A KR101107120B1 (en) 2010-03-04 2010-03-04 Device for sound source tracing and object recognition and method for sound source tracing and object recognition

Country Status (1)

Country Link
KR (1) KR101107120B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121778A (en) 2015-04-10 2016-10-20 세종대학교산학협력단 Computer-executable sound tracing method, apparatus performing the same and storage media storing the same
WO2018097561A1 (en) * 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Electronic device for controlling microphone parameter
KR101885887B1 (en) 2017-12-26 2018-08-07 세종대학교 산학협력단 Apparatus of sound tracing, method of the same and storage media storing the same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3012650B1 (en) * 2013-06-21 2021-06-09 SM Instruments Co., Ltd. Mobile acoustic source tracking sensor and manufacturing method
CN107040760A (en) * 2017-04-22 2017-08-11 安徽驿盟物流科技有限公司 Supervising device
TWI714318B (en) * 2019-10-25 2020-12-21 緯創資通股份有限公司 Face recognition method and face recognition apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060090448A (en) * 2005-02-05 2006-08-11 삼성전자주식회사 Broadcast receiver and method for providing multilateral video communication
JP2007053513A (en) 2005-08-17 2007-03-01 Sony Corp Camera controller and teleconference system
KR100920937B1 (en) * 2008-04-15 2009-10-14 오위환 Apparatus and method for detecting motion, and storing video within security system
KR20090116102A (en) * 2008-05-06 2009-11-11 중앙대학교 산학협력단 Security system and security method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060090448A (en) * 2005-02-05 2006-08-11 삼성전자주식회사 Broadcast receiver and method for providing multilateral video communication
JP2007053513A (en) 2005-08-17 2007-03-01 Sony Corp Camera controller and teleconference system
KR100920937B1 (en) * 2008-04-15 2009-10-14 오위환 Apparatus and method for detecting motion, and storing video within security system
KR20090116102A (en) * 2008-05-06 2009-11-11 중앙대학교 산학협력단 Security system and security method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121778A (en) 2015-04-10 2016-10-20 세종대학교산학협력단 Computer-executable sound tracing method, apparatus performing the same and storage media storing the same
WO2018097561A1 (en) * 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. Electronic device for controlling microphone parameter
KR20180059215A (en) * 2016-11-25 2018-06-04 삼성전자주식회사 Electronic Device for Controlling Microphone Parameter
US10321227B2 (en) 2016-11-25 2019-06-11 Samsung Electronics Co., Ltd. Electronic device for controlling microphone parameter
KR102549465B1 (en) * 2016-11-25 2023-06-30 삼성전자주식회사 Electronic Device for Controlling Microphone Parameter
KR101885887B1 (en) 2017-12-26 2018-08-07 세종대학교 산학협력단 Apparatus of sound tracing, method of the same and storage media storing the same

Also Published As

Publication number Publication date
KR20110100533A (en) 2011-09-14

Similar Documents

Publication Publication Date Title
WO2020168960A1 (en) Video analysis method and apparatus
CN109300471B (en) Intelligent video monitoring method, device and system for field area integrating sound collection and identification
KR101107120B1 (en) Device for sound source tracing and object recognition and method for sound source tracing and object recognition
EP3308356B1 (en) System and method for detecting a dissimilar object in undercarriage of a vehicle
KR102195706B1 (en) Method and Apparatus for Detecting Intruder
JP5459674B2 (en) Moving object tracking system and moving object tracking method
CN110390229B (en) Face picture screening method and device, electronic equipment and storage medium
US20170206664A1 (en) Method for identifying, tracking persons and objects of interest
CN112232186B (en) Epidemic prevention monitoring method and system
CN109830078B (en) Intelligent behavior analysis method and intelligent behavior analysis equipment suitable for narrow space
JP2022003526A (en) Information processor, detection system, method for processing information, and program
JP2001338302A (en) Monitoring device
Putrada et al. Improving thermal camera performance in fever detection during covid-19 protocol with random forest classification
US20130016880A1 (en) Traffic monitoring device
CN111062313A (en) Image identification method, image identification device, monitoring system and storage medium
US8184853B2 (en) Method of triggering a detector to detect a moving feature within a video stream
JP4985742B2 (en) Imaging system, method and program
WO2012074366A2 (en) A system and a method for detecting a loitering event
KR101355206B1 (en) A count system of coming and going using image analysis and method thereof
CN112883809B (en) Target detection method, device, equipment and medium
JP2008282172A (en) Structure monitoring device by means of sound
CN114488337A (en) High-altitude parabolic detection method and device
Ankad et al. Object Size Measurement from CCTV footage using deep learning
Cielniak et al. Appearance-based tracking of persons with an omnidirectional vision sensor
TWI439967B (en) Security monitor system and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160107

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170111

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180110

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190109

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200113

Year of fee payment: 9