KR20110100533A - 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법 - Google Patents

음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법 Download PDF

Info

Publication number
KR20110100533A
KR20110100533A KR1020100019580A KR20100019580A KR20110100533A KR 20110100533 A KR20110100533 A KR 20110100533A KR 1020100019580 A KR1020100019580 A KR 1020100019580A KR 20100019580 A KR20100019580 A KR 20100019580A KR 20110100533 A KR20110100533 A KR 20110100533A
Authority
KR
South Korea
Prior art keywords
sound source
camera
person
microphones
tracking
Prior art date
Application number
KR1020100019580A
Other languages
English (en)
Other versions
KR101107120B1 (ko
Inventor
정연모
김태완
김동훈
노현진
박흥준
Original Assignee
경희대학교 산학협력단
주식회사 크라스아이디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 주식회사 크라스아이디 filed Critical 경희대학교 산학협력단
Priority to KR1020100019580A priority Critical patent/KR101107120B1/ko
Publication of KR20110100533A publication Critical patent/KR20110100533A/ko
Application granted granted Critical
Publication of KR101107120B1 publication Critical patent/KR101107120B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법에 대한 것으로서, 특히 복수개의 마이크로폰이 구비된 마이크로폰 어레이를 이용하여 음원이 발생한 방향을 계산하고 해당 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법에 관한 것이다. 본 발명은 복수개의 마이크로폰이 마련된 마이크로폰 어레이를 이용하여 음원이 발생된 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 확인 장치와 음원 추적 및 객체 확인 방법을 제공할 수 있다. 또한, 본 발명은 자동으로 음원이 발생된 방향으로 카메라를 회전시킨 후 자동으로 객체를 확인할 수 있으므로, 무인으로 운영이 가능한 음원 추적 및 객체 확인 장치와 음원 추적 및 객체 확인 방법을 제공할 수 있다.

Description

음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법{DEVICE FOR SOUND SOURCE TRACING AND OBJECT RECOGNITION AND METHOD FOR SOUND SOURCE TRACING AND OBJECT RECOGNITION}
본 발명은 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법에 대한 것으로서, 특히 복수개의 마이크로폰이 구비된 마이크로폰 어레이를 이용하여 음원이 발생한 방향을 계산하고 해당 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법에 관한 것이다.
폐쇄 회로 텔레비전(closed-circuit television, CCTV)은 비디오 카메라를 이용하여 특정 장소의 한정된 모니터로 신호를 전송하는 장치이다. 이러한 폐쇄 회로 텔레비전을 이용한 감시 카메라는 일반적으로 카메라의 방향을 고정시켜 특정 장소만을 감시하거나, 카메라를 회전시켜 여러 장소를 감시할 수 있도록 한다. 즉, 기존의 감시 카메라는 특정적인 한 장소만을 감시하거나, 카메라를 정속으로 회전시켜 여러 장소를 감시하며, 관리자가 모니터를 이용하여 카메라에서 취득되는 영상을 판단한다. 하지만, 이와 같이 한 장소만을 감시하도록 고정되거나 정속으로 회전하는 감시 카메라로는 객체를 보다 능동적으로 감시할 수 없다. 즉, 기존의 감시 카메라는 카메라가 영상을 취득할 수 있는 지역만을 감시할 수 밖에 없는 한계를 가지게 된다.
또한, 기존의 감시 카메라는 항상 카메라에서 취득되는 영상을 모니터링하는 관리자가 있어야 하며, 관리자의 부재 시 외부인을 감시할 수 없는 문제점이 있다.
본 발명의 목적은 음원이 발생한 지역을 추적하여 능동적으로 객체를 확인할 수 있는 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법을 제공하는 것이다.
본 발명의 다른 목적은 관리자 없이 무인으로 특정 지역을 감시할 수 있는 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법을 제공하는 것이다.
상술한 목적을 달성하기 위해 본 발명은 카메라와, 복수개의 마이크로폰이 마련된 마이크로폰 어레이와, 상기 마이크로폰 어레이에서 측정된 음원을 수집하는 데이터 수집 장치와, 상기 데이터 수집 장치에서 수집된 음원을 분석하여 음원의 방향을 도출하며, 도출된 방향의 객체를 상기 카메라를 이용하여 확인하는 프로세서를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치를 제공한다. 상기 복수개의 마이크로폰은 서로 일정 간격으로 이격되며, 상기 복수개의 마이크로폰은 서로 동일한 방향의 음원을 수집한다. 이를 위해 상기 복수개의 마이크로폰은 일렬로 배열되는 것이 바람직하다. 데이터 수집 장치는 DAQ(Data Acquisition)를 포함할 수 있다. 상기 프로세서는 상기 마이크로폰 어레이에서 측정된 음원의 방향을 계산하는 음원 방향 계산 모듈과, 상기 음원 방향 계산 모듈에서 도출된 음원의 방향으로 상기 카메라를 회전시키는 카메라 회전 모듈, 및 상기 카메라에서 수집된 영상에서 객체를 확인하는 객체 확인 모듈을 포함한다. 상기 카메라 회전 모듈에 의해 상기 카메라를 회전시키는 구동부를 포함하며, 상기 구동부는 서보모터 또는 스태핑모터를 포함하는 것이 바람직하다. 상기 음원 방향 계산 모듈은 상기 복수개의 마이크로폰 중 음원 탐지에 사용된 마이크로폰 사이의 거리 및 음원 탐지에 사용된 마이크로폰 신호 간의 딜레이 값과, 온도에 따라 변화하는 음속으로 음원의 방향을 계산한다. 상기 음원의 방향은 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
Figure pat00001
로 나타내며, 상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
Figure pat00002
는,
Figure pat00003
이며, 상기
Figure pat00004
는 온도에 따라 변화하는 음속이고, 상기
Figure pat00005
는 상기 복수개의 마이크로폰 중 음원을 측정한 마이크로폰 신호간의 딜레이 값이며, 상기
Figure pat00006
는 상기 복수개의 마이크로폰 사이의 거리이고, 상기
Figure pat00007
는 상기 마이크로폰 어레이에서 음원을 측정하는 방향과, 상기 음원과의 각도이다. 상기 객체 확인 모듈은, 상기 카메라를 통해 입력된 영상을 동작 감지(Motion Detection) 기술을 이용하여 움직이는 물체를 확인하는 움직임 판단 모듈과, 상기 움직임 판단 모듈에서 움직이는 물체를 확인할 경우, 상기 카메라를 통해 입력된 영상의 처리를 위한 전 처리 과정을 수행하는 영상 처리 모듈, 및 상기 영상 처리 모듈에서 처리된 영상의 객체가 사람인지 아닌지 학습 알고리듬을 이용하여 미리 학습되어져 있는 자료를 통해 판단하는 사람 판단 모듈을 포함한다. 상기 사람 판단 모듈에서 확인된 객체를 저장하는 객체 저장 모듈을 더 포함할 수 있다. 상기 사람 판단 모듈은 학습 알고리듬에 의해 미리 저장된 객체 모델 데이터베이스와, 상기 객체 모델 데이터베이스와 상기 카메라에서 수집된 영상의 객체를 비교하여 외부인을 판별하는 외부인 판별 모듈을 더 포함할 수 있다. 이 경우, 상기 객체 확인 모듈에서 객체의 주체가 외부인으로 판별될 경우, 알람 및 경보를 발생시키는 알람을 더 포함할 수 있다.
또한, 본 발명은 음원의 발생 여부를 판단하는 단계와, 상기 발생한 음원의 방향을 계산하는 단계와, 상기 음원이 발생한 지역으로 카메라를 회전하는 단계와, 상기 카메라에서 취득된 영상에서 사람의 얼굴을 인식하는 단계와, 상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법을 제공한다. 상기 발생한 음원의 방향을 계산하는 단계는, 복수개의 마이크로폰이 구비된 마이크로폰 어레이로 음원을 수신하는 단계와, 상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도를 계산하여 발생한 음원의 방향을 계산하는 단계를 포함한다. 상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도를 계산하여 발생한 음원의 방향을 계산하는 단계에서, 상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
Figure pat00008
는,
Figure pat00009
이며, 상기
Figure pat00010
는 온도에 따라 변화하는 음속이고, 상기
Figure pat00011
는 상기 복수개의 마이크로폰 중 음원을 측정한 마이크로폰 신호간의 딜레이 값이며, 상기
Figure pat00012
는 상기 복수개의 마이크로폰 사이의 거리이다. 상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계는, 상기 인식된 사람의 얼굴과 학습 알고리듬으로 미리 학습된 사람의 얼굴 자료를 매칭하여 외부인을 판별하는 단계를 포함한다. 상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계, 이후 상기 인식된 사람의 얼굴이 외부인으로 판별될 경우, 경보 및 알람 발생 단계를 더 포함할 수 있다.
본 발명은 복수개의 마이크로폰이 마련된 마이크로폰 어레이를 이용하여 음원이 발생된 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 확인 장치와 음원 추적 및 객체 확인 방법을 제공할 수 있다.
또한, 본 발명은 자동으로 음원이 발생된 방향으로 카메라를 회전시킨 후 자동으로 객체를 확인할 수 있으므로, 무인으로 운영이 가능한 음원 추적 및 객체 확인 장치와 음원 추적 및 객체 확인 방법을 제공할 수 있다.
도 1은 본 발명에 따른 음원 추적 및 객체 인식 장치의 개념도.
도 2는 본 발명에 따른 음원 추적 및 객체 인식 장치의 동작을 설명하기 위한 도면.
도 3은 본 발명에 따른 음원 추적 및 객체 인식 장치의 마이크로폰 어레이를 이용한 음원 방향 측정을 설명하기 위한 개념도.
도 4는 본 발명에 따른 음원 추적 및 객체 인식 방법의 순서도.
이하, 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상의 동일 부호는 동일한 요소를 지칭한다.
도 1은 본 발명에 따른 음원 추적 및 객체 인식 장치의 개념도이고, 도 2는 본 발명에 따른 음원 추적 및 객체 인식 장치의 동작을 설명하기 위한 도면이다. 도 3은 본 발명에 따른 음원 추적 및 객체 인식 장치의 마이크로폰 어레이를 이용한 음원 방향 측정을 설명하기 위한 개념도이다.
본 발명에 따른 음원 추적 및 객체 인식 장치는 도 1에 도시된 바와 같이, 음원을 취득하는 마이크로폰 어레이(100)와, 마이크로폰 어레이(100)에서 취득된 음원을 수집하는 데이터 수집 장치(200)와, 데이터 수집 장치(200)에서 수집된 음원을 처리하는 프로세서(300)와, 경보를 발생시키는 알람(400)과, 영상을 수집하는 카메라(500)와, 음원이 발생한 지역으로 카메라를 회전시키는 구동부(600)를 포함한다. 이때, 구동부(600)는 회전각도 제어가 가능한 서보모터 또는 스태핑모터를 포함하는 것이 바람직하다.
마이크로폰 어레이(100)는 복수개의 마이크로폰이 마련된 어레이로서, 본 실시예는 다섯 개의 마이크로폰, 즉, 제 1 내지 제 5 마이크로폰이 일렬로 어레이된 것을 예시한다. 이때, 본 발명의 마이크로폰 어레이(100)는 구비된 복수개의 마이크로폰이 서로 일정한 간격으로 이격되어 동일한 방향의 음원을 취득하는 것이 바람직하다.
데이터 수집 장치(200)는 마이크로폰 어레이(100)에서 취득된 음원을 수집하기 위한 것으로서, DAQ(Data Acquisition)를 포함한다. 또한, 데이터 수집 장치(200)에서 수집된 음원은 프로세서(300)에 전달된다.
프로세서(300)는 데이터 수집 장치(200)에서 수집된 음원 정보를 이용하여 객체를 확인하기 위한 것으로서, 음원 방향 계산 모듈과, 카메라 회전 모듈, 객체 확인 모듈을 포함한다.
음원 방향 계산 모듈은 데이터 수집 장치(200)에서 수집된 음원 정보를 기초로 음원이 발생한 방향을 계산한다. 이는 도 3을 참조하면, 음원의 방향을 측정하기 위해 두 개의 마이크로폰을 이용할 경우, 제 1 마이크로폰과 제 2 마이크로폰에 취득되는 제 1 음향(l1)과 제 2 음향(l2) 사이의 거리는
Figure pat00013
이며 소리의 빠르기는 온도에 따라 정해진 속도(
Figure pat00014
)가 된다. 이때, 제 1 마이크로폰과 제 2 마이크로폰에서 측정된 두 개의 신호, 즉, 제 1 마이크로폰 신호와 제 2 마이크로폰 신호를 상호 상관(cross correlation)하면, 제 1 마이크로폰 신호와 제 2 마이크로폰 신호간의 딜레이 값(
Figure pat00015
)을 알 수 있다. 이때, 소리의 빠르기인 온도에 따라 정해진 속도(
Figure pat00016
)는 아래의 수학식1로부터 구할 수 있다.
Figure pat00017
여기서,
Figure pat00018
는 음향이 측정된 복수개의 마이크로폰 사이의 거리이며,
Figure pat00019
는 마이크로폰 어레이(100)가 음향을 측정하는 방향과 음원이 발생한 지점의 각도이다. 또한, 이로부터 제 1 마이크로폰 신호와 제 2 마이크로폰 신호 사이의 각도(
Figure pat00020
)는 아래의 수학식2로부터 구할 수 있다.
Figure pat00021
상기에서는 두 개의 마이크로폰을 이용하였지만, 본 발명은 마이크로폰 어레이(100)에 구비된 마이크로폰의 개수가 많아질수록 보다 정밀한 값을 획득할 수 있다.
카메라 회전 모듈은 음원 방향 계산 모듈에 의해 도출된 음원의 방향으로 카메라(500)를 회전시킨다. 이는 카메라 렌즈의 방향과 마이크로폰 어레이(100)의 방향이 일치할 경우, 수학식2에서 도출된
Figure pat00022
만큼 카메라를 회전시켜 음원 방향의 영상을 취득한다. 또한, 이러한 카메라(500)의 회전 동작은 구동부(600)를 이용하여 수행할 수 있다.
객체 확인 모듈은 카메라(500)에서 취득된 영상의 객체를 확인하여 사람인지 아닌지를 판단한다. 이를 위해 객체 확인 모듈은 카메라(500)를 통해 영상이 입력된 후 동작 감지(Motion Detection) 기술을 이용하여 움직이는 물체를 확인하는 움직임 판단 모듈과, 영상 처리를 위한 전 처리 과정을 수행하는 영상 처리 모듈, 및 학습 알고리듬을 이용하여 미리 학습되어져 있는 자료를 통해 영상 처리 모듈에서 처리된 영상의 객체가 사람인지 아닌지 판단하는 사람 판단 모듈을 포함한다. 또한, 사람 판단 모듈은 학습 알고리듬에 의해 미리 저장된 객체 모델 데이터베이스와, 객체 모델 데이터베이스와 카메라에서 수집된 영상의 객체를 비교하여 외부인을 판별하는 외부인 판별을 더 포함할 수 있다. 또한, 본 발명은 사람 판단 모듈에서 판단된 객체, 예를 들어, 사람의 얼굴이 나타나는 영상 정보 등을 저장하는 객체 저장 모듈을 더 포함할 수도 있다.
한편, 알람(400)은 객체 확인 모듈에서 확인된 객체가 사람이 아니거나, 해당 지역에 통행이 승인된 등록된 사람이 아닐 경우, 경보를 발생시킨다. 이를 위해 본 발명에 따른 음원 추적 및 객체 인식 장치는 경보를 발생시킬 수 있는 스피커 등을 포함할 수 있다. 또한, 이러한 알람(400)은 외부인 판별 모듈에 의해 구동될 수 있으며, 외부인 판별 모듈이 구비되지 않을 경우, 알람(400)은 생략될 수도 있다.
카메라(500)는 음원이 발생된 지역의 영상을 취득하기 위한 것으로서, 폐쇄 회로 텔레비전(closed-circuit television, CCTV)을 포함한다. 이때, 본 발명에서 사용되는 카메라(500)는 영상을 취득할 수 있는 모든 종류의 카메라를 모두 사용할 수 있다.
상술한 바와 같이 본 발명은 복수개의 마이크로폰이 마련된 마이크로폰 어레이(100)를 이용하여 음원이 발생된 방향으로 카메라(500)를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 확인 장치를 제공할 수 있다. 또한, 본 발명은 자동으로 음원이 발생된 방향으로 카메라(500)를 회전시킨 후 자동으로 객체를 확인할 수 있으므로, 무인으로 운영이 가능한 음원 추적 및 객체 확인 장치를 제공할 수 있다.
다음은 본 발명에 따른 음원 추적 및 객체 인식 방법에 대해 도면을 참조하여 설명하고자 한다. 후술할 내용 중 전술된 본 발명에 따른 음원 추적 및 객체 인식 장치에 대한 설명과 중복되는 내용은 생략하거나 간략히 설명하기로 한다.
도 4는 본 발명에 따른 음원 추적 및 객체 인식 방법의 순서도이다.
본 발명에 따른 음원 추적 및 객체 인식 방법은 도 4에 도시된 바와 같이, 기본 감시 단계(S1)와, 음원 발생 판단 단계(S2)와, 음원 방향 계산 단계(S3)와, 카메라 회전 단계(S4)와, 얼굴 인식 단계(S5)와, 외부인 판단 단계(S6), 및 경보 및 알람 발생 단계(S7)를 포함한다.
기본 감시 단계(S1)는 음원이 발생되기 전 대기 상태로서, 음원이 발생되기 전 감시 대상 지역을 감시한다. 이때, 카메라는 일반적인 특정 지역을 바라보도록 고정되거나, 일정한 속도로 감시 대상 지역을 회전하며 영상을 습득할 수 있다. 물론, 음원이 발생하기 전까지 마이크로폰 어레이만 동작하며, 음원이 발생한 후 카메라가 동작하도록 할 수도 있다.
음원 발생 판단 단계(S2)는 음원의 발생 여부를 판단한다. 이는 복수개의 마이크로폰이 마련된 마이크로폰 어레이에서 음원의 취득 여부를 확인하여 수행할 수 있다. 이때, 음원이 발생됐을 경우, 음원 방향 계산 단계를 수행하며, 음원이 발생되지 않았을 경우, 기본 감시 단계와 음원 발생 판단 단계를 재수행한다.
음원 방향 계산 단계(S3)는 음원 발생 판단 단계에서 음원이 발생되었을 경우, 발생된 음원의 방향을 계산한다. 이는 복수개의 마이크로폰에서 취득된 음원을 이용하여 음원이 발생된 방향을 계산할 수 있으며, 자세하게는 전술된 본 발명에 따른 음원 추적과 객체 인식 장치의 음원 방향 계산 모듈에서 수행된 방법과 동일하게 수행될 수 있다.
카메라 회전 단계(S4)는 음원 방향 계산 단계에서 도출된 음원의 방향으로 카메라를 회전시켜 영상을 취득한다. 이러한 카메라의 회전은 모터를 이용하여 수행할 수 있다.
얼굴 인식 단계(S5)는 카메라를 이용하여 취득된 영상의 객체, 즉, 사람의 얼굴을 인식한다. 이러한 얼굴 인식 단계(S5)는 영상 입력 단계(S5-1)와, 움직임 판단 단계(S5-2)와, 영상 처리 단계(S5-3)와, 사람 판단 단계(S5-4)와, 전산망 등록 단계(S5-5)를 포함한다.
영상 입력 단계(S5-1)는 카메라에서 취득된 영상을 데이터 수집 장치를 통해 입력받는다.
움직임 판단 단계(S5-2)는 입력받은 영상에서 움직이는 객체가 있는지 동작 감지(Motion Detection) 기술을 이용하여 확인한다.
영상 처리 단계(S5-3)는 사람 판단 단계를 수행하기 전 영상을 전 처리 한 후 영상 처리한다.
사람 판단 단계(S5-4)는 영상 처리 단계에서 처리된 영상을 이용하여 움직이는 객체가 사람인지 판단한다. 이는 학습 알고리듬을 이용하여 미리 학습되어져 있는 자료와 비교하여 사람인지 아닌지 판단한다.
전산망 등록 단계(S5-5)는 사람 판단 단계에서 확인된 객체, 즉, 사람을 전산망에 등록한다. 이는 통행이 승인되지 않은 외부인과 통행이 승인된 내부인을 모두 등록할 수 있다. 물론, 전산망 등록 단계는 통행이 승인되지 않은 외부인만을 전산망에 등록할 수도 있으며, 이 경우, 전산망 등록 단계는 외부인 판단 단계 이후에 수행되는 것이 바람직하다.
외부인 판단 단계(S6)는 사람 판단 단계에서 판단된 객체가 통행이 승인되지 않은 외부인인지, 통행이 승인된 내부인인지 확인한다. 이 역시, 사람 판단 단계와 유사하게 학습 알고리듬을 이용하여 사람 판단 단계에서 판단된 객체를 등록된 내부인과 비교하여 수행할 수 있다.
경보 및 알람 발생 단계(S7)는 외부인 판단 단계에서 객체가 통행이 승인되지 않은 외부인으로 판단됐을 경우, 경보 및 알람을 발생시켜 외부인의 침입을 알린다. 물론, 경우에 따라서 경보 및 알람 발생 단계는 생략될 수도 있다.
상술한 바와 같이 본 발명은 복수개의 마이크로폰이 마련된 마이크로폰 어레이를 이용하여 음원이 발생된 방향으로 카메라를 회전시켜 객체를 확인할 수 있는 음원 추적 및 객체 확인 방법을 제공할 수 있다. 또한, 본 발명은 자동으로 음원이 발생된 방향으로 카메라를 회전시킨 후 자동으로 객체를 확인할 수 있으므로, 무인으로 운영이 가능한 음원 추적 및 객체 확인 방법을 제공할 수 있다.
이상에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 마이크로폰 어레이 200: 데이터 수집 장치
300: 프로세서 400: 알람
500: 카메라 600: 모터

Claims (19)

  1. 카메라와,
    복수개의 마이크로폰이 마련된 마이크로폰 어레이와,
    상기 마이크로폰 어레이에서 측정된 음원을 수집하는 데이터 수집 장치와,
    상기 데이터 수집 장치에서 수집된 음원을 분석하여 음원의 방향을 도출하며, 도출된 방향의 객체를 상기 카메라를 이용하여 확인하는 프로세서를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  2. 청구항 1에 있어서,
    상기 복수개의 마이크로폰은 서로 일정 간격으로 이격된 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  3. 청구항 2에 있어서,
    상기 복수개의 마이크로폰은 서로 동일한 방향의 음원을 수집하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  4. 청구항 3에 있어서,
    상기 복수개의 마이크로폰은 일렬로 배열된 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  5. 청구항 1에 있어서,
    데이터 수집 장치는 DAQ(Data Acquisition)를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  6. 청구항 1에 있어서,
    상기 프로세서는 상기 마이크로폰 어레이에서 측정된 음원의 방향을 계산하는 음원 방향 계산 모듈과,
    상기 음원 방향 계산 모듈에서 도출된 음원의 방향으로 상기 카메라를 회전시키는 카메라 회전 모듈, 및
    상기 카메라에서 수집된 영상에서 객체를 확인하는 객체 확인 모듈을 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  7. 청구항 6에 있어서,
    상기 카메라 회전 모듈에 의해 상기 카메라를 회전시키는 구동부를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  8. 청구항 7에 있어서,
    상기 구동부는 서보모터 또는 스태핑모터를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  9. 청구항 6에 있어서,
    상기 음원 방향 계산 모듈은 상기 복수개의 마이크로폰 중 음원 탐지에 사용된 마이크로폰 사이의 거리 및 음원 탐지에 사용된 마이크로폰 신호 간의 딜레이 값과, 온도에 따라 변화하는 음속으로 음원의 방향을 계산하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  10. 청구항 9에 있어서,
    상기 음원의 방향은 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
    Figure pat00023
    로 나타내며,
    상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
    Figure pat00024
    는,
    Figure pat00025
    이며,
    상기
    Figure pat00026
    는 온도에 따라 변화하는 음속이고,
    상기
    Figure pat00027
    는 상기 복수개의 마이크로폰 중 음원을 측정한 마이크로폰 신호간의 딜레이 값이며,
    상기
    Figure pat00028
    는 상기 복수개의 마이크로폰 사이의 거리이고,
    상기
    Figure pat00029
    는 상기 마이크로폰 어레이에서 음원을 측정하는 방향과, 상기 음원과의 각도인 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  11. 청구항 6에 있어서,
    상기 객체 확인 모듈은,
    상기 카메라를 통해 입력된 영상을 동작 감지(Motion Detection) 기술을 이용하여 움직이는 물체를 확인하는 움직임 판단 모듈과,
    상기 움직임 판단 모듈에서 움직이는 물체를 확인할 경우, 상기 카메라를 통해 입력된 영상의 처리를 위한 전 처리 과정을 수행하는 영상 처리 모듈, 및
    상기 영상 처리 모듈에서 처리된 영상의 객체가 사람인지 아닌지 학습 알고리듬을 이용하여 미리 학습되어져 있는 자료를 통해 판단하는 사람 판단 모듈을 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  12. 청구항 11에 있어서,
    상기 사람 판단 모듈에서 확인된 객체를 저장하는 객체 저장 모듈을 더 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  13. 청구항 11에 있어서,
    상기 사람 판단 모듈은 학습 알고리듬에 의해 미리 저장된 객체 모델 데이터베이스와,
    상기 객체 모델 데이터베이스와 상기 카메라에서 수집된 영상의 객체를 비교하여 외부인을 판별하는 외부인 판별 모듈을 더 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  14. 청구항 13에 있어서,
    상기 객체 확인 모듈에서 객체의 주체가 외부인으로 판별될 경우, 알람 및 경보를 발생시키는 알람을 더 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 장치.
  15. 음원의 발생 여부를 판단하는 단계와,
    상기 발생한 음원의 방향을 계산하는 단계와,
    상기 음원이 발생한 지역으로 카메라를 회전하는 단계와,
    상기 카메라에서 취득된 영상에서 사람의 얼굴을 인식하는 단계와,
    상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법.
  16. 청구항 15에 있어서,
    상기 발생한 음원의 방향을 계산하는 단계는,
    복수개의 마이크로폰이 구비된 마이크로폰 어레이로 음원을 수신하는 단계와,
    상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도를 계산하여 발생한 음원의 방향을 계산하는 단계를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법.
  17. 청구항 16에 있어서,
    상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도를 계산하여 발생한 음원의 방향을 계산하는 단계에서,
    상기 마이크로폰 어레이가 음원을 측정하는 방향과 음원 간의 각도(
    Figure pat00030
    )는,
    Figure pat00031
    이며,
    상기
    Figure pat00032
    는 온도에 따라 변화하는 음속이고,
    상기
    Figure pat00033
    는 상기 복수개의 마이크로폰 중 음원을 측정한 마이크로폰 신호간의 딜레이 값이며,
    상기
    Figure pat00034
    는 상기 복수개의 마이크로폰 사이의 거리인 것을 특징으로 하는 음원 추적 및 객체 인식 방법.
  18. 청구항 15에 있어서,
    상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계는,
    상기 인식된 사람의 얼굴과 학습 알고리듬으로 미리 학습된 사람의 얼굴 자료를 매칭하여 외부인을 판별하는 단계를 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법.
  19. 청구항 15에 있어서,
    상기 인식된 사람의 얼굴을 기초로 인식된 사람이 외부인인지 판단하는 단계, 이후
    상기 인식된 사람의 얼굴이 외부인으로 판별될 경우, 경보 및 알람 발생 단계를 더 포함하는 것을 특징으로 하는 음원 추적 및 객체 인식 방법.
KR1020100019580A 2010-03-04 2010-03-04 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법 KR101107120B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100019580A KR101107120B1 (ko) 2010-03-04 2010-03-04 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100019580A KR101107120B1 (ko) 2010-03-04 2010-03-04 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법

Publications (2)

Publication Number Publication Date
KR20110100533A true KR20110100533A (ko) 2011-09-14
KR101107120B1 KR101107120B1 (ko) 2012-01-31

Family

ID=44952933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100019580A KR101107120B1 (ko) 2010-03-04 2010-03-04 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법

Country Status (1)

Country Link
KR (1) KR101107120B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014204049A1 (ko) * 2013-06-21 2014-12-24 (주)에스엠인스트루먼트 이동식 음원 추적 센서 및 제조방법
CN107040760A (zh) * 2017-04-22 2017-08-11 安徽驿盟物流科技有限公司 监控装置
CN112711974A (zh) * 2019-10-25 2021-04-27 纬创资通股份有限公司 人脸辨识方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101790137B1 (ko) 2015-04-10 2017-10-27 세종대학교산학협력단 컴퓨터 실행 가능한 사운드 트레이싱 방법, 이를 수행하는 사운드 트레이싱 장치 및 이를 저장하는 기록매체
KR102549465B1 (ko) 2016-11-25 2023-06-30 삼성전자주식회사 마이크 파라미터를 조절하는 전자 장치
KR101885887B1 (ko) 2017-12-26 2018-08-07 세종대학교 산학협력단 사운드 트레이싱 장치, 방법 및 기록매체

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703699B1 (ko) * 2005-02-05 2007-04-05 삼성전자주식회사 다자간 화상 통신을 제공하는 장치 및 방법
JP4356663B2 (ja) 2005-08-17 2009-11-04 ソニー株式会社 カメラ制御装置および電子会議システム
KR100920937B1 (ko) * 2008-04-15 2009-10-14 오위환 감시 시스템에서의 움직임 검출 및 영상 저장 장치 및 방법
KR100953029B1 (ko) * 2008-05-06 2010-04-14 중앙대학교 산학협력단 보안 시스템 및 보안 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014204049A1 (ko) * 2013-06-21 2014-12-24 (주)에스엠인스트루먼트 이동식 음원 추적 센서 및 제조방법
CN107040760A (zh) * 2017-04-22 2017-08-11 安徽驿盟物流科技有限公司 监控装置
CN112711974A (zh) * 2019-10-25 2021-04-27 纬创资通股份有限公司 人脸辨识方法及装置
CN112711974B (zh) * 2019-10-25 2023-12-12 纬创资通股份有限公司 人脸辨识方法及装置

Also Published As

Publication number Publication date
KR101107120B1 (ko) 2012-01-31

Similar Documents

Publication Publication Date Title
CN109300471B (zh) 融合声音采集识别的场区智能视频监控方法、装置及系统
KR101107120B1 (ko) 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법
EP3308356B1 (en) System and method for detecting a dissimilar object in undercarriage of a vehicle
CN111582006A (zh) 一种视频分析方法及装置
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
CN110516522B (zh) 一种巡检方法及系统
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
US20170206664A1 (en) Method for identifying, tracking persons and objects of interest
WO2018228174A1 (zh) 获取对象密度的方法、装置、设备及存储介质
JP4288428B2 (ja) 映像解析システムおよび映像解析方法
US8873804B2 (en) Traffic monitoring device
Putrada et al. Improving thermal camera performance in fever detection during covid-19 protocol with random forest classification
CN111062313A (zh) 一种图像识别方法、装置、监控系统及存储介质
US8184853B2 (en) Method of triggering a detector to detect a moving feature within a video stream
JP4985742B2 (ja) 撮影システム、方法及びプログラム
KR101355206B1 (ko) 영상분석을 이용한 출입 계수시스템 및 그 방법
JP2008282172A (ja) 音響による構造物監視装置
CN114488337A (zh) 一种高空抛物检测方法及装置
Ankad et al. Object Size Measurement from CCTV footage using deep learning
Cielniak et al. Appearance-based tracking of persons with an omnidirectional vision sensor
WO2012074366A2 (en) A system and a method for detecting a loitering event
JP2020135099A (ja) 状態認識装置
TWI439967B (zh) 安全監控系統及安全監控方法
KR20170077623A (ko) 객체 카운팅 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141217

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160107

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170111

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180110

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190109

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200113

Year of fee payment: 9