KR102513372B1 - 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법 - Google Patents
음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법 Download PDFInfo
- Publication number
- KR102513372B1 KR102513372B1 KR1020230004759A KR20230004759A KR102513372B1 KR 102513372 B1 KR102513372 B1 KR 102513372B1 KR 1020230004759 A KR1020230004759 A KR 1020230004759A KR 20230004759 A KR20230004759 A KR 20230004759A KR 102513372 B1 KR102513372 B1 KR 102513372B1
- Authority
- KR
- South Korea
- Prior art keywords
- sound
- event
- camera
- image
- tracking
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 55
- 238000010191 image analysis Methods 0.000 claims abstract description 14
- 230000033001 locomotion Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 39
- 230000005236 sound signal Effects 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
- G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
- G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19617—Surveillance camera constructional details
- G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은, 긴급상황 음향이 감지되면 이에 반응하여 긴급상황 영역으로 방향을 전환하는 회전형 카메라; 설정된 데시벨 이상의 긴급상황 음향을 감지하는 것으로써, 3 개의 마이크를 통해 수집된 음향신호를 가공 분석하여 긴급상황인 것으로 판단되면, 음향 이벤트정보를 영상분석 및 카메라 제어장치로 전송하도록, 마이크로부터 전송되는 음향신호를 수신하고, 수신된 음향신호의 일정주파수를 필터링하여, 필터링된 음향신호가 긴급상황 신호인지를 검출함과 아울러 음향신호의 방향을 산출하는 음향분석장치; 상기 음향분석장치로부터 전송되는 음향처리데이터를 수신하고, 음향처리데이터를 토대로 PTZ가 제어되는 회전형 카메라에서 획득한 영상신호를 분석하여, 상기 영상에서 유의미한 객체가 있는 경우에는 객체별 카메라와의 거리, 크기, 속도 벡터를 계산하여 카메라 줌렌즈의 확대 배율을 조정한 후, 객체의 이동속도 및 방향을 분석하고, 속도벡터를 계산하여 객체의 이동 예상 동선을 계산한 후 카메라를 제어하여 계속 추적하고, 상기 영상에서 유의미한 객체가 없는 경우에는 발생시간, 방향, 영상분석 결과 데이터를 수집하여 동일한 상황이 발생되면, 이를 음향이벤트에서 예외 처리를 하고, 유의미한 객체가 있는 경우에는 딥러닝 기반의 영상처리 및 인공지능 기술에 의해 객체의 특성을 분류하여 추적하도록 제어하는 영상분석 및 카메라 제어장치; 및 상기 긴급상황 음향 이벤트 및 영상 이벤트에 따라 추적이 이루어지는 영역 및 객체쪽으로 조명을 발사하는 회전형 조명장치;로 이루어진 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법을 개시한다.
Description
본 발명은 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법에 관한 것이다.
본 발명은 더욱 상세하게, 음향과 연계하여 처리된 영상에 나타나는 객체가 화면의 중앙부분에 항상 일정한 비율로 유지되며, 방해물에 의해 일정시간 객체가 가려지더라도 연속 추적이 가능함으로써 정확한 추적이 이루어질 수 있도록 한, 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 추적 제어방법을 제공하는데 있다.
또한, 본 발명은 음향이벤트 중에서 사람 실물에 의한 음향이벤트가 아닌 경우에는 이를 긴급상황에 대한 음향이벤트에서 예외 처리하고, 추후 음향이벤트 판단시 이를 반영토록 한 것이다.
근래에 이르러 범죄 발생을 예방하기 위해 우범지역이나 한적한 장소에 감시 카메라가 설치되는 경우가 빈번해지고 있으며, 유동 인구가 많거나 차량 통행이 많아 사고 위험이 빈번한 장소에서도 사고 수습 목적으로 감시카메라가 설치되고 있다.
이러한 감시 카메라 설치 시에는 설치 비용에 비해 얼마나 많은 정보를 획득할 수 있는지에 대한 여부와 사각지역에 대한 해결 여부가 관건이 된다.
이에 따라, 해당 기술분야에서는 자동으로 긴급상황을 인식하여 관제센터에 통지하기 위한 정밀 분석 기술이 요구되고 있다.
특허등록 제10-1899989호는 화상인식 및 추적제어가 가능한 방범용 조명시스템의 제어방법에 관한 것으로써, 야간에 감지된 피사체의 거리에 따라 조사되는 광량을 조절하여 시인성을 확보함으로 인해 피사체에 대한 화상인식률을 향상시키면서 피사체를 자동추적하여 범죄를 예방할 수 있도록 한 것이다.
그러나 이 등록기술은 피사체의 얼굴과 미리 저장된 다수의 얼굴데이터가 매칭될 경우에 상기 매칭된 얼굴데이터와 촬영된 영상과 카메라의 위치를 포함한 카메라정보를 관리자기기로 제공하여 위험을 알림으로써 적절한 조치가 뒤따를 수 있도록 하는 것이나, 범인의 얼굴데이터가 저장되어 있지 않을 경우 관리자가 알 수 없으므로 범죄에 대해 적절한 대처가 불가능하고, 조명이 얼굴쪽으로만 비추므로 범인의 정확한 행동패턴 파악이 어려워 주변인들의 도움을 받을 수 있는 가능성이 낮아진다는 문제가 있다.
특허등록 제10-2383384호는 IoT 스마트 안전 조명 및 자가 방범 시스템에 관한 것으로써, 움직임감지신호를 감지하여 전송하는 게이트웨이를 독거인의 거주지에 설치하고, 게이트웨이에서 전송되는 정보를 중앙서버에서 분석 판단함으로써, 독거인의 거주지에 컴퓨터의 구성없이 독거인의 상태를 파악할 수 있도록 한 것이다.
그러나 이 기술은 독거노인이 도움을 요청하려 할 경우 반드시 도움요청 버튼을 눌러야 하고, 이러한 버튼 조작에 따라 GPS가 연동하여 현재 위치 정보가 지도로 표시되어 중앙서버로 전송됨으로써 관리자의 적절한 조치가 이루어지도록 하는 것으로써, 반드시 도움요청 버튼을 눌러야만 적절한 조치가 이루어지므로 도움버튼을 누를 수 없는 상황에 구조요청자가 놓인 경우에는 적절한 조치가 이루어질 수 없는 문제가 있다.
특허등록 제10-1687296호는 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법에 관한 것으로써, 한 문장으로 말할 수 있는 2 내지 5초에 해당하는 단발음에 대한 음향 주파수를 기반으로 긴급상황에 높인 추적 대상을 1차적으로 선정하고, 이를 검증하기 위해 고정형 카메라에 의한 행동 패턴으로 필터링을 수행함으로써, 긴급상황에 놓인 추적 대상에 대한 선택 확률을 획기적으로 높여서 정밀한 추적이 가능하도록 한 것이다.
특허등록 제10-2472369호는 긴급도움 요청 음원을 통한 객체 추적시스템 및 추적방법에 관한 것으로써, 설정된 데시벨 이상의 긴급도움 요청 음원의 주체가 사람인 경우 그의 움직임을 추적 관찰함과 동시에, 관제센터에서 이러한 상황을 인식하여 필요한 조치를 수행할 수 있도록, 회전형 카메라의 방향을 전환하여 촬영영상을 확보하고, 긴급도움을 요청하는 음원이 발생한 곳의 밝기에 따라 해당영역에 대한 조명 발사를 통해 비상상황이 신속하게 파악될 수 있도록 한 것이다.
그러나 상기 특허등록 제10-1687296호 및 제10-2472369호는 본 출원인의 선출원 특허로써 음향 및 행동 추적을 통한 비상상황 해소에 역할을 하는 기술이지만, 음향 신호의 발생 방향을 결정함에 따라 이벤트 지점을 결정하는 방식으로써, 이러한 기술을 옥외에 설치되는 방범 CCTV 시스템에 적용할 경우, 음향 신호 발생 방향을 결정함에 있어 방해물에 의한 음향신호의 반사, 굴절, 감쇄 등의 영향으로 잦은 오경보가 발생되어 효율적인 감시가 어려운 경우가 많다. 즉 음향신호만 이용하면 정확한 이벤트 지점을 찾기가 어려운 문제가 있다.
본 발명은 상기 종래 기술에 내포된 문제점을 해결하기 위하여 창안된 것으로써, 본 발명의 목적은 음향을 통해 사각지대없이 주변을 관찰하다가 음향이벤트 발생시 해당하는 방향에 대해 집중적으로 영상정보를 수집하여 비상상황에 적절하게 대응할 수 있도록 한 것으로써, 음향과 연계하여 처리된 영상에 나타나는 객체가 화면의 중앙부분에 항상 일정한 비율의 크기로 유지되며, 방해물에 의해 일정시간 객체가 가려지더라도 연속 추적이 가능함으로써 정확한 추적이 이루어질 수 있도록 한, 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법을 제공하는데 있다.
본 발명의 다른 목적은, 음향이벤트 중에서 사람 실물에 의한 음향이벤트가 아닌 경우에는 이를 긴급상황에 대한 음향이벤트에서 예외 처리하고, 추후 음향이벤트 판단시 이를 반영토록 한, 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법을 제공하는데 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위해 본 발명의 실시예에 따른 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템은
긴급상황 음향이 감지되면 이에 반응하여 긴급상황 영역으로 방향을 전환하는 회전형 카메라;
설정된 데시벨 이상의 긴급상황 음향을 감지하는 것으로써, 3 개의 마이크를 통해 수집된 음향신호를 가공 분석하여 긴급상황인 것으로 판단되면, 음향 이벤트정보를 영상분석 및 카메라 제어장치로 전송하도록, 마이크로부터 전송되는 음향신호를 수신하고, 수신된 음향신호의 일정주파수를 필터링하여, 필터링된 음향신호가 긴급상황 신호인지를 검출함과 아울러 음향신호의 방향을 산출하는 음향분석장치;
상기 음향분석장치로부터 전송되는 음향처리데이터를 수신하고, 음향처리데이터를 토대로 PTZ가 제어되는 회전형 카메라에서 획득한 영상신호를 분석하여, 상기 영상에서 유의미한 객체가 있는 경우에는 객체별 카메라와의 거리, 크기, 속도 벡터를 계산하여 카메라 줌렌즈의 확대 배율을 조정한 후, 객체의 이동속도 및 방향을 분석하고, 속도벡터를 계산하여 객체의 이동 예상 동선을 계산한 후 카메라를 제어하여 계속 추적하고, 상기 영상에서 유의미한 객체가 없는 경우에는 발생시간, 방향, 영상분석 결과 데이터를 수집하여 동일한 상황이 발생되면, 이를 음향이벤트에서 예외 처리를 하고, 유의미한 객체가 있는 경우에는 딥러닝 기반의 영상처리 및 인공지능 기술에 의해 객체의 특성을 분류하여 추적하도록 제어하는 영상분석 및 카메라 제어장치; 및
상기 긴급상황 음향 이벤트 및 영상 이벤트에 따라 추적이 이루어지는 영역 및 객체쪽으로 조명을 발사하는 회전형 조명장치;로 이루어진 것을 특징으로 한다.
본 발명에서, 제어장치는 추적되는 객체의 영상이 화면의 중앙에 일정비율로 유지되도록 제어하는 것을 특징으로 한다.
본 발명에서, 제어장치는 객체가 방해물에 의해 가려지는 경우, 그 가려지는 시간을 추적시간에서 제외하고, 최초 설정된 추적시간 동안 추적이 계속 이루어지도록 제어하는 것을 특징으로 한다.
본 발명에서, 영상에서 유의미한 객체가 없는 경우는, 대상 영역 이외의 영역에서 발생되는 음향을 이벤트로 처리하였지만 이에 부합하는 객체가 영상에 나타나지 않는 경우인 것을 특징으로 한다.
본 발명에서, 영상에 유의미한 객체가 있는 경우에는 자연적인 현상에 의해 나타나는 영상은 추적에서 제외하고, 실물로 영상에 나타나는 객체만을 추적하는 것을 특징으로 한다.
상기 목적을 달성하기 위해 본 발명의 실시예에 따른 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 제어방법은
3 개의 마이크를 통해 음향신호가 음향신호수신부에 수신되는 제1단계;
상기 수신된 음향신호의 유효 주파수대역이 필터에 의해 필터링되는 제2단계;
제어부에서 이벤트 대기 타이머가 종료되었는지를 판별하는 제3단계;
상기 이벤트 대기 타이머가 종료되었으면, 수신된 3 개의 음향신호의 세기 차이가 노이즈 설정범위 이내에 있는지를 판별하는 제4단계;
상기 수신된 3 개의 음향신호의 세기 차이가 노이즈 설정범위 이내가 아니면, 수신된 3 개의 음향신호 중 이벤트 발생 크기보다 큰 신호가 있는지를 판별하는 제5단계;
상기 수신된 3 개의 음향신호 중 이벤트 발생 크기보다 큰 신호가 있으면, 이벤트 발생신호의 유지시간이 설정된 시간보다 큰지를 판별하는 제6단계;
상기 이벤트 발생신호의 유지시간이 설정된 시간보다 크면, 이벤트 발생 대기 타이머를 작동시켜 긴급상황검출부에서 긴급상황임을 검출하고, 설정된 시간에 음향 이벤트신호가 생성되도록 하는 제7단계;
음향방향산출부에서 음향이벤트 발생 방향을 산출하는 제8단계;
긴급상황검출부와 음향방향산출부에서 각각 얻어진 이벤트 발생 방향 및 특성값을 음향처리데이터 전송부를 통해 제어장치로 전송하는 제9단계;
상기 음향처리데이터 전송부를 통해 전송되는 음향 이벤트 발생 방향 및 특성값을 음향처리데이터 수신부에서 수신하는 제10단계;
상기 음향 이벤트 케이스를 분류하는 제11단계;
상기 음향 이벤트 케이스 계수기가 설정값 이상인지를 판별하는 제12단계;
상기 음향 이벤트 케이스 계수기가 설정값 이상이 아니면, 카메라 PTZ 제어부가 상기 음향 이벤트 발생 방향으로 카메라가 회전되도록 카메라를 제어하는 제13단계;
영상수신부가 상기 카메라로부터 영상 데이터를 수신하는 제14단계;
영상처리 분석부가 상기 수신된 영상 데이터를 처리하고 객체 특성 및 좌표를 분석하는 제15단계;
제어부가 상기 분석된 영상에 유의미한 객체가 있는지를 판별하는 제16단계;
상기 분석된 영상에 유의미한 객체가 있으면, 이벤트 알람 데이터를 경보부에 전송하고, 자연적인 현상에 의해 나타나는영상은 추적에서 제외하고, 실물로 영상에 나타나는 객체만을 추적하는 제17단계;
객체별 카메라와의 거리, 크기, 속도 벡터를 계산하는 제18단계;
카메라 줌렌즈의 확대 배율을 조정하는 제19단계;
객체의 이동속도 및 방향을 분석하고, 속도벡터를 계산하는 제20단계;
객체의 이동 예상 동선을 계산하는 제21단계;
카메라의 PAN 및 TILT 모터를 구동하는 제22단계; 및
트래킹 설정시간 이내인지를 판별하는 제23단계;로 이루어지고,
상기 트래킹 설정시간 이내가 아니면 동작을 종료하고, 설정시간 이내이면, 제18단계로 되돌아가서 객체의 이동속도 및 방향을 분석하고, 속도벡터를 계산하면서 계속 추적하는 것을 특징으로 한다.
본 발명에서, 제17단계에서 영상에 유의미한 객체가 없으면, 음향이벤트 예외 처리부에서 상기 음향 이벤트 발생 지점과 시간, 영상분석 결과를 저장하는 제24단계; 및
음향 이벤트 오류 케이스의 계수기 횟수를 증가시키는 제25단계;가 추가되는 것을 특징으로 한다.
본 발명의 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법에 따르면, 음향을 통해 사각지대없이 주변을 관찰하다가 음향이벤트 발생시 해당하는 방향에 대해 집중적으로 영상정보를 수집하여 비상상황에 적절하게 대응할 수 있도록 한 것으로써, 음향과 연계하여 처리된 영상에 나타나는 객체가 화면의 중앙부분에 항상 일정한 비율로 유지되며, 방해물에 의해 일정시간 객체가 가려지더라도 연속 추적이 가능함으로써 정확한 추적이 이루어질 수 있도록 한다.
또한, 음향 이벤트 중에서 사람 실물에 의한 음향 이벤트가 아닌 경우에는 이를 긴급상황 음향 이벤트에서 예외 처리하고, 추후 음향 이벤트 판단시 이를 반영토록 함으로써, 정확한 객체 추적이 가능하다. 즉 음향이 긴급상황 조건은 충족하였으나, 유의미한 객체가 없는 경우에는 발생시간, 방향, 영상분석 결과 등의 데이터를 수집하여 저장하였다가, 동일한 상황이 발생되면, 이를 음향이벤트에서 예외 처리를 하여 이를 근거로 한 음향이벤트가 발생되지 않도록 한다.
또한, 영상에 유의미한 객체가 있는 경우에도 바람에 의한 흔들림, 햇빛 반사, 그림자 등에 의한 객체는 추적에서 제외하고, 자동차, 사람, 자전거, 오토바이 등으로 판단되는 실물 객체만을 유의미한 객체로 결정하여 딥러닝 기반의 영상처리 및 인공지능 기술에 의해 객체를 추적할 수 있다.
다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 인식될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적의 기본원리를 나타낸 도면.
도 2는 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적에서 조명을 발사하는 상태를 나타낸 도면.
도 3은 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 제어 구성도.
도 4는 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 네트워크 구성도.
도 5는 도 3의 움직임분석부의 구성도.
도 6 내지 도 8은 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템 제어방법의 동작 흐름도.
도 9는 본 발명의 다른 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 네트워크 구성도.
도 10은 도 9의 음향분석장치의 동작 흐름도.
도 11은 도 9의 영상분석 및 카메라 제어장치의 동작 흐름도.
도 2는 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적에서 조명을 발사하는 상태를 나타낸 도면.
도 3은 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 제어 구성도.
도 4는 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 네트워크 구성도.
도 5는 도 3의 움직임분석부의 구성도.
도 6 내지 도 8은 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템 제어방법의 동작 흐름도.
도 9는 본 발명의 다른 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 네트워크 구성도.
도 10은 도 9의 음향분석장치의 동작 흐름도.
도 11은 도 9의 영상분석 및 카메라 제어장치의 동작 흐름도.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다.
하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다. 또한, 음원 이벤트와 음원 이밴트 정보 그리고 영상 이벤트와 영상 이벤트 정보는 동일한 의미로 혼용하기로 한다.
도 1은 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적의 기본원리를 나타낸 도면이다. 도 2는 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적에서 조명을 발사하는 상태를 나타낸 도면이다. 도 3은 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 제어 구성도이다. 도 4는 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 네트워크 구성도이다. 도 5는 도 3의 움직임분석부의 구성도이다. 도 6 내지 도 8은 본 발명의 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템 제어방법의 동작 흐름도이다.
도 1에 도시된 바와 같이, 본 발명의 객체 추적시스템은 설정된 데시벨으로 발생된 긴급상황 음향(단발음 포함, 이하 음원과 혼용하기로 한다) 및 이에 연동하여 얻어진 영상정보를 이용하여 사람에 의한 긴급상황일 경우 촬영되어야 할 영역 및 객체를 판단하고, 영역 및 객체의 움직임을 분석한 후, 분석된 결과값에 대응되는 긴급상황 신호가 원격지 중앙관제센터 및 관제요원의 단말기로 출력되어 긴급상황에 신속하게 대처할 수 있도록 한다.
상기 설정된 데시벨 이상의 긴급상황을 감지하는 장치는 회전형 카메라에 일체화되어 구성될 수 있다.
상기 긴급상황 음향은 결과값에 따라 다른 음성 또는 경보음으로 생성되어 현장에서 출력되도록 함으로써 현장 주변에서도 긴급상황을 정확하게 인지하여 신속하게 대처할 수 있도록 할 수 있다.
또한, 도 2에 도시된 바와 같이 본 발명의 객체 추적시스템은 음원 및 영상정보를 분석하여 긴급상황으로 판단된 경우에는 영역 및 객체를 향해 조명을 발사하여 범죄자로 하여금 범죄를 포기하게 하거나, 주변에서 긴급상황을 인지하여 신속하게 대처할 수 있도록 할 수 있고, 이때 범죄자쪽으로 조명을 집중 발사하여 주변을 의식한 범죄자의 행동에 제약을 가할 수 있다. 그러나 이러한 방법으로만 제한하는 것은 아니다.
본 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템은, 도 3에 도시된 바와 같이 회전형 카메라 집합체(110; 110-1 내지 110-N), 음원 인식장치 집합체(120; 120-1 내지 120-N), 회전형 조명장치 집합체(130; 130-1 내지 130-N)를 포함하도록 구성된 회전형 카메라부(100)와, 상기 회전형 카메라부(100)에서 발생된 음향 및 영상이벤트에 따라 회전형 카메라부(100)를 제어하는 제어장치(200)와, 상기 회전형 카메라부(100)에서 발생된 이벤트를 토대로 회전형 카메라부(100)를 제어하는 현장 제어장치(200)의 제어신호에 따라 경보음성(메시지) 또는 경보음을 발생하는 스피커 집합체(300; 300-1 내지 300-N)를 포함하도록 구성될 수 있다.
상기에서 집합체는 동일한 범위에 속하는 하나의 영역에 설치된 복수 개 장치를 모두 포함하는 것이며, 이하에서는 동일한 범위에 속하는 하나의 영역에 설치된 복수 개 회전형 카메라 중에서 하나의 회전형 카메라 및 회전형 조명장치가 커버할 수 있는 영역에서 긴급상황 음향이 발생되는 경우에 대해 설명하는 것을 기본으로 한다.
회전형 카메라(110)는 긴급상황 음향이 발생된 영역 및 객체쪽으로 방향을 전환하여 영역 및 객체를 추적 촬영하기 위해 구성되고, 영역 및 객체를 확대하거나 축소할 수 있는 줌인-아웃(zoom in-out) 기능을 포함한 PTZ 카메라일 수 있다.
회전형 카메라(110)는 촬영동작이 수행되지 않고 있거나 또는 한 곳을 촬영하고 있거나 또는 랜덤으로 회전하면서 촬영하는 동작 중 어느 하나의 동작이 수행되는 상태에서 긴급상황 음향 발생시 본 발명에 따른 동작이 개시되도록 제어될 수 있다.
회전형 카메라(110)는 긴급상황 음향 이벤트정보를 생성한 음원 인식장치(120)와 매칭되어 제어장치(200)에서 결정된 영역 및 객체쪽으로 방향이 전환되어 영역 및 객체를 추적 촬영한다.
즉 회전형 카메라(110)는 긴급상황 음향이벤트가 발생되면, 그 이벤트가 발생된 영역으로 방향이 전환되어 영역 및 객체를 촬영하고, 촬영된 영상정보를 제어장치(200)로 전송하여 영상정보와 긴급상황 음향을 발생한 사람이 일치하는 것으로 판단될 경우 제어장치(200)의 제어에 의해 영역 및 객체에 대한 추적 촬영을 수행한다.
보다 구체적으로, 회전형 카메라(110)는 영상이벤트가 발생하면 제1 내지 제3 영상이벤트를 생성할 수 있고, 노멀이벤트가 감지되면 제1 내지 제3 노멀이벤트를 생성하여 제어장치(200)로 전송한다.
제1 내지 제3 영상이벤트를 예로 들면, 제1 영상이벤트는 영역 내에서 "객체가 뛰어가는 것", "객체가 손을 흔드는 것", "객체가 넘어져 있는 것" 등과 같이 긴급상황 움직임이 촬영되는 경우를 들 수 있고, 제2 영상이벤트는 영역 내에서 "객체가 호루라기를 물거나 들고 있는 것", "객체가 호루라기를 물거나 들고 뛰어가는 것", "객체가 호루라기를 물거나 들고 손을 흔드는 것", "객체가 호루라기를 물거나 들고 넘어져 있는 것" 등과 같이 호루라기를 통해 긴급상황 움직임이 촬영되는 경우를 들 수 있으며, 제3 영상이벤트는 영역 내에서 "두 개의 객체가 엉켜있는 것", "두 개의 객체가 미리 설정된 간격 미만에 위치하는 것", "두 개의 객체가 엉켜있거나 미리 설정된 간격 미만에 위치한 상태에서 두 개의 객체 중 적어도 하나 이상이 넘어져 있거나, 손을 흔드는 것" 등과 같이 제1 영상이벤트 및 제2 영상이벤트를 제외한 긴급상황의 개연성이 높은 경우를 들 수 있다. 그러나 반드시 이러한 것으로만 제한하지 않는다.
회전형 카메라(110)에서 생성되는 제1 내지 제3 노멀이벤트 정보는 회전형 카메라(110) 고유의 식별정보, 시간정보, 소리정보, 영상정보 중 적어도 하나를 포함할 수 있다.
상기 고유의 식별정보는 회전형 카메라(110)의 시리얼넘버, 회전형 카메라(110)가 촬영하고 있는 영역의 좌표 정보 등 회전형 카메라(110)에 미리 설정되어 있는 모든 종류의 정보들일 수 있다.
음원 인식장치(120)는 제어장치(200)가 음향 이벤트정보와 제1 내지 제3 노멀이벤트 정보를 종합적으로 분석하여 회전형 카메라(110)가 촬영해야 하는 영역 및 객체를 결정하고, 결정된 영역 및 객체에 대한 정보를 회전형 카메라(110)로 전송하도록 제어장치(200)로 음향 이벤트정보를 전송한다.
본 실시예에 따른 추적시스템이 출입통제구역에 사용되는 경우를 예로 들면, 이벤트 정보(음향 이벤트정보, 제1 내지 제3 노멀이벤트 정보)에 따라 제어장치(200)로부터 결정된 객체가 출입통제구역에 형성된 문 주변에 위치한 사람이라면, 회전형 카메라(110)는 그 사람을 인식하여 사람의 움직임에 따라 렌즈를 이동시켜 사람을 촬영함으로써 영상정보를 생성한다.
제어장치(200)에서 결정된 객체 정보를 수신한 회전형 카메라(110-1)가 동일 범위에 속하는 현장에서 더 이상 그 사람을 인식할 수 없는 영역으로 사람이 이탈한 경우, 제어장치(200)는 최초의 회전형 카메라(110-1) 주변에 위치하되 객체의 이동경로에 위치된 다른 회전형 카메라(110-2, 110-n)를 통해 객체의 추가 추적이 가능하도록 회전형 카메라(110)를 제어할 수 있다. 이를 위해 회전형 카메라(110)가 위치하는 하나의 현장에 복수 개의 회전형 카메라(110-1, 110-2, 110-n)가 설치될 수 있다.
회전형 조명장치(130)는 긴급상황이 발생한 현장의 밝기에 따라 조명을 발사하여 긴급상황이 발생된 영역 및 객체의 구별이 확실해지도록 함으로써 주변인들의 도움을 받을 수 있도록 한다. 또한, 관제요원 등에 의한 구조가 용이하게 이루어지도록 한다.
회전형 조명장치(130)는 회전형 카메라(110)의 회전에 자동으로 연동하도록 회전형 카메라(110)에 일체화될 수 있다.
회전형 조명장치(130)는 회전형 카메라(110)에 의해 영상 이벤트정보가 발생된 영역으로 제어장치(200)의 제어에 의해 방향이 전환되어 영역 및 객체를 추적 조명한다.
한편, 상기 회전형 카메라(110)와 회전형 조명장치(130)는 정상적인 위치를 유지해야만 정확하게 이동 객체의 존재 여부와 움직임을 분석함은 물론, 영역내에 위치하여 긴급상황임을 알리는 요청자 또는 범죄자를 향하여 조명을 발사할 수 있으므로 정상적인 위치 유지 여부를 판단할 수 있다.
예를 들어, 제어장치(200)는 회전형 카메라(110)에 의해 촬영된 영상이 화면의 화면의 중앙에 위치하지 못하는 경우에는 회전형 카메라(110)의 정상적인 동작에 이상이 발생하였다고 판단할 수 있다. 화면의 중앙에 객체가 위치하도록 하는 기술은 후술한다.
또한, 제어장치(200)는 회전형 조명장치(130)에 의해 발사된 조명이 객체쪽으로 정확하게 향하지 않는 경우에는 회전형 카메라(110)의 정상적인 동작에 이상이 발생하였다고 판단할 수 있다.
또한, 제어장치(200)는 회전형 카메라(11)와 회전형 조명장치(130)로부터 영상신호와 조명발사신호를 각각 전송받으며, 이들 신호를 분석하여 예를 들어 회전형 카메라(110)와 회전형 조명장치(130)가 동일한 회전량으로 구동되지 않은 것으로 판단되면, 이들 중 어느 하나, 또는 모두 정상적인 동작이 수행되지 않는 것으로 판단할 수 있다. 이러한 판단동작은 제어장치(200)에 저장된 프로그램의 구동에 의해 가능할 수 있다.
제어장치(200)는 회전형 카메라(110), 음원 인식장치(120), 회전형 조명장치(130), 스피커(300)를 제어하고, 음향 및 영상 이벤트정보 발생시 그 음향 및 영상 이벤트정보를 분석하여 분석된 결과값에 따라 경보음성 또는 경보음이 스피커(400)를 통해 자동으로 송출되도록 한다.
제어장치(200)는 회전형 카메라(110), 음원 인식장치(120), 회전형 조명장치(130), 스피커(300)가 설치된 현장 또는 주변에 설치될 수 있다.
제어장치(200)는 통신부(210), 이동객체 인식부(220), 움직임분석부(230), DB(240) 및 제어부(250)를 포함하도록 구성된다.
통신부(210)는 제어장치(200)가 회전형 카메라(110), 음원 인식장치(120), 회전형 조명장치(130), 스피커(300)와 정보를 송수신하기 위해 구성되는 것으로서, 예를 들어 회전형 카메라(110)로부터 영상 이벤트정보를 수신하면, 이동객체 인식부(120)를 통해 결정된 촬영되어야 할 영역 및 객체정보를 회전형 카메라(110)로 전송한다.
통신부(210)는 회전형 카메라(110)가 영역 및 객체를 추적촬영하여 생성한 영상 이벤트정보를 제어부(250)로 전송하고, DB(240)에 저장된 경보음성 또는 경보음 정보를 스피커(300)로 전송한다.
이동객체 인식부(220)는 통신부(210)를 통해 수신된 영상 이벤트정보를 통해 회전형 카메라(110)가 촬영해야 하는 영역 및 객체의 실체가 무엇인지를 판단하고, 영역내에서의 객체의 이동 좌표를 생성하기 위해 구성된다.
즉 긴급상황이 발생된 주변을 촬영 대상 영역으로 결정하고 움직임의 원인이 된 객체를 감지하여 촬영되어야 하는 객체를 결정하며, 결정된 객체의 이동이 지속적으로 감지되면 결정된 객체가 추적 촬영될 수 있도록 결정된 객체의 이동 방향 및 이동 좌표를 생성한다.
또한, 이동객체 인식부(220)는 대상 영역, 객체, 객체의 이동 방향 및 이동 좌표가 통신부(210)를 통해 회전형 카메라(110)로 전송되도록 한다.
움직임분석부(230)는 회전형 카메라(110)를 통해 수신한 영상 이벤트정보를 통해 영역 및 객체의 움직임을 분석하여 이벤트 분석값을 생성하기 위해 구성된다.
움직임분석부(230)는 영역 및 객체의 움직임에 따른 이벤트 분석값이 미리 저장되어 있고, 이벤트 분석값은 우선순위가 설정되어 저장될 수 있다.
여기서 우선순위는 긴급상황도에 따라 설정되며 긴급상황도는 폭력, 대상 객체의 위급도 중 적어도 하나를 기준으로 설정된 순위일 수 있다.
폭력은 단일 또는 다수의 객체 간의 충돌 등을 의미할 수 있다. 물론 이는 예시적 사항에 불과할 뿐, 본 실시예에 따른 긴급상황도는 더 세분화되어 분류될 수도 있다.
그리고 본 실시예에서의 긴급상황도는 단일의 카테고리로 설정될 수도 있지만 다수의 카테고리가 조합되어 설정될 수도 있다. 예를 들면, 폭력과 관련된 분석값과 객체의 위급도와 관련된 분석값이 동시에 분석된 경우에는 폭력과 관련된 분석값이 객체의 위급도와 관련된 분석값보다 높게 설정되는 것이다.
움직임분석부(230)는 보다 정밀하게 상황을 판단하기 위해 정밀 움직임분석부를 더 포함할 수도 있으며, 정밀 움직임분석부를 더 포함하게 되는 경우에는 움직임분석부(230)에서 생성된 분석값을 이용하여 분석값을 더 세분화된 카테고리별로 분류하도록 할 수도 있다.
DB(240)는 움직임분석부(230)에서 생성한 이벤트 분석값에 대응되는 메시지 및 메시지에 따라 스피커(300)에서 출력되어야 하는 경고음성 또는 경보음이 저장될 수 있다.
DB(240)에 저장되는 소리정보는 스피커(300)를 통해 사람의 음성이나 사이렌과 같은 경보음으로 출력될 수 있는 정보이고, 메시지에 대응되어 저장될 수 있다.
제어부(250)는 회전형 카메라(110)로부터 제1 내지 제3 영상 이벤트정보와 노멀 이벤트정보가 수신되고, 음원 인식장치(120)로부터 음향 이벤트정보를 수신하도록 통신부(210)를 제어하며, 이동객체 인식부(220)가 수신된 제1 내지 제3 영상 이벤트정보와 음향 이벤트정보를 통해 회전형 카메라(110)가 촬영해야 하는 영역 및 객체를 결정하고, 결정된 객체를 검지하여 결정된 객체의 이동 좌표를 생성하도록 제어한다.
제어부(250)는 이동객체 인식부(220)에서 결정된 영역 및 객체와 생성된 이동 좌표가 통신부(210)를 통해 회전형 카메라(110)로 전송되도록 하고, 통신부(210)를 통해 회전형 카메라(110)로부터 생성되는 영상 이벤트정보를 수신하여 움직임분석부(230)로 전송한다.
제어부(250)는 움직임분석부(230)에서 생성된 이벤트 분석값에 대응되는 메시지를 DB(240)에서 추출하고, 추출된 메시지에 따라 출력되어야 하는 경고음성 또는 경보음을 통신부(210)를 통해 스피커(300)로 전송되도록 한다.
제어부(250)는 회전형 카메라(110)에 구성된 Pan, Tilt, Zoom 기능 제어를 통해 객체의 이동(움직임)에 따라 화면에 항상 일정한 비율로 객체의 크기가 유지되도록 하며, 화면의 중앙부분에 객체가 표시되도록 회전형 카메라(110)를 자동 제어할 수 있다.
또한, 객체의 이동중에 소정 물체에 가려졌다가 다시 나타나는 경우에도 이를 동일 객체로 인식하여 연속으로 추적이 가능할 수 있다.
추적이 유지되는 시간이 설정되어 이 설정된 시간 동안은 객체에 대한 추적이 연속으로 이루어지며, 상기한 바와 같이 객체가 소정 물체에 가려져 잠시 보이지 않는 경우에는 보이지 않았던 시간을 추적 유지시간에서 제외하고, 정상적으로 객체가 보이는 시간을 객체 유지시간으로 설정할 수 있다.
즉 추적 유지시간이 60초로 설정된 경우, 3O초 동안 추적이 이루어지다가 3O초 동안 소정 물체에 객체가 가려져 안보이면서 설정시간 60초가 모두 경과하는 경우, 상기 소정 물체에 가려져 안보이는 시간 3O초를 추가로 가산하여 추적이 이루어질 수 있도록 하는 것이다.
이러한 시간 설정은 긴급상황 음향이 획득된 후, 이 음향이 사람의 음향인 것으로 분석되면, 그 움직임을 연속 추적할 필요가 있는데, 객체의 이동 중 중간에 소정 물체에 가려지는 시간도 추적 유지시간으로 설정하면, 추적이 이루어지는 도중에 중단되어 정확한 추적이 이루어지지 않을 수 있음을 감안한 것이다.
이러한 경우, 상기 추적이 종료되면, 즉 추적 유지시간이 종료되면, 그 종료된 위치에서 영상도 종료되면서 움직임 추적값을 형성하게 된다.
한편, 상기 객체의 크기는 가로 세로 각각의 비율 또는 동일 비율로 설정될 수 있으며, 가로 크기 설정범위에서 획득되는 영상정보와, 세로 크기 설정범위에서 획득되는 영상정보를 토대로 가변적으로 설정될 수 있다.
즉 가로 크기 설정범위에서는 보이지 않던 영상이 세로 크기 설정범위에서는 보일 수 있다면 세로 크기를 보다 크게 설정할 수 있다. 예를 들어, 2 명의 객체가 있다고 가정할 경우, 긴급상황 음향을 발생하는 사람과, 이 사람을 위협하는 사람 등 2명의 객체가 하나의 영상으로 촬영될 수 있는데, 긴급상황 음향을 발생하는 사람이 화면의 좌측 단부에 위치하고, 위협하는 사람이 화면의 상부 중간부분에 위치하면서 신체가 완전히 영상에 잡히지 않을 경우, 위해를 가하려는 사람의 영상을 축소하여 완전히 보일 수 있게 하는 것이다.
또한, 상기 객체의 트리거 영역은 카메라의 프리셋 정보와, 프리셋 위치별 영역을 참고하여 설정하되, 프리셋 위치에서 벗어나면 트리거되지 않는 것으로 설정할 수 있다.
상기 객체의 추적동작은 자동 모드, 반자동 모드, 수동 모드로 설정될 수 있다.
자동 모드는 상기 트리거 조건에 부합하여 자동으로 이루어지며, 자동 추적 유지시간이 종료되면 추적이 자동으로 종료된다. 예를 들어, 10초간의 자동 추적이 종료되면 프리셋 위치로 이동하여 다시 객체를 추적할 수 있다.
반자동 모드는 상기 자동 모드 동작중 사용자가 선택한 객체를 추적할 수 있는 모드이다.
수동 모드는 사용자가 선택한 객체만 추적하는 모드이다.
상기 추적 모드 중 어느 하나의 모드로 추적이 종료되면 스냅샷이 제어장치로 전송될 수 있다.
스피커(300)는 이벤트 분석값에 따른 경고음성 또는 경보음 정보를 사람의 음성 또는 경보음으로 출력하기 위해 구성되는 것으로, 제어장치(200)로부터 소리정보를 수신한다.
스피커(300)는 제어장치(200)에 포함되도록 구성되거나 회전형 카메라부(100)에 포함하여 구성될 수도 있다.
도 4를 참조하면, 회전형 카메라(110), 음원 인식장치(120), 회전형 조명장치(130), 스피커(300)가 세트화되어 동일범위에 속하는 감시 대상으로서 하나의 현장(1, 2, …, n)에 설치되고, 제어장치(200)는 원격지 관제센터(4) 및/또는 단말기(5)와 네트워킹될 수 있으며, 이러한 시스템 구성에 따라 원격지 관제센터(4) 및/또는 단말기(5)는 복수의 현장을 개별적으로 모두 관리하거나 제어할 수 있게 된다.
상기 관제센터(4)는 제어장치(200)와 동일한 동작을 수행할 수 있도록 구성되며, 특히 긴급도움 요청자를 구조할 수 있도록 구조에 필요한 정보를 발생할 수 있다.
또한, 상기 단말기(5)는 긴급상황이 발생한 장소로의 출동을 위해 상기 관제센터(4)로부터 구조정보를 수신하도록 네트워킹될 수 있다.
이로 인해, 불필요한 리소스의 중복을 막을 수 있고 일괄적인 관리 및 현장의 이동에 따라 발생되는 범죄나 사고에 대한 연속적이고 총체적인 관리가 가능하게 된다.
네트워크(3)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다.
네트워크(3)는 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 네트워크(3)는 RNC(Radio Network Controller)을 포함할 수 있다.
한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다.
네트워크(3)는 관제센터(4)와 세트화되어 감시 대상 현장(1, 2, …, n)의 회전형 카메라(110), 음원 인식장치(120), 회전형 조명장치(130), 스피커(300) 상호 간의 신호 및 데이터를 전송하는 역할을 한다.
이러한 구성을 통해 관제센터(4)는 긴급상황이 발생한 장소의 영상을 회전형 카메라(110)를 통해 확대하고, 그 영역으로 스피커(300)를 통해 경고음성 또는 경고음을 송출함으로써 주변인들의 도움이 이루어지도록 제어할 수 있다.
도 5를 참조하면, 실시예에 따른 추적시스템의 움직임분석부(230)는, 영상으로부터 추적 대상을 검출하기 위한 대상 추적 모델(234), 미리 입력된 학습데이터를 이용하여 상기 대상 추적 모델을 사전 학습시키도록 구성되는 학습부(231), 복수의 프레임들로 이루어진 영상을 수신하도록 구성되는 수신부(232), 및 상기 영상에 대상 추적 모델을 적용하여 상기 복수의 프레임들 각각에 대하여 추적 대상을 검출하도록 구성되는 검출부(233)를 포함할 수 있다.
복수의 프레임으로 구성된 동영상에서 각 프레임마다 추적 대상을 검출하여 실시간으로 추적하는 것이므로 영상에서 대상을 검출하기 위해서는 먼저 대상 추적 모델을 사전 학습시키는 단계가 수행된다.
학습부(231)는 대상 추적 모델(234)을 사전 학습시키도록 구성된다. 대상 추적 모델(234)은 입력된 이미지로부터 추적 대상을 검출하기 위한 알고리즘을 의미하며, 콘볼루션 신경망(Convolutional Neural Networks; CNN) 기반으로 이미지에서 전경(foreground)과 배경(background)을 분리하도록 학습될 수 있다. 거러나 이러한 방법으로만 제한하는 것은 아니다.
다음에 도 6을 참조하여 긴급상황 음향을 통한 추적방법에 대해 설명한다.
회전형 카메라(110)에 구성된 음원 인식장치(120)는 미리 설정된 데시벨 범위로 발생되는 단발음(비명소리)('도와주세요' 등등)을 감지한다(S10).
음원 인식장치(120)는 상기 단발음이 설정된 데시벨(dB)(예를 들어, 90dB) 이상인지를 분석하여 음향 이벤트인지를 판단한다(S20).
판단결과, 음향 이벤트일 경우에는 음원 인식장치(120)는 음향 이벤트정보를 생성하고(S30), 제어장치(200)로 음향 이벤트정보를 전송한다(S40).
제어장치(200)는 긴급상황 발생인지를 분석하기 위해 상기 단발음을 감지한 음원 인식장치(120)로부터 단발음 정보, 즉 음향 이벤트정보를 수신한다(S50).
제어장치(200)는 상기 단발음 정보를 분석하여 단발음이 긴급상황 음향에 해당하는지 여부를 판단한다(S60).
여기서 긴급상황 음향은 도움을 요청하는 비명같은 소리일 수 있다. 또한, '도와주세요', '살려주세요' 등과 같은 사람의 음성에 의한 문장으로 문장을 이루는 각 문자의 조합으로 출력이 가능한 모든 정보가 DB(240)에 미리 저장되고, 제어장치(200)는 미리 저장된 문장의 각 문자별 데시별 출력 범위로부터 미리 설정된 범위의 오차 범위 내에서 인식을 수행한 후, 각 인식된 문자의 조합으로 긴급상황 음향과 매칭되는 문장이 인식되는지 여부가 분석될 수도 있다.
단계(S60)의 분석 결과, 단발음이 긴급상황에 해당하는 경우 제어장치(200)는 단발음이 발생된 영역 및 객체에 관한 정보를 얻을 수 있도록 회전형 카메라(110)로 제어신호를 전송한다(S70).
따라서 회전형 카메라(110)는 제어장치(200)로부터 결정된 영역 및 객체가 촬영되도록 방향을 전환한다(S80). 여기서 회전형 카메라(110)는 영역 및 객체를 확대하거나 축소하여 촬영할 수 있음은 물론, 객체가 이동하는 경우에는 객체의 이동경로를 따라 대상 객체를 추적 촬영할 수 있다.
또한, 객체가 이동함에 따라 회전형 카메라(110)와 객체의 거리가 멀어져 촬영이 어려운 경우에는 동일범위에 속하는 하나의 현장내에서 객체의 이동 경로에 있는 다른 회전형 카메라(110-2, 110-n)가 연속으로 객체를 추적 촬영할 수도 있다.
회전형 카메라(110)는 영역 및 객체를 촬영하여 영상 이벤트정보를 생성한다(S90). 구체적으로 회전형 카메라(110)는 객체의 움직임에 따라 렌즈를 이동시켜 촬영함으로써 영상 이벤트정보를 생성한다. 이때, 영상 이벤트정보에는 객체가 이동하는 경로를 나타내기 위한 이동좌표가 포함될 수 있다.
이후, 회전형 카메라(110)는 생성된 영상 이벤트정보를 제어장치(200)로 전송한다(S100).
이에 따라, 제어장치(200)는 수신된 영상 이벤트정보를 이용하여 이벤트 분석값을 생성한다(S110).
이벤트 분석값은 제어장치(200)의 이동객체인식부(220) 및 움직임분석부(230)에서 영상 이벤트정보를 이용하여 이벤트 상황을 감지하고, 그에 맞는 경보음성 또는 경보음을 출력하기 위한 결과값이다.
제어장치(200)는 예를 들어 제1 내지 제3 영상 이벤트 감지를 수행하는데, 단발음 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 대해 촬영된 영상으로부터 제1 내지 제3 영상 이벤트에 해당하는 이미지가 있는지 여부의 추출을 통해 판단한다.
다음에, 제어장치(200)는 회전형 조명장치(130)를 제어하여(S120) 실시간 변화하는 영상 이벤트가 발생하는 영역 및 객체에 대하여 조명을 발사한다(S130). 상기 회전형 카메라(110) 및 회전형 조명장치(130) 제어와 함께 관제센터(4) 및 단말기(5)에 이러한 정보가 전송된다.
도 7에 도시된 바와 같이, 상기 회전형 조명장치(130)는 회전형 카메라(110)가 추적촬영하는 영역의 밝기에 따라 동작이 제어될 수 있다. 즉 야간에 가로등이 거리를 비출 경우에는 가로등에 매우 근접한 곳에서는 밝으므로 객체의 움직임 식별이 용이하나, 가로등에서 멀어지는 곳에서는 어두워서 객체의 움직임 식별이 용이하지 않을 수 있으므로 이를 해소하기 위하여 회전형 조명장치(130)를 제어하는 것이다.
상기 밝기는 영상을 토대로 제어장치(200)에서 판별할 수도 있고, 조도감지기능을 별도로 회전형 카메라부(100)에 구성할 수도 있다.
도 8에 도시된 바와 같이, 제어장치(200)는 스텝 S110에서 생성된 이벤트 분석값이 복수 개인지에 대한 여부를 판단한다(S120).
구체적으로 촬영이 결정된 영역에서 이동객체가 복수 개로 확인되는 경우, 제어장치(200)는 각각의 이동객체를 검지하여 이동객체의 움직임을 판단하게 된다(S130). 예를 들어 이동객체가 긴급상황 음원을 발생한 사람과, 이 사람에게 위해를 가하려는 범죄자를 합하여 2 명이면, 이를 제1 이동객체 및 제2 이동객체로 분류하고 각각의 움직임을 분석하게 된다.
만일 제2 이동객체가 범죄자로 판단된다면, 제어장치(200)는 회전형 조명장치(130)를 범죄자쪽으로 방향을 전환시킨다(S140).
따라서 회전형 조명장치(130)는 범죄자쪽으로 조명을 발사한다(S150). 이렇게 하면, 야간에 범죄자를 피하여 신속하게 움직이는 사람은 어둠 속으로 사라져 안보일 수 있는 반면, 범죄자는 명확하게 보이면서 주변인들에게 제압당할 수 있게 된다. 물론, 이러한 조명장치 제어는 상황에 따라 가변적으로 이루어질 수 있다.
한편, 상기 제1 이동객체 및 제2 이동객체가 회전형 조명장치(130)에 의해 발사되는 조명이 커버할 수 있는 영역내에 매우 근접하게 위치한 경우에는 제1 이동객체 및 제2 이동객체 모두를 향해 조명을 발사할 수 있다.
다음에, 다른 실시예에 대하여 설명한다.
도 9는 본 발명의 다른 실시예에 따른 긴급상황 음향을 통한 객체 추적시스템의 네트워크 구성도이다. 도 10은 도 9의 음향분석장치의 동작 흐름도이다. 도 11은 도 9의 영상분석 및 카메라 제어장치의 동작 흐름도이다.
다른 실시예는, 상기 제어장치(200)가 음향 분석장치(400)와 연계하여 주변을 사각지대없이 관찰하다가 음향 이벤트 발생시 해당하는 방향에 대한 영상정보를 집중적으로 수집하여 비상상황에 대처할 수 있도록 한 것이다.
도 9를 참조하면, 음향분석장치(400)는 3 개의 마이크(120)를 통해 수신된 음향신호를 가공 분석하여 긴급상황인 것으로 판단되면, 음향 이벤트정보를 영상분석 및 카메라 제어장치(200)로 전송하도록, 마이크(120)로부터 전송되는 음향신호를 수신하는 음향수신부(410)와, 상기 음향수신부(410)에 수신된 음향신호의 일정주파수를 필터링하는 필터(420)와, 상기 필터(420)에 의해 필터링된 음향신호가 긴급상황 신호인지를 검출하는 긴급상황검출부(430)와, 상기 마이크(120)를 통해 음향수신부(410)에 수신된 음향신호의 방향을 산출하는 음향방향산출부(440)와, 상기 긴급상황검출부(430)와 음향방향산출부(440)에서 처리된 긴급상황 신호 및 음향방향 신호를 상기 영상분석 및 카메라 제어장치(200)로 전송하는 음향처리데이터 전송부(450)로 구성될 수 있다.
상기 음향분석장치(400)에서 음향분석 동작을 총괄적으로 제어하는 제어부가 생략되어 있다.
또한, 영상분석 및 카메라 제어장치(200)는 상기 음향처리데이터 전송부(450)로부터 전송되는 음향처리데이터를 수신하는 음향처리데이터 수신부(251)와, 상기 음향처리데이터 수신부(251)에 수신된 음향처리데이터를 토대로 회전형 카메라(110)의 PTZ를 제어하는 카메라 PTZ 제어부(252)와, 상기 PTZ 제어부(252)의 제어에 따라 제어되는 회전형 카메라에서 획득한 영상신호를 수신하는 영상수신부(253)와, 상기 영상수신부(253)에 수신된 영상을 분석하는 영상분석 처리부(254)와, 상기 영상분석 처리부(254)에서 처리된 영상신호에서 이벤트 조건을 검출하는 이벤트조건 검출부(255)와, 상기 이벤트 조건 검출부(255)에서 검출된 이벤트 조건을 원격지 관제센터(4)에 전송하는 이벤트데이터 전송부(256)와, 상기 영상에서 유의미한 객체가 없는 경우에는 발생시간, 방향, 영상분석 결과 등의 데이터를 수집하여 동일한 상황이 발생되면, 이를 음향이벤트에서 예외 처리를 하는 음향이벤트 예외 처리부(257)와, 제어장치(200)의 동작을 총괄적으로 제어하는 제어부(258)로 구성될 수 있다.
상기 음향분석장치(400)로부터 음향이벤트 발생정보를 수신한 제어장치(200)는 PTZ(Pan, Tilt, Zoom)를 제어하여 음향이벤트 발생 방향으로 회전형 카메라를 회전시켜 영상정보를 수집한다.
상기 영상정보 분석결과, 음향이 긴급상황 조건은 충족하였으나, 유의미한 객체가 없는 경우에는 발생시간, 방향, 영상분석 결과 등의 데이터를 수집하여 저장하였다가, 동일한 상황이 발생되면, 이를 음향이벤트에서 예외 처리를 하여 이를 근거로 한 음향이벤트가 발생되지 않도록 제어할 수 있다. 즉 인근 공장 특정 기계음, 교회 종소리 등 영상에 나타나지 않는 촬영 대상 영역 이외의 영역에서 발생되는 음향이벤트는 추적을 위한 음향이벤트로 처리하지 않는 것이다.
반면, 상기 영상정보 분석결과, 유의미한 객체가 있는 경우에는 딥러닝 기반의 영상처리 및 인공지능 기술에 의해 객체의 특성을 분류하여 자연적인 현상, 즉 바람에 의한 흔들림, 햇빛 반사, 그림자 등에 의한 객체 오인식을 최소화하고, 자동차, 사람, 자전거, 오토바이 등으로 판단되는 객체만을 유의미한 객체로 결정하여 해당 객체의 위치값과 크기를 계산하고, 제어장치(200)를 통해 객체의 영상내 크기를 확대하도록 줌 렌즈를 구동한다. 즉 영상에 나타나더라도 바람에 의한 흔들림, 햇빛 반사, 그림자 등은 실제 추적대상인 객체가 아니므로 이러한 요소에 대한 추적은 이루어지지 않고, 자동차, 사람, 자전거, 오토바이 등 실제 영상에 나타나는 추적대상에 대해서만 추적이 이루어지도록 하는 것이다.
상기와 같은 제어하에 특정된 객체가 이동하게 되면, 이동방향과 속도를 계산하고, 제어장치(200)를 통해 카메라의 PAN, TILT 모터를 구동하여 객체를 추적한다. 이때, 추적시간은 현장 특성에 맞추어 설정할 수 있다.
도 10을 참조하여 음향분석장치(400)의 동작 흐름에 대해 설명하면 다음과 같다.
먼저, 3 개의 마이크(120)를 통해 음향신호가 음향신호수신부(410)에 수신된다.(S10)
다음에, 상기 수신된 음향신호의 유효 주파수대역이 필터(420)에 의해 필터링된다.(S20) 유효 주파수대역은 사람에 의한 단발성 비명소리일 수 있다. 그러나 이러한 것으로만 제한하는 것은 아니다.
다음에, 제어부에서 이벤트 대기 타이머가 종료되었는지를 판별하고(S30), 종료되었으면 수신된 3 개의 음향신호의 세기 차이가 노이즈 설정범위 이내에 있는지를 판별한다.(S40) 즉 일정시간 동안은 추가 음향이 발생되는지를 대기하고, 대기시간이 종료되면 감지된 음향을 분석하는 것이다.
다음에, 상기 수신된 3 개의 음향신호의 세기 차이가 노이즈 설정범위 이내가 아니면, 수신된 3 개의 음향신호 중 설정된 이벤트 신호 크기보다 큰 신호가 있는지를 판별한다.(S50) 즉 노이즈를 제거한 상태에서의 차이를 비교하는 것이다.
다음에, 수집된 3 개의 음향신호 중 이벤트 신호 크기보다 크게 발생된 신호가 있으면, 그 이벤트 발생신호의 유지시간이 설정된 시간보다 큰지를 판별한다.(S60)
다음에, 이벤트 발생신호의 유지시간이 설정된 시간보다 크면, 이벤트 발생 대기 타이머를 작동시킨다.(S70) 즉 긴급상황검출부(430)에서 긴급상황임을 검출하고 설정된 시간에 음향 이벤트신호가 생성되도록 하는 것이다.
다음에, 음향방향산출부(440)에서 음향이벤트 발생 방향을 산출한다.(S80)
다음에, 상기 긴급상황검출부(430)와 음향방향산출부(440)에서 각각 얻어진 이벤트 발생 방향 및 특성값을 음향처리데이터 전송부(450)를 통해 제어장치(200)로 전송한다.(S90)
도 11을 참조하여 영상분석 및 카메라 제어장치(200)의 동작 흐름에 대해 설명하면 다음과 같다.
먼저, 상기 음향분석장치(400)의 음향처리데이터 전송부(450)를 통해 전송되는 음향 이벤트 발생 방향 및 특성값을 음향처리데이터 수신부(251)에서 수신한다.(S10)
다음에, 제어부(258)가 상기 음향 이벤트의 케이스를 분류한다.(S20)
다음에, 음향 이벤트 케이스의 계수기가 설정값 이상인지를 판별한다.(S30)
다음에, 음향 이벤트 케이스의 계수기가 설정값 이상이 아니면, 즉 영상촬영 가능 횟수이내이면, 카메라 PTZ 제어부(252)가 상기 음향 이벤트 발생 방향으로 회전되도록 카메라(110)를 제어한다.(S40)
다음에, 영상수신부(253)가 상기 카메라(110)로부터 영상 데이터를 수신한다.(S50)
다음에, 영상처리 분석부(254)가 상기 수신된 영상 데이터를 처리하고 객체 특성 및 좌표를 분석한다.(S60)
다음에, 제어부(258)가 상기 분석된 영상에 유의미한 객체가 있는지를 판별한다.(S70)
다음에, 상기 분석된 영상에 유의미한 객체가 있으면, 이벤트 알람 데이터를 경보부에 전송한다.(S80)
다음에, 객체별 카메라(110)와의 거리, 크기, 속도 벡터를 계산한다.(S90)
다음에, 카메라 줌렌즈의 확대 배율을 조정한다.(S100)
다음에, 객체의 이동속도 및 방향을 분석하고, 속도벡터를 계산한다.(S110)
다음에, 객체의 이동 예상 동선을 계산한다.(S120)
다음에, 카메라의 PAN 및 TILT 모터를 구동한다.(S130)
다음에, 트래킹 설정시간 이내인지를 판별한다.(S140)
다음에, 상기 트래킹 설정시간 이내가 아니면 동작을 종료하고, 설정시간 이내이면, 스텝 S110으로 되돌아가서 객체의 이동속도 및 방향을 분석하고, 속도벡터를 계산하면서 계속 추적한다.
한편, 상기 스텝 S70에서 영상에 유의미한 객체가 없으면, 음향이벤트 예외 처리부(257)에서 상기 음향 이벤트 발생 지점과 시간, 영상분석 결과를 저장한다.(S150)
다음에, 음향 이벤트 오류 케이스의 계수기 횟수를 증가시킨다.(S160)
이상에서 설명한 바와 같이, 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예에 관해서 설명하였으나, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 벗어나지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 물론이다.
따라서 본 발명의 권리범위는 상술한 실시 예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시 예로 구현될 수 있다. 그리고 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.
음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법을 구현하기 위한 실시예가 기술되었다. 위에 기술된 실시예는 본원발명에 기술되는 원리를 나타내는 많은 구체적 실시예중에서 일부 실시예를 예시하는 것이다. 따라서 본원발명의 실시예를 이용함에 따라 당업자들이 본원발명 의 청구항에 의해 정의된 범위내에서 많은 다른 배열들을 쉽게 구현해낼 수 있을 것이다.
1, 2, - n : 동일 촬영범위로 설정된 현장
3 : 네트워크 4 : 관제센터
5 : 단말기 100 : 회전형 카메라부
110 : 회전형 카메라 120 : 음원 인식장치
130 : 회전형 조명장치 200 : 제어장치
210 : 통신부 220 : 이동객체 인식부
230 : 움직임분석부 240 : DB
250 : 제어부 251 : 음향처리데이터 수신부
252 : 카메라 PTZ 제어부 253 : 영상수신부
254 : 영상분석처리부 255 : 이벤트조건검출부
256 : 이벤트데이터전송부 257 : 음향이벤트 예외처리부
258 : 객체추적제어부 400 : 음향분석장치
410 : 음향수신부 420 : 필터
430 : 긴급상황검출부 440 : 음향방향산출부
450 : 음향처리데이터 전송부
3 : 네트워크 4 : 관제센터
5 : 단말기 100 : 회전형 카메라부
110 : 회전형 카메라 120 : 음원 인식장치
130 : 회전형 조명장치 200 : 제어장치
210 : 통신부 220 : 이동객체 인식부
230 : 움직임분석부 240 : DB
250 : 제어부 251 : 음향처리데이터 수신부
252 : 카메라 PTZ 제어부 253 : 영상수신부
254 : 영상분석처리부 255 : 이벤트조건검출부
256 : 이벤트데이터전송부 257 : 음향이벤트 예외처리부
258 : 객체추적제어부 400 : 음향분석장치
410 : 음향수신부 420 : 필터
430 : 긴급상황검출부 440 : 음향방향산출부
450 : 음향처리데이터 전송부
Claims (7)
- 긴급상황 음향이 감지되면 이에 반응하여 긴급상황 영역으로 방향을 전환하는 회전형 카메라;
설정된 데시벨 이상의 긴급상황 음향을 감지하는 것으로써, 3 개의 마이크를 통해 수집된 음향신호를 가공 분석하여 긴급상황인 것으로 판단되면, 음향 이벤트정보를 영상분석 및 카메라 제어장치로 전송하도록, 마이크로부터 전송되는 음향신호를 수신하고, 수신된 음향신호의 일정주파수를 필터링하여, 필터링된 음향신호가 긴급상황 신호인지를 검출함과 아울러 음향신호의 방향을 산출하는 음향분석장치;
상기 음향분석장치로부터 전송되는 음향처리데이터를 수신하고, 음향처리데이터를 토대로 PTZ가 제어되는 회전형 카메라에서 획득한 영상신호를 분석하여 객체를 추적하도록 제어하는 것으로써, 상기 영상에서 자동차, 사람, 자전거, 오토바이를 포함하는 유의미한 객체가 있는 경우에는 객체별 카메라와의 거리, 크기, 속도 벡터를 계산하여 카메라 줌렌즈의 확대 배율을 조정한 후, 객체의 이동속도 및 방향을 분석한 결과를 토대로 속도벡터를 계산하여 객체의 이동 예상 동선을 계산한 후 카메라를 제어하여 계속 추적하고, 상기 영상에 유의미한 객체가 나타나지 않는 상태에서 발생되는 인근 공장 특정 기계음, 교회 종소리를 포함하는 음향이벤트와 실물이 아닌 바람에 의한 흔들림, 햇빛 반사, 그림자를 포함하는 자연적인 현상은 영상에 나타나더라도 유의미한 객체가 없는 경우로 판단하여, 발생시간, 방향, 영상분석 결과 데이터를 수집하여 동일한 상황이 발생되면, 이를 음향이벤트에서 예외 처리를 하고, 유의미한 객체가 있는 경우에는 딥러닝 기반의 영상처리 및 인공지능 기술에 의해 객체의 특성을 분류하여 추적하도록 제어하는 영상분석 및 카메라 제어장치;
상기 긴급상황 음향 이벤트 및 영상 이벤트에 따라 추적이 이루어지는 영역 및 객체쪽으로 조명을 발사하는 것으로써, 상기 회전형 카메라와 일체형으로 함께 회전되는 조명장치;로 이루어지고,
상기 제어장치는 객체 추적중에 객체가 방해물에 의해 가려지는 경우, 그 가려지는 시간을 추적시간에서 제외하여 최초 설정된 추적시간 동안 추적이 계속 이루어지도록 회전형 카메라와 조명장치를 제어하고,
상기 회전형 카메라에 의해 촬영된 영상이 화면의 중앙에 위치하지 못하는 경우에는 회전형 카메라의 정상적인 동작에 이상이 발생하였다고 판단하고, 상기 조명장치에 의해 발사된 조명이 객체쪽으로 향하지 않는 경우에는 조명장치의 정상적인 동작에 이상이 발생하였다고 판단하는 것을 특징으로 하는 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템.
- 청구항 1항에 있어서,
상기 제어장치는 추적되는 객체의 영상이 화면에 항상 일정한 비율로 객체의 크기가 유지되도록 하며, 화면의 중앙부분에 객체가 표시되도록 제어하는 것을 특징으로 하는 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템.
- 삭제
- 삭제
- 삭제
- 3 개의 마이크를 통해 음향신호가 음향신호수신부에 수신되는 제1단계;
상기 수신된 음향신호의 유효 주파수대역이 필터에 의해 필터링되는 제2단계;
제어부에서 이벤트 대기 타이머가 종료되었는지를 판별하는 제3단계;
상기 이벤트 대기 타이머가 종료되었으면, 수신된 3 개의 음향신호의 세기 차이가 노이즈 설정범위 이내에 있는지를 판별하는 제4단계;
상기 수신된 3 개의 음향신호의 세기 차이가 노이즈 설정범위 이내가 아니면, 수신된 3 개의 음향신호 중 이벤트 발생 크기보다 큰 신호가 있는지를 판별하는 제5단계;
상기 수신된 3 개의 음향신호 중 이벤트 발생 크기보다 큰 신호가 있으면, 이벤트 발생신호의 유지시간이 설정된 시간보다 큰지를 판별하는 제6단계;
상기 이벤트 발생신호의 유지시간이 설정된 시간보다 크면, 이벤트 발생 대기 타이머를 작동시켜 긴급상황검출부에서 긴급상황임을 검출하고, 설정된 시간에 음향 이벤트신호가 생성되도록 하는 제7단계;
음향방향산출부에서 음향이벤트 발생 방향을 산출하는 제8단계;
긴급상황검출부와 음향방향산출부에서 각각 얻어진 이벤트 발생 방향 및 특성값을 음향처리데이터 전송부를 통해 제어장치로 전송하는 제9단계;
상기 음향처리데이터 전송부를 통해 전송되는 음향 이벤트 발생 방향 및 특성값을 음향처리데이터 수신부에서 수신하는 제10단계;
상기 음향 이벤트 케이스를 분류하는 제11단계;
상기 음향 이벤트 케이스 계수기가 설정값 이상인지를 판별하는 제12단계;
상기 음향 이벤트 케이스 계수기가 설정값 이상이 아니면, 카메라 PTZ 제어부가 상기 음향 이벤트 발생 방향으로 회전형 카메라와 조명장치가 회전되도록 제어하는 제13단계;
영상수신부가 상기 카메라로부터 영상 데이터를 수신하는 제14단계;
영상처리 분석부가 상기 수신된 영상 데이터를 처리하고 객체 특성 및 좌표를 분석하는 제15단계;
제어부가 상기 분석된 영상에 유의미한 객체가 있는지를 판별하는 제16단계;
상기 분석된 영상에 유의미한 객체가 있으면, 이벤트 알람 데이터를 경보부에 전송하고, 자연적인 현상에 의해 나타나는 영상은 추적에서 제외하고, 실물로 영상에 나타나는 객체만을 추적하는 제17단계;
상기 유의미한 객체는 자동차, 사람, 자전거, 오토바이이고,
상기 자연적인 현상은 바람에 의한 흔들림, 햇빛 반사, 그림자임;
객체별 카메라와의 거리, 크기, 속도 벡터를 계산하는 제18단계;
카메라 줌렌즈의 확대 배율을 조정하는 제19단계;
객체의 이동속도 및 방향을 분석하고, 속도벡터를 계산하는 제20단계;
객체의 이동 예상 동선을 계산하는 제21단계;
카메라의 PAN 및 TILT 모터를 구동하는 제22단계;
트래킹 설정시간 이내인지를 판별하여 트래킹 설정시간 이내가 아니면 동작을 종료하고, 설정시간 이내이면, 제18단계로 되돌아가서 객체의 이동속도 및 방향을 분석하고, 속도벡터를 계산하면서 계속 추적하는 제23단계;
상기 제17단계에서 인근 공장 특정 기계음, 교회 종소리를 포함하는 음향이벤트만 있고, 영상에 유의미한 객체가 없으면, 음향이벤트 예외 처리부에서 상기 음향 이벤트 발생 지점과 시간, 영상분석 결과를 저장하는 제24단계; 및
음향 이벤트 오류 케이스의 계수기 횟수를 증가시키는 제25단계;로 이루어지고,
상기 제어부는 객체 추적중에 객체가 방해물에 의해 가려지는 경우, 그 가려지는 시간을 추적시간에서 제외하여 최초 설정된 추적시간 동안 추적이 계속 이루어지도록 회전형 카메라와 조명장치를 제어하고,
상기 회전형 카메라에 의해 촬영된 영상이 화면의 중앙에 위치하지 못하는 경우에는 회전형 카메라의 정상적인 동작에 이상이 발생하였다고 판단하고, 상기 조명장치에 의해 발사된 조명이 객체쪽으로 향하지 않는 경우에는 조명장치의 정상적인 동작에 이상이 발생하였다고 판단하는 것을 특징으로 하는 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 제어방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230004759A KR102513372B1 (ko) | 2023-01-12 | 2023-01-12 | 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230004759A KR102513372B1 (ko) | 2023-01-12 | 2023-01-12 | 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102513372B1 true KR102513372B1 (ko) | 2023-03-23 |
Family
ID=85799508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230004759A KR102513372B1 (ko) | 2023-01-12 | 2023-01-12 | 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102513372B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557966A (zh) * | 2024-01-09 | 2024-02-13 | 南京格瑞物联科技有限公司 | 基于监控图像识别的校园异常行为安全检测方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016076791A (ja) * | 2014-10-03 | 2016-05-12 | キヤノン株式会社 | 物体追尾装置、物体追尾方法、およびプログラム |
| KR101687296B1 (ko) | 2016-07-07 | 2016-12-16 | 에코아이넷 주식회사 | 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법 |
| KR20180093596A (ko) * | 2017-02-14 | 2018-08-22 | 주식회사 케이에스디 | 비명인식 기반 안전감지센서 |
| KR101899989B1 (ko) | 2018-02-07 | 2018-09-18 | 네오마루 주식회사 | 화상인식 및 추적제어가 가능한 방범용 조명시스템의 제어방법 |
| KR102076113B1 (ko) * | 2019-10-14 | 2020-02-11 | (주)비에스아이시스템 | 쓰레기 무단 투기 영상 감시 장치 |
| KR102383384B1 (ko) | 2020-08-11 | 2022-04-05 | 박영진 | IoT 스마트 안전 조명 및 자가 방범 시스템 |
| KR102468644B1 (ko) * | 2022-06-02 | 2022-11-17 | 김재환 | 음향 신호를 이용한 공간 감시 시스템 및 공간 감시 방법 |
| KR102472369B1 (ko) | 2022-08-05 | 2022-11-30 | 에코아이넷 주식회사 | 긴급도움 요청 음원을 통한 객체 추적시스템 및 추적방법 |
-
2023
- 2023-01-12 KR KR1020230004759A patent/KR102513372B1/ko active IP Right Grant
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016076791A (ja) * | 2014-10-03 | 2016-05-12 | キヤノン株式会社 | 物体追尾装置、物体追尾方法、およびプログラム |
| KR101687296B1 (ko) | 2016-07-07 | 2016-12-16 | 에코아이넷 주식회사 | 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법 |
| KR20180093596A (ko) * | 2017-02-14 | 2018-08-22 | 주식회사 케이에스디 | 비명인식 기반 안전감지센서 |
| KR101899989B1 (ko) | 2018-02-07 | 2018-09-18 | 네오마루 주식회사 | 화상인식 및 추적제어가 가능한 방범용 조명시스템의 제어방법 |
| KR102076113B1 (ko) * | 2019-10-14 | 2020-02-11 | (주)비에스아이시스템 | 쓰레기 무단 투기 영상 감시 장치 |
| KR102383384B1 (ko) | 2020-08-11 | 2022-04-05 | 박영진 | IoT 스마트 안전 조명 및 자가 방범 시스템 |
| KR102468644B1 (ko) * | 2022-06-02 | 2022-11-17 | 김재환 | 음향 신호를 이용한 공간 감시 시스템 및 공간 감시 방법 |
| KR102472369B1 (ko) | 2022-08-05 | 2022-11-30 | 에코아이넷 주식회사 | 긴급도움 요청 음원을 통한 객체 추적시스템 및 추적방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557966A (zh) * | 2024-01-09 | 2024-02-13 | 南京格瑞物联科技有限公司 | 基于监控图像识别的校园异常行为安全检测方法及系统 |
| CN117557966B (zh) * | 2024-01-09 | 2024-04-02 | 南京格瑞物联科技有限公司 | 基于监控图像识别的校园异常行为安全检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10936655B2 (en) | Security video searching systems and associated methods | |
| CN111770266B (zh) | 一种智能视觉感知系统 | |
| KR101700395B1 (ko) | 경호용 드론 및 이를 이용한 이동식 경호 시스템 | |
| US8305441B2 (en) | Data processing apparatus | |
| EP2492883A1 (en) | Integrated system and method for security monitoring and early fire alarming | |
| KR102472369B1 (ko) | 긴급도움 요청 음원을 통한 객체 추적시스템 및 추적방법 | |
| KR101543542B1 (ko) | 지능형 감시 시스템 및 이를 이용한 지능형 감시 방법 | |
| WO1997008896A1 (en) | Open area security system | |
| CN1357134A (zh) | 监视系统 | |
| KR101036947B1 (ko) | 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템 | |
| KR101687296B1 (ko) | 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법 | |
| CN110379141B (zh) | 一种采用网关进行传感器联动的方法及网关系统 | |
| KR20100106049A (ko) | 방범시스템 | |
| KR101467352B1 (ko) | 위치기반 통합관제시스템 | |
| KR102513372B1 (ko) | 음향과 영상을 연계한 하이브리드형 객체 연속 추적시스템 및 제어방법 | |
| CN110634506A (zh) | 一种语音数据的处理方法及装置 | |
| CN111815898A (zh) | 一种幼儿行为监控报警系统及方法 | |
| CN113593161A (zh) | 一种周界入侵检测方法 | |
| KR102376733B1 (ko) | 다기능 영상 네트워크 카메라를 이용한 지능형 방재 및 재난 안전 시스템 제어 방법 | |
| KR101415848B1 (ko) | 차량 및 보행자 검지를 이용한 스쿨존 방범장치 | |
| JP2006323709A (ja) | 防犯監視装置 | |
| KR102156241B1 (ko) | 안전 블록을 구비한 위험상황 알림 시스템 | |
| WO2023158926A1 (en) | Systems and methods for detecting security events in an environment | |
| KR101393304B1 (ko) | Cctv의 절취방지를 위한 제어방법 | |
| KR101335428B1 (ko) | 음향감지를 이용한 지능형 감시 시스템, 감시장치, 및 그 제공방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |