KR20210090317A - Security and safety surveillance with dual cameras - Google Patents
Security and safety surveillance with dual cameras Download PDFInfo
- Publication number
- KR20210090317A KR20210090317A KR1020200003055A KR20200003055A KR20210090317A KR 20210090317 A KR20210090317 A KR 20210090317A KR 1020200003055 A KR1020200003055 A KR 1020200003055A KR 20200003055 A KR20200003055 A KR 20200003055A KR 20210090317 A KR20210090317 A KR 20210090317A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- environment
- area
- camera
- input image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H04N5/2258—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
Description
본 발명은 열화상 카메라와 RGB 카메라로 이루어진 듀얼 카메라를 이용한 보안 및 안전 감시 방법에 관한 것이다.The present invention relates to a security and safety monitoring method using a dual camera comprising a thermal imaging camera and an RGB camera.
객체를 인식하고 추적하는 기술은 영상 합성, 모션 캡처, 보안 감시 시스템, Human Computer Interaction(HCI)등의 많은 분야에서 널리 적용된다. The technology for recognizing and tracking objects is widely applied in many fields such as image synthesis, motion capture, security surveillance systems, and Human Computer Interaction (HCI).
특히 최근 실생활에서의 보안, 감시에 대한 요구사항이 늘어남에 따라 비디오 감시 시스템에서의 객체 인식 및 추적 기술은 날로 그 중요성이 증가하고 있다.In particular, as the requirements for security and surveillance in real life increase in recent years, object recognition and tracking technology in a video surveillance system is increasingly important.
최근까지 객체 인식 및 추적을 위한 많은 알고리즘들이 개발되어 왔다. Until recently, many algorithms for object recognition and tracking have been developed.
객체 인식 및 추적을 위한 많은 알고리즘으로 예를 들어, 적응적 배경 생성과 배경 차분 기법, 영역 기반의 객체 추적 기법, 그리고 형태 정보 기반 객체 추출 기법 등이 있다. Many algorithms for object recognition and tracking include, for example, an adaptive background generation and background difference technique, an area-based object tracking technique, and an object extraction technique based on shape information.
하지만 기존의 영상 처리 시스템의 이동 물체 검출 기법은 아직 안정성에 있어서 문제점이 존재한다. 또한, 검출하는 과정에 따른 파워 소모와 정확성, 처리 속도에 있어서도 역시 문제점들이 존재한다.However, the moving object detection technique of the existing image processing system still has a problem in stability. In addition, there are also problems in power consumption, accuracy, and processing speed according to the detection process.
영상에서 객체 인식이란 입력된 영상에서 목표 객체의 위치를 찾아내는 일련의 과정을 말한다. Object recognition in an image refers to a series of processes for finding the location of a target object in an input image.
영상에서 객체 인식을 수행함에 있어 같은 객체라고 하더라도 개개의 영상 안에서는 객체의 크기, 방향, 위치, 포즈 등이 다르게 나타날 수 있다. 또한 한 영상 내에 여러 개의 객체가 포함되어 있거나, 목표 객체가 다른 객체에 의해 가리워져 그 일부분만 볼 수 있는 경우도 발생할 수 있다. In performing object recognition in an image, even if it is the same object, the size, direction, position, pose, etc. of the object may appear differently in each image. In addition, there may be cases in which several objects are included in one image, or a target object is obscured by other objects, so that only a part of the object is visible.
이러한 모든 조건하에서도 강인하게 동작하는 객체 인식 방법은 쉽지 않은 문제이다. An object recognition method that operates robustly under all these conditions is not an easy problem.
그 동안 영상에서 객체 인식 기법에 대한 많은 연구가 진행되어 왔고 현재에도 여러 가지 접근 방식이 활발하게 모색되고 있다.In the meantime, many studies on object recognition techniques in images have been conducted, and various approaches are being actively sought even now.
이러한 영상에서 객체를 인식하는 기술은 다양한 기술 분야에서 활용될 수 있다. A technique for recognizing an object in such an image may be utilized in various technical fields.
예를 들어, 영상에서 객체를 인식하는 기술은 군사 시설, 공항, 주차장, 지하철, 고속도로, 할인점, 주유소, 건설 현장, 유치원, 병원 교통 시스템, ATM 및 편의점 등 다양한 곳에서 보안을 위해 사용할 수 있다. 현재 이러한 영상 보안 시장은 지속적으로 증가하고 있다. For example, technology to recognize objects in images can be used for security in a variety of places, including military facilities, airports, parking lots, subways, highways, discount stores, gas stations, construction sites, kindergartens, hospital transportation systems, ATMs and convenience stores. Currently, the video security market is continuously increasing.
또한, 영상을 편집하는 기술에서도 영상에서 객체를 인식하는 기술이 사용될 수 있다. 이러한 다양한 분야에서 사용되기 위해 영상에서 객체를 인식하기 위한 정확도를 높이기 위한 기술이 필요하다.Also, a technique for recognizing an object in an image may be used in a technique for editing an image. In order to be used in these various fields, a technique for increasing the accuracy of recognizing an object in an image is required.
그런데 기존 RGB 카메라 영상 기반 지능형 인식 기술의 경우 날씨, 조도, 주변 상황과의 관계 등의 영향으로 객체에 대한 인식 정확도가 낮아 시스템을 운영하는데 어려움이 있다.However, in the case of the existing RGB camera image-based intelligent recognition technology, it is difficult to operate the system because the recognition accuracy of the object is low due to the influence of weather, illuminance, and the relationship with the surrounding conditions.
예컨대, 종래의 경우, RGB 카메라를 이용하여 침입을 감지하기 위하여 감지 영역을 설정하고, 사람이 감지 영역에 진입하면 침입으로 간주하는 방법을 주로 사용하고 있으나, 카메라의 각도가 미세하게 회전되거나 PTZ 카메라로 회전을 하게 되면 설정한 감지 영역의 변화되어 정상적인 감지가 어려움이 초래되었다. For example, in the conventional case, a detection area is set to detect an intrusion using an RGB camera and a method of considering an intrusion when a person enters the detection area is mainly used, but the angle of the camera is slightly rotated or the PTZ camera When rotating with , the set detection area is changed, resulting in difficulty in normal detection.
또한, 차량 또는 드론 카메라 영상의 경우에는 객체를 검출하는 것은 용이하지만 차량과 드론이 이동하고, 대상 객체도 이동하고 있어 상황을 인식하는데 어려움이 있었다.In addition, in the case of a vehicle or drone camera image, it is easy to detect an object, but it is difficult to recognize a situation because the vehicle and the drone are moving and the target object is also moving.
이러한 어려움을 해소하기 위하여, 최근에는 딥러닝 기술을 적용하여 영상 분할하는 방법이 제안되고 있으나, 사람이 도로에 있는 경우는 사람이 도로에 포함되어 버리거나, 사람과 도로가 분리되어 자동으로 상관 관계를 인지하는데 어려움이 있었다.In order to solve this difficulty, a method of image segmentation by applying deep learning technology has recently been proposed. However, if a person is on the road, the person is included in the road, or the person and the road are separated and correlation is automatically established. It was difficult to recognize.
이 때문에, 최근 들어, RGB 카메라 입력 영상을 분석하여 상황을 보다 정확하게 인식하기 위하여 객체와 주변 환경을 검출 및 인식하고 객체와 주변 환경의 위상 관계를 분석하는 방법의 필요성이 대두되고 있다.For this reason, in recent years, there is a need for a method of detecting and recognizing an object and the surrounding environment and analyzing the phase relationship between the object and the surrounding environment in order to more accurately recognize the situation by analyzing the RGB camera input image.
한편, 기존 RGB 카메라와 달리 적외서 센서를 이용하는 열화상 카메라를 이용한 객체 인식 기술의 경우, 인식 정확도는 상대적으로 높다.On the other hand, in the case of object recognition technology using a thermal imaging camera using an infrared sensor, unlike a conventional RGB camera, the recognition accuracy is relatively high.
그런데, 사람이나 차량과 같은 대상을 야간에도 명확하게 파악하기 위하여 열화상 카메라를 이용한 객체 인식과 추적 시스템이 도입되고 있기는 하지만 일반적인 카메라 객체 인식 및 추적 알고리즘을 그대로 이용하고 있어 열화상 카메라의 특성을 효율적으로 활용하고 있지 못한 상황이다.However, although object recognition and tracking systems using thermal imaging cameras are being introduced to clearly identify objects such as people and vehicles even at night, the general camera object recognition and tracking algorithms are used as they are, so the characteristics of thermal imaging cameras are improved. It is not being used effectively.
특히, 열화상 카메라의 경우 가시광과 달리 대기온도나 주변 열원 등에 의한 노이즈가 상당히 많으며, 이러한 공간적 노이즈에 의해 실제 관심 영역인 객체를 명확하게 구분하기 어렵다. 이는 전체 감지 온도 범위에 대해서 대기 온도나 주변 열원 등과 같은 노이즈성 환경이 전체 영상 데이터 중 대부분을 차지하게 되어 실제 관심 객체에는 충분한 데이터가 할당될 수 없기 때문이다.In particular, in the case of a thermal imaging camera, unlike visible light, noise due to ambient temperature or ambient heat sources is quite large, and it is difficult to clearly distinguish an object that is an actual area of interest due to such spatial noise. This is because, for the entire sensing temperature range, a noisy environment such as ambient temperature or an ambient heat source occupies most of the entire image data, so sufficient data cannot be allocated to an actual object of interest.
본 발명은 RGB 카메라와 열화상 카메라의 장점을 활용한 듀얼카메라를 이용하여 객체를 검출하고, 위험 상황 또는 이상 상황 등을 신속히 감지할 수 있는 방법을 제안하고자 한다The present invention intends to propose a method for detecting an object using a dual camera utilizing the advantages of an RGB camera and a thermal imaging camera, and quickly detecting a dangerous or abnormal situation.
특히, 본 발명에서는 RGB 카메라를 통하여 얻은 영상을 입력 분석하고 그 상황을 인식하기 위하여 영상으로부터 주변 환경(도로, 건물, 녹지 등)을 분류하여 인식하고, 객체(사람, 차량 등) 검출 인식하여 객체와 주변 환경의 관계로부터 상황을 인식하는 방법을 제안하고자 한다.In particular, in the present invention, in order to input and analyze the image obtained through the RGB camera and to recognize the situation, the surrounding environment (road, building, green area, etc.) is classified and recognized from the image, and the object (person, vehicle, etc.) is detected and recognized to recognize the object. We propose a method for recognizing a situation from the relationship between and the surrounding environment.
이를 위하여 본 발명은 입력 영상 중에서 소정의 객체를 별도로 딥 러닝 방식에 의하여 검출하고, 이와 병렬적으로 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 방법을 제안하고자 한다.To this end, the present invention is a method of separately detecting a predetermined object from an input image by a deep learning method, and applying a semantic image segmentation technique to the input image in parallel thereto to divide the input image into at least one environment image region. would like to propose
본 발명의 기술적 사상은 The technical idea of the present invention is
RGB 카메라와 열화상 카메라를 구비하는 듀얼 카메라를 제공하는 단계;providing a dual camera having an RGB camera and a thermal imaging camera;
상기 RGB 카메라로 입력되는 입력 영상에서 소정 객체에 대한 객체 영역를 추출함과 동시에 상기 열화상 카메라로 입력되는 상기 입력 영상에서 소정의 열화상 영역을 추출하는 단계;extracting an object region for a predetermined object from the input image input to the RGB camera and simultaneously extracting a predetermined thermal image region from the input image input to the thermal imaging camera;
상기 객체 영역과 상기 열화상 영역을 중첩시키는 단계;overlapping the object region and the thermal image region;
이벤트 발생 여부를 검증하는 단계로 구성되되, It consists of steps to verify whether an event has occurred,
상기 입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 상기 입력 영상을 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 객체 인식기의 출력 정보와 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 판단하는 상관 관계 분석기를 구비하는 상기 RGB 카메라에서는, an object recognizer for recognizing an object by receiving the input image; a peripheral environment recognizer for dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image; output information of the object recognizer; In the RGB camera having a correlation analyzer that determines the correlation between the object and the surrounding situation by superimposing the information of the surrounding environment recognizer,
(a) 상기 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;(a) detecting a predetermined object region from the input image;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;(b) dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계로 이루어지며, (c) displaying the object area detected in step (a) on the environment image area by overlapping the environment image area;
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하되, 상기 입력 영상에 대하여 상기 단계 (a)와 단계 (b)는 병렬적으로 수행하는 것을 특징으로 한다.Counting the number of pixels overlapping each other among the object area and the environment image area, and detecting a change in the correlation between the object area and the environment image area by using the change in the number of pixels, the step (a) ) and step (b) are characterized in that they are performed in parallel.
본 발명에서 제안하는 듀얼 카메라를 이용한 보안 및 안전 감시 방법을 사용하는 경우, 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법을 실시하는 경우 영상 속의 객체와 주변 환경과의 상관 관계를 파악할 수 있기 때문에 위험 예방 또는 사고 발생시 신속한 대체가 가능하며 열화상 카메라를 통하여 열화상 영역을 중첩하여 표시함으로써 이벤트 발생 유무를 보다 정확하게 파악할 수 있다는 이점이 있다.In the case of using the security and safety monitoring method using the dual camera proposed in the present invention, the object in the image is implemented by overlapping image-based object detection and semantic image segmentation to actively detect changes in the object Since it is possible to identify the correlation between and the surrounding environment, it is possible to prevent danger or to quickly replace it in the event of an accident, and it has the advantage of being able to more accurately determine whether an event has occurred by overlapping the thermal imaging area through the thermal imaging camera.
도 1은 본 발명에서 제안하는 듀얼 카메라 기능도이다.
도 2는1은 본 발명에서 사용되는 RGB 카메라의 기본 기능 모듈을 설명한다.
도 3은 본 발명에 따른 객체 인식, 환경 영상 영역 분할 방법을 설명하는 도면이다.
도 4 ~6은 의미론적 영상 분할 방법을 설명하는 도면이다.
도 7은 객체와 주변 환경과의 상관관계를 실시간으로 파악할 수 있음을 보여주는 도면이다. 1 is a functional diagram of a dual camera proposed by the present invention.
2 illustrates the basic function module of the RGB camera used in the present invention.
3 is a view for explaining an object recognition and environment image region segmentation method according to the present invention.
4 to 6 are diagrams for explaining a semantic image segmentation method.
7 is a diagram illustrating that a correlation between an object and a surrounding environment can be grasped in real time.
이하, 도면 등을 참조하여 본 발명에서 제안하는 듀얼 카메라를 이용한 보안 및 안전 감시 방법을 설명하고자 한다. Hereinafter, a security and safety monitoring method using a dual camera proposed by the present invention will be described with reference to drawings and the like.
본 발명의 듀얼 카메라는 상호 인접한 거리에 배치되는 RGB 카메라와 열화상 카메라를 구비한다. 참고로, 본 발명에서 RGB 카메라와 열화상 카메라는 기본적으로 입력 영상을 수신하고 소정의 학습된 알고리즘을 통하여 특정 객체 또는 열화상 영역을 추출하고 이벤트 감지시 유무선 네트워크를 통하여 휴대 단말기, 관리 서버, 소방서, 경찰서 등으로 이벤트 정보를 전송하는 기능을 구비한다The dual camera of the present invention includes an RGB camera and a thermal imaging camera disposed at mutually adjacent distances. For reference, in the present invention, the RGB camera and the thermal imaging camera basically receive an input image, extract a specific object or thermal image area through a predetermined learned algorithm, and when an event is detected, a mobile terminal, a management server, and a fire station through a wired/wireless network. , has a function of transmitting event information to a police station, etc.
본 발명은 RGB 카메라와 열화상 카메라에서 추출한 객체와 영화상 영역을 상호 중첩시켜 이벤트 발생 여부에 대한 정확도를 개선시키는 것을 목적으로 한다 An object of the present invention is to improve the accuracy of whether an event has occurred by overlapping an object extracted from an RGB camera and a thermal imaging camera and a region of a movie image.
따라서, 본 발명의 기술적 사상은 다음과 같다Therefore, the technical idea of the present invention is as follows
본 발명은 RGB 카메라와 열화상 카메라를 구비하는 듀얼 카메라를 제공하는 단계;The present invention provides a dual camera having an RGB camera and a thermal imaging camera;
상기 RGB 카메라로 입력되는 입력 영상에서 소정 객체에 대한 객체 영역를 추출함과 동시에 상기 열화상 카메라로 입력되는 상기 입력 영상에서 소정의 열화상 영역을 추출하는 단계;extracting an object region for a predetermined object from the input image input to the RGB camera and simultaneously extracting a predetermined thermal image region from the input image input to the thermal imaging camera;
상기 객체 영역과 상기 열화상 영역을 중첩시키는 단계; 및 overlapping the object region and the thermal image region; and
이벤트 발생 여부를 검증하는 단계로 구성된다, It consists of steps to verify whether an event has occurred,
이렇게 함으로써 객체 감지는 물론이고 객체나 객체 주변의 화재 발생 여부를 동시에 검출할 수 있다는 이점이 있다. In this way, there is an advantage in that it is possible to detect not only the object but also whether an object or a fire has occurred in the vicinity of the object.
더불어, 야간의 경우, 열화상 카메라를 통하여 열화상 영역에 포착되는 사람이나 화재 등을 더욱 더 용이하게 감지함으로써 이벤트 유무를 상호 보완적으로 지원할 수 있다는 이점도 있을 것이다. In addition, in the case of night, there will be an advantage in that the presence or absence of an event can be complementarily supported by more easily detecting a person or a fire captured in the thermal imaging area through the thermal imaging camera.
한편, 본 발명에서 사용되는 RGB 카메라의 경우, 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법을 실시하는 하여,영상 속의 객체와 주변 환경과의 상관 관계를 신속히 파악하여 도로를 침범하거나 방파제 등에서 추락하는 경우 등을 실시간으로 감지할 수 있도록 하였다.On the other hand, in the case of the RGB camera used in the present invention, the object in the image and the surrounding environment are correlated by implementing the surrounding situation recognition method that actively detects the change of the object by superimposing image-based object detection and semantic image segmentation. By quickly grasping the relationship, it was possible to detect in real time the case of invading a road or falling from a breakwater.
이하에서는 본 발명의 RGB 카메라에 적용된 기술적 사상에 대하여 보다 구체적으로 설명하기로 한다.Hereinafter, the technical idea applied to the RGB camera of the present invention will be described in more detail.
먼저, 본 발명의 실시를 위하여 본 발명에서는 도 2에 도시된 바와 같이, 입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 입력 영상을 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 객체 인식기의 출력 정보와 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 판단하는 상관 관계 분석기가 제공된다. First, in the present invention, as shown in FIG. 2 , in order to practice the present invention, an object recognizer for recognizing an object by receiving an input image, and a semantic image segmentation technique for the input image are applied to generate the input image into at least one environment. Provided are a surrounding environment recognizer that is divided into image regions, and a correlation analyzer that determines a correlation between an object and a surrounding situation by superimposing output information of the object recognizer and information of the surrounding environment recognizer.
도 2의 객체 인식기는 다양한 딥러닝에 의하여 학습되어 있으며, 소정의 영상이 입력되면 해당 영상 속에서 소정의 객체를 추출할 수 있는 기능을 수행한다. The object recognizer of FIG. 2 is learned by various deep learning methods, and when a predetermined image is input, it performs a function of extracting a predetermined object from the corresponding image.
한편, 도 2의 주변 환경 인식기 또한 다양한 딥러닝 기법에 의하여 학습되어 있으며, 특히 의미론적 영상 분할 기법을 적용하여 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 기능을 수행한다. Meanwhile, the surrounding environment recognizer of FIG. 2 is also learned by various deep learning techniques, and performs a function of dividing an input image into at least one environment image region by applying a semantic image segmentation technique in particular.
마지막으로, 도 2의 상관 관계 분석기는 객체 인식기의 출력 정보와 주변 환경 인식기의 출력 정보를 상호 중첩시켜 객체와 주변 환경간의 상호 관계를 알 수 있도록 하는 기능을 수행한다. Finally, the correlation analyzer of FIG. 2 performs a function of mutually overlapping the output information of the object recognizer and the output information of the surrounding environment recognizer to know the mutual relationship between the object and the surrounding environment.
이러한 3가지 구성 요소를 이용하여 본 발명에서는 입력 영상에 대하여 객체와 주변 환경 인식을 분리하는 기능을 독립적으로 별도 수행한 후, 검출된 객체의 영역과 주변 환경 요소가 겹쳐지는 화소 수를 계수하여 상황을 인식한다. 즉, 상관관계 방법은 주변 환경 요소와 객체가 겹쳐지는 화소수를 계수하여 상황을 인식한다. In the present invention using these three components, the function of separating the object and the surrounding environment recognition for the input image is separately performed, and then the number of pixels overlapping the detected object area and the surrounding environment element is counted to determine the situation. recognize That is, the correlation method recognizes the situation by counting the number of pixels overlapping the surrounding environment element and the object.
이하에서는 본 발명에서 제안하는 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법의 실시예 1 및 2 를 설명하기로 한다.Hereinafter, Embodiments 1 and 2 of a method for recognizing a surrounding situation for actively detecting a change in an object by overlapping image-based object detection and semantic image segmentation proposed by the present invention will be described.
본 발명의 실시예 1은 다음과 같은 단계로 이루어진다. Embodiment 1 of the present invention consists of the following steps.
본 발명의 제 1 실시예인 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법은,The first embodiment of the present invention is a method for recognizing a surrounding situation that actively detects changes in an object by overlapping image-based object detection and semantic image segmentation,
(a) 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;(a) detecting a predetermined object region from the input image;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;(b) dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계로 이루어지며, (c) displaying the object area detected in step (a) on the environment image area by overlapping the environment image area;
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지한다.The number of pixels overlapping each other among the object area and the environment image area is counted, and a change in the correlation between the object area and the environment image area is sensed by using the change in the number of pixels.
한편, 본 발명의 제 2 실시예인 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법은,On the other hand, the second embodiment of the present invention, the surrounding situation recognition method for actively sensing changes in objects by overlapping image-based object detection and semantic image segmentation,
(a) 입력 영상에 대하여 합성곱 기법을 적용하여 인코딩된 특징 영상을 추출하는 단계;(a) extracting an encoded feature image by applying a convolution technique to the input image;
(b) 인코딩된 상기 특징 영상에 대하여 Fully Connected Neural Networks 기법을 적용하여 소정의 객체 영역을 검출하는 단계;(b) detecting a predetermined object region by applying a Fully Connected Neural Networks technique to the encoded feature image;
(c) 인코딩된 상기 특징 영상을 디코딩 변화시켜 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계로 이루어지며, (c) decoding and changing the encoded feature image to divide the input image into at least one environment image region,
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지한다. The number of pixels overlapping each other among the object area and the environment image area is counted, and a change in the correlation between the object area and the environment image area is sensed by using the change in the number of pixels.
전술한 실시예 1 및 2는 도 3에 도시된 프로세스로 진행된다. Embodiments 1 and 2 described above proceed with the process shown in FIG.
도 3에서 알 수 있듯이, 입력 영상에 대하여 합성곱 기법을 적용하여 인코딩된 특징 영상을 추출한 후, 객체 생성 및 의미론적 영상 분할 방법이 병렬적으로 수행됨을 알 수 있다. As can be seen from FIG. 3 , after extracting the encoded feature image by applying the convolution technique to the input image, it can be seen that the object creation and semantic image segmentation method are performed in parallel.
도 4 ~ 도 6은 본 발명에 따라 의미론적 영상 분할 기법을 적용하여 바다, 테트라포트, 및 도로 영역을 분할한 예들을 보여준다. 4 to 6 show examples of dividing the sea, tetraport, and road regions by applying the semantic image segmentation technique according to the present invention.
특히, 도 6은 학습된 모듈을 사용하여 새로운 테스트 영상을 입력한 경우인데, 도시된 바와 같이, 바다, 테트라포트 및 기타 영역을 충실히 분할하는 것을 알 수 있다. In particular, FIG. 6 is a case in which a new test image is input using the learned module. As shown, it can be seen that the sea, tetrapod, and other areas are faithfully divided.
도 7은 본 발명에 따라 구현된 방법을 실시한 것으로, 의미론적 영상 분합법에 의하여 복수개의 환경 영상 영역으로 분할된 상태에서 차량 또는 행인의 객체가 중첩되어 별도로 관리되는 것을 알 수 있다. 7 is a method implemented according to the present invention, and it can be seen that objects of vehicles or passersby are overlapped and managed separately in a state in which they are divided into a plurality of environmental image regions by a semantic image segmentation method.
특히, 본 발명의 경우, 객체의 이동을 검출함으로써 주변 상황과의 상관 관계를 알 수 있고 이 때문에 위기 상황의 발생 등을 예측할 수도 있다. In particular, in the case of the present invention, it is possible to know the correlation with the surrounding situation by detecting the movement of the object, and thus the occurrence of a crisis situation can be predicted.
특히, 본 발명을 해안가의 테트라포트 등에 적용하는 경우 사람이 테트라포트에 있는지 여부, 그리고 테트라포트에서 갑자기 사라진 경우와 같은 상황 변화를 능동적으로 감지할 수 있기 때문에 신속한 대응이 가능할 수 있다는 이점이 있다. In particular, when the present invention is applied to a tetrapot on the coast, etc., there is an advantage that a rapid response can be possible because it is possible to actively detect a change in the situation, such as whether a person is in the tetrapot and suddenly disappears from the tetrapot.
더불어, 본 발명의 경우 열화상 카메라를 통하여 추출된 열화상 영역을 중첩하여 보여주기 때문에 RGB 카메라에서 감지되지 못한 객체의 추출을 보완할 수 있다는 가지고 있다. In addition, in the case of the present invention, since the thermal image area extracted through the thermal imaging camera is overlapped and shown, it is possible to supplement the extraction of the object not detected by the RGB camera.
즉, 본 발명에서 제안하는 듀얼 카메라를 이용한 보안 및 안전 감시 방법을 사용하는 경우, 영상기반 객체 검출 및 의미론적 영상 분할을 중첩하여 객체의 변화를 능동적으로 감지하는 주변 상황 인식 방법을 실시하는 경우 영상 속의 객체와 주변 환경과의 상관 관계를 파악할 수 있기 때문에 위험 예방 또는 사고 발생시 신속한 대체가 가능하며 열화상 카메라를 통하여 검출되는 열화상 영역을 중첩하여 표시함으로써 이벤트 발생 유무를 보다 정확하게 파악할 수 있다는 이점이 있다.That is, when the security and safety monitoring method using the dual camera proposed in the present invention is used, image-based object detection and semantic image segmentation are overlapped to perform the surrounding situation recognition method to actively detect changes in the object. Since the correlation between the objects in the object and the surrounding environment can be identified, it is possible to prevent danger or to quickly replace it in case of an accident, and it has the advantage of being able to more accurately determine whether an event has occurred by overlapping the thermal imaging area detected through the thermal imaging camera. have.
Claims (1)
상기 RGB 카메라로 입력되는 입력 영상에서 소정 객체에 대한 객체 영역를 추출함과 동시에 상기 열화상 카메라로 입력되는 상기 입력 영상에서 소정의 열화상 영역을 추출하는 단계;
상기 객체 영역과 상기 열화상 영역을 중첩시키는 단계;
이벤트 발생 여부를 검증하는 단계로 구성되되,
상기 입력 영상을 수신하여 객체를 인식하는 객체 인식기와, 상기 입력 영상을 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 주변 환경 인식기와, 객체 인식기의 출력 정보와 주변 환경 인식기의 정보를 중첩하여 객체와 주변 상황 상호간의 상관 관계를 판단하는 상관 관계 분석기를 구비하는 상기 RGB 카메라에서는,
(a) 상기 입력 영상으로부터 소정의 객체 영역을 검출하는 단계;
(b) 상기 입력 영상에 대하여 의미론적 영상 분할 기법을 적용하여 상기 입력 영상을 적어도 하나 이상의 환경 영상 영역으로 분할하는 단계;
(c) 상기 단계 (a)에서 검출된 상기 객체 영역을 상기 환경 영상 영역을 중첩시켜 상기 환경 영상 영역에 표시하는 단계로 이루어지며,
상기 객체 영역과 상기 환경 영상 영역 중 상호 중첩되는 화소수를 계수하고 상기 화소수의 변화를 이용하여 상기 환경 영상 영역 대비 상기 객체 영역의 상관관계변화를 감지하되, 상기 입력 영상에 대하여 상기 단계 (a)와 단계 (b)는 병렬적으로 수행하는 것을 특징으로 하는 듀얼 카메라를 이용한 보안 및 안전 감시 방법.
providing a dual camera having an RGB camera and a thermal imaging camera;
extracting an object region for a predetermined object from the input image input to the RGB camera and simultaneously extracting a predetermined thermal image region from the input image input to the thermal imaging camera;
overlapping the object region and the thermal image region;
It consists of steps to verify whether an event has occurred,
an object recognizer for recognizing an object by receiving the input image; a peripheral environment recognizer for dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image; output information of the object recognizer; In the RGB camera having a correlation analyzer that determines the correlation between the object and the surrounding situation by superimposing the information of the surrounding environment recognizer,
(a) detecting a predetermined object region from the input image;
(b) dividing the input image into at least one environment image region by applying a semantic image segmentation technique to the input image;
(c) displaying the object area detected in step (a) on the environment image area by overlapping the environment image area;
Counting the number of pixels overlapping each other among the object area and the environment image area, and detecting a change in the correlation between the object area and the environment image area by using the change in the number of pixels, the step (a) ) and step (b) are security and safety monitoring method using a dual camera, characterized in that performed in parallel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200003055A KR102321716B1 (en) | 2020-01-09 | 2020-01-09 | Security and safety surveillance with dual cameras |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200003055A KR102321716B1 (en) | 2020-01-09 | 2020-01-09 | Security and safety surveillance with dual cameras |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210090317A true KR20210090317A (en) | 2021-07-20 |
| KR102321716B1 KR102321716B1 (en) | 2021-11-05 |
Family
ID=77127234
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200003055A KR102321716B1 (en) | 2020-01-09 | 2020-01-09 | Security and safety surveillance with dual cameras |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102321716B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002150290A (en) * | 2000-11-13 | 2002-05-24 | Fujitsu General Ltd | Intruder detector |
| KR20130121769A (en) | 2013-09-16 | 2013-11-06 | 주식회사 고영테크놀러지 | Radioscopic system |
| KR20150061511A (en) | 2013-11-27 | 2015-06-04 | 롯데알미늄 주식회사 | Carry appointed beverage vending equipment |
| KR101852058B1 (en) * | 2017-11-23 | 2018-04-25 | 주식회사 아이티아이비전 | unexpected accident detecting method using dual camera |
| KR20200063349A (en) * | 2018-11-22 | 2020-06-05 | 경성대학교 산학협력단 | A method of combining object detection and semantic segmentation for video surveillance |
-
2020
- 2020-01-09 KR KR1020200003055A patent/KR102321716B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002150290A (en) * | 2000-11-13 | 2002-05-24 | Fujitsu General Ltd | Intruder detector |
| KR20130121769A (en) | 2013-09-16 | 2013-11-06 | 주식회사 고영테크놀러지 | Radioscopic system |
| KR20150061511A (en) | 2013-11-27 | 2015-06-04 | 롯데알미늄 주식회사 | Carry appointed beverage vending equipment |
| KR101852058B1 (en) * | 2017-11-23 | 2018-04-25 | 주식회사 아이티아이비전 | unexpected accident detecting method using dual camera |
| KR20200063349A (en) * | 2018-11-22 | 2020-06-05 | 경성대학교 산학협력단 | A method of combining object detection and semantic segmentation for video surveillance |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102321716B1 (en) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101808587B1 (en) | Intelligent integration visual surveillance control system by object detection and tracking and detecting abnormal behaviors | |
| CN108230594B (en) | Method for generating alarm in video monitoring system | |
| US11295139B2 (en) | Human presence detection in edge devices | |
| EP1955285B1 (en) | Detection of abnormal crowd behavior | |
| Trivedi et al. | Distributed interactive video arrays for event capture and enhanced situational awareness | |
| CN102867386B (en) | Intelligent video analysis-based forest smoke and fire detection method and special system thereof | |
| KR101877294B1 (en) | Smart cctv system for crime prevention capable of setting multi situation and recognizing automatic situation by defining several basic behaviors based on organic relation between object, area and object's events | |
| Kumar et al. | Study of robust and intelligent surveillance in visible and multi-modal framework | |
| KR20130097868A (en) | Intelligent parking management method and system based on camera | |
| Santana et al. | A vision-based system for early fire detection | |
| Lalonde et al. | A system to automatically track humans and vehicles with a PTZ camera | |
| KR20200063349A (en) | A method of combining object detection and semantic segmentation for video surveillance | |
| KR101547255B1 (en) | Object-based Searching Method for Intelligent Surveillance System | |
| KR102321716B1 (en) | Security and safety surveillance with dual cameras | |
| KR20210158037A (en) | Method for tracking multi target in traffic image-monitoring-system | |
| Gandhi et al. | Video and seismic sensor-based structural health monitoring: Framework, algorithms, and implementation | |
| KR20210090318A (en) | Multifunction smart street light | |
| KR20230064095A (en) | Apparatus and method for detecting abnormal behavior through deep learning-based image analysis | |
| Prabhakar et al. | An efficient approach for real time tracking of intruder and abandoned object in video surveillance system | |
| Brax et al. | An ensemble approach for increased anomaly detection performance in video surveillance data | |
| Irshad et al. | A Deep Learning based Human Detection and Tracking for Security Surveillance Systems | |
| Ghasemi et al. | A novel algorithm to predict and detect suspicious behaviors of people at public areas for surveillave cameras | |
| Mahin et al. | A simple approach for abandoned object detection | |
| Leo et al. | Real‐time smart surveillance using motion analysis | |
| Padmaja et al. | Crowd abnormal behaviour detection using convolutional neural network and bidirectional LSTM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |