KR20180000205A - Apparatus and method for intelligently analyzing video - Google Patents
Apparatus and method for intelligently analyzing video Download PDFInfo
- Publication number
- KR20180000205A KR20180000205A KR1020160078085A KR20160078085A KR20180000205A KR 20180000205 A KR20180000205 A KR 20180000205A KR 1020160078085 A KR1020160078085 A KR 1020160078085A KR 20160078085 A KR20160078085 A KR 20160078085A KR 20180000205 A KR20180000205 A KR 20180000205A
- Authority
- KR
- South Korea
- Prior art keywords
- feature information
- filtering
- detection
- information
- detected
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 지능형 영상 분석 기술에 관한 것으로, 특히 영상에 포함된 물체의 오탐지 필터링을 수행하고, 오탐지 필터링 결과 최종 검출 물체인 것으로 판단된 경우, 최종 검출 물체가 탐지되었음을 알리는 기술에 관한 것이다.The present invention relates to an intelligent image analysis technique, and more particularly, to a technique for performing false detection filtering of an object included in an image and notifying that a final detection object is detected when it is determined that the false detection filter is the final detection object.
오늘날, 사건 및 사고를 모니터링하거나, 증거를 확보하기 위하여 CCTV가 많이 설치되었으며, 앞으로 더 많은 CCTV가 설치될 것으로 예상된다. 종래의 CCTV들은 단순히 영상을 모니터링하고, 촬영한 영상을 저장하는 기능만 수행하였으며, 사람이 CCTV를 모니터링하며 이벤트의 발생을 감시하였다. Today, CCTV has been installed to monitor incidents and accidents, and to obtain evidence, and more CCTVs are expected to be installed in the future. Conventional CCTVs simply monitor the video and store the captured video, and the person monitors CCTV and monitors the occurrence of the event.
그러나 미국 Buyer Beware의 2002년도 연구 결과에 따르면, 한 사람이 두 대 이상의 CCTV를 22분 이상 모니터링 할 경우, 중요 이벤트의 95%를 감지하지 못하였다. 또한 매년 추가적으로 설치되는 CCTV의 개수가 크게 증가하고, HD급 이상의 고화질 CCTV가 보급됨에 따라 영상 정보량이 급증하였으며, 사람에 의한 CCTV 운영 감시에는 한계가 발생하였다. However, according to a 2002 study by Buyer Beware in the US, if one person monitored more than two CCTVs for more than 22 minutes, he could not detect 95% of the key events. In addition, the number of additional CCTVs installed each year has greatly increased, and the amount of video information has increased sharply due to the introduction of high-definition CCTVs of HD or higher level.
이에 따라, CCTV의 영상을 분석하여, 이상 행동 및 이상 상황을 감지하고 알려주는 지능형 영상 감시 및 지능형 영상 분석 기술 개발의 필요성이 증가하였다. 그러나, 현재 제품으로 출시된 지능형 영상 감시 시스템은 오탐지 및 오검출과 같은 성능의 한계로 인하여 널리 사용되지 못하고 있다. Therefore, there is a need to develop intelligent video surveillance and intelligent image analysis technology that detects and reports abnormal behavior and abnormal situation by analyzing the video of CCTV. However, the intelligent video surveillance system, which is currently available as a product, is not widely used due to limitations in performance such as false positives and false positives.
예를 들어, 철도 선로를 침범하는 사람을 인지하는 지능형영상감시 시스템의 경우, 사람이 아닌 카메라 앞의 움직이는 날벌레를 사람으로 오인식하는 경우가 많다. For example, in the case of an intelligent video surveillance system that recognizes a person who invades a railway track, it is often mistaken for a moving fly in front of a camera as a person.
또한, 지능형 영상 감시 시스템은 사건 및 사고를 카메라 단위 또는 픽셀 단위로 표현한다. 종래의 지능형 영상 감시 시스템은 예를 들어, "7번 카메라에서 사건 A가 감지되었다." 또는 "7번 카메라의 (329, 417) 픽셀에서 사건 A가 감지되었다"라고 사용자에게 알려줄 뿐, 구체적으로 어느 위치에서 사건이 발생하였는지에 대한 정보는 제공하지 않았다. In addition, intelligent video surveillance systems represent events and accidents in camera units or pixel units. A conventional intelligent video surveillance system, for example, "Case A was detected in camera No. 7 ". Or "event A was detected at (329, 417) pixels of camera No. 7 ", but did not provide any information as to where the event occurred.
따라서 사건이나 사고가 발생한 정확한 위치를 확인하기 어렵고, 사고 대응까지 많은 시간이 소요된다. 특히, 다수의 카메라가 설치된 공간이나, PTZ카메라(pan-tilt-zoom camera)나 어안카메라(fisheye camera)와 같이 촬영 범위가 넓은 카메라를 이용하는 경우 발생한 사고의 정확한 위치를 파악하기 위해서는 사용자가 직접 영상을 보고 판단해야 하는 불편함이 많다. Therefore, it is difficult to confirm the exact location of the incident or accident, and it takes a long time to respond to the accident. Particularly, in the case of using a camera having a large photographing range such as a space in which a plurality of cameras are installed or a PTZ camera (pan-tilt-zoom camera or fisheye camera) There are many inconveniences to see and judge.
따라서, 감지된 물체의 오탐지 문제를 해결하고, 감지된 사고가 발생한 정확한 위치를 실제 공간의 정보와 매핑하여 제공하는 기술의 개발이 필요하다. Therefore, it is necessary to develop a technique of solving the problem of false detection of the sensed object, and mapping the exact position where the sensed accident occurred, with the information of the real space.
본 발명의 목적은 종래의 지능형 감시 시스템의 성능 한계 및 표현 한계를 해결하는 것이다. It is an object of the present invention to solve the performance limitations and presentation limitations of conventional intelligent surveillance systems.
또한, 본 발명의 목적은 2차원 평면 상에 위치하지 않는 물체를 필터링하여, 지능형 감시 시스템의 오탐률을 낮추는 것이다. It is also an object of the present invention to reduce the false positives of intelligent surveillance systems by filtering objects that are not located on a two dimensional plane.
또한, 본 발명의 목적은 탐지 대상의 특징 정보 범위에 포함되지 않는 물체를 필터링하여, 지능형 감시 시스템의 오탐률을 낮추는 것이다. It is also an object of the present invention to reduce the false positives of the intelligent monitoring system by filtering objects that are not included in the feature information range of the detection object.
또한, 본 발명의 목적은 사건 발생 위치를 지도 상에 표시하거나, 가장 가까운 시설물의 위치를 이용하여 탐지 결과를 표시함으로써, 사용자가 직관적으로 사건 발생 위치를 파악할 수 있도록 하는 것이다. It is also an object of the present invention to allow a user to intuitively understand the location of occurrence of an event by displaying the location of occurrence of the event on a map or displaying the detection result using the location of the nearest facility.
상기한 목적을 달성하기 위한 본 발명에 따른 지능형 영상 분석 장치는 영상 정보에 포함된 물체를 검출하는 물체 검출부, 상기 영상 정보를 촬영한 촬영 장치의 3차원 위치 및 자세 정보를 이용하여, 검출된 상기 물체의 특징 정보를 추출하는 특징 정보 추출부, 추출된 상기 특징 정보를 이용하여, 상기 물체의 3D 위치 필터링 및 특징 정보 필터링 중 적어도 하나를 포함하는 오탐지 필터링을 수행하는 오탐지 필터링부, 그리고 상기 오탐지 필터링 결과 상기 물체가 최종 검출 물체인 것으로 판단된 경우, 상기 최종 검출 물체가 탐지되었음을 알리는 탐지 결과를 생성하는 탐지 결과 생성부를 포함한다. According to an aspect of the present invention, there is provided an intelligent image analysis apparatus comprising: an object detection unit for detecting an object included in image information; a three-dimensional position and orientation information acquisition unit for acquiring image information; A false information filtering unit that performs false filtering including at least one of 3D position filtering and feature information filtering of the object using the extracted feature information; And a detection result generation unit for generating a detection result indicating that the final detection object is detected when it is determined that the object is the final detection object as a result of false detection filtering.
이때, 상기 3D 위치 필터링은, 상기 물체가 2차원 평면 상에 위치하는지 여부를 확인하는 것 일 수 있다. At this time, the 3D position filtering may be to check whether the object is located on a two-dimensional plane.
이때, 상기 특징 정보 필터링은, 상기 물체의 특징 정보가 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것 일 수 있다.At this time, the feature information filtering may be performed to determine whether the feature information of the object is included in the feature information range of the detection object.
이때, 상기 특징 정보 필터링은, 상기 탐지 대상의 특징 정보와 상기 물체의 특징 정보 간 확률적 거리를 이용하여, 상기 물체의 특징 정보가 상기 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것 일 수 있다. The feature information filtering may include determining whether the feature information of the object is included in the feature information range of the detection object using the probabilistic distance between the feature information of the object to be detected and the feature information of the object .
이때, 상기 특징 정보 필터링은, 상기 3D 위치 필터링을 수행한 결과, 상기 물체가 상기 2차원 평면 상에 위치하는 것으로 판단된 경우 수행될 수 있다. At this time, the feature information filtering may be performed when it is determined that the object is located on the two-dimensional plane as a result of the 3D position filtering.
이때, 상기 탐지 대상의 특징 정보 범위는, 기 촬영된 상기 영상 정보들을 분석한 결과를 통계적으로 추정하여 생성된 것 일 수 있다. In this case, the feature information range of the detection object may be generated by statistically estimating a result of analyzing the captured image information.
이때, 상기 탐지 결과 생성부는, 지도, 도면 및 지리 정보 체계(GIS) 중 적어도 하나를 이용하여, 상기 최종 검출 물체의 상기 탐지 결과를 출력할 수 있다. At this time, the detection result generation unit may output the detection result of the finally detected object using at least one of a map, a drawing, and a GIS.
이때, 상기 탐지 결과 생성부는, In this case,
시설물 위치 DB를 이용하여, 상기 최종 검출 물체의 상기 탐지 결과를 문장 형태로 출력할 수 있다. The facility location DB can be used to output the detection result of the finally detected object in a sentence form.
이때, 상기 특징 정보는, 검출된 상기 물체의 위치, 크기, 이동 궤적 및 이동 속도 중 적어도 하나를 포함할 수 있다. At this time, the feature information may include at least one of a position, a size, a movement locus, and a movement speed of the detected object.
이때, 상기 특징 정보는, 미터 및 마일 중 적어도 어느 하나의 길이 단위인 것을 특징으로 하며, 상기 탐지 결과는, 상기 길이 단위를 이용하여 상기 최종 검출 물체에 상응하는 사건의 발생을 알리도록 생성되는 것 일 수 있다. Here, the feature information may be a unit of length of at least one of a meter and a mile, and the detection result may be generated to notify occurrence of an event corresponding to the final detected object using the length unit Lt; / RTI >
또한, 본 발명의 일실시예에 따른 지능형 영상 분석 장치에 의해 수행되는 지능형 영상 분석 방법은 영상 정보에 포함된 물체를 검출하는 단계, 상기 영상 정보를 촬영한 촬영 장치의 3차원 위치 및 자세 정보를 이용하여, 검출된 상기 물체의 특징 정보를 추출하는 단계, 추출된 상기 특징 정보를 이용하여, 상기 물체의 3D 위치 필터링 및 특징 정보 필터링 중 적어도 하나를 포함하는 오탐지 필터링을 수행하는 단계, 그리고 상기 오탐지 필터링 결과 상기 물체가 최종 검출 물체인 것으로 판단된 경우, 상기 최종 검출 물체가 탐지되었음을 알리는 탐지 결과를 생성하는 단계를 포함한다. According to another aspect of the present invention, there is provided an intelligent image analysis method comprising: detecting an object included in image information; Performing false detection filtering including at least one of 3D position filtering and feature information filtering of the object using the extracted feature information using the feature information of the object detected by the feature detecting unit, And generating a detection result indicating that the final detected object has been detected when it is determined that the object is the final detected object as a result of false detection filtering.
이때, 상기 3D 위치 필터링은, 상기 물체가 2차원 평면 상에 위치하는지 여부를 확인하는 것일 수 있다. At this time, the 3D position filtering may be to check whether the object is located on a two-dimensional plane.
이때, 상기 특징 정보 필터링은, 상기 물체의 특징 정보가 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것일 수 있다. At this time, the feature information filtering may be performed to determine whether the feature information of the object is included in the feature information range of the detection object.
이때, 상기 특징 정보 필터링은, 상기 탐지 대상의 특징 정보와 상기 물체의 특징 정보 간 확률적 거리를 이용하여, 상기 물체의 특징 정보가 상기 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것일 수 있다. The feature information filtering may be performed to determine whether the feature information of the object is included in the feature information range of the detection target using the probabilistic distance between the feature information of the object to be detected and the feature information of the object have.
이때, 상기 특징 정보 필터링은, 상기 3D 위치 필터링을 수행한 결과, 상기 물체가 상기 2차원 평면 상에 위치하는 것으로 판단된 경우 수행될 수 있다. At this time, the feature information filtering may be performed when it is determined that the object is located on the two-dimensional plane as a result of the 3D position filtering.
이때, 상기 탐지 대상의 특징 정보 범위는, 기 촬영된 상기 영상 정보들을 분석한 결과를 통계적으로 추정하여 생성된 것일 수 있다. In this case, the feature information range of the detection object may be generated by statistically estimating a result of analyzing the captured image information.
이때, 상기 탐지 결과를 생성하는 단계는, 지도, 도면 및 지리 정보 체계(GIS) 중 적어도 하나를 이용하여, 상기 최종 검출 물체의 상기 탐지 결과를 출력할 수 있다. In this case, the generating of the detection result may output the detection result of the finally detected object using at least one of a map, a drawing, and a geographic information system (GIS).
이때, 상기 탐지 결과를 생성하는 단계는, 시설물 위치 DB를 이용하여, 상기 최종 검출 물체의 상기 탐지 결과를 문장 형태로 출력할 수 있다. The generating of the detection result may output the detection result of the final detection object in a sentence form using the facility location DB.
이때, 상기 특징 정보는, 검출된 상기 물체의 위치, 크기, 이동 궤적 및 이동 속도 중 적어도 하나를 포함할 수 있다. At this time, the feature information may include at least one of a position, a size, a movement locus, and a movement speed of the detected object.
이때, 상기 특징 정보는, 미터 및 마일 중 적어도 어느 하나의 길이 단위인 것을 특징으로 하며, 상기 탐지 결과는, 상기 길이 단위를 이용하여 상기 최종 검출 물체에 상응하는 사건의 발생을 알리도록 생성되는 것일 수 있다. Here, the feature information is a unit of length of at least one of a meter and a mile, and the detection result is generated to notify occurrence of an event corresponding to the final detected object using the length unit .
본 발명에 따르면, 종래의 지능형 감시 시스템의 성능 한계 및 표현 한계를 해결할 수 있다. According to the present invention, performance limitations and expression limitations of conventional intelligent monitoring systems can be solved.
또한 본 발명에 따르면, 2차원 평면 상에 위치하지 않는 물체를 필터링하여, 지능형 감시 시스템의 오탐률을 낮출 수 있다. Also, according to the present invention, it is possible to reduce the false positives of the intelligent monitoring system by filtering objects that are not located on the two-dimensional plane.
또한 본 발명에 따르면, 탐지 대상의 특징 정보 범위에 포함되지 않는 물체를 필터링하여, 지능형 감시 시스템의 오탐률을 낮출 수 있다.Furthermore, according to the present invention, it is possible to reduce the false positives of the intelligent monitoring system by filtering objects not included in the feature information range of the detection target.
또한 본 발명에 따르면, 사건 발생 위치를 지도 상에 표시하거나, 가장 가까운 시설물의 위치를 이용하여 탐지 결과를 표시함으로써, 사용자가 직관적으로 사건 발생 위치를 파악할 수 있다. Also, according to the present invention, a user can intuitively grasp the location of occurrence of an event by displaying the location of occurrence of the event on a map or displaying the detection result using the location of the nearest facility.
도 1은 본 발명의 일실시예에 따른 지능형 영상 분석 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 지능형 영상 분석 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 지능형 영상 분석 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일실시예에 따른 지능형 영상 분석 장치의 최종 검출 물체 판단 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 탐지 결과 생성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 생성된 탐지 결과의 일 예를 나타낸 예시도이다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.1 is a diagram schematically illustrating an environment to which an intelligent image analysis apparatus according to an embodiment of the present invention is applied.
2 is a block diagram illustrating a configuration of an intelligent image analysis apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating an intelligent image analysis method according to an embodiment of the present invention.
4 is a diagram for explaining a final detection object determination process of the intelligent image analysis apparatus according to an embodiment of the present invention.
5 is a diagram for explaining a detection result generation process according to an embodiment of the present invention.
FIG. 6 is an exemplary view showing an example of a detection result generated according to an embodiment of the present invention.
7 is a block diagram illustrating a computer system in accordance with an embodiment of the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 지능형 영상 분석 장치가 적용되는 환경을 개략적으로 나타낸 도면이다. 1 is a diagram schematically illustrating an environment to which an intelligent image analysis apparatus according to an embodiment of the present invention is applied.
도 1에 도시한 바와 같이, 지능형 영상 분석 시스템은 하나 이상의 촬영 장치(100), 지능형 영상 분석 장치(200), 특징 정보 DB(310), 시설물 위치 DB(350) 및 탐지 결과 출력 장치(400)를 포함한다. 1, the intelligent image analysis system includes at least one imaging device 100, an intelligent
먼저, 촬영 장치(100)는 실내 또는 실외에 설치된 CCTV일 수 있으며, 지정된 촬영 영역을 촬영하는 통상의 카메라를 의미할 수 있다. 촬영 장치(100)는 설치 목적과 설치 장소 및 관리 규모 등을 고려하여 하나 이상 설치될 수 있으며, 촬영 장치(100)는 촬영한 영상 정보를 지능형 영상 분석 장치(200)로 전송한다. First, the photographing apparatus 100 may be a CCTV installed indoors or outdoors, and may mean a normal camera for photographing a designated photographing area. At least one photographing apparatus 100 may be installed in consideration of the installation purpose, installation site, management scale, and the like, and the photographing apparatus 100 transmits the photographed image information to the intelligent
또한, 촬영 장치(100)의 촬영 영역에 상응하는 공간은 평면이고, 감지하고자 하는 객체인 물체는 그 평면 위에 있을 수 있다. 그리고 공간은 하나의 평면 또는 복수 개의 평면으로 구성될 수 있다. Further, the space corresponding to the photographing region of the photographing apparatus 100 is plane, and an object, which is an object to be sensed, may be on the plane. The space may be composed of one plane or a plurality of planes.
예를 들어, 촬영 영역이 철도 역사인 경우, 승객들이 열차에 탑승하거나 하차하는 공간은 승객들이 서있는 승강장인 제1 평면과 선로가 있는 지면인 제2 평면, 즉 2개의 평면으로 표현될 수 있다. For example, when the photographing area is a railroad history, the space occupied by passengers on or off a train may be represented by a first plane, which is a platform where passengers stand, and a second plane, that is, a plane with a track.
그리고 지능형 영상 분석 장치(200)는 영상 정보에 포함된 물체를 검출하고, 검출된 물체의 특징 정보를 추출한다. 또한, 지능형 영상 분석 장치(200)는 물체의 특징 정보를 이용하여, 검출된 물체가 최종 검출 물체인지 여부를 판단하며, 최종 검출 물체인 것으로 판단된 경우, 탐지 결과를 생성한다. The intelligent
이때, 지능형 영상 분석 장치(200)는 3D 위치 필터링 및 특징 정보 필터링 중 적어도 하나를 포함하는 오탐지 필터링을 수행하여, 검출된 물체가 최종 검출 물체인지 여부를 판단할 수 있다. At this time, the intelligent
또한, 특징 정보 DB(310)는 탐지 대상의 특징 정보를 저장하며, 지능형 영상 분석 장치(200)는 특징 정보 DB(310)에 저장된 탐지 대상의 특징 정보를 이용하여, 검출된 물체가 최종 검출 물체인지 여부를 판단할 수 있다. The
그리고 시설물 위치 DB(350)는 촬영 장치(100)가 촬영하는 공간에 상응하는 시설물의 위치 정보를 저장하고, 지능형 영상 분석 장치(200)는 시설물 위치 DB(350)에 저장된 시설물의 위치 정보를 이용하여 탐지 결과를 생성할 수 있다. The facility location DB 350 stores location information of a facility corresponding to the space taken by the photographing apparatus 100 and the intelligent
마지막으로, 탐지 결과 출력 장치(400)는 지능형 영상 분석장치(200)로부터 탐지 결과를 수신하고, 수신된 탐지 결과를 사용자에게 출력한다. 이때, 탐지 결과 출력 장치(400)는 음성, 문자, 이미지 및 영상 중 적어도 하나의 방법으로 탐지 결과를 출력할 수 있다. Finally, the detection
설명의 편의상, 탐지 결과 출력 장치(400)가 탐지 결과를 출력하는 것으로 설명하였으나 이에 한정하지 않고, 지능형 영상 분석 장치(200)가 구비된 출력부를 통하여 탐지 결과를 출력할 수도 있다. For convenience of explanation, the detection
도 2는 본 발명의 일실시예에 따른 지능형 영상 분석 장치의 구성을 나타낸 블록도이다. 2 is a block diagram illustrating a configuration of an intelligent image analysis apparatus according to an embodiment of the present invention.
도 2에 도시한 바와 같이, 지능형 영상 분석 장치(200)는 물체 검출부(210), 특징 정보 추출부(220), 오탐지 필터링부(230) 및 탐지 결과 생성부(240)를 포함한다. 2, the intelligent
먼저, 물체 검출부(210)는 영상 정보에 포함된 물체를 검출한다. 이때, 영상 정보는 지능형 영상 분석 장치(200)가 직접 촬영한 것이거나, 하나 이상의 촬영 장치로부터 수신한 것 일 수 있다. First, the
그리고 특징 정보 추출부(220)는 영상 정보를 촬영한 촬영 장치의 3차원 위치 및 자세 정보를 이용하여, 검출된 물체의 특징 정보를 추출한다. Then, the feature
물체의 특징 정보는 검출된 물체의 위치, 크기, 이동 궤적 및 이동 속도 중 적어도 하나를 포함한다. 또한, 특징 정보는 미터 단위 또는 마일 단위와 같이 길이 단위로 표현될 수 있다. The feature information of the object includes at least one of the position, size, moving locus, and moving speed of the detected object. In addition, the feature information may be represented by a unit of length such as a unit of meters or a unit of miles.
다음으로 오탐지 필터링부(230)는 추출된 물체의 특징 정보를 이용하여, 물체의 3D 위치 필터링 및 특징 정보 필터링 중 적어도 하나를 포함하는 오탐지 필터링을 수행한다. Next, the false-
여기서, 3D 위치 필터링은, 물체가 2차원 평면 상에 위치하는지 여부를 확인하는 필터링을 의미하고, 특징 정보 필터링은 물체의 특징 정보가 탐지 대상의 특징 정보 범위에 포함 되는지 여부를 판단하는 필터링을 의미할 수 있다. Here, the 3D position filtering means filtering to determine whether an object is located on a two-dimensional plane, and the feature information filtering means filtering to determine whether the feature information of the object is included in the feature information range of the detection object can do.
이때, 특징 정보 필터링은 탐지 대상의 특징 정보와 물체의 특징 정보 간 확률적 거리를 이용하여 물체의 특징 정보가 탐지 대상의 특징 정보 범위 내에 포함되는지 여부를 판단할 수 있다. 또한, 탐지 대상의 특징 정보 범위는 지능형 영상 분석 장치(200)가 기 촬영된 영상 정보들을 분석하여 통계적으로 추정한 것일 수 있다. At this time, the feature information filtering can determine whether the feature information of the object is included in the feature information range of the detection object by using the probable distance between the feature information of the detection object and the feature information of the object. In addition, the characteristic information range of the detection object may be statistically estimated by analyzing the image information photographed by the intelligent
그리고 오탐지 필터링부(230)는 3D 위치 필터링 및 특징 정보 필터링 중 어느 하나를 수행하거나, 3D 위치 필터링을 수행한 후, 3D 위치 필터링 결과에 따라 특징 정보 필터링을 수행할 수도 있다. The false
마지막으로, 탐지 결과 생성부(240)는 오탐지 필터링 결과 물체가 최종 검출 물체인 것으로 판단된 경우, 최종 검출 물체가 탐지되었음을 알리는 탐지 결과를 생성한다. Lastly, the detection
이때, 탐지 결과는 탐지된 최종 검출 물체의 유형, 최종 검출 물체에 상응하는 사건/사고의 종류 및 사건/사고가 발생한 위치 등을 포함할 수 있으며, 미터 또는 마일과 같이 길이 단위를 이용하여 최종 검출 물체에 상응하는 사건의 발생을 알리도록 생성된 것일 수 있다. At this time, the detection result may include the type of the detected final detected object, the type of the event / accident corresponding to the final detected object, and the location where the event / accident occurred, and the final detection It may be generated to notify the occurrence of an event corresponding to an object.
그리고 탐지 결과 생성부(240)는 지도, 도면 및 지리 정보 체계(GIS) 중 적어도 하나를 이용하여 최종 검출 물체의 탐지 결과를 출력할 수 있다. The detection
이하에서는 도 3 내지 도 6을 통하여, 본 발명의 일실시예에 따른 지능형 영상 분석 장치에 의해 수행되는 지능형 영상 분석 방법에 대하여 더욱 상세하게 설명한다. Hereinafter, an intelligent image analysis method performed by the intelligent image analysis apparatus according to an embodiment of the present invention will be described in more detail with reference to FIG. 3 through FIG.
도 3은 본 발명의 일실시예에 따른 지능형 영상 분석 방법을 설명하기 위한 순서도이다. 3 is a flowchart illustrating an intelligent image analysis method according to an embodiment of the present invention.
먼저, 지능형 영상 분석 장치(200)는 영상 정보에 포함된 물체를 검출한다(S310).First, the intelligent
지능형 영상 분석 장치(200)는 하나 이상의 촬영 장치 또는 영상 관리 서버 등으로부터 영상 정보를 수신하거나, 지능형 영상 분석 장치(200)에 구비된 촬영부를 이용하여 직접 영상을 촬영할 수 있다. 또한 지능형 영상 분석 장치(200)는 실시간으로 촬영된 영상 정보를 수신하여 물체를 검출할 수 있다. The intelligent
그리고 지능형 영상 분석 장치(200)는 영상 정보 상에 포함된 물체를 검출한다. 이때, 물체는 사람, 동물 및 물건과 같은 객체일 수 있으며, 특히 움직임이 있거나 이동성을 가질 수 있다. The intelligent
지능형 영상 분석 장치(200)가 검출하는 물체의 종류 및 유형은 사전에 정의된 것일 수 있으며, 지능형 영상 분석 장치(200)는 기 정의된 물체의 종류 및 유형에 상응하는 객체를 S310 단계에서 검출할 수 있다. The type and type of the object detected by the intelligent
그리고 지능형 영상 분석 장치(200)는 검출된 물체의 특징 정보를 추출한다(S320). Then, the intelligent
지능형 영상 분석 장치(200)는 영상 정보를 촬영한 촬영 장치의 3차원 위치 및 자세 정보를 이용하여, S310 단계에서 검출된 물체의 특징 정보를 추출한다. 이때, 촬영 장치의 3차원 위치는 정해진 절대 좌표를 기준으로 하는 x좌표, y좌표, z좌표를 포함하고, 촬영 장치의 자세 정보는 롤(roll), 요(yaw), 피치(pitch)를 포함할 수 있다. The intelligent
설명의 편의상, 지능형 영상 분석 장치(200)가 촬영 장치의 3차원 위치 및 자세 정보를 이용하여 물체의 특징 정보를 추출하는 것으로 설명하였으나 이에 한정하지 않고 지능형 영상 분석 장치(200)는 스테레오 카메라나 거리측정 센서 등을 이용하여 물체의 특징 정보를 추출할 수도 있다. For convenience of explanation, the intelligent
지능형 영상 분석 장치(200)가 추출하는 물체의 특징 정보는 검출된 물체의 위치, 크기, 이동 궤적 및 이동 속도 중 적어도 하나를 포함할 수 있다. 특히, 지능형 영상 분석 장치(200)는 픽셀 단위로 표현되는 영상에서의 물체의 위치 및 크기를 실제 공간 상에서 물체의 위치 및 실제 크기로 표현할 수 있다. 그리고 물체의 위치 및 크기는 미터 및 마일 중 적어도 어느 하나의 길이 단위로 표현될 수 있다.The feature information of the object extracted by the intelligent
물체의 위치는 공간 내에서 물체의 실제 위치를 의미하며, 영상 정보 상에서 물체와 바닥 면이 맞닿는 점(접점)으로부터 물체의 위치에 상응하는 특징 정보를 추출할 수 있다. The position of the object means the actual position of the object in the space, and the feature information corresponding to the position of the object can be extracted from the point (contact point) where the object and the floor meet at the image information.
또한, 물체의 크기는 공간 내에서 물체의 실제 크기를 의미하며, 영상 정보 상에서 접점과 영상 정보 상에서 물체의 크기(폭, 높이)로부터 물체의 실제 크기에 상응하는 특징 정보를 추출할 수 있다. Also, the size of the object means the actual size of the object in the space, and the feature information corresponding to the actual size of the object can be extracted from the size of the object (width, height) on the contact point and the image information on the image information.
그리고 지능형 영상 분석 장치(200)는 기 설정된 시간 동안의 물체의 위치 및 크기를 이용하여, 물체의 이동 궤적 및 물체의 속도를 연산할 수 있다. 이때, 물체의 이동 궤적 및 물체의 속도는 물체의 위치 및 크기와 동일하게, 길이 단위로 표현될 수 있다. The intelligent
지능형 영상 분석 장치(200)는 S320 단계를 통하여, 영상 정보 내의 픽셀 단위로 특징 정보를 추출하는 종래 기술과 달리, 실제 공간 평면 상의 길이 단위로 물체의 특징 정보를 추출할 수 있으며, 추출된 특징 정보는 기하학적 의미를 갖는다. The intelligent
다음으로, 지능형 영상 분석 장치(200)는 추출된 특징 정보를 이용하여, 검출된 물체의 오탐지 필터링을 수행하고(S330), 오탐지 필터링 결과를 이용하여, 검출된 물체가 최종 검출 물체인지 여부를 판단한다(S340).Next, the intelligent
오탐지 필터링은 물체의 3D 위치 필터링 및 특징 정보 필터링 중 적어도 하나를 포함할 수 있다. 지능형 영상 분석 장치(200)는 검출된 물체가 잘못 감지된 물체이거나, 최종 검출 물체가 아닌 경우를 제외하여 오탐지를 줄이기 위하여, 오탐지 필터링을 수행한다. The false positive filtering may include at least one of 3D location filtering of the object and feature information filtering. The intelligent
오탐지 필터링 중, 3D 위치 필터링은 물체가 2차원 평면 상에 위치하는지 여부를 확인하는 것의 의미하고, 특징 정보 필터링은 물체의 특징 정보가 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것을 의미할 수 있다. During false detection filtering, 3D position filtering means checking whether an object is located on a two-dimensional plane, and the feature information filtering means judging whether feature information of the object is included in the feature information range of the detection object can do.
예를 들어, 지능형 영상 분석 장치(200)가 철도 역사의 승강장에 위치한 사람을 감지하는 경우, 탐지 대상은 승강장 위에 위치한 사람을 의미한다. 그리고 탐지 대상의 특징 정보는 승강장 위의 사람의 위치, 승강장 위의 사람의 크기, 승강장 위의 사람의 이동 궤적 및 승강장 위의 사람의 이동 속도 중 적어도 하나를 포함할 수 있다. For example, when the intelligent
그리고 승강장 위의 사람의 위치는 승강장, 선로, 계단 및 에스컬레이터 위 일 수 있고, 승강장 위의 사람의 크기는 폭이 0.3m 내지 0.8m 일 수 있으며, 높이는 0.8m 내지 2.0m 일 수 있다. 또한, 사람의 크기 값의 변화량은 거의 일정하게 유지되므로, 사람의 크기 값의 변화량에 상응하는 값을 크기 기준값으로 설정할 수 있다. The position of the person on the platform may be on the platform, the track, the stairs and the escalator, the size of the person on the platform may be 0.3 to 0.8 m wide, and the height may be 0.8 to 2.0 m. Also, since the amount of change of the size value of a person is kept substantially constant, a value corresponding to a change amount of a size value of a person can be set as a size reference value.
또한, 승강장 위의 사람의 이동 궤적은 특징이 없으므로 탐지 대상의 특징 정보로 설정되지 않을 수 있으며, 승강장 위의 사람의 이동 속도는 0 내지 1m/s일 수 있다. Also, since the movement locus of the person on the landing platform is not characteristic, it may not be set as the feature information of the detection target, and the moving speed of the person on the landing platform may be 0 to 1 m / s.
이러한 탐지 대상의 특징 정보는 사용자가 정의한 것이거나, 지능형 영상 분석 장치(200)가 과거에 기 촬영된 영상 정보들을 분석하여 통계적으로 추정하고, 기계 학습을 수행한 결과로 생성한 것 일 수 있다. The feature information of the detection object may be one defined by the user or may be generated as a result of analyzing image information previously captured by the intelligent
그리고 S330 단계에서, 검출된 물체가 촬영 장치 앞을 이동하는 날벌레인 경우, 지능형 영상 분석 장치(200)는 3D 위치 필터링을 수행하여 날벌레를 최종 검출 물체가 아닌 것으로 판단할 수 있다. If it is determined in step S330 that the detected object moves in front of the image capture device, the intelligent
예를 들어, 영상 정보 상에서는 날벌레가 사람 크기만큼 크게 보일 수 있으며, 날벌레의 특징 정보 추출 결과, 날벌레의 크기는 1m 내지 4m 범위에서 크기 기준값보다 크게 변화하고, 날벌레의 이동 속도는 0 내지 5m/s의 범위에서 이동 속도 기준값보다 크게 변화할 수 있다. For example, in the image information, the flywheel may be seen as large as the person size. As a result of extracting the feature information of the flywheel, the size of the flywheel varies from 1 m to 4 m in a larger range than the size reference value, and the fly speed is 0 to 5 m / s Of the moving speed reference value.
날벌레가 평면 위를 움직이는 것이 아니므로 날벌레의 특징 정보는 탐지 대상의 특징 정보 범위에 포함되지 않을 수 있으며, 지능형 영상 분석 장치(200)는 3D 위치 필터링을 수행하여 날벌레에 상응하는 물체를 최종 검출 물체가 아닌 것으로 판단할 수 있다. Since the flywheel does not move on the plane, the feature information of the flywheel may not be included in the feature information range of the detection object, and the intelligent
즉, 지능형 영상 분석 장치(200)는 날벌레의 특징 정보와 탐지 대상의 특징 정보를 비교하여 2차원 위치 필터링을 수행함으로써, 날벌레에 의한 오탐지 문제를 해결할 수 있다. That is, the intelligent
설명의 편의상, 지능형 영상 분석 장치(200)가 물체의 특징 정보를 이용하여 3D 위치 필터링을 수행하는 것으로 설명하였으나 이에 한정하지 않고, 지능형 영상 분석 장치(200)는 검출된 물체와 공간의 평면상 접점을 탐색하고, 접점이 공간의 평면 상에 존재하지 않을 경우, 해당 물체는 최종 검출 물체가 아닌 것으로 판단하여 물체의 오탐률을 줄일 수도 있다. For convenience of explanation, it has been described that the intelligent
또한, 지능형 영상 분석 장치(200)는 특징 정보 필터링을 수행하여, S310 단계에서 검출된 물체가 최종 검출 물체인지 여부를 판단할 수 있다. In addition, the intelligent
예를 들어, S310 단계에서 검출된 물체가 공이고, S320 단계에서 공의 크기가 0.25m 내지 0.28m 범위 내에서 기 설정된 크기 기준값보다 작게 변화한다는 공의 특징 정보를 추출한 경우, 지능형 영상 분석 장치(200)는 공의 특징 정보와 탐지 대상의 특징 정보 범위를 비교하여 공에 의한 오탐지 문제를 해결할 수도 있다. For example, when the object detected in step S310 is blank and the feature size is changed in a range from 0.25m to 0.28m in step S320, the intelligent image analyzer 200) may solve the false detection problem by comparing the feature information of the ball with the feature information range of the detection object.
여기서, 지능형 영상 분석 장치(200)는 각 조건이 독립적이라는 가정하에, 탐지 대상의 특징 정보 범위에 검출된 물체의 특징 정보가 모두 포함되는지 여부를 판단하여 3D 위치 필터링을 수행할 수 있다. Here, the intelligent
또한, 지능형 영상 분석 장치(200)는 탐지 대상의 특징 정보를 평균, 표준편차 및 히스토그램 중 적어도 어느 하나와 같이 확률적으로 표현하고, 확률적으로 표현된 탐지 대상의 특징 정보와 물체의 특징 정보 간 확률적 거리를 계산한다. 그리고 지능형 영상 분석 장치(200)는 계산된 확률적 거리를 이용하여 해당 물체가 최종 검출 물체인지 여부를 판단할 수 있다. In addition, the intelligent
이때, 지능형 영상 분석 장치(200)는 확률적 거리로 마할라노비스 거리(Mahalanobis distance)를 계산할 수 있으며, 지능형 영상 분석 장치(200)가 계산하는 확률적 거리의 종류는 이에 한정되지 않는다. At this time, the intelligent
또한, 지능형 영상 분석 장치(200)는 3D 위치 필터링 및 특징 정보 필터링 중에서 어느 하나를 수행하거나, 3D 위치 필터링 결과 검출된 물체가 2차원 평면 상에 위치하는 것으로 판단된 경우 특징 정보 필터링을 수행할 수도 있다. In addition, the intelligent
이를 통하여, 지능형 영상 분석 장치(200)는 기준이 되는 평면 위에 위치하지 않은 물체(예, 날벌레) 및 기준이 되는 평면 위에 위치하지만, 물체의 특징 정보가 탐지 대상의 특징 정보 범위에 포함되지 않는 물체(예, 공)에 대한 오탐지 문제를 해결할 수 있다. The intelligent
설명의 편의상 탐지 대상의 특징 정보가 사람에 상응하는 특징 정보인 것으로 설명하고, 지능형 영상 분석 장치(200)가 탐지 대상의 특징 정보를 이용하여 사람이 아닌 물체의 탐지를 오탐지로 간주하는 것으로 설명하였으나 이에 한정하지 않고, 탐지 대상은 사람 이외의 동물, 차량 등과 같은 물체일 수 있으며, 탐지 대상에 상응하도록 탐지 대상의 특징 정보가 설정될 수 있다. For convenience of explanation, it is explained that the feature information of the detection object is the feature information corresponding to the person, and that the intelligent
도 4는 본 발명의 일실시예에 따른 지능형 영상 분석 장치의 최종 검출 물체 판단 과정을 설명하기 위한 도면이다. 4 is a diagram for explaining a final detection object determination process of the intelligent image analysis apparatus according to an embodiment of the present invention.
도 4에 도시한 바와 같이, 지능형 영상 분석 장치(200)는 특징 정보 DB에 저장된 탐지 대상의 특징 정보 범위와 추출된 물체의 특징 정보를 비교한다. As shown in Fig. 4, the intelligent
특징 정보 비교 결과, 물체의 특징 정보가 탐지 대상의 특징 정보 범위에 포함될 경우, 지능형 영상 분석 장치(200)는 해당 물체가 최종 검출 물체인 것으로 판단한다. 반면, 물체의 특징 정보가 탐지 대상의 특징 정보 범위 내에 포함되지 않을 경우, 지능형 영상 분석 장치(200)는 해당 물체가 오탐지된 물체인 것으로 판단한다. As a result of the feature information comparison, when the feature information of the object is included in the feature information range of the detection object, the intelligent
그리고 물체가 최종 검출 물체인 것으로 판단된 경우, 지능형 영상 분석 장치(200)는 탐지 결과를 생성한다(S350). If it is determined that the object is the final detection object, the intelligent
지능형 영상 분석 장치(200)는 최종 검출 물체의 유형, 최종 검출 물체에 상응하는 사건/사고의 종류 및 사건/사고가 발생한 위치 등 중에서 적어도 하나를 포함할 수 있다. The intelligent
또한, 지능형 영상 분석 장치(200)는 시설물 위치 DB에 저장된 시설물의 위치 정보를 이용하여 탐지 결과를 생성 및 출력할 수 있으며, 지도, 도면 및 지리 정보 체계(GIS) 중 적어도 하나를 이용하여 최종 검출 물체의 탐지 결과를 출력할 수도 있다. Also, the intelligent
그리고 지능형 영상 분석 장치(200)는 음성, 문자, 이미지 및 영상 중 적어도 하나의 방법으로 탐지 결과를 생성할 수 있으며, 생성된 탐지 결과를 구비된 출력부를 통하여 직접 출력하거나, 외부의 탐지 결과 출력 장치로 전송할 수도 있다. The intelligent
도 5는 본 발명의 일실시예에 따른 탐지 결과 생성 과정을 설명하기 위한 도면이다. 5 is a diagram for explaining a detection result generation process according to an embodiment of the present invention.
도 5에 도시한 바와 같이, 지능형 영상 분석 장치(200)는 최종 검출 물체의 종류 및 위치를 지도, 도면 및 GIS 정보 중 적어도 하나와 합성하여 탐지 결과를 생성할 수 있다. 이때, 탐지 결과는 지도, 도면 및 GIS 상에 표시될 수 있다. As shown in FIG. 5, the intelligent
또한, 지능형 영상 분석 장치(200)는 최종 검출 물체의 종류 및 위치를 시설물 위치 DB와 합성하여 문장 형태의 탐지 결과를 생성할 수 있다. In addition, the intelligent
도 6은 본 발명의 일실시예에 따라 생성된 탐지 결과의 일 예를 나타낸 예시도이다. FIG. 6 is an exemplary view showing an example of a detection result generated according to an embodiment of the present invention.
도 6과 같이, 지능형 영상 분석 장치(200)는 최종 검출 물체의 종류 및 위치와 시설물 위치 DB에 저장된 시설물 위치 정보를 이용하여 탐지 결과를 생성할 수 있다. As shown in FIG. 6, the intelligent
즉, 지능형 영상 분석 장치(200)는 시설물 위치 DB에 저장된 시설물 중, 최종 검출 물체의 위치와 가장 가까운 시설물을 검색하고, 검색된 시설물의 이름 또는 식별정보를 이용하여 탐지 결과를 생성할 수 있다. That is, the intelligent
또한, 지능형 영상 분석 장치(200)는 최종 검출 물체의 특징 정보의 변화량 또는 각종 영상 분석 기술을 적용하여, 선로에 사람이 뛰어드는 사건이나 넘어지는 사고와 같이 최종 검출 물체에 상응하는 사건의 종류를 파악할 수도 있다. In addition, the intelligent
예를 들어 도 6에 도시된 바와 같이, 최종 검출 물체가 사람이고, 최종 검출 물체의 위치가 707호 출입구 부근인 경우, 지능형 영상 분석 장치(200)는 "707호 출입구 5m 근처에서 사람 넘어짐 발생"이라는 탐지 결과를 문장 형태로 생성할 수 있다. 그리고 지능형 영상 분석 장치(200)는 생성된 문장 형태의 탐지 결과를 음성 또는 문자로 출력하거나, 지도, 도면 및 GIS 상에 문자로 표시할 수도 있다. 6, if the final detected object is a person and the position of the final detected object is near the entrance to the 707, the intelligent
그리고 지능형 영상 분석 장치(200)는 "7층 계단 근처에서 침입자가 감지되었습니다."와 같은 문장 형태로 표현된 탐지 결과를, 시설물 담당자 또는 최종 검출 물체와 근거리에 위치한 직원의 단말기로 이메일 또는 문자 형태로 전송할 수도 있다. Then, the intelligent
이와 같이, 시설물 위치 정보를 이용하여 최종 검출 물체에 상응하는 사건의 탐지 결과를 생성함으로써, 지능형 영상 분석 장치(200)는 모니터링 요원 및 관리자가 사건의 위치를 쉽게 파악할 수 있도록 한다. Thus, by generating the detection result of the event corresponding to the final detected object using the facility location information, the intelligent
본 발명의 실시예에 따른 지능형 영상 분석 장치(200)가 수행하는 특징 정보 비교 방법은, 종래의 픽셀 단위 특징 정보를 이용하는 영상 처리 방법에 비하여 촬영 장치의 위치 및 자세 정보에 따른 영향을 적게 받는다. The feature information comparison method performed by the intelligent
일반적으로, 영상 정보에 포함된 물체는 투영 왜곡(perspective projection distorsion) 현상이 발생한다. 따라서 설치된 촬영 장치와 승강장 사이의 거리가 멀 경우 사람이 작게 보이고, 거리가 가까울수록 사람이 크게 보인다. 또한, 촬영 장치의 각도에 따라, 이동하는 사람의 크기가 다르게 보인다. Generally, perspective projection distortion occurs in an object included in image information. Therefore, if the distance between the installed device and the platform is long, the person looks small, and the closer the distance, the bigger the person is. In addition, the size of a moving person is different depending on the angle of the photographing apparatus.
이로 인하여 영상 정보 내의 픽셀 단위로 물체의 크기, 위치 및 속도와 같은 특징값을 표현할 경우, 촬영 장치의 설치 위치 및 자세 정보에 따라 물체의 특징값이 달라지므로, 검출된 물체가 오탐지된 물체인지 여부를 판단하기 어렵다. Accordingly, when the feature values such as the size, position, and speed of the object are expressed in units of pixels in the image information, the feature values of the object are changed according to the installation position and attitude information of the image capturing apparatus, It is difficult to judge whether it is.
그러나, 본 발명의 일실시예에 따른 지능형 영상 분석 장치(200)는 미터와 같은 길이 단위의 특징 정보를 이용하므로, 특징 정보의 변화가 크기 않다. 따라서, 지능형 영상 분석 장치(200)는 용이하게 2차원 평면 상에 위치하지 않은 물체 및 탐지 대상과 특징 정보가 상이한 물체를 오탐지 물체로 판단할 수 있다. 또한, 복수의 촬영 장치가 다양한 자세로 설치된 환경에서, 동일한 알고리즘으로 다양한 영상 정보를 분석할 수 있으므로, 실 생활에 더욱 편리하게 적용될 수 있다. However, since the intelligent
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.7 is a block diagram illustrating a computer system in accordance with an embodiment of the present invention.
도 7을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(700)에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(700)은 버스(720)를 통하여 서로 통신하는 하나 이상의 프로세서(710), 메모리(730), 사용자 입력 장치(740), 사용자 출력 장치(750) 및 스토리지(760)를 포함할 수 있다. 또한, 컴퓨터 시스템(700)은 네트워크(780)에 연결되는 네트워크 인터페이스(770)를 더 포함할 수 있다. 프로세서(710)는 중앙 처리 장치 또는 메모리(730)나 스토리지(760)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(730) 및 스토리지(760)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(731)이나 RAM(732)을 포함할 수 있다. Referring to FIG. 7, embodiments of the present invention may be implemented in a
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.Thus, embodiments of the invention may be embodied in a computer-implemented method or in a non-volatile computer readable medium having recorded thereon instructions executable by the computer. When computer readable instructions are executed by a processor, the instructions readable by the computer are capable of performing the method according to at least one aspect of the present invention.
이상에서와 같이 본 발명에 따른 지능형 영상 분석 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. As described above, the configuration and method of the embodiments described above can be applied to the intelligent image analyzing apparatus and method according to the present invention, All or some of them may be selectively combined.
100: 촬영 장치
200: 지능형 영상 분석 장치
210: 물체 검출부
220: 특징 정보 추출부
230: 오탐지 필터링부
240: 탐지 결과 생성부
310: 특징 정보 DB
350: 시설물 위치 DB
400: 탐지 결과 출력 장치
700: 컴퓨터 시스템
710: 프로세서
720: 버스
730: 메모리
731: 롬
732: 램
740: 사용자 입력 장치
750: 사용자 출력 장치
760: 스토리지
770: 네트워크 인터페이스
780: 네트워크100: photographing apparatus 200: intelligent image analyzing apparatus
210: Object detection unit 220: Feature information extraction unit
230: false detection filtering unit 240: detection result generating unit
310: Feature information DB 350: Facility location DB
400: detection result output device 700: computer system
710: Processor 720: Bus
730: Memory 731: ROM
732: RAM 740: user input device
750: user output device 760: storage
770: Network interface 780: Network
Claims (20)
상기 영상 정보를 촬영한 촬영 장치의 3차원 위치 및 자세 정보를 이용하여, 검출된 상기 물체의 특징 정보를 추출하는 특징 정보 추출부,
추출된 상기 특징 정보를 이용하여, 상기 물체의 3D 위치 필터링 및 특징 정보 필터링 중 적어도 하나를 포함하는 오탐지 필터링을 수행하는 오탐지 필터링부, 그리고
상기 오탐지 필터링 결과 상기 물체가 최종 검출 물체인 것으로 판단된 경우, 상기 최종 검출 물체가 탐지되었음을 알리는 탐지 결과를 생성하는 탐지 결과 생성부
를 포함하는 지능형 영상 분석 장치. An object detection unit for detecting an object included in the image information,
A feature information extracting unit that extracts feature information of the object detected using the three-dimensional position and attitude information of the photographing apparatus that photographs the image information,
A false positives filtering unit that performs false positives filtering including at least one of 3D positional filtering and feature information filtering of the object using the extracted feature information;
A detection result generation unit for generating a detection result indicating that the final detection object is detected when it is determined that the object is the final detection object as a result of the false detection filtering,
And an intelligent image analyzer.
상기 3D 위치 필터링은,
상기 물체가 2차원 평면 상에 위치하는지 여부를 확인하는 것을 특징으로 하는 지능형 영상 분석 장치. The method according to claim 1,
Wherein the 3D position filtering comprises:
Dimensional plane to determine whether the object is located on a two-dimensional plane.
상기 특징 정보 필터링은,
상기 물체의 특징 정보가 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것을 특징으로 하는 지능형 영상 분석 장치. 3. The method of claim 2,
The feature information filtering may include:
And judges whether the feature information of the object is included in the feature information range of the detection object.
상기 특징 정보 필터링은,
상기 탐지 대상의 특징 정보와 상기 물체의 특징 정보 간 확률적 거리를 이용하여, 상기 물체의 특징 정보가 상기 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것을 특징으로 하는 지능형 영상 분석 장치. The method of claim 3,
The feature information filtering may include:
Wherein the determination unit determines whether the feature information of the object is included in the feature information range of the detection object using the probabilistic distance between the feature information of the detection object and the feature information of the object.
상기 특징 정보 필터링은,
상기 3D 위치 필터링을 수행한 결과, 상기 물체가 상기 2차원 평면 상에 위치하는 것으로 판단된 경우 수행되는 것을 특징으로 하는 지능형 영상 분석 장치. The method of claim 3,
The feature information filtering may include:
Wherein the step of performing the 3D position filtering is performed when it is determined that the object is located on the two-dimensional plane.
상기 탐지 대상의 특징 정보 범위는,
기 촬영된 상기 영상 정보들을 분석한 결과를 통계적으로 추정하여 생성된 것을 특징으로 하는 지능형 영상 분석 장치. The method of claim 3,
Characterized in that the feature information range of the detection object includes:
And analyzing the captured image information and statistically estimating the result of the analysis.
상기 탐지 결과 생성부는,
지도, 도면 및 지리 정보 체계(GIS) 중 적어도 하나를 이용하여, 상기 최종 검출 물체의 상기 탐지 결과를 출력하는 것을 특징으로 하는 지능형 영상 분석 장치. The method according to claim 1,
Wherein the detection result generation unit comprises:
And outputs the detection result of the finally detected object using at least one of a map, a drawing, and a geographic information system (GIS).
상기 탐지 결과 생성부는,
시설물 위치 DB를 이용하여, 상기 최종 검출 물체의 상기 탐지 결과를 문장 형태로 출력하는 것을 특징으로 하는 지능형 영상 분석 장치. The method according to claim 1,
Wherein the detection result generation unit comprises:
And outputs the detection result of the final detection object in a sentence form using the facility location DB.
상기 특징 정보는,
검출된 상기 물체의 위치, 크기, 이동 궤적 및 이동 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 지능형 영상 분석 장치. The method according to claim 1,
Wherein the feature information comprises:
Wherein the at least one of the position, the size, the moving locus, and the moving speed of the object is detected.
상기 특징 정보는,
미터 및 마일 중 적어도 어느 하나의 길이 단위인 것을 특징으로 하며,
상기 탐지 결과는,
상기 길이 단위를 이용하여 상기 최종 검출 물체에 상응하는 사건의 발생을 알리도록 생성되는 것을 특징으로 하는 지능형 영상 분석 장치. 10. The method of claim 9,
Wherein the feature information comprises:
And a unit of length of at least one of a meter and a mile,
As a result of the detection,
Wherein the generation unit is generated to inform occurrence of an event corresponding to the final detected object using the length unit.
영상 정보에 포함된 물체를 검출하는 단계,
상기 영상 정보를 촬영한 촬영 장치의 3차원 위치 및 자세 정보를 이용하여, 검출된 상기 물체의 특징 정보를 추출하는 단계,
추출된 상기 특징 정보를 이용하여, 상기 물체의 3D 위치 필터링 및 특징 정보 필터링 중 적어도 하나를 포함하는 오탐지 필터링을 수행하는 단계, 그리고
상기 오탐지 필터링 결과 상기 물체가 최종 검출 물체인 것으로 판단된 경우, 상기 최종 검출 물체가 탐지되었음을 알리는 탐지 결과를 생성하는 단계
를 포함하는 지능형 영상 분석 방법. In an intelligent image analysis method performed by an intelligent image analysis apparatus,
Detecting an object included in the image information,
Extracting feature information of the detected object using the three-dimensional position and attitude information of the photographing apparatus photographing the image information,
Performing false detection filtering including at least one of 3D position filtering and feature information filtering of the object using the extracted feature information, and
Generating a detection result indicating that the final detected object has been detected when it is determined that the object is the final detected object as a result of the false detection filtering
The method comprising the steps of:
상기 3D 위치 필터링은,
상기 물체가 2차원 평면 상에 위치하는지 여부를 확인하는 것을 특징으로 하는 지능형 영상 분석 방법. 12. The method of claim 11,
Wherein the 3D position filtering comprises:
Wherein the step of determining whether the object is located on a two-dimensional plane.
상기 특징 정보 필터링은,
상기 물체의 특징 정보가 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것을 특징으로 하는 지능형 영상 분석 방법. 13. The method of claim 12,
The feature information filtering may include:
And determining whether the feature information of the object is included in the feature information range of the detection object.
상기 특징 정보 필터링은,
상기 탐지 대상의 특징 정보와 상기 물체의 특징 정보 간 확률적 거리를 이용하여, 상기 물체의 특징 정보가 상기 탐지 대상의 특징 정보 범위에 포함되는지 여부를 판단하는 것을 특징으로 하는 지능형 영상 분석 방법. 14. The method of claim 13,
The feature information filtering may include:
Wherein whether the feature information of the object is included in the feature information range of the object to be detected is determined using the probabilistic distance between the feature information of the object to be detected and the feature information of the object.
상기 특징 정보 필터링은,
상기 3D 위치 필터링을 수행한 결과, 상기 물체가 상기 2차원 평면 상에 위치하는 것으로 판단된 경우 수행되는 것을 특징으로 하는 지능형 영상 분석 방법. 14. The method of claim 13,
The feature information filtering may include:
Wherein the step of performing the 3D position filtering is performed when it is determined that the object is located on the two-dimensional plane.
상기 탐지 대상의 특징 정보 범위는,
기 촬영된 상기 영상 정보들을 분석한 결과를 통계적으로 추정하여 생성된 것을 특징으로 하는 지능형 영상 분석 방법. 14. The method of claim 13,
Characterized in that the feature information range of the detection object includes:
Wherein the image information is generated by statistically estimating a result of analyzing the captured image information.
상기 탐지 결과를 생성하는 단계는,
지도, 도면 및 지리 정보 체계(GIS) 중 적어도 하나를 이용하여, 상기 최종 검출 물체의 상기 탐지 결과를 출력하는 것을 특징으로 하는 지능형 영상 분석 방법. 12. The method of claim 11,
The generating of the detection result comprises:
And outputting the detection result of the finally detected object using at least one of a map, a drawing, and a geographic information system (GIS).
상기 탐지 결과를 생성하는 단계는,
시설물 위치 DB를 이용하여, 상기 최종 검출 물체의 상기 탐지 결과를 문장 형태로 출력하는 것을 특징으로 하는 지능형 영상 분석 방법. 12. The method of claim 11,
The generating of the detection result comprises:
And outputting the detection result of the finally detected object in a sentence form using the facility location DB.
상기 특징 정보는,
검출된 상기 물체의 위치, 크기, 이동 궤적 및 이동 속도 중 적어도 하나를 포함하는 것을 특징으로 하는 지능형 영상 분석 방법. 12. The method of claim 11,
Wherein the feature information comprises:
Wherein the moving object includes at least one of a position, a size, a moving locus, and a moving speed of the detected object.
상기 특징 정보는,
미터 및 마일 중 적어도 어느 하나의 길이 단위인 것을 특징으로 하며,
상기 탐지 결과는,
상기 길이 단위를 이용하여 상기 최종 검출 물체에 상응하는 사건의 발생을 알리도록 생성되는 것을 특징으로 하는 지능형 영상 분석 방법.20. The method of claim 19,
Wherein the feature information comprises:
And a unit of length of at least one of a meter and a mile,
As a result of the detection,
And generating an event corresponding to the final detected object using the length unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160078085A KR102407202B1 (en) | 2016-06-22 | 2016-06-22 | Apparatus and method for intelligently analyzing video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160078085A KR102407202B1 (en) | 2016-06-22 | 2016-06-22 | Apparatus and method for intelligently analyzing video |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180000205A true KR20180000205A (en) | 2018-01-02 |
KR102407202B1 KR102407202B1 (en) | 2022-06-10 |
Family
ID=61004612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160078085A KR102407202B1 (en) | 2016-06-22 | 2016-06-22 | Apparatus and method for intelligently analyzing video |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102407202B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241913A (en) * | 2019-12-19 | 2020-06-05 | 北京文安智能技术股份有限公司 | Method, device and system for detecting falling of personnel |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05342497A (en) * | 1992-06-09 | 1993-12-24 | Mazda Motor Corp | Fault detecting device for vehicle |
JP2007226761A (en) * | 2006-01-26 | 2007-09-06 | Nippon Hoso Kyokai <Nhk> | Locus image composition device for image object, locus image display device for image object, and program therefor |
JP2007267294A (en) * | 2006-03-30 | 2007-10-11 | Hitachi Ltd | Moving object monitoring apparatus using a plurality of cameras |
KR20100097886A (en) | 2009-02-27 | 2010-09-06 | 숭실대학교산학협력단 | Scheme of extracting the geometry information of 3d object using multiple virtual planes |
KR20130128279A (en) * | 2012-05-16 | 2013-11-26 | 삼성테크윈 주식회사 | Apparatus and method for detecting object |
-
2016
- 2016-06-22 KR KR1020160078085A patent/KR102407202B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05342497A (en) * | 1992-06-09 | 1993-12-24 | Mazda Motor Corp | Fault detecting device for vehicle |
JP2007226761A (en) * | 2006-01-26 | 2007-09-06 | Nippon Hoso Kyokai <Nhk> | Locus image composition device for image object, locus image display device for image object, and program therefor |
JP2007267294A (en) * | 2006-03-30 | 2007-10-11 | Hitachi Ltd | Moving object monitoring apparatus using a plurality of cameras |
KR20100097886A (en) | 2009-02-27 | 2010-09-06 | 숭실대학교산학협력단 | Scheme of extracting the geometry information of 3d object using multiple virtual planes |
KR20130128279A (en) * | 2012-05-16 | 2013-11-26 | 삼성테크윈 주식회사 | Apparatus and method for detecting object |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111241913A (en) * | 2019-12-19 | 2020-06-05 | 北京文安智能技术股份有限公司 | Method, device and system for detecting falling of personnel |
Also Published As
Publication number | Publication date |
---|---|
KR102407202B1 (en) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11417134B2 (en) | Image analysis device, image analysis method, and recording medium | |
CN113256924A (en) | Monitoring system, monitoring method and monitoring device for rail train | |
US11776274B2 (en) | Information processing apparatus, control method, and program | |
JP6590609B2 (en) | Image analysis apparatus and image analysis method | |
CN107122743B (en) | Security monitoring method and device and electronic equipment | |
CN111160220B (en) | Deep learning-based parcel detection method and device and storage medium | |
JP2018156408A (en) | Image recognizing and capturing apparatus | |
CN112270253A (en) | High-altitude parabolic detection method and device | |
CN110544312A (en) | Video display method and device in virtual scene, electronic equipment and storage device | |
JP2023126352A (en) | Program, video monitoring method, and video monitoring system | |
KR20170006356A (en) | Method for customer analysis based on two-dimension video and apparatus for the same | |
JP4707019B2 (en) | Video surveillance apparatus and method | |
KR101560810B1 (en) | Space controled method and apparatus for using template image | |
KR102407202B1 (en) | Apparatus and method for intelligently analyzing video | |
JP2005284652A (en) | Video monitoring method and apparatus using moving vector | |
KR101669885B1 (en) | method of detecting pedestrian collision and IoT apparatus thereof | |
KR101355206B1 (en) | A count system of coming and going using image analysis and method thereof | |
Foresti et al. | Vehicle detection and tracking for traffic monitoring | |
KR102161342B1 (en) | Stream reasoning getting out of group surveilance system | |
KR102289550B1 (en) | Augmented reality information providing method and system using image deep learning for matching aerial image data and Geographic Information System data | |
KR102147678B1 (en) | Image merging stream reasoning surveilance method | |
KR102663282B1 (en) | Crowd density automatic measurement system | |
KR102557769B1 (en) | System for detect accident based on cctv using digital twin virtual model | |
JP2010250571A (en) | Person counting device | |
JP6954416B2 (en) | Information processing equipment, information processing methods, and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right |