KR101153481B1 - Pan-tilt-zoom camera and object detection method thereof - Google Patents

Pan-tilt-zoom camera and object detection method thereof Download PDF

Info

Publication number
KR101153481B1
KR101153481B1 KR1020100043805A KR20100043805A KR101153481B1 KR 101153481 B1 KR101153481 B1 KR 101153481B1 KR 1020100043805 A KR1020100043805 A KR 1020100043805A KR 20100043805 A KR20100043805 A KR 20100043805A KR 101153481 B1 KR101153481 B1 KR 101153481B1
Authority
KR
South Korea
Prior art keywords
image
background modeling
interest
motion
ghost
Prior art date
Application number
KR1020100043805A
Other languages
Korean (ko)
Other versions
KR20110124441A (en
Inventor
양휘석
조위덕
최유주
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020100043805A priority Critical patent/KR101153481B1/en
Publication of KR20110124441A publication Critical patent/KR20110124441A/en
Application granted granted Critical
Publication of KR101153481B1 publication Critical patent/KR101153481B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

PTZ(Pan/Tilt/Zoom) 카메라 및 그 카메라의 객체검출방법이 개시된다. 본 발명의 실시예에 따른 PTZ 카메라의 객체검출방법은, 입력 영상에 대하여 팬/틸트/줌 중 어느 하나에 의한 이벤트가 발생하였는가를 확인하는 단계; 이벤트가 발생한 경우 이벤트에 의해 변경된 입력 영상을 배경 영상으로 설정하고 설정된 배경 영상 및 현재 영상과의 적응적 배경 모델링 결과 영상을 구하는 단계; 및 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계를 포함한다.A PTZ (Pan / Tilt / Zoom) camera and an object detection method of the camera are disclosed. Object detection method of the PTZ camera according to an embodiment of the present invention, comprising: checking whether the event caused by any one of pan / tilt / zoom on the input image; Setting an input image changed by the event as a background image when an event occurs and obtaining an adaptive background modeling result image between the set background image and the current image; And detecting the object by removing the ghost effect from the adaptive background modeling result image using the motion history information.

Description

팬-틸트-줌 카메라 및 그 카메라의 객체 검출방법{PAN-TILT-ZOOM CAMERA AND OBJECT DETECTION METHOD THEREOF}Pan-Tilt-Zoom Camera and Object Detection Method {PAN-TILT-ZOOM CAMERA AND OBJECT DETECTION METHOD THEREOF}

본 발명은 PTZ(Pan Tilt Zoom) 카메라 및 그 카메라의 객체검출방법에 관한 것으로, 더욱 자세하게는 적응적 배경 모델링이 적용되는 PTZ 카메라에서 화면 변화가 발생한 경우 객체를 안정적으로 검출하는 기술에 관한 것이다.The present invention relates to a PTZ (Pan Tilt Zoom) camera and a method for detecting an object of the camera, and more particularly, to a technology for stably detecting an object when a screen change occurs in a PTZ camera to which adaptive background modeling is applied.

지능형 영상 감시 시스템에서 객체를 추적하기 전에 객체를 분리하고 검출하는 것은 추적을 성공적으로 수행하기 위한 중요한 전처리과정이다. 이러한 전처리 과정을 위해 주로 배경과 객체를 분리하는 배경 차분(Background Subtraction : BGS) 방법이 이용되었다. 이 방법은 고정 카메라에서 주로 사용되며, 입력 영상으로부터 기준이 되는 참조 배경 이미지를 구하여 현재 이미지를 픽셀 단위로 차연산 함으로서 배경과 객체를 분리하는 기술이며, 변화되는 배경을 주기적으로 갱신하거나 평균과 같은 확률적 방법으로 갱신하는 것을 적응적 배경 모델링이라 한다. In intelligent video surveillance system, separating and detecting objects before tracking them is an important preprocess for successful tracking. For this preprocessing, Background Subtraction (BGS) method is used to separate background and objects. This method is mainly used in fixed cameras, and it is a technology that separates the background and the object by obtaining the reference background image from the input image and calculating the difference of the current image by pixel, and periodically updates the background or changes the average Updating with a probabilistic method is called adaptive background modeling.

고정카메라는 영상 감시 시스템에서 특정 지역을 감시하기 위해 주로 사용된다. 반면 넓은 지역 감시에 있어 현재와 다른 방향, 특정 객체를 확대, 축소하기 위해 PTZ(Pan/Tilt/Zoom) 카메라가 사용된다.Fixed cameras are often used to monitor specific areas in video surveillance systems. In wide area surveillance, on the other hand, a PTZ (Pan / Tilt / Zoom) camera is used to zoom in and out of a specific object.

그러나, 적응적 배경 모델링 적용되는 PTZ 카메라는 도 1에 도시된 바와 같이 팬/틸트/줌으로 화면이 변경된 경우 변경된 화면을 배경 영상으로 적응하기 위해서 미리 설정된 파라미터 값에 의해 일정시간 동안 잘못된 적응적 배경 모델링 결과인 BGS 결과 영상을 보여준다. 이로 인해서 이 시간 동안 PTZ 카메라는 객체를 제대로 검출하지 못한다.
However, the PTZ camera applied to the adaptive background modeling has an incorrect adaptive background for a predetermined time due to a preset parameter value in order to adapt the changed screen to the background image when the screen is changed to pan / tilt / zoom as shown in FIG. 1. It shows the BGS result image which is the modeling result. This prevents the PTZ camera from properly detecting the object during this time.

변화되는 화면으로부터 객체를 안정적으로 검출하는 PTZ 카메라 및 그 카메라의 객체검출방법이 제안된다.A PTZ camera for stably detecting an object from a changing screen and an object detection method of the camera are proposed.

본 발명의 일 양상에 따른 PTZ 카메라의 객체검출방법은, 입력 영상에 대하여 팬/틸트/줌 중 어느 하나에 의한 이벤트가 발생하였는가를 확인하는 단계; 이벤트가 발생한 경우 이벤트에 의해 변경된 입력 영상을 배경 영상으로 설정하고 설정된 배경 영상 및 현재 영상과의 적응적 배경 모델링 결과 영상을 구하는 단계; 및 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계를 포함한다.An object detection method of a PTZ camera according to an aspect of the present invention, comprising: checking whether the event caused by any one of the pan / tilt / zoom on the input image; Setting an input image changed by the event as a background image when an event occurs and obtaining an adaptive background modeling result image between the set background image and the current image; And detecting the object by removing the ghost effect from the adaptive background modeling result image using the motion history information.

상기 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계는, 상기 적응적 배경 모델링 결과 영상을 픽셀 기반으로 갱신하는 단계; 와 상기 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계를 포함할 수 있다.The detecting of the object by removing the ghost effect from the adaptive background modeling result image may include: updating the adaptive background modeling result image on a pixel basis; And detecting an object by removing a ghost effect from the adaptive background modeling result image updated based on the pixel.

상기 적응적 배경 모델링 결과 영상을 픽셀 기반으로 갱신하는 단계는, 상기 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 모션이 발생 되지 않은 부분의 픽셀에 대하여 파라미터 값에 의해 주기적으로 배경을 갱신할 수 있다.The updating of the adaptive background modeling result image on a pixel basis may include periodically updating the background by using a parameter value with respect to pixels of a portion in which the motion is not generated in the adaptive background modeling result image using the motion history information. Can be.

상기 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계는, 상기 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상으로부터 그리드 기반으로 레이블링을 수행하는 단계; 상기 레이블링을 통한 정보를 바탕으로 불필요한 전경을 제거하고 유사 색상 배경을 가지는 객체의 관심 영역을 병합하는 단계; 및 객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에 대해서 모션 히스토리 정보를 이용하여 고스트와 정지 객체를 구분하는 단계를 포함할 수 있다.The detecting of the object by removing the ghost effect from the pixel-based updated adaptive background modeling result image may include: performing grid-based labeling from the pixel-based updated adaptive background modeling result image; Removing unnecessary foreground and merging regions of interest of objects having similar color backgrounds based on the information through the labeling; And distinguishing the ghost from the static object by using motion history information on the adaptive background modeling result image in which the ROIs of the objects are merged.

상기 객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에 대해서 모션 히스토리 정보를 이용하여 고스트와 정지 객체를 구분하는 단계는, 객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 만드는 단계; 상기 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 현재 영상 내 움직임이 발생하지 않은 관심 영역의 에지 이미지로부터의 거리지도와 비교해서 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 확인하는 단계; 및 확인결과 움직임이 발생하지 않은 객체가 고스트인 경우 해당 객체를 제거하고 움직임이 발생하지 않은 객체가 정지 객체인 경우 해당 객체에 대해 적응적 배경 모델링 결과영상에서 정지 객체임을 표시하여 출력하는 단계를 포함할 수 있다.In the adaptive background modeling result image in which the ROI of the object is merged, motion and ghost information are distinguished from each other by using motion history information. Creating an edge image for the uninterested region of interest; Comparing the edge image of the region of interest in which the movement does not occur with a distance map from the edge image of the region of interest in which the movement does not occur in the current image to determine whether the object having no movement is a ghost or a stationary object; And removing the corresponding object if the object that does not move is a ghost as a result of the check, and outputting by displaying that the object is a still object in the adaptive background modeling result image when the object that does not move is a stationary object. can do.

상기 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 현재 영상 내 움직임이 발생하지 않은 관심 영역의 에지 이미지로부터의 거리지도와 비교해서 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 확인하는 단계는, 상기 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 아래의 수학식을 이용하여 확인할 수 있다.Comparing the edge image of the region of interest in which the movement does not occur with the distance map from the edge image of the region of interest in which the movement does not occur in the current image to determine whether the object in which the movement does not occur is a ghost or a stationary object. In addition, whether or not the object in which the movement does not occur may be confirmed by using the following equation.

[수 학 식] [ Mathematical formula ]

Figure 112010030124724-pat00001
Figure 112010030124724-pat00001

이때, C는 상기 움직임이 발생하지 않은 배경 모델링 결과 영상에서의 관심 영역 내 에지 픽셀 수이고, S는 상기 배경 모델링 결과 영상 에지와 같은 위치의 현재 영상 거리지도 내 픽셀 값들의 합이고, V는 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역 내의 S의 값을 정규화한 값을 나타낸다. In this case, C is the number of edge pixels in the ROI in the background modeling result image in which the motion does not occur, S is the sum of pixel values in the current image distance map at the same position as the edge of the background modeling result, and V is the background. As a result of modeling, the normalized value of S in the ROI where no motion occurs in the image.

상기 배경 모델링 결과 영상에서 움직임이 발생하지 않는 관심 영역 내 S의 값을 정규화환 값은, 현재 영상과 설정된 배경 영상 내의 에지가 유사할수록 작아질 수 있다.As a result of the background modeling, the normalization value of S in the ROI where no motion occurs in the image may become smaller as the edges in the set background image are similar to the current image.

상기 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 현재 영상 내 움직임이 발생하지 않은 관심 영역의 에지 이미지로부터의 거리지도와 비교해서 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 확인하는 단계는, 상기 배경 모델링 결과 영상의 움직임이 발생하지 않은 관심 영역 크기에 따라 S의 값을 정규화한 값이 설정된 임계치보다 큰 경우 움직임이 발생하지 않은 객체를 고스트로 판단하고, 작은 경우 움직임이 발생하지 않은 객체를 정지 객체로 판단할 수 있다.Comparing the edge image of the region of interest in which the movement does not occur with the distance map from the edge image of the region of interest in which the movement does not occur in the current image to determine whether the object in which the movement does not occur is a ghost or a stationary object. In the background modeling, if the normalized value of S is larger than the set threshold value according to the size of the ROI where the motion of the image does not occur, the object that does not occur is determined as a ghost. Can be determined as a stationary object.

본 발명의 다른 양상에 따른 PTZ 카메라는, 입력 영상에 대하여 팬/틸트/줌 중 어느 하나에 의한 이벤트가 발생하였는가를 확인하는 이벤트 검사부; 이벤트가 발생한 경우 이벤트에 의해 변경된 입력 영상을 배경 영상으로 설정하고 설정된 배경 영상 및 현재 영상과의 적응적 배경 모델링 결과 영상을 구하는 배경 모델링부; 및 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 객체 검출부를 포함한다.
According to another aspect of the present invention, a PTZ camera includes: an event inspecting unit checking whether an event caused by any one of pan / tilt / zoom occurs with respect to an input image; A background modeling unit configured to set an input image changed by the event as a background image when the event occurs and obtain an adaptive background modeling result image between the set background image and the current image; And an object detector for detecting an object by removing a ghost effect from the adaptive background modeling result image using the motion history information.

본 발명의 실시예에 따른 PTZ 카메라 및 그 PTZ 카메라의 객체검출방법에 따르면, 입력 영상에 대하여 팬/틸트/줌 중 어느 하나에 의한 이벤트가 발생하였는가를 확인하고, 이벤트가 발생한 경우 이벤트에 의해 변경된 입력 영상을 배경 영상으로 설정하고 설정된 배경 영상 및 현재 영상과의 적응적 배경 모델링 결과 영상을 구하고 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출함으로써, 적응적 배경 모델링이 적용되는 PTZ 카메라에서 화면 변화가 발생한 경우 객체를 안정적으로 검출할 수 있다. According to the PTZ camera and the object detection method of the PTZ camera according to an embodiment of the present invention, it is confirmed whether the event by any one of the pan / tilt / zoom occurs for the input image, and if the event occurs changed by the event Adaptive background by setting input image as background image, obtaining adaptive background modeling result image with set background image and current image and removing ghost effect from adaptive background modeling result image using motion history information When a screen change occurs in a PTZ camera to which modeling is applied, an object can be stably detected.

도 1은 PTZ 카메라에서 팬/틸트/줌으로 화면이 변경된 경우의 적응적 배경 모델링 결과 영상을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 PTZ 카메라의 객체검출방법에 대한 플로차트이다.
도 3은 고스트 효과에 대한 예시를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 비모션 영역 기반 배경 갱신방법에 대한 플로차트이다.
도 5는 본 발명의 실시예에 따른 고스트/정지객체 구분방법에 대한 플로차트를 나타낸 도면이다.
도 6은 기존 적응적 모델링 결과 영상과 본 발명의 실시예에 따른 적응적 모델링 결과 영상을 비교한 도면이다.
도 7은 본 발명의 실시예에 따른 PTZ 카메라의 구성을 나타낸 도면이다.FIG. 1 is a diagram illustrating an adaptive background modeling result image when a screen is changed to pan / tilt / zoom in a PTZ camera.
2 is a flowchart of an object detection method of a PTZ camera according to an embodiment of the present invention.
3 is a diagram illustrating an example of a ghost effect.
4 is a flowchart of a non-motion region-based background update method according to an embodiment of the present invention.
5 is a flowchart illustrating a ghost / still object classification method according to an exemplary embodiment of the present invention.
6 is a diagram comparing an adaptive modeling result image with an adaptive modeling result image according to an embodiment of the present invention.
7 is a view showing the configuration of a PTZ camera according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명의 실시예를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification.

도 2는 본 발명의 실시예에 따른 PTZ 카메라의 객체검출방법에 대한 플로차트이다.2 is a flowchart of an object detection method of a PTZ camera according to an embodiment of the present invention.

도시된 바와 같이 PTZ 카메라는 입력 영상에 대하여 팬/틸트/줌 중 어느 하나에 의한 이벤트가 발생하였는가를 확인하여(S1), 이벤트가 발생한 경우 이벤트에 의해 변경된 입력 영상을 배경 영상으로 설정하고 설정된 배경 영상 및 현재 영상과의 적응적 배경 모델링 결과 영상을 구한다(S2). As shown in the figure, the PTZ camera checks whether an event by any one of pan / tilt / zoom occurs with respect to the input image (S1), and when the event occurs, sets the input image changed by the event as the background image and sets the background. An adaptive background modeling result image of the image and the current image is obtained (S2).

이렇게 설정된 배경 영상에 있는 객체가 이후의 입력 영상(설정된 배경 영상 이후에 입력되는 영상으로 현재 영상이라 하기로 함)에서 움직임이 발생하는 경우 BGS 결과 영상에서 잘못된 전경이 검출되는 고스트 효과가 발생할 수 있다. 이러한 고스트 효과를 설명하기 위한 도면이 도 3에 도시되어 있다. 도 3에 도시된 바와 같이, 배경 영상 내의 객체가 현재 영상 내에서는 움직여 다른 위치에 있고, 현재 영상에서 배경 영상을 차감하면 원치 않는 객체 즉 움직이기 이전 배경 영상 내의 객체가 적응적 배경 모델링 결과 영상(BGS 결과 영상)에서 검출되는데, 이를 고스트 효과라 한다.When an object in the background image set as described above is moved in a subsequent input image (an image input after the set background image, referred to as a current image), a ghost effect may occur in which an incorrect foreground is detected in the BGS result image. . A diagram for explaining this ghost effect is shown in FIG. 3. As shown in FIG. 3, when an object in the background image is moved to another position in the current image, and subtracts the background image from the current image, an unwanted object, that is, an object in the background image before moving, is adaptive background modeling result image ( BGS result image), which is called the ghost effect.

따라서 이러한 고스트 효과를 제거하기 위해서 PTZ 카메라는 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상(BGS 결과 영상)에서 고스트 효과를 제거하여 객체를 검출한다(S3). 이에 대해서 구체적으로 살펴보기로 한다.Accordingly, in order to remove such ghost effects, the PTZ camera detects an object by removing ghost effects from the adaptive background modeling result image (BGS result image) using motion history information (S3). This will be described in detail.

PTZ 카메라는 적응적 배경 모델링 결과 영상을 픽셀 기반으로 갱신한다. 이때, PTZ 카메라는 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상, 즉 설정된 배경 영상과 현재 영상을 비교한 결과 영상(BGS 결과 영상)에서 모션이 발생 되지 않은 부분의 픽셀에 대하여, 파라미터 값, 예를 들어 영상 프레임 간격 또는 타이머 값의 주기로 배경을 갱신한다. 이는 비모션 영역 기반으로 배경을 갱신하는 과정에서 처리되지 못한 움직임이 있는 객체가 배경으로 흡수되지 않도록 하기 위해서이다. The PTZ camera updates pixels based on the adaptive background modeling result. At this time, the PTZ camera uses adaptive background modeling result image using motion history information, that is, a parameter value, for a pixel of a part where motion is not generated in the result image (BGS result image) comparing the set background image with the current image. For example, the background is updated at an image frame interval or a cycle of a timer value. This is to prevent an object with an unprocessed movement from being absorbed into the background while updating the background based on the non-motion region.

이후 PTZ 카메라는 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출한다.After that, the PTZ camera detects the object by removing the ghost effect from the image of the adaptive background modeling result updated on a pixel basis.

이에 대한 구체적인 과정이 도 4의 도시된 비모션 영역 기반 배경 갱신방법에 도시되어 있다. 도 4에 도시된 바와 같이 PTZ 카메라는 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상으로부터 그리드 기반의 레이블링을 수행한다(S10). 이 그리드 기반의 레이블링을 통하여 배경과 분리되어진 전경에 대한 정보를 획득할 수 있게 된다. A detailed process for this is illustrated in the non-motion region based background update method of FIG. 4. As shown in FIG. 4, the PTZ camera performs grid-based labeling from the adaptive background modeling result image updated on a pixel basis (S10). Through grid-based labeling, it is possible to obtain information about the foreground separated from the background.

PTZ 카메라는 레이블링을 통한 정보를 바탕으로 불필요한 전경을 제거하고 유사 색상 배경을 가지는 객체의 관심 영역을 병합한다(S20). The PTZ camera removes unnecessary foreground based on the information through labeling and merges the ROIs of the object having a similar color background (S20).

PTZ 카메라는 객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에 대해서 모션 히스토리 정보를 이용하여 고스트와 정지 객체를 구분한다(S30). 이러한 고스트/정지객체 구분방법에 대한 플로차트가 도 5에 도시되어 있다.The PTZ camera distinguishes the ghost from the static object by using motion history information on the adaptive background modeling result image in which the ROIs of the objects are merged (S30). A flowchart of the ghost / stop object classification method is shown in FIG. 5.

PTZ 카메라는 객체의 관심영역이 병합된 적응적 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지와 거리지도를 만든다(S31).The PTZ camera generates an edge image and a distance map of the region of interest in which motion does not occur in the result of adaptive background modeling in which the region of interest of the object is merged (S31).

이후 PTZ 카메라는 상기 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 현재 영상 내 움직임이 발생하지 않은 관심 영역의 에지 이미지로부터의 거리지도와 비교해서 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 확인하다(S32). 이때, PTZ 카메라는 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 아래의 수학식 1을 통하여 파악할 수 있다.Afterwards, the PTZ camera compares the edge image of the ROI where the movement does not occur with the distance map from the edge image of the ROI where the movement does not occur in the current image. Check (S32). In this case, the PTZ camera may determine whether the object in which the motion does not occur is a ghost or a static object through Equation 1 below.

Figure 112010030124724-pat00002
Figure 112010030124724-pat00002

이때, C는 상기 움직임이 발생하지 않은 관심 영역 내 에지 픽셀 수이고, S는 상기 배경 모델링 결과 영상 에지와 같은 위치의 현재 영상 거리지도 내 픽셀 값들의 합이고, V는 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역 내의 S의 값을 정규화한 값을 나타낸다. 그리고 V는 현재 영상과 설정된 배경 영상 내의 에지가 유사할수록 작아질 수 있다.In this case, C is the number of edge pixels in the ROI where the motion does not occur, S is the sum of pixel values in the current image distance map at the same position as the image edge as the background modeling result, and V is the motion in the background modeling result image. It represents the normalized value of S in the region of interest that did not occur. V may become smaller as the edges in the current image and the set background image become similar.

위의 수학식 1에서 V가 설정된 임계치보다 큰 경우 PTZ 카메라는 움직임이 발생하지 않은 객체를 고스트로 판단하여 제거하고(S33), V가 설정된 임계치보다 작은 경우 PTZ 카메라는 움직임이 발생하지 않은 객체를 정지 객체로 판단하여 움직임이 발생하지 않은 객체에 대해서, 배경 갱신을 수행하지 않으며 정지 객체임을 표시하여 출력한다(S34). 이를 통하여 도 6의 (b)에 도시된 본 발명의 실시예에 따른 적응적 배경 모델링 영상(BGS 결과 영상)을 도 6의 (a)의 기존 적응적 배경 모델링 영상과 비교하여 볼 때 고스트가 제거되었음을 알 수 있다.In the above Equation 1, when the V is greater than the set threshold, the PTZ camera determines that the object does not occur as a ghost and removes it (S33). When the V is smaller than the set threshold, the PTZ camera detects the object where the movement does not occur. The object is determined as a stationary object and does not generate a background update without displaying a background object. Through this, the ghost is removed when the adaptive background modeling image (BGS result image) according to the embodiment of the present invention shown in FIG. 6 (b) is compared with the existing adaptive background modeling image of FIG. It can be seen that.

나아가, PTZ 카메라는 움직임이 발생하지 않은 객체가 정지 객체인 경우 이를 나타내기 위한 시각이진 이미지를 움직임이 발생하지 않은객체 상에 표시하여 화면에 출력할 수 있다. 이를 통하여 사용자는 움직임이 발생하지 않은 객체가 정지 객체임을 더욱 분명하게 확인할 수 있게 된다.
In addition, the PTZ camera may display a visual binary image for indicating that the motion-free object is a still object and display it on the screen where the motion does not occur. Through this, the user can more clearly confirm that the object in which the movement does not occur is a still object.

도 7은 본 발명의 실시예에 따른 PTZ 카메라의 구성을 나타낸 도면이다.7 is a view showing the configuration of a PTZ camera according to an embodiment of the present invention.

도시된 바와 같이, 본 발명의 실시예에 따른 PTZ 카메라는 이벤트 검사부(1), 배경 모델링부(2) 및 객체 검출부(3)를 포함한다.As shown, the PTZ camera according to the embodiment of the present invention includes an event inspection unit 1, a background modeling unit 2 and the object detection unit (3).

이벤트 검사부(1)는 입력 영상에 대하여 팬/틸트/줌 중 어느 하나에 의한 이벤트가 발생하였는가를 확인한다.The event inspecting unit 1 checks whether an event by any one of pan / tilt / zoom occurs with respect to the input image.

배경 모델링부(2)는 이벤트가 발생한 경우 이벤트에 의해 변경된 입력 영상을 배경 영상으로 설정하고 설정된 배경 영상 및 현재 영상과의 적응적 배경 모델링 결과 영상을 구한다.When the event occurs, the background modeling unit 2 sets an input image changed by the event as a background image and obtains an adaptive background modeling result image between the set background image and the current image.

객체 검출부(3)는 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상(BGS 결과 영상)에서 고스트 효과를 제거하여 객체를 검출한다. 객체 검출부(3)의 객체 검출동작은 도 4 및 도 5에 도시된 바와 같으므로 설명을 생략하기로 한다.
The object detector 3 detects an object by removing a ghost effect from an adaptive background modeling result image (BGS result image) using motion history information. Since the object detection operation of the object detection unit 3 is as shown in Figs. 4 and 5, description thereof will be omitted.

이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
So far, the present invention has been described with reference to the embodiments. Those skilled in the art will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. Therefore, the scope of the present invention should not be construed as being limited to the above-described examples, but should be construed to include various embodiments within the scope of the claims and equivalents thereof.

Claims (14)

입력 영상에 대하여 팬/틸트/줌 중 어느 하나에 의한 이벤트가 발생하였는가를 확인하는 단계;
이벤트가 발생한 경우 이벤트에 의해 변경된 입력 영상을 배경 영상으로 설정하고 설정된 배경 영상 및 현재 영상과의 적응적 배경 모델링 결과 영상을 구하는 단계; 및
모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계를 포함하는, PTZ 카메라의 객체검출방법.Checking whether an event by any one of pan / tilt / zoom occurs with respect to the input image;
Setting an input image changed by the event as a background image when an event occurs and obtaining an adaptive background modeling result image between the set background image and the current image; And
And detecting the object by removing the ghost effect from the adaptive background modeling result image using the motion history information. 제 1 항에 있어서,
상기 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계는,
상기 적응적 배경 모델링 결과 영상을 픽셀 기반으로 갱신하는 단계; 와
상기 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계를 포함하는, PTZ 카메라의 객체검출방법.The method of claim 1,
Detecting an object by removing a ghost effect from the adaptive background modeling result image,
Updating the adaptive background modeling result image on a pixel basis; Wow
And detecting an object by removing a ghost effect from the adaptive background modeling result image updated based on the pixel. 제 2 항에 있어서,
상기 적응적 배경 모델링 결과 영상을 픽셀 기반으로 갱신하는 단계는,
상기 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 모션이 발생 되지 않은 부분의 픽셀에 대하여 파라미터 값의 주기로 배경을 갱신하는, PTZ 카메라의 객체검출방법.The method of claim 2,
The updating of the adaptive background modeling result image based on pixels may include:
Adaptive background modeling by using the motion history information as a result of updating the background in the period of the parameter value for the pixel of the motion is not generated in the image, object detection method of the PTZ camera. 제 2 항에 있어서,
상기 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 단계는,
상기 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상으로부터 그리드 기반으로 레이블링을 수행하는 단계;
상기 레이블링을 통한 정보를 바탕으로 불필요한 전경을 제거하고 유사 색상 배경을 가지는 객체의 관심 영역을 병합하는 단계; 및
객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에 대해서 모션 히스토리 정보를 이용하여 고스트와 정지 객체를 구분하는 단계를 포함하는, PTZ 카메라의 객체검출방법.The method of claim 2,
Detecting an object by removing a ghost effect from the image of the adaptive background modeling result updated based on the pixel,
Performing grid-based labeling from the pixel-based updated adaptive background modeling result image;
Removing unnecessary foreground and merging regions of interest of objects having similar color backgrounds based on the information through the labeling; And
And classifying the ghost and the static object using motion history information on the adaptive background modeling result image in which the region of interest of the object is merged. 제 4 항에 있어서,
상기 객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에 대해서 모션 히스토리 정보를 이용하여 고스트와 정지 객체를 구분하는 단계는,
객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 만드는 단계;
상기 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 현재 영상 내 움직임이 발생하지 않은 관심 영역의 에지 이미지로부터의 거리지도와 비교해서 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 확인하는 단계; 및
확인결과 움직임이 발생하지 않은 객체가 고스트인 경우 해당 객체를 제거하고 움직임이 발생하지 않은 객체가 정지 객체인 경우 해당 객체에 대해 적응적 배경 모델링 영상에서 정지 객체임을 표시하여 출력하는 단계를 포함하는, PTZ 카메라의 객체검출방법.The method of claim 4, wherein
In the adaptive background modeling result image in which the ROIs of the objects are merged, the ghost and the static object are distinguished by using motion history information.
Creating an edge image of a region of interest in which motion does not occur in the adaptive background modeling result image in which the region of interest of the object is merged;
Comparing the edge image of the region of interest in which the movement does not occur with a distance map from the edge image of the region of interest in which the movement does not occur in the current image to determine whether the object having no movement is a ghost or a stationary object; And
And removing the corresponding object if the object that has not been moved is a ghost as a result of the check, and outputting by displaying that the object is not a motion as a still object in an adaptive background modeling image for the object. Object Detection Method of PTZ Camera. 제 5 항에 있어서,
상기 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 현재 영상 내 움직임이 발생하지 않은 관심 영역의 에지 이미지로부터의 거리지도와 비교해서 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 확인하는 단계는,
상기 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 아래의 수학식을 이용하여 확인하는, PTZ 카메라의 객체검출방법.
[수 학 식]
Figure 112011094578537-pat00003

이때, C는 상기 움직임이 발생하지 않은 관심 영역 내 에지 픽셀 수이고, S는 상기 배경 모델링 결과 영상 에지와 같은 위치의 현재 영상 거리지도 내 픽셀 값들의 합이고, V는 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역 내의 S의 값을 정규화한 값을 나타낸다. The method of claim 5, wherein
Comparing the edge image of the region of interest in which the movement does not occur with the distance map from the edge image of the region of interest in which the movement does not occur in the current image to determine whether the object in which the movement does not occur is a ghost or a stationary object. ,
The object detection method of the PTZ camera to check whether the object does not occur movement is a ghost or a static object using the following equation.
[ Mathematical formula ]
Figure 112011094578537-pat00003

In this case, C is the number of edge pixels in the ROI where the motion does not occur, S is the sum of pixel values in the current image distance map at the same position as the image edge as the background modeling result, and V is the motion in the background modeling result image. It represents the normalized value of S in the region of interest that did not occur. 제 6 항에 있어서,
상기 배경 모델링 결과 영상에서 움직임이 발생하지 않는 관심 영역 내 S의 값을 정규화환 값은, 현재 영상과 설정된 배경 영상 내의 에지가 유사할수록 작아지는, PTZ 카메라의 객체검출방법.The method according to claim 6,
The normalization value of S in the ROI where no motion occurs in the image as a result of the background modeling becomes smaller as the edge in the set background image is similar to the current image. 제 6 항에 있어서,
상기 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 현재 영상 내 움직임이 발생하지 않은 관심 영역의 에지 이미지로부터의 거리지도와 비교해서 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 확인하는 단계는,
상기 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역 내의 S의 값을 정규화한 값이 설정된 임계치보다 큰 경우 움직임이 발생하지 않은 객체를 고스트로 판단하고, 작은 경우 움직임이 발생하지 않은 객체를 정지 객체로 판단하는, PTZ 카메라의 객체검출방법.The method according to claim 6,
Comparing the edge image of the region of interest in which the movement does not occur with the distance map from the edge image of the region of interest in which the movement does not occur in the current image to determine whether the object in which the movement does not occur is a ghost or a stationary object. ,
As a result of the background modeling, if the normalized value of S in the region of interest does not occur in the image is greater than a predetermined threshold, the object does not generate motion as a ghost. Determined by the object detection method of the PTZ camera. 입력 영상에 대하여 팬/틸트/줌 중 어느 하나에 의한 이벤트가 발생하였는가를 확인하는 이벤트 검사부;
이벤트가 발생한 경우 이벤트에 의해 변경된 입력 영상을 배경 영상으로 설정하고 설정된 배경 영상 및 현재 영상과의 적응적 배경 모델링 결과 영상을 구하는 배경 모델링부; 및
모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는 객체 검출부를 포함하는, PTZ 카메라.An event inspecting unit which checks whether an event by any one of pan / tilt / zoom occurs with respect to the input image;
A background modeling unit configured to set an input image changed by the event as a background image when the event occurs and obtain an adaptive background modeling result image between the set background image and the current image; And
PTZ camera including an object detector for detecting the object by removing the ghost effect from the adaptive background modeling result image using the motion history information. 제 9 항에 있어서,
상기 객체 검출부는,
상기 적응적 배경 모델링 결과 영상을 픽셀 기반으로 갱신하고, 상기 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상에서 고스트 효과를 제거하여 객체를 검출하는, PTZ 카메라.The method of claim 9,
The object detector,
And updating the adaptive background modeling result image on a pixel basis, and detecting an object by removing a ghost effect from the updated adaptive background modeling result image on a pixel basis. 제 10 항에 있어서,
상기 객체 검출부는,
상기 모션 히스토리 정보를 이용하여 적응적 배경 모델링 결과 영상에서 모션이 발생 되지 않은 부분의 픽셀에 대하여 파라미터 값의 주기로 배경을 갱신하는, PTZ 카메라.11. The method of claim 10,
The object detector,
The camera updates the background with a period of a parameter value with respect to the pixel of the part in which the motion is not generated in the adaptive background modeling result image by using the motion history information. 제 10 항에 있어서,
상기 객체 검출부는,
상기 픽셀 기반으로 갱신된 적응적 배경 모델링 결과 영상으로부터 그리드 기반으로 레이블링을 수행하고 상기 레이블링을 통한 정보를 바탕으로 불필요한 전경을 제거하고 유사 색상 배경을 가지는 객체의 관심 영역을 병합하고, 객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에 대해서 모션 히스토리 정보를 이용하여 고스트와 정지 객체를 구분하는, PTZ 카메라.11. The method of claim 10,
The object detector,
Adaptive background modeling results based on the pixel-based updated labeling based on the grid, remove unnecessary foreground based on the information through the labeling, merge the region of interest of the object having a similar color background, the region of interest of the object A PTZ camera for distinguishing ghosts and still objects using motion history information for the merged adaptive background modeling result image. 제 12 항에 있어서,
상기 객체 검출부는,
객체의 관심 영역이 병합된 적응적 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 만들고 상기 움직임이 발생하지 않은 관심 영역에 대한 에지 이미지를 현재 영상 내 움직임이 발생하지 않은 관심 영역의 에지 이미지로부터의 거리지도와 비교해서 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 확인하고 확인결과 움직임이 발생하지 않은 객체가 고스트인 경우 해당 객체를 제거하고 움직임이 발생하지 않은 객체가 정지 객체인 경우 해당 객체에 대해 적응적 배경 모델링에서 정지 객체임을 표시하여 출력하는, PTZ 카메라.The method of claim 12,
The object detector,
Adaptive background modeling result of merging of the region of interest of the object creates an edge image of the region of interest without motion in the image, and creates an edge image of the region of interest without motion with the region of interest in the current image. Compares the distance map from the edge image of to determine if the object does not move is ghost or stationary object and if the object does not move is ghost, the object is removed and the object does not move. In case of an object, a PTZ camera that indicates and outputs a static object in adaptive background modeling. 제 13 항에 있어서,
상기 객체 검출부는,
상기 움직임이 발생하지 않은 객체가 고스트 인지 정지 객체인지를 아래의 수학식을 이용하여 확인하는, PTZ 카메라.
[수 학 식]
Figure 112011094578537-pat00004

이때, C는 상기 움직임이 발생하지 않은 배경 모델링 결과 영상에서의 관심 영역 내 에지 픽셀 수이고, S는 상기 배경 모델링 결과 영상 에지와 같은 위치의 현재 영상 거리지도 내 픽셀 값들의 합이고, V는 배경 모델링 결과 영상에서 움직임이 발생하지 않은 관심 영역 내의 S의 값을 정규화한 값을 나타낸다.
The method of claim 13,
The object detector,
PTZ camera to check whether the object does not occur movement is a ghost or a static object using the following equation.
[ Mathematical formula ]
Figure 112011094578537-pat00004

In this case, C is the number of edge pixels in the ROI in the background modeling result image in which the motion does not occur, S is the sum of pixel values in the current image distance map at the same position as the edge of the background modeling result, and V is the background. As a result of modeling, the normalized value of S in the ROI where no motion occurs in the image.
KR1020100043805A 2010-05-11 2010-05-11 Pan-tilt-zoom camera and object detection method thereof KR101153481B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100043805A KR101153481B1 (en) 2010-05-11 2010-05-11 Pan-tilt-zoom camera and object detection method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100043805A KR101153481B1 (en) 2010-05-11 2010-05-11 Pan-tilt-zoom camera and object detection method thereof

Publications (2)

Publication Number Publication Date
KR20110124441A KR20110124441A (en) 2011-11-17
KR101153481B1 true KR101153481B1 (en) 2012-06-11

Family

ID=45394188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100043805A KR101153481B1 (en) 2010-05-11 2010-05-11 Pan-tilt-zoom camera and object detection method thereof

Country Status (1)

Country Link
KR (1) KR101153481B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070006390A (en) * 2005-07-08 2007-01-11 전자부품연구원 Tracking method and system for tracking with multiple point-of view

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070006390A (en) * 2005-07-08 2007-01-11 전자부품연구원 Tracking method and system for tracking with multiple point-of view

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문 : 대한전자공학회 *
논문 : 한국정보기술학회 *

Also Published As

Publication number Publication date
KR20110124441A (en) 2011-11-17

Similar Documents

Publication Publication Date Title
CN106415598B (en) Lens contamination detection, identification and mitigation for vehicle-mounted camera systems
US7916944B2 (en) System and method for feature level foreground segmentation
US9019381B2 (en) Video tracking systems and methods employing cognitive vision
JP4668921B2 (en) Object detection in images
JP5885398B2 (en) Image processing apparatus and image processing method
JP6525545B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM
KR101071352B1 (en) Apparatus and method for tracking object based on PTZ camera using coordinate map
US20160205291A1 (en) System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis
JP5762250B2 (en) Image signal processing apparatus and image signal processing method
US20170004629A1 (en) Low-complexity motion detection based on image edges
CN105574891B (en) The method and system of moving target in detection image
JP2011123887A (en) Method and system for extracting pixel from set of image
KR20020034919A (en) Monitoring method for detecting an intruding object and monitoring apparatus therefor
KR20060051247A (en) Image processing apparatus and image processing method
JP4764172B2 (en) Method for detecting moving object candidate by image processing, moving object detecting method for detecting moving object from moving object candidate, moving object detecting apparatus, and moving object detecting program
JP2009140307A (en) Person detector
JP4578864B2 (en) Automatic tracking device and automatic tracking method
US9338354B2 (en) Motion blur estimation and restoration using light trails
EP3281174B1 (en) System and method for identifying an object in an image
JP7125843B2 (en) Fault detection system
US20150043775A1 (en) Object detection device, object detection method and program
JP4780564B2 (en) Image processing apparatus, image processing method, and image processing program
CN113936242B (en) Video image interference detection method, system, device and medium
JP5222908B2 (en) Collapse detection system and collapse detection method
JP5710230B2 (en) Monitoring system and monitoring method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180411

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190326

Year of fee payment: 8