KR101735365B1 - The robust object tracking method for environment change and detecting an object of interest in images based on learning - Google Patents
The robust object tracking method for environment change and detecting an object of interest in images based on learning Download PDFInfo
- Publication number
- KR101735365B1 KR101735365B1 KR1020170009062A KR20170009062A KR101735365B1 KR 101735365 B1 KR101735365 B1 KR 101735365B1 KR 1020170009062 A KR1020170009062 A KR 1020170009062A KR 20170009062 A KR20170009062 A KR 20170009062A KR 101735365 B1 KR101735365 B1 KR 101735365B1
- Authority
- KR
- South Korea
- Prior art keywords
- tracking
- image
- area including
- rectangular box
- tracking system
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Abstract
Description
본 발명은 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법에 관한 것으로, 보다 상세하게는, 영상 내 관심 물체를 검지하고, 촬영 구간 내 극심한 조명 변화나 눈과 비에 의한 환경 변화로 인해 CCTV 촬영 영상의 화질이 좋지 않은 상황에서도 검지 된 물체를 정확하게 추적할 수 있는 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법에 관한 것이다.More particularly, the present invention relates to a method and an apparatus for detecting an object of interest in an image and detecting an environmental change due to an extreme illumination change in the shooting interval, The present invention relates to detection of a target object in a learning-based image that can accurately track a detected object even when the image quality of the CCTV shot image is poor, and a method of tracking an object that is robust to environmental changes.
매년 폭발적으로 증가하는 CCTV 카메라를 관리하고, CCTV 카메라로부터 촬영된 영상을 일일이 모니터링하기에는 한계가 있다.There is a limit to manage CCTV cameras which are increasing explosively every year and to monitor video images taken from CCTV cameras.
CCTV 카메라에 의해 촬영된 영상은 매순간 사람에 의해 모니터링(Monitoring)될 수 없기 때문에 관할 구역에 사고가 발생 되었을 때 CCTV 카메라에 의해 녹화된 영상 데이터를 분석하는 용도로 사용된다.Since images taken by a CCTV camera can not be monitored by a human being at every moment, it is used to analyze image data recorded by a CCTV camera when an accident occurs in a jurisdiction.
따라서, CCTV 카메라에 의해 사고 발생 순간이 촬영되었거나 사고 발생 징후가 촬영되었을 경우 CCTV 카메라를 모니터링하는 요원에게 알람 메시지가 제공된다면 사건 사고 모니터링 시스템에 대한 효율성이 크게 향상될 것이다.Therefore, if an alarm message is provided to a CCTV camera monitoring agent when the accident occurred at the time of the CCTV camera or when the warning sign is taken, the efficiency of the incident-accident monitoring system will be greatly improved.
이러한 문제점을 해결하기 위하여 영상 내 물체를 자동으로 검지하고 추적함으로써 이상 징후를 알려주는 시스템에 대한 개발이 많이 시도되고 있다.In order to solve such a problem, a system for notifying an abnormal symptom by automatically detecting and tracking an object in an image has been developed.
상기 이상 징후의 판별을 위해서는 영상 내 물체 검지 및 검지 된 물체의 추적 기술을 이용하는데 상기 물체 검지 방법으로는 일반적으로 GMM(Gaussian Mixture Model)과 같은 배경 영상을 모델링하여 이동 물체를 검출하는 방법이 주로 사용된다.In order to discriminate the abnormal symptom, an object detection method and a tracking technique of the detected object are used. As the object detection method, a method of detecting a moving object by modeling a background image such as a GMM (Gaussian Mixture Model) Is used.
또한, 물체를 검지한 이후에는 Kalman filter나, mean shift, bounding box overlap 방법 등을 이용하여 검지 된 물체를 추적하게 된다.In addition, after the object is detected, the detected object is tracked using Kalman filter, mean shift, and bounding box overlap method.
하지만, 이러한 기술들은 CCTV 촬영 구간의 조명 상태와 환경 변화에 상당히 민감하기 때문에 CCTV가 설치되는 환경에 따라 물체를 검지하거나 추적하는 성능에 큰 차이가 난다는 문제점이 있었다.However, since these technologies are very sensitive to the illumination condition and the environmental change of the CCTV shooting section, there is a problem in that there is a great difference in the performance of detecting or tracking the object depending on the environment in which the CCTV is installed.
즉, CCTV 촬영 구간의 조명이 급작스럽게 변화되거나 폭우나 폭설이 내릴 경우 CCTV 촬영 구간이 촬영된 영상으로부터 물체를 검지하거나 추적하기 어렵다는 문제점이 있었다.That is, when the illumination of the CCTV photographing section is suddenly changed or when the heavy rain or heavy snow falls, it is difficult to detect or track the object from the captured image of the CCTV photographing region.
한편, 본 발명의 선행 기술로는 특허등록번호 "10-0738522"호의 "비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 방법"이 출원되어 등록되었는데, 상기 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체 추출 장치 및 방법은 비디오 감시 시스템에 있어서, 현재 입력 영상 프레임과 이전 영상 프레임간의 광류 흐름에 대한 움직임 벡터값을 추출하는 광류 흐름 추출부와; 상기 광류 흐름 추출부에서 추출된 광류 흐름에 대한 움직임 벡터값의 각도 히스토그램을 생성하는 각도 히스토그램 생성부; 상기 각도 히스토그램 생성부로부터 생성된 각도 히스토그램을 이용하여 물체의 움직임, 카메라의 움직임의 종류를 판단하고, 물체의 움직임 발생의 경우 움직임 객체를 추출하는 제어부를 포함한다.On the other hand, as a prior art of the present invention, "a camera / object motion classification and object extraction device and method in a video surveillance system" is filed and registered in the patent registration number "10-0738522". In the video surveillance system, An apparatus and method for classifying and extracting objects comprises: an optical flow extractor for extracting a motion vector value for an optical flow between a current input image frame and a previous image frame; An angular histogram generator for generating an angular histogram of a motion vector value for the optical flow extracted by the optical flow extractor; And a controller for determining the type of movement of the object and the camera using the angle histogram generated from the angle histogram generator and extracting the motion object in the case of motion of the object.
이에 본 발명은 상기 문제점을 해결하기 위하여 갑작스런 조명 변화가 일어나는 환경이나 비나 눈이 오는 열악한 환경에서도 영상 속 물체를 정확하게 추적할 수 있는 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법을 제공하는데 본 발명의 목적이 있다.Accordingly, the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide an object tracking method and an object tracking method robust to environment change, which can accurately track an object in an image even in an environment where sudden lighting changes, And has the object of the present invention.
상기 목적을 달성하기 위한 본 발명에 따른 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법은 CCTV 카메라에 의해 촬영된 영상 내 물체를 검지하고 검지된 물체를 추적하는 물체 검지 및 추적 시스템이 CCTV 카메라에 의해 촬영된 영상 중에 포함된 물체를 검지하고, 영상 내 검지 된 물체가 포함된 사각 박스 영역의 위치 좌표를 파악하며, 검지 된 물체가 앞으로 촬영될 영상 좌표 내에 있을 확률 값과 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율(IOU: Intersection over union)을 곱한 값인 신뢰도(Confidence)를 계산하는 단계(S1)와; 상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 하위 임계값(Low Threshold)보다 작을 경우 영상 내 물체의 위치를 잘못 검지한 것으로 판단하여 검지 된 물체를 추적 대상에서 제외하는 단계(S2); 상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 상위 임계값(High Threshold)보다 클 경우 검지 된 물체의 위치가 정확하다고 판단하여 물체 추적을 위해 물체 위치를 TO 풀(True Object pool) 저장 공간에 저장하는 단계(S3); 상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 하위 임계값(Low Threshold)보다 작지 않고 상위 임계값(High Threshold)보다 크지 않을 경우 CO 풀(Confused Object pool) 저장 공간에 저장하는 단계(S4); 상기 물체 검지 및 추적 시스템은 현재 위치 추적 중인 물체가 있는지 체크(Check)한 다음 위치 추적 중인 물체가 없다면 TO 풀 저장 공간이나 CO 풀 저장 공간에 저장된 물체가 새로운 물체라고 판단하여 새로운 물체를 트랙킹 풀(Tracking pool) 저장 공간에 저장하여 물체 추적을 준비하는 단계(S5); 상기 물체 검지 및 추적 시스템은 물체 검지 및 추적 시스템에 위치 추적 중인 물체가 있는지 체크(Check)한 다음 위치 추적 중인 물체가 있다면 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하는지 비교하는 단계(S6); 상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하지 않을 경우 노멀 모드(Normal mode)로 동작 되어 연속된 영상 속에 포함된 검지 물체의 이동 방향이 같고 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율이 물체 검지 및 추적 시스템에 저장된 임계값 이상일 경우 동일 물체로 판단하여 동일 물체를 추적하는 단계(S7); 및 상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하였을 경우 옵티컬 모드(Optical mode)로 동작 되어 현재 추적 중인 물체의 광원을 추적하는 단계(S8)로 이루어질 수 있다.According to an aspect of the present invention, there is provided a method of tracking an object of interest in a learning-based image and robust to environmental changes, comprising the steps of: detecting an object in an image captured by a CCTV camera and detecting the object; Detects the object included in the image photographed by the CCTV camera, grasps the position coordinates of the rectangular box area including the detected object in the image, and calculates a probability value of the detected object in the image coordinate to be photographed forward, A first rectangular box area including an object in a previous image and a second rectangular box area including an object in the current image with respect to an area where a first rectangular box area including an object is combined with a second rectangular box area including an object in the current image, (S1) of calculating a confidence value which is a value obtained by multiplying a box area overlapping area ratio (IOU: insertion over union); If the object detection and tracking system determines that the reliability of the object in the image is less than the low threshold value stored in the object detection and tracking system, it is determined that the object is located incorrectly, (S2); If the object detection and tracking system determines that the position of the detected object is correct if the reliability of the object in the image is greater than the upper threshold (High Threshold) stored in the object detection and tracking system, (S 3) in a True Object Pool storage space; If the reliability of the object detection and tracking system is not less than the low threshold value stored in the object detection and tracking system and not higher than the high threshold value, Storing in a space (S4); The object detecting and tracking system checks whether there is an object currently being tracked. If there is no object being tracked, it is determined that the object stored in the TO pool storage space or the CO pool storage space is a new object, (S5) of preparing an object tracking by storing it in a tracking pool storage space; The object detection and tracking system checks whether there is an object being tracked in the object detection and tracking system. If there is an object being tracked, the cumulative tracking count of the object is set to the tracking count threshold stored in the object detection and tracking system (S6); The object detection and tracking system operates in a normal mode when the accumulated number of tracking times of the objects stored in the tracking pool storage space does not exceed the tracking number threshold value stored in the object detection and tracking system, A first rectangular box area including an object in a previous image with respect to an area where a moving direction of the detected object is the same and a first rectangular box area including an object in a previous image and a second rectangular box area including an object in the current image are combined, If the ratio of the area of the second rectangular box area including the object in the current image is greater than or equal to the threshold value stored in the object detection and tracking system, determining the same object and tracking the same object (S7); And the object detection and tracking system operates in an optical mode when the accumulated number of tracking times of the objects stored in the tracking pool storage space exceeds a threshold number of tracking times stored in the object detection and tracking system, And a light source tracking step S8.
이러한 절차로 이루어진 본 발명에 따른 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법은 CCTV로부터 촬영된 영상으로부터 물체를 검지하고, 검지 된 물체의 신뢰성을 검증한다.The object tracking method and the robust object tracking method in the learning based image according to the present invention made of such a procedure detect the object from the image taken from the CCTV and verify the reliability of the detected object.
이때, 검지 된 물체가 신뢰할 만하다고 판단되면, 연속된 영상 프레임 속 물체의 매칭 조건 예를 들어, 연속된 영상 내 물체의 이동 방향과, 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율, 및 2개 이상의 영상 프레임 속 물체의 크기 비율을 따져, 검지 물체를 추적해 나가게 된다.At this time, if it is determined that the detected object is reliable, the matching condition of the objects in the continuous image frame, for example, the moving direction of the object in the continuous image, the first rectangular box area including the object in the previous image, The ratio of the area of the first rectangular box area including the object in the previous image and the area of the second rectangular box area including the object in the current image to the area of the second rectangular box area including the object, It follows the size ratio of the fast body to trace the detected object.
다음, 추적 횟수가 임계값을 넘어가면 옵티컬 모드로 전환되어 물체의 광원을 추적함으로써 추적중인 물체가 CCTV 카메라로부터 멀리 떨어져 추적중인 물체가 작게 촬영될 경우라도 물체를 끝까지 추적할 수 있도록 한다.Next, when the number of tracking exceeds the threshold value, the optical mode is switched to track the light source of the object so that the object being tracked is far away from the CCTV camera, so that even when the object being tracked is small, the object can be traced to the end.
따라서, 본 발명에 따른 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법은 갑작스런 조명 변화가 일어나는 환경이나 비나 눈이 오는 열악한 환경에서도 영상 속 물체를 끝까지 추적할 수 있다.Therefore, the object-based object tracking and robust object tracking method in the learning-based image according to the present invention can trace objects in the image to the end even in a sudden change of illumination or in a harsh environment due to rain or snow.
도면 1은 본 발명의 흐름도,
도면 2는 CNN(Convolution Neural Network)을 설명하기 위한 도면,
도면 3은 옵티컬 모드의 제어 흐름도,
도면 4는 모션 벡터의 계산식에서 윈도우 영역을 설명하기 위한 도면,
도면 5는 광류 추적에 사용된 포인트와 광원 추적 결과 포인트,
도면 6은 물체 광원을 추적한 결과 화면.1 is a flow chart of the present invention,
2 is a diagram for explaining CNN (Convolution Neural Network)
3 is a control flowchart of the optical mode,
4 is a view for explaining a window area in a calculation formula of a motion vector,
5 shows the points used in the optical flow tracking and the light source tracking result point,
Fig. 6 shows a result screen of the object light source.
이하, 첨부된 도면을 참조하여 본 발명을 자세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
본 발명에 따른 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법은 도면 1에 도시한 바와 같이, CCTV 카메라에 의해 촬영된 영상 내 물체를 검지하고 검지된 물체를 추적하는 물체 검지 및 추적 시스템이 CCTV 카메라에 의해 촬영된 영상 중에 포함된 물체를 검지하고, 영상 내 검지 된 물체가 포함된 사각 박스 영역의 위치 좌표를 파악하며, 검지 된 물체가 앞으로 촬영될 영상 좌표 내에 있을 확률 값과 이전 영상(Previous image) 내 물체가 포함된 제1 사각 박스 영역과 현재 영상(Current image) 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율(IOU: Intersection over union)을 곱한 값인 신뢰도(Confidence)를 계산하는 단계(S1)와; 상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 하위 임계값(Low Threshold)보다 작을 경우 영상 내 물체의 위치를 잘못 검지한 것으로 판단하여 검지 된 물체를 추적 대상에서 제외하는 단계(S2); 상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 상위 임계값(High Threshold)보다 클 경우 검지 된 물체의 위치가 정확하다고 판단하여 물체 추적을 위해 물체 위치를 TO 풀(True Object pool) 저장 공간에 저장하는 단계(S3); 상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 하위 임계값(Low Threshold)보다 작지 않고 상위 임계값(High Threshold)보다 크지 않을 경우 CO 풀(Confused Object pool) 저장 공간에 저장하는 단계(S4); 상기 물체 검지 및 추적 시스템은 현재 위치 추적 중인 물체가 있는지 체크(Check)한 다음 위치 추적 중인 물체가 없다면 TO 풀 저장 공간이나 CO 풀 저장 공간에 저장된 물체가 새로운 물체라고 판단하여 새로운 물체를 트랙킹 풀(Tracking pool) 저장 공간에 저장하여 물체 추적을 준비하는 단계(S5); 상기 물체 검지 및 추적 시스템은 물체 검지 및 추적 시스템에 위치 추적 중인 물체가 있는지 체크(Check)한 다음 위치 추적 중인 물체가 있다면 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하는지 비교하는 단계(S6); 상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하지 않을 경우 노멀 모드(Normal mode)로 동작 되어 연속된 영상 속에 포함된 검지 물체의 이동 방향이 같고 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율이 물체 검지 및 추적 시스템에 저장된 임계값 이상일 경우 동일 물체로 판단하여 동일 물체를 추적하는 단계(S7); 및 상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하였을 경우 옵티컬 모드(Optical mode)로 동작 되어 현재 추적 중인 물체의 광원을 추적하는 단계(S8)로 이루어질 수 있다.As shown in FIG. 1, the object tracking method and the object tracking method in a learning-based image according to the present invention detect an object in an image captured by a CCTV camera and detect an object to track the detected object, The tracking system detects an object included in the image captured by the CCTV camera, grasps the position coordinates of the rectangular box area including the detected object in the image, and calculates a probability value of the detected object in the image coordinates A first rectangular box area including an object in a previous image relative to an area in which a first rectangular box area including an object in a previous image and a second rectangular box area including an object in the current image are combined, (Confidence), which is a value obtained by multiplying the overlapping area ratio (IOU) of the second square box area including the object in the current image by the overlap area Step Sl; If the object detection and tracking system determines that the reliability of the object in the image is less than the low threshold value stored in the object detection and tracking system, it is determined that the object is located incorrectly, (S2); If the object detection and tracking system determines that the position of the detected object is correct if the reliability of the object in the image is greater than the upper threshold (High Threshold) stored in the object detection and tracking system, (S 3) in a True Object Pool storage space; If the reliability of the object detection and tracking system is not less than the low threshold value stored in the object detection and tracking system and not higher than the high threshold value, Storing in a space (S4); The object detecting and tracking system checks whether there is an object currently being tracked. If there is no object being tracked, it is determined that the object stored in the TO pool storage space or the CO pool storage space is a new object, (S5) of preparing an object tracking by storing it in a tracking pool storage space; The object detection and tracking system checks whether there is an object being tracked in the object detection and tracking system. If there is an object being tracked, the cumulative tracking count of the object is set to the tracking count threshold stored in the object detection and tracking system (S6); The object detection and tracking system operates in a normal mode when the accumulated number of tracking times of the objects stored in the tracking pool storage space does not exceed the tracking number threshold value stored in the object detection and tracking system, A first rectangular box area including an object in a previous image with respect to an area where a moving direction of the detected object is the same and a first rectangular box area including an object in a previous image and a second rectangular box area including an object in the current image are combined, If the ratio of the area of the second rectangular box area including the object in the current image is greater than or equal to the threshold value stored in the object detection and tracking system, determining the same object and tracking the same object (S7); And the object detection and tracking system operates in an optical mode when the accumulated number of tracking times of the objects stored in the tracking pool storage space exceeds a threshold number of tracking times stored in the object detection and tracking system, And a light source tracking step S8.
상기 신뢰도는 0 < 신뢰도(Confidence) < 1.0 이고, 상기 검지 된 물체가 앞으로 촬영될 영상 좌표 내에 있을 확률 값과, 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율(IOU: Intersection over union)은 모두 CNN(Convolution Neural Network) 기반의 학습을 통하여 얻어진 예측 값이다.Wherein the reliability is a probability that the detected object is in the image coordinate to be photographed in the future, a first square box area in which the object in the previous image is included, and a second square box area in which the object in the current image is included The ratio (IOU: insertion over union) of the overlapping area of the first rectangular box area including the object in the previous image and the second rectangular box area including the object in the current image to the combined area of the two rectangular box areas is CNN (Convolution Neural Network) based learning.
물체를 추적하는데, 노멀 모드(Normal mode)와, 옵티컬 모드(Optical mode)로 구분하는 이유는 상기 물체 검지 및 추적 시스템의 물체 검지 엔진에서 예측한 신뢰도가 정확하지 않을 수 있기 때문에 일정 프레임 이상 물체 추적에 성공하면 추적중인 물체가 확실하다고 판단하여 옵티컬 모드(Optical mode)로 전환하여 추적한다.The reason for distinguishing between the normal mode and the optical mode is that the reliability predicted by the object detection engine of the object detection and tracking system may not be accurate, If it succeeds, it is determined that the object being tracked is reliable, and the optical mode is switched to track.
검지 된 물체를 옵티컬 모드(Optical mode)로 추적할 경우 추적 중인 물체와 다른 물체 사이에 일부 겹침이 발생 되거나 추적중인 물체가 CCTV 카메라로부터 멀리 떨어져 추적중인 물체가 작게 촬영될 경우에도 추적이 용이하다는 장점이 있다.When tracking a detected object in optical mode, it is easy to track if some overlap occurs between the object being tracked and other objects, or if the object being tracked is far from the CCTV camera and the object being tracked is taken small. .
상기 CCTV 카메라에 의해 촬영된 영상 내 물체를 검지하고 검지된 물체를 추적하는 물체 검지 및 추적 시스템이 CCTV 카메라에 의해 촬영된 영상 중에 포함된 물체를 검지하고, 영상 내 검지 된 물체가 포함된 사각 박스 영역의 위치 좌표를 파악하며, 검지 된 물체가 앞으로 촬영될 영상 좌표 내에 있을 확률 값과, 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율(IOU: Intersection over union)을 곱한 값인 신뢰도(Confidence)를 계산하는 단계(S1)에서 상기 CCTV 카메라에 의해 촬영된 영상 중에 포함된 물체를 검지하고 분류하는 엔진으로는 CNN(Convolution Neural Network)을 사용하고, 영상 내 검지 된 물체가 포함된 사각 박스 영역의 위치 좌표를 예측하는 엔진으로는 Regression 방법을 사용한다.An object detecting and tracking system for detecting an object in an image photographed by the CCTV camera and tracking the detected object detects an object contained in the image captured by the CCTV camera, The probability of the detected object being in the image coordinates to be photographed forward and the first square box area including the object in the previous image and the second rectangular box area including the object in the current image are combined Calculating Confidence which is a value obtained by multiplying the area ratio of the overlapping area (IOU) of the first rectangular box area including the object in the previous image with the area of the second rectangular box area including the object in the current image (Convolution Neural Network) is used as an engine for detecting and classifying the objects included in the images photographed by the CCTV camera in step S1, Onto the engine to predict the position coordinates of the rectangular box in the region including the detected object uses Regression method.
상기 CNN(Convolution Neural Network)는 CCTV 카메라에 의해 촬영된 영상에 콘벌루션(Convolution) 연산을 반복하여 영상 내 강한 특징들 예를 들어, 에지나, 코너, 또는 색상을 뽑아내어 물체 인식에 사용하는 방법을 말한다.In the CNN (Convolution Neural Network), a convolution operation is repeated on an image photographed by a CCTV camera to extract strong features such as edges, corners, or colors in an image to use it for object recognition .
일반적으로 CNN 과정은 도면 2에 도시한 바와 같이, 영상에 컨볼루션 연산과 (Activation function) 활성 함수 연산 및 서브 샘플링(sub-sampling or Pooling)을 여러 번 반복하는 과정을 거쳐 해당 영상의 물체가 어떤 것인지 인식하는 방식이다.Generally, as shown in FIG. 2, a CNN process is a process in which an object is subjected to a convolution operation, an activation function, an active function operation, and sub-sampling or pooling, It is a method to recognize whether it is.
상기 활성 함수는 컨볼루션(Convolution)값이 문턱치 이상일 때 이진수 '1'로 처리하는 반면, 컨볼루션(Convolution)값이 문턱치 이하일 때 이진수 '0'으로 처리하는 함수이다.The activation function is a function that treats a binary number '1' when the convolution value is above a threshold value, while processing a binary number '0' when the convolution value is below a threshold value.
상기 서브 샘플링(sub-sampling or Pooling)은 영상의 크기 즉, 영상의 데이터량을 줄인다.The sub-sampling or pooling reduces the size of the image, that is, the data amount of the image.
상기 Regression 방법이란 어떠한 사건들의 특징을 수식화하여 다음 사건이 발생하였을 경우 어떤 결과가 나타날지를 결정하는 방법중의 하나이다.The regression method is one of methods for determining characteristics of certain events and determining what results will be produced when the next event occurs.
본 발명에서 제안한 Regression 방법은 CNN 결과로 도출된 물체 특징들을 이용하여 영상 내 물체의 중심 좌표(x,y)와 영상 내 물체의 가로 길이(width)와 세로 길이(Height)를 예측하는 방법을 의미한다.The regression method proposed by the present invention means a method of predicting the center coordinates (x, y) of an object in an image and the width and height (height) of an object in the image using the object features derived from the CNN result do.
즉, 영상에 대한 실측 자료(Ground Truth)와 학습을 통해 어떠한 특징이 a,b,c,d로 나왔을 때 a,b,c,d에 대한 특징을 참고하여 영상 내 물체의 위치(x,y,width,height)를 예측하는 것이다.In other words, referring to the characteristics of a, b, c, and d when a characteristic is a, b, c, d through the ground truth and learning, , width, and height).
일반적으로, 배경 기반으로 물체를 검지할 경우 물체 검지 시스템의 시동시 정지하고 있는 물체를 배경으로 인식하는 문제점이 있었고, 검지 된 물체가 사람 또는 차량인지 구분하기 위해서 검지 된 물체의 형태를 분석 및 분류해야 하나 물체의 그림자와 검지된 물체와 인접한 또 다른 물체의 영향으로 물체의 정체를 오판할 확률이 매우 높았다는 문제점이 있었다.In general, when an object is detected based on the background, there is a problem that the object which is stopped when the object detecting system is started is recognized as the background. In order to identify whether the detected object is a person or a vehicle, However, there is a problem that the probability of misjudging the object is very high due to the shadow of the object and the influence of another object adjacent to the detected object.
하지만, 상기 CCTV 카메라에 의해 촬영된 영상 중에 포함된 물체를 검지하고 분류하는 엔진으로 CNN 기반의 학습을 통한 물체 인식 기술을 이용하면 물체 검지 시스템의 시동시 정지해 있는 물체도 검지가 가능하며, 검지 된 물체가 어떤 물체인지 구분도 가능하다.However, if an object recognition technology based on CNN-based learning is used as an engine for detecting and classifying an object included in the images photographed by the CCTV camera, it is possible to detect an object stopped at the start of the object detection system, It is also possible to distinguish which object is an object.
또한, 사용자가 검지하길 원하는 물체도 학습을 통해 자유롭게 추가할 수 있다.In addition, an object desired to be detected by the user can be freely added through learning.
상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하지 않을 경우 노멀 모드(Normal mode)로 동작 되어 연속된 영상 속에 포함된 검지 물체의 이동 방향이 같고 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율이 물체 검지 및 추적 시스템에 저장된 임계값 이상일 경우 동일 물체로 판단하여 동일 물체를 추적하는 단계(S7)에서 연속된 영상 속에 포함된 검지 물체의 이동 방향은 
여기서, 
또한, 상기 box1은 이전 영상 내 물체가 포함된 제1 사각 박스 영역이고, 상기 box2는 현재 영상 내 물체가 포함된 제2 사각 박스 영역이다.Box1 is a first rectangular box area including an object in a previous image, and box2 is a second rectangular box area including an object in the current image.
만약, 연속된 영상 속에 포함된 검지 물체의 이동 방향이 같고, 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율이 임계값 이상인 물체가 2개 이상 존재할 경우 이전 영상 내에 물체가 포함된 제1 사각 박스 영역의 면적과 현재 영상 내에 물체가 포함된 제2 사각 박스 영역의 면적 비율이 임계값 이상인 물체를 선택한다.If the moving direction of the detected object included in the continuous image is the same, and the area of the previous image is smaller than the area of the first rectangular box area including the object in the previous image and the second rectangular box area including the object in the current image, When there are two or more objects having a ratio of the overlapping area of the first rectangular box area included in the current image to the area of the second rectangular box area containing the object in the current image equal to or more than the threshold value, the area of the first rectangular box area including the object in the previous image And the area ratio of the second rectangular box area including the object in the current image is equal to or greater than a threshold value.
상기 이전 영상 내에 물체가 포함된 사각 박스 영역의 면적과 현재 영상 내에 물체가 포함된 사각 박스 영역의 면적 비율이 임계값 이상인 물체가 2개 이상일 때 최종적으로 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율이 가장 큰 물체를 선택한다.When there are two or more objects having an area ratio of a rectangular box area including an object in the previous image and an area ratio of a square box area including an object in the current image equal to or more than a threshold value, The ratio of the area of the first rectangular box area including the object in the previous image to the area of the second rectangular box area including the object in the current image is greater than the area of the overlapping area of the second rectangular box area including the object in the current image Select a large object.
상기 이전 영상 내에 물체가 포함된 사각 박스 영역의 면적과 현재 영상 내에 물체가 포함된 사각 박스 영역의 면적 비율은 (box1 width * box1 height) / (box2 width * box2 height)을 이용하여 도출한다.The ratio of the area of the rectangular box area including the object in the previous image to the area of the rectangular box area including the object in the current image is derived by using (box1 width * box1 height) / (box2 width * box2 height).
여기서, box1 width는 이전 영상 내에 물체가 포함된 제1 사각 박스 영역의 가로 길이이고, box1 height는 이전 영상 내에 물체가 포함된 제1 사각 박스 영역의 세로 길이이며, box2 width는 현재 영상 내에 물체가 포함된 제2 사각 박스 영역의 가로 길이이고, box2 height는 현재 영상 내에 물체가 포함된 제2 사각 박스 영역의 세로 길이이다.Box1 width is the width of the first rectangular box area including the object in the previous image, box1 height is the height of the first rectangular box area including the object in the previous image, and box2 width is the width of the object in the current image Box2 height is the vertical length of the second rectangular box area including the object in the current image.
상기 연속된 영상 속에 포함된 검지 물체의 이동 방향은 매 프레임 마다 검지 물체의 흔들림(Oscillation)을 고려하여 다섯 개 프레임을 누적하여 계산한다.The moving direction of the detected object included in the continuous image is calculated by accumulating five frames considering the oscillation of the detected object every frame.
상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하였을 경우 옵티컬 모드(Optical mode)로 동작 되어 현재 추적 중인 물체의 광원을 추적하는 단계(S8)는 도면 3에 도시한 바와 같이, 상기 이전 영상 내 물체가 포함된 사각 박스 영역을 중심으로 이전 영상 내 물체가 포함된 사각 박스 영역보다 1.5배 이상 큰 제1 이미지를 잘라내는 단계(S8-1)와; 잘라 낸 제1 이미지에서 광류(Optical flow) 추적에 사용할 특징점을 추출하기 위해 제1 이미지의 에지 맵(edge map)을 계산한 다음 에지 맵의 모든 픽셀 좌표를 광류 추적 좌표로 설정하는 단계(S8-2); 현재 영상 내 물체가 포함된 사각 박스 영역을 중심으로 현재 영상 내 물체가 포함된 사각 박스 영역보다 1.5배 이상 큰 제2 이미지를 잘라내는 단계(S8-3); 상기 물체 검지 및 추적 시스템이 잘라낸 제1 이미지와 제2 이미지 그리고 제1 이미지로부터 추출한 특징점을 이용하여 검지 물체의 모션 벡터(v,u)를 계산하는 단계(S8-4); 상기 물체 검지 및 추적 시스템은 계산된 모션 벡터의 평균과 표준 편차를 계산한 다음 표준 편차보다 큰 모션 벡터는 광류 추적이 잘못된 것으로 판단하여 삭제하는 단계(S8-5,S8-6); 상기 물체 검지 및 추적 시스템은 모션 벡터 정보와 RANSAC(Random Sample Consensus) 알고리즘(algorithm)를 이용하여 어파인 변환 행렬(affine transformation matrix)를 계산하는 단계(S8-7); 상기 물체 검지 및 추적 시스템은 제1 이미지로부터 추출한 특징점에 어파인 변환 행렬을 적용하여 새로 계산된 좌표를 얻는 단계(S8-8); 상기 물체 검지 및 추적 시스템은 새로 계산된 좌표 정보를 현재 영상에 적용하여 물체의 광원이 포함된 사각 박스 영역의 위치를 계산함으로써 물체의 광원 위치를 추적하는 단계(S8-9)로 이루어질 수 있다.The object detection and tracking system operates in an optical mode when the accumulated number of tracking times of the objects stored in the tracking pool storage space exceeds the threshold number of tracking times stored in the object detection and tracking system, (S8), as shown in FIG. 3, cuts out a first image 1.5 times larger than a rectangular box area including an object in a previous image, centering the rectangular box area including the object in the previous image (S8-1); Calculating an edge map of the first image to extract a feature point to be used for optical flow tracking in the first cut image, and then setting all pixel coordinates of the edge map as optical track coordinates (S8- 2); A step (S8-3) of cutting out a second image, which is 1.5 times or more larger than a rectangular box area including an object in the current image, around a rectangular box area including an object in the current image; (S8-4) calculating a motion vector (v, u) of the detection object using the first image, the second image, and the feature point extracted from the first image, which are obtained by the object detection and tracking system; The object detection and tracking system calculates an average and a standard deviation of the calculated motion vectors, and then determines (S8-5, S8-6) that the motion vector is larger than the standard deviation and determines that the optical tracking is wrong; The object detection and tracking system may include computing (S8-7) an affine transformation matrix using motion vector information and a Random Sample Consensus (RANSAC) algorithm; (S8-8) of obtaining a newly calculated coordinate by applying an affine transformation matrix to the feature points extracted from the first image; The object detection and tracking system may include a step (S8-9) of tracking the light source position of the object by calculating the position of the rectangular box area including the light source of the object by applying the newly calculated coordinate information to the current image.
상기 물체 검지 및 추적 시스템이 잘라낸 제1 이미지와 제2 이미지 그리고 제1 이미지로부터 추출한 특징점을 이용하여 검지 물체의 모션 벡터(v,u)를 계산하는 단계(S8-4)에서 물체의 모션 벡터(v,u)는(S8-4) of calculating the motion vector (v, u) of the detection object using the first and second images and the feature points extracted from the first image cut out by the object detection and tracking system, v, u)
여기서, 상기 x는 제1 이미지로부터 추출한 특징점의 x 좌표, 상기 y는 제1 이미지로부터 추출한 특징점의 y 좌표, 상기 
상기 윈도우 영역에 대해 도면 4를 참고하여 설명하면 다음과 같다.The window region will now be described with reference to FIG.
상기 물체 검지 및 추적 시스템이 설정한 윈도우 영역이 3 by 3 이고, 음영이 들어간 픽셀 값 23이 제1 이미지로부터 추출한 특징점이라 하면 
예를 들어, 
도면 5에서 파란색 점과 노란색 박스는 이전 이미지에서 광류 추적을 위해 추출된 점들이고, 초록색 점과 빨간색 박스는 이전 이미지에서 광류 추적을 위해 추출된 점에 어파인 변환 매트릭스를 적용하였을 때 새롭게 계산된 사각 박스 영역의 위치를 나타낸다.In FIG. 5, the blue dot and the yellow box are extracted points for the optical flow tracking in the previous image, and the green point and the red box are the newly calculated square angle when applying the affine transformation matrix to the point extracted for the optical flow tracking in the previous image It indicates the position of the box area.
이때, 새롭게 계산된 사각 박스 영역의 위치는 도면 6에 도시한 바와 같이, 곧 물체의 광원 위치가 된다.At this time, the position of the newly calculated square box area becomes the light source position of the object immediately as shown in Fig.
상기 이전 영상 내 물체가 포함된 사각 박스 영역을 중심으로 이전 영상 내 물체가 포함된 사각 박스 영역보다 1.5배 큰 이미지를 잘라내는 이유는 광류(Optical flow) 추적의 범위를 제한하는 효과와 연산 속도를 높이기 위해서이다.The reason for cutting out the image 1.5 times larger than the rectangular box area including the object in the previous image centered on the square box area including the object in the previous image is to limit the range of the optical flow tracking and to increase the calculation speed To increase.
이러한 절차로 이루어진 본 발명에 따른 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법은 CCTV로부터 촬영된 영상으로부터 물체를 검지하고, 검지 된 물체의 신뢰성을 검증한다.The object tracking method and the robust object tracking method in the learning based image according to the present invention made of such a procedure detect the object from the image taken from the CCTV and verify the reliability of the detected object.
이때, 검지 된 물체가 신뢰할 만하다고 판단되면, 연속된 영상 프레임 속 물체의 매칭 조건 예를 들어, 연속된 영상 내 물체의 이동 방향과, 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율, 및 2개 이상의 영상 프레임 속 물체의 크기 비율을 따져, 검지 물체를 추적해 나가게 된다.At this time, if it is determined that the detected object is reliable, the matching condition of the objects in the continuous image frame, for example, the moving direction of the object in the continuous image, the first rectangular box area including the object in the previous image, The ratio of the area of the first rectangular box area including the object in the previous image and the area of the second rectangular box area including the object in the current image to the area of the second rectangular box area including the object, It follows the size ratio of the fast body to trace the detected object.
다음, 추적 횟수가 임계값을 넘어가면 옵티컬 모드로 전환되어 물체의 광원을 추적함으로써 추적중인 물체가 CCTV 카메라로부터 멀리 떨어져 추적중인 물체가 작게 촬영될 경우라도 물체를 끝까지 추적할 수 있도록 한다.Next, when the number of tracking exceeds the threshold value, the optical mode is switched to track the light source of the object so that the object being tracked is far away from the CCTV camera, so that even when the object being tracked is small, the object can be traced to the end.
따라서, 본 발명에 따른 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법은 갑작스런 조명 변화가 일어나는 환경이나 비나 눈이 오는 열악한 환경에서도 영상 속 물체를 끝까지 추적할 수 있다.Therefore, the object-based object tracking and robust object tracking method in the learning-based image according to the present invention can trace objects in the image to the end even in a sudden change of illumination or in a harsh environment due to rain or snow.
Claims (5)
상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 하위 임계값(Low Threshold)보다 작을 경우 영상 내 물체의 위치를 잘못 검지한 것으로 판단하여 검지 된 물체를 추적 대상에서 제외하는 단계(S2);
상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 상위 임계값(High Threshold)보다 클 경우 검지된 물체의 위치가 정확하다고 판단하여 물체 추적을 위해 물체 위치를 TO 풀(True Object pool) 저장 공간에 저장하는 단계(S3);
상기 물체 검지 및 추적 시스템이 영상 내 물체에 대한 신뢰도가 물체 검지 및 추적 시스템에 저장된 하위 임계값(Low Threshold)보다 작지 않고 상위 임계값(High Threshold)보다 크지 않을 경우 CO 풀(Confused Object pool) 저장 공간에 저장하는 단계(S4);
상기 물체 검지 및 추적 시스템은 현재 위치 추적 중인 물체가 있는지 체크(Check)한 다음 위치 추적 중인 물체가 없다면 TO 풀 저장 공간이나 CO 풀 저장 공간에 저장된 물체가 새로운 물체라고 판단하여 새로운 물체를 트랙킹 풀(Tracking pool) 저장 공간에 저장하여 물체 추적을 준비하는 단계(S5);
상기 물체 검지 및 추적 시스템은 물체 검지 및 추적 시스템에 위치 추적 중인 물체가 있는지 체크(Check)한 다음 위치 추적 중인 물체가 있다면 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하는지 비교하는 단계(S6);
상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하지 않을 경우 노멀 모드(Normal mode)로 동작 되어 연속된 영상 속에 포함된 검지 물체의 이동 방향이 같고 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율이 물체 검지 및 추적 시스템에 저장된 임계값 이상일 경우 동일 물체로 판단하여 동일 물체를 추적하는 단계(S7);
및 상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하였을 경우 옵티컬 모드(Optical mode)로 동작 되어 현재 추적 중인 물체의 광원을 추적하는 단계(S8)로 이루어진 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법.
An object detecting and tracking system for detecting an object in an image photographed by a CCTV camera and for tracking the detected object detects an object included in the image captured by the CCTV camera and displays a rectangular box area including the detected object in the image A first rectangular box area including an object in a previous image and a second rectangular box area including an object in the current image, (IOU), which is a value obtained by multiplying the area ratio of the first rectangular box area including the object in the previous image and the area of the second rectangular box area including the object in the current image by the overlapping area (IOU) (S1) < / RTI >
If the object detection and tracking system determines that the reliability of the object in the image is less than the low threshold value stored in the object detection and tracking system, it is determined that the object is located incorrectly, (S2);
If the object detection and tracking system determines that the position of the detected object is correct if the reliability of the object in the image is greater than the upper threshold (High Threshold) stored in the object detection and tracking system, (S 3) in a True Object Pool storage space;
If the reliability of the object detection and tracking system is not less than the low threshold value stored in the object detection and tracking system and not higher than the high threshold value, Storing in a space (S4);
The object detecting and tracking system checks whether there is an object currently being tracked. If there is no object being tracked, it is determined that the object stored in the TO pool storage space or the CO pool storage space is a new object, (S5) of preparing an object tracking by storing it in a tracking pool storage space;
The object detection and tracking system checks whether there is an object being tracked in the object detection and tracking system. If there is an object being tracked, the cumulative tracking count of the object is set to the tracking count threshold stored in the object detection and tracking system (S6);
The object detection and tracking system operates in a normal mode when the accumulated number of tracking times of the objects stored in the tracking pool storage space does not exceed the tracking number threshold value stored in the object detection and tracking system, A first rectangular box area including an object in a previous image with respect to an area where a moving direction of the detected object is the same and a first rectangular box area including an object in a previous image and a second rectangular box area including an object in the current image are combined, If the ratio of the area of the second rectangular box area including the object in the current image is greater than or equal to the threshold value stored in the object detection and tracking system, determining the same object and tracking the same object (S7);
And the object detection and tracking system operates in an optical mode when the accumulated number of tracking times of the objects stored in the tracking pool storage space exceeds a threshold number of tracking times stored in the object detection and tracking system, And tracking the light source (S8). A method for tracking an object of interest in a learning-based image and robust to environmental changes.
상기 CCTV 카메라에 의해 촬영된 영상 내 물체를 검지하고 검지된 물체를 추적하는 물체 검지 및 추적 시스템이 CCTV 카메라에 의해 촬영된 영상 중에 포함된 물체를 검지하고, 영상 내 검지 된 물체가 포함된 사각 박스 영역의 위치 좌표를 파악하며, 검지 된 물체가 앞으로 촬영될 영상 좌표 내에 있을 확률 값과 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 합쳐진 면적 대비 이전 영상 내 물체가 포함된 제1 사각 박스 영역과 현재 영상 내 물체가 포함된 제2 사각 박스 영역이 겹쳐진 면적의 비율(IOU: Intersection over union)을 곱한 값인 신뢰도(Confidence)를 계산하는 단계(S1)에서
상기 CCTV 카메라에 의해 촬영된 영상 중에 포함된 물체를 검지하고 분류하는 엔진으로는 CNN(Convolution Neural Network)을 사용하고,
영상 내 검지된 물체가 포함된 사각 박스 영역의 위치 좌표를 예측하는 엔진으로는 Regression 방법을 사용하는 것을 특징으로 하는 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법.
The method according to claim 1,
An object detecting and tracking system for detecting an object in an image photographed by the CCTV camera and tracking the detected object detects an object contained in the image captured by the CCTV camera, The probability that the detected object is in the image coordinate to be photographed in the future, the area in which the first rectangular box area including the object in the previous image and the second rectangular box area including the object in the current image are combined Calculating Confidence which is a value obtained by multiplying an overlapping area (IOU) of the overlapping area of the first rectangular box area including the object in the previous contrast image and the second rectangular box area including the object in the current image S1)
CNN (Convolution Neural Network) is used as an engine for detecting and classifying objects included in the images captured by the CCTV camera,
A method for tracking an object of interest and robust to environmental changes in a learning-based image, characterized in that a regression method is used as an engine for predicting the position coordinates of a rectangular box area including the detected object in the image.
상기 물체 검지 및 추적 시스템은 트랙킹 풀 저장 공간에 저장된 물체의 누적된 추적 횟수가 물체 검지 및 추적 시스템에 저장된 추적 횟수 임계값을 초과하였을 경우 옵티컬 모드(Optical mode)로 동작 되어 현재 추적 중인 물체의 광원을 추적하는 단계(S8)는
상기 이전 영상 내 물체가 포함된 사각 박스 영역을 중심으로 이전 영상 내 물체가 포함된 사각 박스 영역보다 1.5배 이상 큰 제1 이미지를 잘라내는 단계(S8-1)와;
잘라 낸 제1 이미지에서 광류(Optical flow) 추적에 사용할 특징점을 추출하기 위해 제1 이미지의 에지 맵(edge map)을 계산한 다음 에지 맵의 모든 픽셀 좌표를 광류 추적 좌표로 설정하는 단계(S8-2);
현재 영상 내 물체가 포함된 사각 박스 영역을 중심으로 현재 영상 내 물체가 포함된 사각 박스 영역보다 1.5배 이상 큰 제2 이미지를 잘라내는 단계(S8-3);
상기 물체 검지 및 추적 시스템이 잘라낸 제1 이미지와 제2 이미지 그리고 제1 이미지로부터 추출한 특징점을 이용하여 검지 물체의 모션 벡터(v,u)를 계산하는 단계(S8-4);
상기 물체 검지 및 추적 시스템은 계산된 모션 벡터의 평균과 표준 편차를 계산한 다음 표준 편차보다 큰 모션 벡터는 광류 추적이 잘못된 것으로 판단하여 삭제하는 단계(S8-5,S8-6);
상기 물체 검지 및 추적 시스템은 모션 벡터 정보와 RANSAC(Random Sample Consensus) 알고리즘(algorithm)를 이용하여 어파인 변환 행렬(affine transformation matrix)를 계산하는 단계(S8-7);
상기 물체 검지 및 추적 시스템은 제1 이미지로부터 추출한 특징점에 어파인 변환 행렬을 적용하여 새로 계산된 좌표를 얻는 단계(S8-8);
상기 물체 검지 및 추적 시스템은 새로 계산된 좌표 정보를 현재 영상에 적용하여 물체의 광원이 포함된 사각 박스 영역의 위치를 계산함으로써 물체의 광원 위치를 추적하는 단계(S8-9)로 이루어진 것을 특징으로 하는 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법.
The method according to claim 1,
The object detection and tracking system operates in an optical mode when the accumulated number of tracking times of the objects stored in the tracking pool storage space exceeds the threshold number of tracking times stored in the object detection and tracking system, The step S8 of tracking
A step (S8-1) of cutting out a first image, which is 1.5 times or more larger than a square box area including an object in a previous image, around a square box area including the object in the previous image;
Calculating an edge map of the first image to extract a feature point to be used for optical flow tracking in the first cut image, and then setting all pixel coordinates of the edge map as optical track coordinates (S8- 2);
A step (S8-3) of cutting out a second image, which is 1.5 times or more larger than a rectangular box area including an object in the current image, around a rectangular box area including an object in the current image;
(S8-4) calculating a motion vector (v, u) of the detection object using the first image, the second image, and the feature point extracted from the first image, which are obtained by the object detection and tracking system;
The object detection and tracking system calculates an average and a standard deviation of the calculated motion vectors, and then determines (S8-5, S8-6) that the motion vector is larger than the standard deviation and determines that the optical tracking is wrong;
The object detection and tracking system may include computing (S8-7) an affine transformation matrix using motion vector information and a Random Sample Consensus (RANSAC) algorithm;
(S8-8) of obtaining a newly calculated coordinate by applying an affine transformation matrix to the feature points extracted from the first image;
(S8-9) of tracking the light source position of the object by calculating the position of the rectangular box area including the light source of the object by applying the newly calculated coordinate information to the current image, characterized in that the object detection and tracking system A method of detecting object of interest in a learning - based image and robust to environment change.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170009062A KR101735365B1 (en) | 2017-01-19 | 2017-01-19 | The robust object tracking method for environment change and detecting an object of interest in images based on learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170009062A KR101735365B1 (en) | 2017-01-19 | 2017-01-19 | The robust object tracking method for environment change and detecting an object of interest in images based on learning |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101735365B1 true KR101735365B1 (en) | 2017-05-16 |
Family
ID=59035429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170009062A KR101735365B1 (en) | 2017-01-19 | 2017-01-19 | The robust object tracking method for environment change and detecting an object of interest in images based on learning |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101735365B1 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101912569B1 (en) | 2018-07-11 | 2018-10-26 | 전북대학교산학협력단 | The object tracking system of video images |
| KR101912570B1 (en) | 2018-07-11 | 2018-10-26 | 전북대학교산학협력단 | The object tracking system using artificial neural networks |
| KR101984209B1 (en) * | 2018-11-20 | 2019-05-30 | 주식회사 싸인텔레콤 | Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame |
| KR20190072900A (en) * | 2017-12-18 | 2019-06-26 | 한밭대학교 산학협력단 | Apparatus and method for wireless location using deep learning |
| KR101959436B1 (en) | 2018-08-06 | 2019-07-02 | 전북대학교 산학협력단 | The object tracking system using recognition of background |
| KR20200068102A (en) * | 2018-11-28 | 2020-06-15 | 이노뎁 주식회사 | method of providing object classification for compressed video by use of syntax-based MRPN-CNN |
| KR20210042204A (en) * | 2019-10-08 | 2021-04-19 | 삼성디스플레이 주식회사 | Object detection post-processing device, and display device including the same |
| KR102283482B1 (en) * | 2021-02-19 | 2021-07-29 | 주식회사 싸인텔레콤 | Video system that can calculate traffic information through object tracking |
| KR20210132908A (en) | 2020-04-28 | 2021-11-05 | 영남대학교 산학협력단 | Method for learnig images using convolution neural network and apparatus for executing the method |
| US11176680B2 (en) | 2017-12-21 | 2021-11-16 | Konkuk University Industrial Cooperation Corp | Method of tracking object and apparatuses performing the same |
| KR20220065180A (en) * | 2020-11-13 | 2022-05-20 | 최명원 | Method and system for preventing traffic accident on pedestrian vehicle road |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101278237B1 (en) | 2011-06-08 | 2013-06-24 | 에스엘 주식회사 | Method and apparatus for recognizing vehicles |
| KR101640875B1 (en) | 2012-06-13 | 2016-07-19 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Object detection device |
| JP6044522B2 (en) | 2013-11-19 | 2016-12-14 | 横河電機株式会社 | Slow change detection system |
| JP2016218655A (en) | 2015-05-19 | 2016-12-22 | アズビル株式会社 | Device and method for person detection |
-
2017
- 2017-01-19 KR KR1020170009062A patent/KR101735365B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101278237B1 (en) | 2011-06-08 | 2013-06-24 | 에스엘 주식회사 | Method and apparatus for recognizing vehicles |
| KR101640875B1 (en) | 2012-06-13 | 2016-07-19 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Object detection device |
| JP6044522B2 (en) | 2013-11-19 | 2016-12-14 | 横河電機株式会社 | Slow change detection system |
| JP2016218655A (en) | 2015-05-19 | 2016-12-22 | アズビル株式会社 | Device and method for person detection |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190072900A (en) * | 2017-12-18 | 2019-06-26 | 한밭대학교 산학협력단 | Apparatus and method for wireless location using deep learning |
| KR102067997B1 (en) * | 2017-12-18 | 2020-01-20 | 한밭대학교 산학협력단 | Apparatus and method for wireless location using deep learning |
| US11176680B2 (en) | 2017-12-21 | 2021-11-16 | Konkuk University Industrial Cooperation Corp | Method of tracking object and apparatuses performing the same |
| KR101912570B1 (en) | 2018-07-11 | 2018-10-26 | 전북대학교산학협력단 | The object tracking system using artificial neural networks |
| KR101912569B1 (en) | 2018-07-11 | 2018-10-26 | 전북대학교산학협력단 | The object tracking system of video images |
| KR101959436B1 (en) | 2018-08-06 | 2019-07-02 | 전북대학교 산학협력단 | The object tracking system using recognition of background |
| KR101984209B1 (en) * | 2018-11-20 | 2019-05-30 | 주식회사 싸인텔레콤 | Real-time tracking device and method of specific vehicle by continuous frame by continuous tracking control module by intelligent frame |
| KR20200068102A (en) * | 2018-11-28 | 2020-06-15 | 이노뎁 주식회사 | method of providing object classification for compressed video by use of syntax-based MRPN-CNN |
| KR102178952B1 (en) * | 2018-11-28 | 2020-11-13 | 이노뎁 주식회사 | method of providing object classification for compressed video by use of syntax-based MRPN-CNN |
| KR20210042204A (en) * | 2019-10-08 | 2021-04-19 | 삼성디스플레이 주식회사 | Object detection post-processing device, and display device including the same |
| KR102615422B1 (en) | 2019-10-08 | 2023-12-20 | 삼성디스플레이 주식회사 | Object detection post-processing device, and display device including the same |
| KR20210132908A (en) | 2020-04-28 | 2021-11-05 | 영남대학교 산학협력단 | Method for learnig images using convolution neural network and apparatus for executing the method |
| KR20220065180A (en) * | 2020-11-13 | 2022-05-20 | 최명원 | Method and system for preventing traffic accident on pedestrian vehicle road |
| KR102514660B1 (en) * | 2020-11-13 | 2023-03-29 | 최명원 | Method and system for preventing traffic accident on pedestrian vehicle road |
| KR102283482B1 (en) * | 2021-02-19 | 2021-07-29 | 주식회사 싸인텔레콤 | Video system that can calculate traffic information through object tracking |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101735365B1 (en) | The robust object tracking method for environment change and detecting an object of interest in images based on learning | |
| KR101808587B1 (en) | Intelligent integration visual surveillance control system by object detection and tracking and detecting abnormal behaviors | |
| CN107527009B (en) | Remnant detection method based on YOLO target detection | |
| US7916944B2 (en) | System and method for feature level foreground segmentation | |
| US7639840B2 (en) | Method and apparatus for improved video surveillance through classification of detected objects | |
| Bedruz et al. | Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach | |
| JP4587038B2 (en) | Vehicle position detection method, and vehicle speed detection method and apparatus | |
| US20060067562A1 (en) | Detection of moving objects in a video | |
| KR101910542B1 (en) | Image Analysis Method and Server Apparatus for Detecting Object | |
| KR101884611B1 (en) | Method of extracting objects-of-Interest out of CCTV video using metadate filtering of moving objects | |
| CN111814635B (en) | Deep learning-based firework recognition model establishment method and firework recognition method | |
| CN111325048B (en) | Personnel gathering detection method and device | |
| CN104966304A (en) | Kalman filtering and nonparametric background model-based multi-target detection tracking method | |
| CN111932596B (en) | Method, device and equipment for detecting camera occlusion area and storage medium | |
| KR101472674B1 (en) | Method and apparatus for video surveillance based on detecting abnormal behavior using extraction of trajectories from crowd in images | |
| CN111696135A (en) | Intersection ratio-based forbidden parking detection method | |
| CN108257152A (en) | A kind of road intrusion detection method and system based on video | |
| JP7125843B2 (en) | Fault detection system | |
| KR101690050B1 (en) | Intelligent video security system | |
| Munajat et al. | Vehicle detection and tracking based on corner and lines adjacent detection features | |
| JP4302801B2 (en) | Object tracking method and object tracking apparatus | |
| Lim et al. | Tooth guard: A vision system for detecting missing tooth in rope mine shovel | |
| CN111325073A (en) | Monitoring video abnormal behavior detection method based on motion information clustering | |
| JP4922642B2 (en) | Vehicle detection device and vehicle detection method | |
| CN114399537B (en) | Vehicle tracking method and system for target personnel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |