KR101960667B1 - Suspect Tracking Apparatus and Method In Stored Images - Google Patents
Suspect Tracking Apparatus and Method In Stored Images Download PDFInfo
- Publication number
- KR101960667B1 KR101960667B1 KR1020180103417A KR20180103417A KR101960667B1 KR 101960667 B1 KR101960667 B1 KR 101960667B1 KR 1020180103417 A KR1020180103417 A KR 1020180103417A KR 20180103417 A KR20180103417 A KR 20180103417A KR 101960667 B1 KR101960667 B1 KR 101960667B1
- Authority
- KR
- South Korea
- Prior art keywords
- search
- target
- image
- target object
- suspect
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 저장 영상에서 용의자 추적 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for tracking a suspect in a stored image.
최근에는 여러 가지의 사고 예방을 위해 DVR(Digital Video Recoder)이 내장된 CCTV(Closed Circuit Television) 카메라를 시설물의 출입구 및 경계구역 등에 설치하여 사물의 출입을 촬영하며 그 영상을 관리(근무)자가 육안으로 모니터를 통해 감시하고 동시에 그 영상을 영상기록 저장 장치에 자동으로 저장하는 일반적인 CCTV 시스템이 많이 설치되어 활용되고 있다.Recently, a CCTV (Closed Circuit Television) camera with a built-in DVR (Digital Video Recorder) has been installed in the entrance and boundary areas of the facility to capture the entrance and exit of objects, and the management (work) And a CCTV system in which the video is automatically stored in a video recording and storing device is installed and utilized.
이와 같은 CCTV 시스템은 검색 시간이 많이 소요되고, 모니터링 요원의 실수로 인해 범인이나 차량을 정확하게 검거하는데 도움이 되지 못하는 경우가 대부분이고, 영상 저장장치에 저장된 CCTV 카메라에서 촬영된 영상에서 범죄와 관련된 사람이나 차량을 검색해 내는 것은 쉬운 일이 아니다. 매년 증가되는 CCTV 시스템, 한정된 모니터링 요원, 일어나는 범죄의 증가 등 제한된 인원이 더 많은 CCTV 저장내용을 실시간으로 정확하고 빠르게 찾아내기는 사실상 불가능하고, 제약사항이 많으며, 범인이나 차량에 대한 검색 결과를 신뢰할 수 없어 여전히 모니터링 전문 인력이 요구된다.Such a CCTV system often takes a long time to search and does not help to arrest a criminal or a vehicle due to a mistake of a monitoring person. In a video shot by a CCTV camera stored in a video storage device, It is not easy to search for cars or cars. Limited number of CCTV systems, limited monitoring personnel, and increasing crimes are increasingly unable to accurately and quickly locate more CCTV records in real time, which are virtually impossible, have a lot of constraints, There is still a need for monitoring personnel.
저장된 CCTV 영상에서 최초 용의자를 확인한 경우 이를 기초로 자동으로 녹화된 영상에서 용의자를 추적하여 동선을 파악할 수 있는 시스템에 대한 요구가 증대되고 있다.When the first suspect is confirmed in the stored CCTV image, there is an increasing demand for a system capable of tracking a suspect in an automatically recorded image based on the detected suspect.
따라서 본 발명이 해결하고자 하는 기술적 과제는 저장된 영상에서 용의자를 선택받으면 이를 기초로 자동으로 용의자를 추적하여 동선을 파악하고, 용의자 추적을 위한 시각적이고 수치적인 정보를 제공하여 모니터링 요원의 부담을 줄일 수 있는 저장 영상에서 용의자 추적 장치 및 방법에 관한 것이다.Therefore, the technical problem to be solved by the present invention is to reduce the burden on the monitoring personnel by providing visual and numerical information for tracking suspects by automatically tracking the suspects based on the selected suspects, The present invention relates to a device and method for tracking a suspect in a stored image.
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 저장 영상에서 용의자 추적 방법은 복수의 감시카메라에서 촬영된 복수의 영상 파일을 저장하는 단계, 상기 복수의 감시카메라 중에서 제1 감시카메라를 선택받는 단계, 상기 선택된 제1 감시카메라에 대응하는 제1 영상 파일을 재생하는 단계, 상기 제1 영상 파일의 재생 화면에서 용의자에 대응하는 타겟 객체를 선택받는 단계, 상기 제1 영상 파일에서 상기 타겟 객체를 학습하여 객체 특징을 추출하는 단계, 상기 복수의 감시카메라 중에서 검색 대상 감시카메라와 검색 시간을 포함한 검색 범위를 설정받는 단계, 상기 설정된 검색 범위에 포함되는 영상 파일에 대해서 상기 추출된 객체 특징을 이용한 용의자 추적 분석을 진행하면서 분석 진행 상황 화면을 표시하는 단계, 그리고 상기 선택된 타겟 객체와의 유사도가 표시된 복수의 썸네일 이미지로 이루어진 용의자 추적 결과를 검색 대상 감시카메라별로 제공하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for tracking a suspect in a stored image, the method comprising: storing a plurality of image files photographed by a plurality of surveillance cameras; Selecting a target object corresponding to a suspect on a playback screen of the first video file, selecting a target object corresponding to the target from the first video file, The method comprising the steps of: extracting an object feature by learning an object; setting a search range including a search camera and a search time among the plurality of surveillance cameras; Displaying the analysis progress screen while proceeding with the suspect tracking analysis using the step And providing a suspect tracking result including a plurality of thumbnail images of similarity to the selected target object for each surveillance target camera.
상기 제1 영상 파일에서 상기 타겟 객체가 선택된 시점을 기준으로 정해지는 구간에 속하는 복수의 영상 프레임을 이용해서 상기 타겟 객체를 학습하여 객체 특징을 추출할 수 있다.The object feature may be extracted by learning the target object using a plurality of image frames belonging to a section determined based on a point in time when the target object is selected in the first image file.
상기 방법은, 상기 검색 대상 감시카메라별로 제공된 복수의 썸네일 이미지 중에서 복수 개를 선택받는 단계, 상기 사용자로부터 선택된 복수 개의 썸네일 이미지를 시간순으로 정렬하여 배치한 화면 및 상기 사용자로부터 선택된 복수 개의 썸네일 이미지에 대응하는 감시카메라 위치를 연결한 용의자 동선 정보를 지도에 나타낸 화면 중 적어도 하나를 제공하는 단계를 더 포함할 수 있다.The method further comprises: selecting a plurality of thumbnail images provided for each of the search target surveillance cameras; arranging a plurality of thumbnail images selected from the user in chronological order and arranging a plurality of thumbnail images selected from the user And a screen showing the suspect's movement line information connected to the surveillance camera position on the map.
상기 방법은, 상기 검색 대상 감시카메라로 설정된 감시카메라의 영상 파일에서 선정된 복수의 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행하여 객체 특징을 보강하는 단계, 그리고 상기 보강된 객체 특징을 이용하여 용의자 추적 분석을 재진행하는 단계를 더 포함할 수 있다.The method includes the steps of reinforcing object features by performing reinforcement learning on the target object using a plurality of image frames selected from an image file of a surveillance camera set in the search target surveillance camera, And analyzing the suspect tracking analysis.
상기 분석 진행 상황 화면은, 상기 제1 감시카메라의 위치를 기준으로 검색 반경을 조정하여 검색 대상 감시카메라를 설정하기 위한 제1 사용자 인터페이스와 상기 검색 시간 범위를 설정하기 위한 제2 사용자 인터페이스를 포함하고, 상기 검색 대상 감시카메라별로 영상 파일을 미리 정해진 시간 단위로 분할한 슬라이드마다 분석 진행 여부 및 타겟 객체와 미리 정해진 유사도 이상을 가지는 객체 포함 여부를 표시할 수 있다.The analysis progress screen includes a first user interface for setting a search target surveillance camera by adjusting a search radius based on the position of the first surveillance camera and a second user interface for setting the search time range , Whether the analysis progresses for each slide in which the image file is divided by the predetermined time unit, and whether or not the target object and the object having the predetermined similarity or more are included.
상기 타겟 객체와 미리 정해진 유사도 이상을 가지는 객체 포함 여부는 유사도 레벨에 따라 다른 색상으로 나타낼 수 있다.Whether or not an object having a predetermined degree of similarity with the target object is included may be represented in a different color depending on the similarity level.
상기 방법은, 상기 제1 사용자 인터페이스를 통해 검색 반경과 상기 제2 사용자 인터페이스를 통해 검색 시간 범위를 조정받는 단계, 그리고 상기 조정된 검색 반경과 검색 시간 범위에 따라 조정된 검색 범위에 포함되는 영상 파일에 대해서 상기 추출된 객체 특징을 이용한 용의자 추적 분석을 진행하면서 분석 진행 상황 화면을 표시하는 단계를 더 포함할 수 있다.The method may further comprise: adjusting a search radius through the first user interface and a search time range through the second user interface, and adjusting the search radius of the image file included in the search range adjusted according to the adjusted search radius and the search time range. And displaying the analysis progress screen while proceeding with the suspect tracking analysis using the extracted object features.
상기 검색 대상 감시카메라의 영상 파일에서 상기 선택된 타겟 객체와의 유사도가 미리 정해진 기준 이상인 객체를 포함하는 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행할 수 있다.The reinforcement learning for the target object may be performed using an image frame including an object whose similarity to the selected target object is equal to or greater than a predetermined reference in the image file of the search target surveillance camera.
상기 검색 대상 감시카메라의 영상 파일에서 상기 선택된 타겟 객체와의 유사도가 가장 높은 객체를 포함하는 영상 프레임을 기준으로 정해지는 구간에 속하는 복수의 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행할 수 있다.The reinforcement learning for the target object is performed using a plurality of image frames belonging to a section determined based on an image frame including an object having the highest similarity to the selected target object in the image file of the search target surveillance camera .
상기한 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 저장 영상에서 용의자 추적 장치는, 복수의 감시카메라에서 촬영된 복수의 영상 파일을 저장하는 저장부, 상기 복수의 감시카메라 중에서 제1 감시카메라에 대응하는 제1 영상 파일을 재생하는 재생부, 상기 제1 영상 파일의 재생 화면을 표시하는 표시부, 상기 제1 영상 파일의 재생 화면에서 용의자에 대응하는 타겟 객체를 선택받고, 상기 복수의 감시카메라 중에서 검색 대상 감시카메라와 검색 시간을 포함한 검색 범위를 설정받는 사용자 입력부, 그리고 상기 제1 영상 파일에서 상기 타겟 객체를 학습하여 객체 특징을 추출하며, 상기 설정된 검색 범위에 포함되는 영상 파일에 대해서 상기 추출된 객체 특징을 이용한 용의자 추적 분석을 진행하면서 분석 진행 상황 화면을 상기 표시부에 표시하며, 상기 선택된 타겟 객체와의 유사도가 표시된 복수의 썸네일 이미지로 이루어진 용의자 추적 결과를 검색 대상 감시카메라별로 상기 표시부에 표시하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a susceptor tracking apparatus for a stored image, the apparatus comprising: a storage unit for storing a plurality of image files photographed by a plurality of surveillance cameras; A playback unit for playing back a first image file corresponding to the camera, a display unit for displaying a playback image of the first image file, a target object corresponding to the suspect in the playback image of the first image file, A user input unit configured to set a search range including a search target surveillance camera and a search time among cameras, and a search unit configured to extract an object feature by learning the target object from the first image file, While analyzing the suspect tracking using the extracted object features, the analysis progress screen is displayed And displaying a suspect tracking result including a plurality of thumbnail images showing similarity with the selected target object on the display unit for each search target surveillance camera.
본 발명에 의하면 자동으로 용의자를 추적하여 동선을 파악하고, 용의자 추적을 위한 시각적이고 수치적인 정보를 제공하여 모니터링 요원의 부담을 줄일 수 있는 장점이 있다.According to the present invention, there is an advantage that the burden of the monitoring personnel can be reduced by automatically tracking the suspect to identify the copper line, and provide visual and numerical information for tracking suspects.
특히 본 발명에 의하면 사건 접수 내용을 근거로 대략적인 사건 발생 시간과 사건 발생 위치를 추정해내면, 이를 기초로 사건 발생 위치에 설치된 감시카메라의 영상 파일을 사건 발생 시간 부근부터 재생하면서 용의자를 특정한 다음에는 비교적 적은 샘플을 가지고 고속으로 다수의 저장된 영상 파일에서 용의자를 추적한 결과를 추출해낼 수 있다.In particular, according to the present invention, when an approximate occurrence time and an occurrence position of an incident are estimated on the basis of the contents of the incident, the image file of the surveillance camera installed at the event occurrence location is reproduced from the vicinity of the occurrence time, Can extract the result of tracking the suspect in a large number of stored image files at a high speed with relatively few samples.
도 1은 본 발명의 일 실시예에 따른 저장 영상에서 용의자 추적 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 저장 영상에서 용의자 추적 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 저장 영상에서 용의자 추적 프로그램의 화면을 예시한 도면이다.1 is a block diagram illustrating a configuration of a suspect tracking apparatus in a stored image according to an embodiment of the present invention.
2 is a flowchart illustrating an operation of a suspect tracking apparatus in a stored image according to an exemplary embodiment of the present invention.
3 to 7 are views illustrating screens of a suspect tracking program in a stored image according to an embodiment of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.
도 1은 본 발명의 일 실시예에 따른 저장 영상에서 용의자 추적 장치의 구성을 나타낸 블록도이다.1 is a block diagram illustrating a configuration of a suspect tracking apparatus in a stored image according to an embodiment of the present invention.
도 1을 참고하면, 본 발명에 따른 감시카메라를 이용한 용의자 추적 장치(100)는 복수의 감시카메라(1, 2, …, N)로부터 촬영된 영상을 입력받아 화면에 표시할 수 있다.Referring to FIG. 1, a
감시카메라(1, 2, …, N)는 사전에 감시대상 지역의 소정의 위치에 각각 설치될 수 있다. 그리고 감시카메라(1, 2, …, N)는 무선 또는 유선 네트워크를 통해 객체 추적 장치(100)와 연결되어 감시카메라에서 촬영된 영상을 실시간으로 전송할 수 있는 네트워크 카메라로 구현될 수 있다. 물론 실시예에 따라 감시카메라(1, 2, …, N)는 촬영된 영상을 영상 파일로 저장하고, 사용자로부터 요청되거나 미리 정해진 시점에 저장된 영상 파일을 객체 추적 장치(100)에 전송하는 것도 가능하다.The
객체 추적 장치(100)는 감시카메라(1, 2, …, N)에 대한 정보를 등록받아 저장할 수 있다. 감시카메라별 정보는 각 카메라에 대해 고유하게 부여된 아이디 및 설치 위치 정보를 포함할 수 있다.The
객체 추적 장치(100)는 영상 입력부(110), 재생부(120), 제어부(130), 표시부(140), 저장부(150) 및 사용자 입력부(160)를 포함할 수 있다.The
영상 입력부(110)는 감시카메라(1, 2, …, N)에서 촬영되어 전송되는 영상을 입력받기 위한 기능을 수행한다. 영상 입력부(110)는 감시카메라(1, 2, …, N)에서 전송되는 영상 데이터를 전송받기 위한 네트워크 인터페이스 기능을 제공할 수 있다. 영상 입력부(110)를 통해 입력된 영상 데이터는 저장부(150)에 영상 파일로 저장될 수 있다.The
재생부(120)는 감시카메라(1, 2, …, N)에서 촬영되어 전송되는 영상을 표시부(140)에 실시간으로 재생할 수 있다. 물론 재생부(120)는 저장부(150)에 저장된 영상 파일 중 사용자로부터 선택된 영상 파일을 표시부(140)에 재생할 수도 있다.The
제어부(130)는 객체 추적 장치(100)의 전반적인 동작을 제어한다. 특히 제어부(130)는 영상 파일의 재생 화면에서 사용자로부터 용의자에 대응하는 타겟 객체를 선택받으면, 해당 영상 파일에서 타겟 객체를 학습하여 객체 특징을 추출할 수 있다. 그리고 제어부(130)는 복수의 감시카메라(1, 2, …, N) 중에서 검색 대상 감시카메라와 검색 시간을 포함한 검색 범위를 설정받고, 설정된 검색 범위에 포함되는 영상 파일에 대해서 추출된 객체 특징을 이용한 용의자 추적 분석을 진행할 수 있다. 그리고 제어부(130)는 분석 진행 상황 화면을 표시하며, 선택된 타겟 객체와의 유사도가 표시된 복수의 썸네일 이미지로 이루어진 용의자 추적 결과를 검색 대상 감시카메라별로 제공할 수도 있다. 여기서 썸네일 이미지는 타겟 객체와 일정 기준 이상의 유사도를 가진 객체가 인식된 영상 프레임을 원본 사이즈보다 축소한 이미지이고, 썸네일 이미지에는 타겟 객체와 해당 프레임에서 인식된 객체 사이의 유사도가 포함될 수 있다.The
이를 위해 제어부(130)는 영상 파일의 재생 화면에 대한 이미지 프로세싱을 수행하여 영상에서 사람 등과 같은 객체를 인식하고, 사용자로부터 선택된 객체와 영상에서 인식된 객체 사이의 유사도를 산출하는 기능을 수행할 수 있다.For this, the
표시부(140)는 제어부(130)의 제어에 따라 객체 추적 장치(100)의 동작과 관련된 각종 정보 및 데이터를 화면에 표시하는 기능을 수행하며, 이를 위해 모니터 등으로 구현할 수 있다. 구체적으로 표시부(140)는 감시카메라(1, 2, …, N)에서 촬영된 영상을 화면에 표시하는 기능을 수행하며, 감시카메라(1, 2, …, N)가 설치된 지도도 함께 표시되게 할 수 있다.The
저장부(150)는 객체 추적 장치(100)의 동작과 관련된 각종 정보 및 데이터를 저장하고 제어부(130)의 요청에 따라 제공하는 기능을 수행한다. 이를 위해 저장부(150)는 롬, 램, 하드디스크, 플래시메모리, SSD(Solid State Disk) 등과 같은 각종 저장매체로 구현될 수 있다.The
저장부(150)는 객체 추적 장치(100)에 등록된 감시카메라(1, 2, …, N) 각각에 대해 부여된 식별 정보와 설치 위치 정보를 저장하고 제어부(130)의 요청에 따라 제공할 수 있다. 또한 저장부(150)는 감시카메라(1, 2, …, N)에서 촬영되어 전달되는 영상 데이터에 대한 복수의 영상 파일을 저장할 수 있다.The
사용자 입력부(160)는 마우스, 키보드 또는 터치패드 등과 같은 사용자 입력 수단으로 구현할 수 있으며, 사용자로부터 객체 추적 장치(100)의 동작과 관련된 명령을 입력받아 제어부(130)에 전달하는 기능을 수행한다.The
도 2는 본 발명의 일 실시예에 따른 저장 영상에서 용의자 추적 장치의 동작을 설명하기 위해 제공되는 흐름도이고, 도 3 내지 도 7은 본 발명의 일 실시예에 따른 저장 영상에서 용의자 추적 프로그램의 화면을 예시한 도면이다.FIG. 2 is a flow chart for explaining an operation of a suspect tracking apparatus in a stored image according to an embodiment of the present invention. FIGS. 3 to 7 illustrate a screen of a suspect tracking program in a stored image according to an embodiment of the present invention. Fig.
도 2를 참고하면, 먼저 용의자 추적 장치(100)는 복수의 감시카메라(1, 2, …, N)로부터 촬영된 복수의 영상 파일을 저장할 수 있다(S205).Referring to FIG. 2, the
다음으로 용의자 추적 장치(100)는 사용자가 저장 영상에서 용의자 추적 메뉴를 선택하면 도 3에 예시한 것과 같은 감시카메라 선택 화면(F1)을 표시부(140)에 표시하여 사용자로부터 감시카메라를 선택받을 수 있다(S210).Next, the
단계(S210)에서 사용자는 복수의 감시카메라(1, 2, …, N) 중 하나를 선택할 수 있으며, 실시예에 따라 검색시 영상 파일에 검색 시 배속, 검색 시작 시간 및 검색 종료 시간 등을 사용자 입력부(160)를 통해 입력할 수 있다. 도 3에서는 복수의 감시카메라(1, 2, …, N) 중 '카메라 1'이 선택된 것을 나타내었다.In step S210, the user can select one of the plurality of
이후 사용자가 재생 버튼(B1)을 선택하면, 재생부(120)는 단계(S210)에서 선택된 '카메라 1'에 대응하는 영상 파일을 재생 화면 영역(P1)에 재생할 수 있다(S215).If the user then selects the play button B1, the
다음으로 용의자 추적 장치(100)는 재생 화면 영역(P1)에서 재생되는 영상 파일의 재생 화면에서 용의자에 대응하는 타겟 객체를 선택받을 수 있다(S220). 제어부(130)는 재생되는 영상 파일의 재생 화면에 대해 이미지 프로세싱하여 사람 등과 같은 객체를 인식하는 객체 인식 동작을 수행하고, 인식된 객체의 주변에 사각형 등과 같은 미리 정해진 표식을 표시되게 할 수 있다. 도 3에서는 3명의 사람이 재생 화면에서 인식된 것을 나타내고 있다. 객체 인식 동작은 사용자가 재생 화면을 지켜보다가 객체 선택 버튼(B2)을 누르면 시작되게 구현할 수 있다. 물론 사용자로부터 선택된 영상 파일을 재생하는 동안 객체 인식 동작이 이루어지게 구현하는 것도 가능하다. 사용자가 재생 화면에서 인식된 객체 중 하나를 마우스 등을 통해 클릭하면 용의자에 대응하는 타겟 객체가 선택된 것으로 처리할 수 있다. 또한 재생 화면에서 인식된 객체 중 하나를 마우스 등을 통해 클릭하고 나서 객체 선택 버튼(B2)을 누르면 최종적으로 타겟 객체가 선택된 것으로 처리하는 것도 가능하다.Next, the
다음으로 제어부(130)는 '카메라 1'에 대응하는 영상 파일에서 선택된 타겟 객체를 학습하여 객체 특징을 추출할 수 있다(S225). 단계(S225)에서 제어부(130)는 '카메라 1'에 대응하는 영상 파일에서 타겟 객체가 선택된 시점을 기준으로 정해지는 구간에 속하는 복수의 영상 프레임을 이용해서 타겟 객체를 학습하여 객체 특징을 추출할 수 있다. 예컨대 타겟 객체가 선택된 시점으로부터 미리 정해진 시간 이전 구간에 속하는 복수의 영상 프레임을 이용해서 타겟 객체를 학습하여 객체 특징을 추출할 수 있다. 가령 미리 정해진 시간이 5초이고, 1초에 30 프레임이라고 하면, 5초×30프레임, 즉 150 프레임을 이용하여 타겟 객체를 학습하여 객체 특징을 추출할 수 있다.Next, the
이후 용의자 추적 장치(100)는 도 4에 예시한 것과 같은 분석 진행 상황 화면을 통해 복수의 감시카메라 중에서 검색 대상 감시카메라와 검색 시간을 포함한 검색 범위를 설정받을 수 있다(S230).Then, the
분석 진행 상황 화면은 사용자로부터 단계(S210)에서 선택된 '카메라 1'의 위치를 기준으로 검색 반경을 조정하여 검색 대상 감시카메라를 설정하기 위한 제1 사용자 인터페이스(21)와 검색 시간 범위를 설정하기 위한 제2 사용자 인터페이스(22)를 포함할 수 있다.The analysis progress screen includes a
사용자 입력부(160)를 통해 사용자가 제1 사용자 인터페이스(21)와 제2 사용자 인터페이스(22)를 통해서 검색 대상 감시카메라와 검색 시간 범위를 설정하고 나서, 분석 시작 버튼(B3)을 누르면, 제어부(130)는 설정된 검색 범위에 포함되는 영상 파일에 대해서 앞서 추출된 객체 특징을 이용한 용의자 추적 분석을 진행하면서 분석 진행 상황 화면을 표시할 수 있다(S235). 도 4에서는 '카메라2', '카메라3' 및 '카메라 4'가 '카메라 1'을 기준으로 하는 검색 반경에 속하여 검색 범위에 포함된 것을 나타내었다. 제어부(130)는 '카메라 1', '카메라2', '카메라3' 및 '카메라 4'의 영상 파일에 대해서 병렬로 용의자 추적 분석을 진행하고 있는 것을 나타내었다.When the user sets the search time range with the search target surveillance camera through the
도 4에 예시한 것과 같이 분석 진행 상황 화면은 '카메라 1', '카메라2', '카메라3' 및 '카메라 4'(검색 대상 카메라) 각각에 대응하는 영상 파일을 미리 정해진 시간 단위(예컨대 10분 단위)로 분할한 슬라이드를 표시하고, 각 슬라이드에 대해서 분석 진행 여부 및 타겟 객체와 미리 정해진 유사도 이상을 가지는 객체의 포함 여부를 나타낸 타임라인 차트(23)를 포함할 수 있다. 가령 타겟 객체와 미리 정해진 유사도 이상을 가지는 객체 포함 여부를 유사도 레벨에 따라 다른 색상으로 나타낼 수 있다. 예컨대 분석 결과 슬라이드(S1)는 타겟 객체와 유사도가 90% 이상인 객체가 포함되어 있고, 슬라이드(S2)는 타겟 객체와 유사도가 80% 이상인 객체가 포함되어 있는 것을 나타내고 있다. 한편 슬라이드(S3)는 현재 분석 진행중인 것을 나타내고 있고, 슬라이드(S4)는 아직 분석이 미진행된 것을 나타내고 있다.As shown in FIG. 4, the analysis progress screen is a screen for displaying an image file corresponding to each of 'Camera 1', 'Camera 2', 'Camera 3' and 'Camera 4' And a
한편 분석 진행 상황 화면은 도 4에 예시한 것과 같이 전체 분석 진행율이 표시될 수 있으며, 검색 반경에 속한 카메라 중에서 일부를 선택하여 제거하기 위한 버튼(B6)이나 검색 반경에 속하지 않는 카메라 중에서 일부를 분석 대상으로 추가하기 위한 버튼(B5)을 포함할 수도 있다. 가령 '카메라4'의 경우 분석된 모든 슬라이드에서 타겟 객체와 유사도가 70% 이하인 객체만 포함된 것으로 나타나고 있으므로, 검색 범위에서 제외하여 나머지 다른 검색 대상 감시카메라에 대한 분석을 보다 빠르게 진행되게 할 수 있다.On the other hand, the analysis progress screen may display the entire analysis progress rate as illustrated in FIG. 4, and may include a button (B6) for selecting and removing a part of the cameras belonging to the search radius or a part of the cameras not belonging to the search radius And a button B5 for adding as an object. For example, in the case of 'Camera 4', all the analyzed slides show that only objects having a degree of similarity of 70% or less with the target object are included, so that it is possible to exclude from the search range, .
한편 사용자가 도 4에 예시한 분석 진행 상황 화면에서 특정 슬라이드를 선택하면, 제어부(130)는 해당 슬라이드에서 인식된 객체와 타겟 객체의 유사도가 표시된 복수의 썸네일 이미지를 포함하는 추적 상세 창(P2)을 도 5에 예시한 것과 같이 표시부(140)의 화면에 팝업되게 할 수도 있다. 그리고 추적 상세 창(P2)에서 특정 썸네일 이미지를 선택하면 해당 썸네일 이미지를 보다 크게 나타낸 상세 이미지를 포함한 창(P3)이 팝업되게 할 수도 있다.If the user selects a specific slide in the analysis progress screen shown in FIG. 4, the
한편 분석 진행 중에 사용자로부터 분석 일시 중지 버튼(B7)이 선택되면, 제어부(130)는 용의자 추적을 위한 분석을 일시 중지할 수 있다. 그리고 사용자가 제1 사용자 인터페이스(21)와 제2 사용자 인터페이스(22)를 통해서 검색 대상 감시카메라와 검색 시간 범위를 재설정하거나, 버튼(B5, B6)을 통해 검색 대상 카메라를 추가 또는 삭제하면 그에 따라 조정된 검색 범위에 해당하는 영상 파일에 대해서 분석을 재개할 수 있다.On the other hand, if the analysis suspend button B7 is selected from the user during the analysis, the
한편 제어부(130)는 설정된 검색 범위에 해당하는 복수의 영상 파일에 대한 분석이 완료되면, 선택된 타겟 객체와의 유사도가 표시된 복수의 썸네일 이미지로 이루어진 용의자 추적 결과를 검색 대상 감시카메라별로 구분하여 도 6에 예시한 것과 같은 화면(F2)을 구성하여 표시부(140)를 통해 제공할 수 있다(S240). 도 6에서 굵은 사각형으로 테두리가 표시된 썸네일 이미지가 사용자로부터 선택된 것을 나타내었다.Meanwhile, when analysis of a plurality of image files corresponding to the set search range is completed, the
사용자는 화면(F2) 상에서 각 검색 대상 감시카메라별로 제공된 복수의 썸네일 이미지 중에서 복수 개를 선택할 수 있다(S245).The user can select a plurality of thumbnail images from among a plurality of thumbnail images provided for each search target surveillance camera on the screen F2 (S245).
이후 사용자가 타겟 선택 완료 버튼(B8)을 누르면, 제어부(130)는 사용자로부터 선택된 복수 개의 썸네일 이미지를 시간순으로 정렬하여 배치한 화면(F3)을 도 7에 예시한 것과 같이 제공할 수 있다(S250). 또한 실시예에 따라서 제어부(130)는 사용자로부터 선택된 복수 개의 썸네일 이미지에 대응하는 감시카메라 위치를 연결한 용의자 동선 정보를 지도에 나타낸 화면(F4)을 도 7에 예시한 것과 같이 제공할 수도 있다(S255). 물론 단계(S245)와 단계(S250)를 동시에 수행하여 화면(F3)과 화면(F4)을 동시에 표시할 수도 있으며, 화면(F3)과 화면(F4) 중 하나를 제외하고 나머지만을 표시할 수도 있다.When the user then presses the target selection completion button B8, the
한편 실시예에 따라서 단계(S245) 및/또는 단계(S250) 이후에 사용자가 타겟 다시 선택 버튼(B9)을 누르면, 단계(S240)로 복귀해서 화면(F2)에서 사용자로부터 복수의 썸네일 이미지를 다시 선택받을 수도 있다.If the user presses the target re-select button B9 after the step S245 and / or S250 according to the embodiment, the process returns to the step S240 to return a plurality of thumbnail images from the user on the screen F2 You may be selected.
그리고 사용자가 추적 결과 저장 버튼(B10)을 선택하면, 제어부(130)는 화면(F3)과 화면(F4)을 포함한 용의자 추적 결과를 저장부(150)에 저장할 수 있다.When the user selects the save result button B10, the
한편 사용자가 강화 학습 버튼(B11)을 선택하면, 검색 대상 감시카메라로 설정된 감시카메라의 영상 파일에서 선정된 복수의 영상 프레임을 이용해서 타겟 객체에 대한 강화 학습을 수행하여 객체 특징을 보강하여 용의자 추적 분석을 재진행할 수 있다(S260). 예컨대 제어부(130)는 카메라 1, 카메라 2 및 카메라 3의 영상 파일에서 타겟 객체를 포함하는 복수의 영상 프레임을 추출하여 강화 학습을 수행할 수 있다. 앞서 최초에는 카메라 1대의 영상 파일만을 이용하여 객체 특징을 추출한 데 반하여, 강화 학습의 경우 타겟 객체가 추출된 다른 감시카메라의 영상 파일을 함께 이용하여 학습하므로 객체 특징을 보다 정확하게 추출할 수 있다. 제어부(130)는 단계(S260)에서 보강된 객체 특징을 이용하여 단계(S230) 내지 단계(S255)를 반복함으로써 용의자 추적 분석을 재진행할 수 있다.On the other hand, when the user selects the reinforcement learning button B11, reinforcement learning is performed on the target object using a plurality of image frames selected from the video file of the surveillance camera set as the search target surveillance camera, The analysis can be resumed (S260). For example, the
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include a computer-readable medium having program instructions for performing various computer-implemented operations. The medium records a program for executing the above-described method. The medium may include program instructions, data files, data structures, etc., alone or in combination. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD and DVD, programmed instructions such as floptical disk and magneto-optical media, ROM, RAM, And a hardware device configured to store and execute the program. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, Of the right.
Claims (18)
상기 복수의 감시카메라 중에서 제1 감시카메라를 선택받는 단계,
상기 선택된 제1 감시카메라에 대응하는 제1 영상 파일을 재생하는 단계,
상기 제1 영상 파일의 재생 화면에서 용의자에 대응하는 타겟 객체를 선택받는 단계,
상기 제1 영상 파일에서 상기 타겟 객체를 학습하여 객체 특징을 추출하는 단계,
상기 복수의 감시카메라 중에서 검색 대상 감시카메라와 검색 시간을 포함한 검색 범위를 설정받는 단계,
상기 설정된 검색 범위에 포함되는 영상 파일에 대해서 상기 추출된 객체 특징을 이용한 용의자 추적 분석을 진행하면서 분석 진행 상황 화면을 표시하는 단계, 그리고
상기 선택된 타겟 객체와의 유사도가 표시된 복수의 썸네일 이미지로 이루어진 용의자 추적 결과를 검색 대상 감시카메라별로 제공하는 단계
를 포함하며,
상기 분석 진행 상황 화면은,
상기 검색 대상 감시카메라별로 영상 파일을 미리 정해진 시간 단위로 분할한 슬라이드마다 분석 진행 여부 및 타겟 객체와 미리 정해진 유사도 이상을 가지는 객체 포함 여부를 표시하는 타임라인 차트(23),
상기 제1 감시카메라의 위치를 기준으로 검색 반경을 조정하여 검색 대상 감시카메라를 설정하기 위한 제1 사용자 인터페이스와 상기 검색 시간 범위를 설정하기 위한 제2 사용자 인터페이스, 그리고
상기 검색 반경에 속한 감시카메라 중에서 일부를 선택하여 분석대상에서 제외하기 위한 버튼(B6)과 상기 검색 반경에 속하지 않는 감시카메라 중에서 일부를 선택하여 분석대상에 포함시키기 위한 버튼(B5)을 포함하는 저장 영상에서 용의자 추적 방법.Storing a plurality of image files photographed by a plurality of surveillance cameras,
Selecting a first surveillance camera among the plurality of surveillance cameras,
Reproducing the first image file corresponding to the selected first surveillance camera,
Receiving a target object corresponding to a suspect on a playback screen of the first video file,
Extracting object features by learning the target object from the first image file,
Setting a search range including a search target surveillance camera and a search time among the plurality of surveillance cameras;
Displaying an analysis progress status screen while proceeding with a suspect tracking analysis using the extracted object features for an image file included in the set search range, and
A step of providing a suspect tracking result including a plurality of thumbnail images showing the degree of similarity with the selected target object for each surveillance target surveillance camera
/ RTI >
The analysis progress screen,
A time line chart (23) for indicating whether the analysis progress is performed for each slide in which the image file is divided by the predetermined time unit, and whether or not the target object and the object having the predetermined similarity or more are included,
A first user interface for setting a search target surveillance camera by adjusting a search radius based on the position of the first surveillance camera, a second user interface for setting the search time range,
A button B6 for selecting a part of the surveillance cameras belonging to the search radius and excluded from the analysis target, and a button B5 for selecting a part of the surveillance cameras not belonging to the search radius to be included in the analysis target Suspect tracking method in video.
상기 제1 영상 파일에서 상기 타겟 객체가 선택된 시점을 기준으로 정해지는 구간에 속하는 복수의 영상 프레임을 이용해서 상기 타겟 객체를 학습하여 객체 특징을 추출하는 저장 영상에서 용의자 추적 방법.The method of claim 1,
And extracting object features by learning the target object using a plurality of image frames belonging to a section determined based on a point in time when the target object is selected in the first image file.
상기 검색 대상 감시카메라별로 제공된 복수의 썸네일 이미지 중에서 복수 개를 선택받는 단계,
상기 선택된 복수 개의 썸네일 이미지를 시간순으로 정렬하여 배치한 화면 및 상기 선택된 복수 개의 썸네일 이미지에 대응하는 감시카메라 위치를 연결한 용의자 동선 정보를 지도에 나타낸 화면 중 적어도 하나를 제공하는 단계
를 더 포함하는 저장 영상에서 용의자 추적 방법.3. The method of claim 2,
Receiving a plurality of thumbnail images from among a plurality of thumbnail images provided for each search target surveillance camera,
Providing at least one of a screen on which the selected plurality of thumbnail images are arranged in chronological order and a screen on which the suspector copper line information connecting surveillance camera positions corresponding to the selected plurality of thumbnail images is displayed on a map
The method comprising the steps of:
상기 검색 대상 감시카메라로 설정된 감시카메라의 영상 파일에서 선정된 복수의 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행하여 객체 특징을 보강하는 단계, 그리고
상기 보강된 객체 특징을 이용하여 용의자 추적 분석을 재진행하는 단계
를 더 포함하는 저장 영상에서 용의자 추적 방법.3. The method of claim 2,
Performing reinforcement learning on the target object by using a plurality of image frames selected from an image file of a surveillance camera set in the search target surveillance camera to reinforce object features;
The step of retrying the suspect tracking analysis using the reinforced object feature
The method comprising the steps of:
상기 타겟 객체와 미리 정해진 유사도 이상을 가지는 객체 포함 여부는 유사도 레벨에 따라 다른 색상으로 나타내는 저장 영상에서 용의자 추적 방법.The method of claim 1,
Wherein the presence or absence of an object having a predetermined degree of similarity with the target object is represented by a different color according to the similarity level.
상기 제1 사용자 인터페이스를 통해 검색 반경과 상기 제2 사용자 인터페이스를 통해 검색 시간 범위를 조정받는 단계, 그리고
상기 조정된 검색 반경과 검색 시간 범위에 따라 조정된 검색 범위에 포함되는 영상 파일에 대해서 상기 추출된 객체 특징을 이용한 용의자 추적 분석을 진행하면서 분석 진행 상황 화면을 표시하는 단계
를 더 포함하는 저장 영상에서 용의자 추적 방법.The method of claim 1,
Adjusting a search radius through the first user interface and a search time range through the second user interface, and
Displaying an analysis progress status screen while proceeding with the suspect tracking analysis using the extracted object features for an image file included in the search range adjusted according to the adjusted search radius and the search time range;
The method comprising the steps of:
상기 검색 대상 감시카메라의 영상 파일에서 상기 선택된 타겟 객체와의 유사도가 미리 정해진 기준 이상인 객체를 포함하는 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행하는 저장 영상에서 용의자 추적 방법.5. The method of claim 4,
Wherein the reinforcement learning for the target object is performed using an image frame including an object whose similarity to the selected target object is equal to or greater than a predetermined reference in the image file of the search target surveillance camera.
상기 검색 대상 감시카메라의 영상 파일에서 상기 선택된 타겟 객체와의 유사도가 가장 높은 객체를 포함하는 영상 프레임을 기준으로 정해지는 구간에 속하는 복수의 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행하는 저장 영상에서 용의자 추적 방법.5. The method of claim 4,
Performing reinforcement learning on the target object by using a plurality of image frames belonging to an interval determined on the basis of the image frame including the object having the highest similarity to the selected target object in the image file of the search target surveillance camera Suspect tracking method in stored image.
상기 복수의 감시카메라 중에서 제1 감시카메라에 대응하는 제1 영상 파일을 재생하는 재생부,
상기 제1 영상 파일의 재생 화면을 표시하는 표시부,
상기 제1 영상 파일의 재생 화면에서 용의자에 대응하는 타겟 객체를 선택받고, 상기 복수의 감시카메라 중에서 검색 대상 감시카메라와 검색 시간을 포함한 검색 범위를 설정받는 사용자 입력부, 그리고
상기 제1 영상 파일에서 상기 타겟 객체를 학습하여 객체 특징을 추출하며, 상기 설정된 검색 범위에 포함되는 영상 파일에 대해서 상기 추출된 객체 특징을 이용한 용의자 추적 분석을 진행하면서 분석 진행 상황 화면을 상기 표시부에 표시하며, 상기 선택된 타겟 객체와의 유사도가 표시된 복수의 썸네일 이미지로 이루어진 용의자 추적 결과를 검색 대상 감시카메라별로 상기 표시부에 표시하는 제어부
를 포함하며,
상기 분석 진행 상황 화면은,
상기 검색 대상 감시카메라별로 영상 파일을 미리 정해진 시간 단위로 분할한 슬라이드마다 분석 진행 여부 및 타겟 객체와 미리 정해진 유사도 이상을 가지는 객체 포함 여부를 표시하는 타임라인 차트(23),
상기 제1 감시카메라의 위치를 기준으로 검색 반경을 조정하여 검색 대상 감시카메라를 설정하기 위한 제1 사용자 인터페이스와 상기 검색 시간 범위를 설정하기 위한 제2 사용자 인터페이스, 그리고
상기 검색 반경에 속한 감시카메라 중에서 일부를 선택하여 분석대상에서 제외하기 위한 버튼(B6)과 상기 검색 반경에 속하지 않는 감시카메라 중에서 일부를 선택하여 분석대상에 포함시키기 위한 버튼(B5)을 포함하는 저장 영상에서 용의자 추적 장치.A storage unit for storing a plurality of image files photographed by the plurality of surveillance cameras,
A playback unit for playing back a first video file corresponding to a first surveillance camera among the plurality of surveillance cameras,
A display unit for displaying a reproduction screen of the first image file,
A user input unit for selecting a target object corresponding to a suspect in a playback image of the first image file and setting a search range including a search target surveillance camera and a search time among the plurality of surveillance cameras;
Extracting object features by learning the target object from the first image file, analyzing the suspect object tracking using the extracted object features for the image files included in the set search range, and displaying an analysis progress status screen on the display unit And displaying a suspect tracking result including a plurality of thumbnail images showing similarity with the selected target object on the display unit for each search target surveillance camera,
/ RTI >
The analysis progress screen,
A time line chart (23) for indicating whether the analysis progress is performed for each slide in which the image file is divided by the predetermined time unit, and whether or not the target object and the object having the predetermined similarity or more are included,
A first user interface for setting a search target surveillance camera by adjusting a search radius based on the position of the first surveillance camera, a second user interface for setting the search time range,
A button B6 for selecting a part of the surveillance cameras belonging to the search radius and excluded from the analysis target, and a button B5 for selecting a part of the surveillance cameras not belonging to the search radius to be included in the analysis target Suspect tracking device in video.
상기 제어부는,
상기 제1 영상 파일에서 상기 타겟 객체가 선택된 시점을 기준으로 정해지는 구간에 속하는 복수의 영상 프레임을 이용해서 상기 타겟 객체를 학습하여 객체 특징을 추출하는 저장 영상에서 용의자 추적 장치.11. The method of claim 10,
Wherein,
Wherein the object feature is extracted by learning the target object using a plurality of image frames belonging to a section determined based on a point in time when the target object is selected in the first image file.
상기 사용자 입력부는,
상기 검색 대상 감시카메라별로 제공된 복수의 썸네일 이미지 중에서 복수 개를 선택받고,
상기 제어부는,
상기 선택된 복수 개의 썸네일 이미지를 시간순으로 정렬하여 배치한 화면 및 상기 선택된 복수 개의 썸네일 이미지에 대응하는 감시카메라 위치를 연결한 용의자 동선 정보를 지도에 나타낸 화면 중 적어도 하나를 상기 표시부에 표시하는 저장 영상에서 용의자 추적 장치.12. The method of claim 11,
Wherein the user input unit comprises:
A plurality of thumbnail images provided for each of the search target surveillance cameras,
Wherein,
A display screen displaying at least one of a screen on which the selected plurality of thumbnail images are arranged in chronological order and a screen on which the surveillance camera information corresponding to the selected plurality of thumbnail images is connected to the map on the map, Suspect tracking device.
상기 제어부는,
상기 검색 대상 감시카메라로 설정된 감시카메라의 영상 파일에서 선정된 복수의 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행하여 객체 특징을 보강하고, 상기 보강된 객체 특징을 이용하여 용의자 추적 분석을 재진행하는 저장 영상에서 용의자 추적 장치.12. The method of claim 11,
Wherein,
The object feature is reinforced by performing reinforcement learning on the target object using a plurality of image frames selected from the image file of the surveillance camera set in the search target surveillance camera, and the suspect tracker analysis is performed using the enhanced object feature A suspect tracking device in a retrospective stored image.
상기 타겟 객체와 미리 정해진 유사도 이상을 가지는 객체 포함 여부는 유사도 레벨에 따라 다른 색상으로 나타내는 저장 영상에서 용의자 추적 장치.11. The method of claim 10,
Wherein the presence or absence of an object having a predetermined degree of similarity with the target object is represented by a different color according to the degree of similarity.
상기 제어부는,
상기 제1 사용자 인터페이스를 통해 검색 반경과 상기 제2 사용자 인터페이스를 통해 검색 시간 범위를 조정받고, 상기 조정된 검색 반경과 검색 시간 범위에 따라 조정된 검색 범위에 포함되는 영상 파일에 대해서 상기 추출된 객체 특징을 이용한 용의자 추적 분석을 진행하면서 분석 진행 상황 화면을 표시하는 저장 영상에서 용의자 추적 장치.11. The method of claim 10,
Wherein,
Wherein the control unit adjusts the search radius through the first user interface and the search time range through the second user interface and searches the extracted object for the image file included in the search range adjusted according to the adjusted search radius and the search time range, A suspect tracking system in a stored image that displays an analysis progress screen while carrying out a suspect tracking analysis using features.
상기 검색 대상 감시카메라의 영상 파일에서 상기 선택된 타겟 객체와의 유사도가 미리 정해진 기준 이상인 객체를 포함하는 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행하는 저장 영상에서 용의자 추적 장치.The method of claim 13,
Wherein the reinforcement learning for the target object is performed using an image frame including an object whose similarity to the selected target object is equal to or higher than a predetermined reference in the image file of the search target surveillance camera.
상기 검색 대상 감시카메라의 영상 파일에서 상기 선택된 타겟 객체와의 유사도가 가장 높은 객체를 포함하는 영상 프레임을 기준으로 정해지는 구간에 속하는 복수의 영상 프레임을 이용해서 상기 타겟 객체에 대한 강화 학습을 수행하는 저장 영상에서 용의자 추적 장치.The method of claim 13,
Performing reinforcement learning on the target object by using a plurality of image frames belonging to an interval determined on the basis of the image frame including the object having the highest similarity to the selected target object in the image file of the search target surveillance camera Suspect tracking device in stored video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180103417A KR101960667B1 (en) | 2018-08-31 | 2018-08-31 | Suspect Tracking Apparatus and Method In Stored Images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180103417A KR101960667B1 (en) | 2018-08-31 | 2018-08-31 | Suspect Tracking Apparatus and Method In Stored Images |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101960667B1 true KR101960667B1 (en) | 2019-07-15 |
Family
ID=67257734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180103417A KR101960667B1 (en) | 2018-08-31 | 2018-08-31 | Suspect Tracking Apparatus and Method In Stored Images |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101960667B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111831769A (en) * | 2020-06-18 | 2020-10-27 | 汉海信息技术(上海)有限公司 | Track processing method and device, electronic equipment and storage medium |
CN111931605A (en) * | 2020-07-23 | 2020-11-13 | 中核核电运行管理有限公司 | Intelligent monitoring system and method for high-risk operation of nuclear power plant |
CN112270205A (en) * | 2020-09-22 | 2021-01-26 | 苏州千视通视觉科技股份有限公司 | Case investigation method and device |
CN113592910A (en) * | 2021-07-29 | 2021-11-02 | 浙江大华技术股份有限公司 | Cross-camera tracking method and device |
KR102340184B1 (en) * | 2021-08-23 | 2021-12-17 | 한화시스템 주식회사 | Apparatus and method for tracking a manual target using AI learning technique in the console terminal |
WO2023128437A1 (en) * | 2021-12-31 | 2023-07-06 | 한화테크윈 주식회사 | Video reception/search apparatus and video display method |
KR102651190B1 (en) | 2023-07-20 | 2024-03-26 | 주식회사세오 | Method for tracking a criminal suspect and apparatus and system therefor |
KR102710645B1 (en) | 2023-12-22 | 2024-09-26 | 주식회사 인텔리빅스 | Apparatus for Processing Object Thumbnail and Driving Method Thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101074850B1 (en) * | 2010-08-09 | 2011-10-19 | 이정무 | Serch system of images |
KR101092472B1 (en) | 2011-09-09 | 2011-12-13 | (주)나인정보시스템 | Video indexing system using surveillance camera and the method thereof |
KR20150022246A (en) * | 2013-08-22 | 2015-03-04 | 에스케이텔레콤 주식회사 | Method and Apparatus for Searching Image by Using Adjacent Distance Reference and Computer-Readable Recording Medium with Program |
WO2015098442A1 (en) * | 2013-12-26 | 2015-07-02 | 株式会社日立国際電気 | Video search system and video search method |
-
2018
- 2018-08-31 KR KR1020180103417A patent/KR101960667B1/en active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101074850B1 (en) * | 2010-08-09 | 2011-10-19 | 이정무 | Serch system of images |
KR101092472B1 (en) | 2011-09-09 | 2011-12-13 | (주)나인정보시스템 | Video indexing system using surveillance camera and the method thereof |
KR20150022246A (en) * | 2013-08-22 | 2015-03-04 | 에스케이텔레콤 주식회사 | Method and Apparatus for Searching Image by Using Adjacent Distance Reference and Computer-Readable Recording Medium with Program |
WO2015098442A1 (en) * | 2013-12-26 | 2015-07-02 | 株式会社日立国際電気 | Video search system and video search method |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111831769A (en) * | 2020-06-18 | 2020-10-27 | 汉海信息技术(上海)有限公司 | Track processing method and device, electronic equipment and storage medium |
CN111931605A (en) * | 2020-07-23 | 2020-11-13 | 中核核电运行管理有限公司 | Intelligent monitoring system and method for high-risk operation of nuclear power plant |
CN111931605B (en) * | 2020-07-23 | 2024-05-14 | 中核核电运行管理有限公司 | Nuclear power plant high-risk operation intelligent monitoring system and method |
CN112270205A (en) * | 2020-09-22 | 2021-01-26 | 苏州千视通视觉科技股份有限公司 | Case investigation method and device |
CN113592910A (en) * | 2021-07-29 | 2021-11-02 | 浙江大华技术股份有限公司 | Cross-camera tracking method and device |
KR102340184B1 (en) * | 2021-08-23 | 2021-12-17 | 한화시스템 주식회사 | Apparatus and method for tracking a manual target using AI learning technique in the console terminal |
WO2023128437A1 (en) * | 2021-12-31 | 2023-07-06 | 한화테크윈 주식회사 | Video reception/search apparatus and video display method |
KR102651190B1 (en) | 2023-07-20 | 2024-03-26 | 주식회사세오 | Method for tracking a criminal suspect and apparatus and system therefor |
KR102710645B1 (en) | 2023-12-22 | 2024-09-26 | 주식회사 인텔리빅스 | Apparatus for Processing Object Thumbnail and Driving Method Thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101960667B1 (en) | Suspect Tracking Apparatus and Method In Stored Images | |
EP2954499B1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
US10073910B2 (en) | System and method for browsing summary image | |
US11308158B2 (en) | Information processing system, method for controlling information processing system, and storage medium | |
US11676389B2 (en) | Forensic video exploitation and analysis tools | |
KR100883065B1 (en) | Apparatus and method for record control by motion detection | |
US20050257151A1 (en) | Method and apparatus for identifying selected portions of a video stream | |
EP3070938A1 (en) | Image processing apparatus and method | |
US20020175997A1 (en) | Surveillance recording device and method | |
JP2008165701A (en) | Image processing device, electronics equipment, image processing method, and program | |
KR101484844B1 (en) | Apparatus and method for privacy masking tool that provides real-time video | |
JP2009098774A (en) | Person tracking system, person tracking method and person tracking program | |
EP3573327B1 (en) | Method and device for displaying target object | |
JP2009075802A (en) | Personal activity retrieving apparatus | |
JP5349632B2 (en) | Image processing method and image processing apparatus | |
KR20150026178A (en) | Apparatus for Providing Video Synopsis Computer-Readable Recording Medium with Program therefore | |
RU2703152C1 (en) | System and method of displaying objects movement scheme | |
JP6214762B2 (en) | Image search system, search screen display method | |
JP3372096B2 (en) | Image information access device | |
MX2013014731A (en) | Video navigation through object location. | |
US11995915B2 (en) | Systems and methods for collecting video clip evidence from a plurality of video streams of a video surveillance system | |
JP2006163527A (en) | Image retrieval device and method | |
JP5826513B2 (en) | Similar image search system | |
US20230142311A1 (en) | Method and apparatus for monitoring usage of at least one application executed within an operating system | |
JP2015064656A (en) | Image search system |