KR20210108018A - Method and apparatus for mapping objects besed on movement path - Google Patents

Method and apparatus for mapping objects besed on movement path Download PDF

Info

Publication number
KR20210108018A
KR20210108018A KR1020200022670A KR20200022670A KR20210108018A KR 20210108018 A KR20210108018 A KR 20210108018A KR 1020200022670 A KR1020200022670 A KR 1020200022670A KR 20200022670 A KR20200022670 A KR 20200022670A KR 20210108018 A KR20210108018 A KR 20210108018A
Authority
KR
South Korea
Prior art keywords
movement path
cluster
cctv
image
same
Prior art date
Application number
KR1020200022670A
Other languages
Korean (ko)
Other versions
KR102656084B1 (en
Inventor
최범석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200022670A priority Critical patent/KR102656084B1/en
Publication of KR20210108018A publication Critical patent/KR20210108018A/en
Application granted granted Critical
Publication of KR102656084B1 publication Critical patent/KR102656084B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

According to an embodiment of the present invention, an object which is matched a movement path can be found and tracked based on movement information of the object. A device for mapping object based on a movement path: obtains movement path information of the object of interest; extracts an object area from at least one frame image captured from a plurality of cameras on the movement path, respectively; classifies the same object into one cluster based on a feature point of the object area extracted from each camera; and outputs an image of the object area mapped at the most points on the movement path among images of the object area in the cluster for each object.

Description

이동경로 기반 객체 매핑 방법 및 장치{METHOD AND APPARATUS FOR MAPPING OBJECTS BESED ON MOVEMENT PATH}Object mapping method and device based on movement path {METHOD AND APPARATUS FOR MAPPING OBJECTS BESED ON MOVEMENT PATH

본 발명은 이동경로 기반 객체 매핑 방법 및 장치에 관한 것으로, 자세하게는 객체의 이동경로가 주어졌을 때 CCTV(Closed-circuit television) 영상으로부터 주어진 이동경로에 일치하는 객체를 찾기 위한 이동경로 기반 객체 객체 매핑 방법 및 장치에 관한 것이다.The present invention relates to a movement path-based object mapping method and apparatus, and more particularly, to a movement path-based object mapping for finding an object matching a given movement path from a CCTV (Closed-Circuit Television) image when the movement path of the object is given. It relates to a method and apparatus.

다중 CCTV(Closed-circuit television) 환경에서 동일한 객체(예를 들면, 사람 또는 차량)를 영상 분석 기술을 통하여 찾는 기술을 재인식[Re-ID(Identification)] 기술이라고 한다. 이때 서로 다른 CCTV 화면에서 같은 객체를 인식하는 것은 CCTV 마다 출력되는 해상도, 랜즈 왜곡, 색상이 다르기 때문에 사람의 능력으로도 쉽지 않다.A technology that finds the same object (eg, a person or a vehicle) through image analysis technology in a multi-closed-circuit television (CCTV) environment is called Re-ID (Identification) technology. At this time, recognizing the same object on different CCTV screens is not easy even with human ability because the output resolution, lens distortion, and color are different for each CCTV.

최근 딥러닝 기술의 한 파트인 Re-ID 기술이 발전하면서 재인식 성능이 높아지고 있다. 그러나 딥러닝 기술로도 분간이 쉽지 않은 경우가 많다. 예를 들어, 어떤 CCTV에는 사람의 앞 모습만 촬영된 반면 다른 CCTV에는 동일인임에도 불구하고 사람의 뒷모습만 촬영될 수 있다. 이때 이 사람이 앞뒤가 비슷한 모양의 옷을 입고 있다면 비교적 쉽게 구분이 되지만, 앞뒤가 전혀 다른 옷을 입고 있다면 서로 다른 사람으로 인식될 확률이 높다. Recently, as Re-ID technology, a part of deep learning technology, has been developed, re-recognition performance is increasing. However, it is often difficult to distinguish even with deep learning technology. For example, in some CCTVs, only the front of a person is photographed, while in another CCTV, only the back of a person may be photographed even though it is the same person. At this time, if this person is wearing clothes with similar front and back shapes, it is relatively easy to distinguish them, but if they are wearing completely different clothes from the front and back, they are more likely to be recognized as different people.

Re-ID 기술은 관심 객체에 해당하는 쿼리 이미지를 입력하면 갤러리 이미지들 중에서 동일 객체를 찾는 문제이다. 그러나 쿼리 이미지 없이 특정 객체의 이동경로 정보만이 주어지고 CCTV를 통하여 해당 객체를 인식해야 할 경우가 발생하기도 한다. 예를 들어, 보호 감시가 필요한 사람에게 위치추적 전자장치가 착용된다. 위치추적 전자장치를 착용한 사람이 이동하게 되면 실시간 GPS 정보를 통하여 그 사람의 이동경로를 알 수 있다. 그러나 그 사람이 어떤 행동을 하고 있는지는 단순히 이동경로만을 가지고 알 수가 없다. 이는 CCTV를 통해서만 파악할 수가 있다. 만일 관찰이 필요한 객체의 이동경로 정보만을 가지고도 CCTV를 통하여 동일 객체를 확인할 수 있다면, 범죄가 일어나기 전에 미리 대처를 하여 피해를 줄이거나, 범인의 도주 경로가 예상이 될 때 CCTV를 통하여 빠르게 용의자를 한정할 수 있을 것이다. Re-ID technology is a problem of finding the same object among gallery images when a query image corresponding to an object of interest is input. However, there are cases where only movement path information of a specific object is given without a query image, and the object needs to be recognized through CCTV. For example, location tracking electronics are worn by persons in need of protective monitoring. When a person wearing the location tracking electronic device moves, the movement path of the person can be known through real-time GPS information. However, it is not possible to know what kind of behavior the person is doing simply by the movement route. This can only be detected through CCTV. If the same object can be identified through CCTV even with only the movement path information of the object that needs observation, it is possible to reduce damage by taking action before a crime occurs, or to quickly detect a suspect through CCTV when the criminal's escape route is expected. can be limited

본 발명이 해결하려는 과제는 객체의 이동경로 정보를 기반으로 다중 CCTV 환경에서 해당 이동경로와 일치하는 객체를 인식할 수 있는 이동경로 기반 객체 매핑 방법 및 장치를 제공하는 것이다.An object to be solved by the present invention is to provide a movement path-based object mapping method and apparatus capable of recognizing an object matching the movement path in a multi-CCTV environment based on movement path information of the object.

본 발명의 한 실시 예에 따르면, 이동경로 기반 객체 매핑 장치의 이동경로 기반 객체 매핑 방법이 제공된다. 이동경로 기반 객체 매핑 방법은 관심 객체의 이동경로 정보를 획득하는 단계, 상기 이동경로 상의 다수의 카메라로부터 각각 촬영된 적어도 하나의 프레임 영상에서 객체 영역을 추출하는 단계, 상기 각 카메라에서 추출된 객체 영역의 특징점을 기반으로 동일한 객체를 하나의 클러스터로 분류하는 단계, 그리고 객체별 클러스터 내 객체 영역의 영상들 중에서 상기 이동경로 상의 가장 많은 지점에서 매핑이 되는 객체 영역의 영상을 출력하는 단계를 포함한다. According to an embodiment of the present invention, there is provided a movement path-based object mapping method of a movement path-based object mapping apparatus. The movement path-based object mapping method includes the steps of obtaining movement path information of an object of interest, extracting an object region from at least one frame image photographed from a plurality of cameras on the movement path, respectively, and the object region extracted from each camera classifying the same object into one cluster based on the feature points of , and outputting an image of an object region mapped at the most points on the movement path among images of an object region in a cluster for each object.

본 발명의 실시 예에 의하면, 객체의 이동경로 정보를 바탕으로 영상에서 해당 객체를 이동경로 정보에 매핑함으로써, 빠른 시간에 이동경로에 일치하는 객체의 찾을 수 있으며, 객체의 추적을 가능하게 한다.According to an embodiment of the present invention, by mapping the object to the movement path information in the image based on the movement path information of the object, an object matching the movement path can be quickly found and tracking of the object is possible.

도 1은 본 발명의 실시 예에 따른 이동경로 기반 객체 매핑 개념을 나타낸 도면이다.
도 2는 본 발명의 한 실시 예에 따른 이동경로 기반 객체 매핑 장치를 나타낸 도면이다.
도 3은 도 2에 도시된 인트라 클러스터 생성기가 하나의 CCTV에서 추출한 동일 사람에 대한 클러스터링 결과의 일 예를 나타낸 도면이다.
도 4는 도 2에 도시된 인터 클러스터 생성기가 서로 다른 CCTV에서 추출한 동일 사람에 대한 클러스터링 결과의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 이동경로 기반 객체 매핑 방법을 나타낸 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 이동경로 기반 객체 매핑 장치를 개략적인 도면이다.1 is a diagram illustrating a movement path-based object mapping concept according to an embodiment of the present invention.
2 is a diagram illustrating a movement path-based object mapping apparatus according to an embodiment of the present invention.
3 is a diagram illustrating an example of a clustering result for the same person extracted from one CCTV by the intra cluster generator shown in FIG. 2 .
4 is a diagram illustrating an example of a clustering result for the same person extracted from different CCTVs by the inter-cluster generator shown in FIG. 2 .
5 is a flowchart illustrating a movement path-based object mapping method according to an embodiment of the present invention.
6 is a schematic diagram of a movement path-based object mapping apparatus according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification and claims, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

이제 본 발명의 실시 예에 따른 이동경로 기반 객체 매핑 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.Now, a movement path-based object mapping method and apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 이동경로 기반 객체 매핑 개념을 나타낸 도면이다.1 is a diagram illustrating a movement path-based object mapping concept according to an embodiment of the present invention.

도 1을 참고하면, 이동경로 기반 객체 매핑 장치(100)는 사람 또는 차량(이하, "관심 객체"라 함)의 이동경로 정보를 획득한다. 이동경로 기반 객체 매핑 장치는 관심 객체가 소지하고 있는(또는 객체에 장착된) 위치추적 전자장치로부터의 위치 정보로부터 이동경로 정보를 획득할 수 있다. Referring to FIG. 1 , the movement path-based object mapping apparatus 100 acquires movement path information of a person or a vehicle (hereinafter, referred to as an “object of interest”). The movement route-based object mapping apparatus may obtain movement route information from location information from a location tracking electronic device that the object of interest possesses (or is mounted on the object).

이동경로 기반 객체 매핑 장치(100)는 관심 객체의 이동경로에 위치한 다수의 CCTV들(10a, 10b, 10c, 10d)로부터 촬영된 영상을 입력 받고, 입력 받은 영상의 분석을 통해 가장 많은 CCTV(10a, 10b, 10c, 10d)에 동일하게 나타난 객체를 알려준다. 이동경로 기반 객체 매핑 장치(100)는 영상 분석을 통하여 이동경로 상의 각 CCTV(10a, 10b, 10c, 10d)에서 등장한 객체들을 이동경로 상에 매핑하고, 주어진 이동경로 상에서 가장 많이 매핑된 객체를 검출할 수 있다. 도 1에서는 편의상 이동경로 상의 각 CCTV(10a, 10b, 10c, 10d)에서 등장한 각기 다른 객체들을 다른 모양으로 표현하였다. The movement path-based object mapping apparatus 100 receives images captured from a plurality of CCTVs 10a, 10b, 10c, and 10d located on the movement path of the object of interest, and through analysis of the received images, the largest number of CCTVs 10a , 10b, 10c, 10d) indicate the same object. The movement path-based object mapping apparatus 100 maps the objects appearing in each CCTV (10a, 10b, 10c, 10d) on the movement path on the movement path through image analysis, and detects the most mapped object on the given movement path can do. In FIG. 1, for convenience, different objects appearing in each CCTV 10a, 10b, 10c, and 10d on the moving path are expressed in different shapes.

도 2는 본 발명의 한 실시 예에 따른 이동경로 기반 객체 매핑 장치를 나타낸 도면이다. 2 is a diagram illustrating a movement path-based object mapping apparatus according to an embodiment of the present invention.

도 2를 참고하면, 이동경로 기반 객체 매핑 장치(100)는 프레임 추출기(110), 객체 탐지기(120), 객체 재인식 특징점 추출기(130), 객체 이미지 저장부(140), 인트라 클러스터 생성기(150), 인트라 클러스터 결과 저장부(160), 인터 클러스터 생성기(170), 인터 클러스터 결과 저장부(180) 및 이동경로 매핑부(190)를 포함한다. Referring to FIG. 2 , the movement path-based object mapping apparatus 100 includes a frame extractor 110 , an object detector 120 , an object re-recognition feature point extractor 130 , an object image storage unit 140 , and an intra cluster generator 150 . , an intra cluster result storage unit 160 , an inter cluster generator 170 , an inter cluster result storage unit 180 , and a movement path mapping unit 190 .

다수의 CCTV의 동영상은 프레임 추출기(110)로 입력된다. A plurality of CCTV video is input to the frame extractor (110).

프레임 추출기(100)는 각 CCTV의 동영상을 샘플링하여 프레임 영상을 추출한다. 일반적으로 동영상은 초당 30 프레임의 영상을 사용한다. 프레임 추출기(100)는 초당 30 프레임 영상을 모두 추출할 수도 있지만, 영상 분석의 오버헤드를 고려하여 초당 1~2 프레임으로 한정하여 추출할 수도 있다. 추출된 영상은 객체 탐지기(120)로 전달된다. The frame extractor 100 samples the video of each CCTV and extracts the frame image. In general, a video uses a video at 30 frames per second. The frame extractor 100 may extract all images at 30 frames per second, but may be limited to 1 to 2 frames per second in consideration of the overhead of image analysis. The extracted image is transmitted to the object detector 120 .

객체 탐지기(120)는 프레임 추출기(100)로부터 추출된 프레임 영상으로부터 객체 영역을 추출하고, 추출된 객체 영역을 객체 재인식 특징점 추출기(130)로 전달한다. 객체 영역의 영상은 해당 영상을 획득한 CCTV의 위치 정보를 포함할 수 있다. 객체 탐지기(120)는 객체를 포함하는 대량의 영상에서 객체의 위치정보를 반복적으로 학습하는 딥러닝 모델을 이용하여 객체 영역을 추출할 수 있다. 객체 탐지기(120)는 YOLO(You only Look Once) 또는 SSD(Single Shot Detector) 모델을 사용할 수 있으나 이에 한정되지 않는다.The object detector 120 extracts an object region from the frame image extracted from the frame extractor 100 , and transmits the extracted object region to the object re-recognition feature point extractor 130 . The image of the object area may include location information of the CCTV that acquired the image. The object detector 120 may extract an object region using a deep learning model that repeatedly learns the location information of an object from a large amount of images including the object. The object detector 120 may use a You Only Look Once (YOLO) or a Single Shot Detector (SSD) model, but is not limited thereto.

객체 재인식 특징점 추출기(130)는 각 CCTV에서 서로 다른 프레임 영상의 객체 영역으로부터 검출되는 두 객체가 동일한 객체인지 검출한다. 객체 재인식 특징점 추출기(130)는 각 프레임 영상의 객체 영역의 영상에 포함된 CCTV 위치 정보로부터 동일한 CCTV의 서로 다른 프레임 영상인지 확인할 수 있다. 객체 재인식 특징점 추출기(130)는 하나의 CCTV에 녹화된 연속 프레임으로부터 추출된 객체들의 특징점을 기반으로 연속 프레임으로부터 추출된 객체가 동일한 객체인지 검출한다. CCTV별 객체 영역의 영상은 객체 이미지 저장부(140)에 저장된다. 객체 재인식 특징점 추출기(130)는 동일한 객체인지 검출하기 위해 딥러닝 모델을 이용할 수 있다. 객체 재인식 특징점 추출기(130)의 딥러닝 모델은 다수의 같은 객체 영상과 다수의 다른 객체 영상을 이용하여 같은 객체인지 다른 객체인지 학습함으로써, 두 개의 객체 영상이 입력되었을 때 같은 객체인지 다른 객체인지를 예측하여 출력한다. 객체 재인식 특징점 추출기(130)는 레즈넷(ResNet) 모델을 사용할 수 있으나 이에 한정되지 않는다.The object re-recognition feature point extractor 130 detects whether two objects detected from object regions of different frame images in each CCTV are the same object. The object re-recognition feature point extractor 130 may check whether the image of each frame image is a different frame image of the same CCTV from the CCTV location information included in the image of the object region. The object re-recognition feature point extractor 130 detects whether the object extracted from the continuous frame is the same object based on the feature points of the objects extracted from the continuous frame recorded in one CCTV. The image of the object area for each CCTV is stored in the object image storage unit 140 . The object re-recognition feature point extractor 130 may use a deep learning model to detect whether the object is the same. The deep learning model of the object re-recognition feature point extractor 130 learns whether it is the same object or a different object using a plurality of same object images and a plurality of different object images, so that when two object images are input, it is the same object or a different object. predict and output. The object re-recognition feature point extractor 130 may use a ResNet model, but is not limited thereto.

본 발명의 실시 예에 따르면, 객체 탐지기(120)는 차량 탐지기(122)와 사람 탐지기(124)로 구성될 수 있다. 객체 재인식 특징점 추출기(130)는 차량 재인식 특징점 추출기(132)와 사람 재인식 특징점 추출기(134)로 구성될 수 있다. 또한 객체 이미지 저장부(140)는 차량 이미지 저장부(142)와 사람 이미지 저장부(144)로 구성될 수 있다. 일반적으로 찾고자 하는 관심 객체는 차량이나 사람이 대부분이므로, 본 발명의 실시 예에서는 찾고자 하는 객체를 차량이나 사람으로 한정하여 설명하지만, 관심 객체가 차량이나 사람이 아닌 경우, 관심 객체 대상에 따라 객체 탐지기(120), 객체 재인식 특징점 추출기(130) 및 객체 이미지 저장부(140)의 구성이 달라질 수 있다.According to an embodiment of the present invention, the object detector 120 may include a vehicle detector 122 and a person detector 124 . The object re-recognition feature point extractor 130 may include a vehicle re-recognition feature point extractor 132 and a human re-recognition feature point extractor 134 . Also, the object image storage unit 140 may include a vehicle image storage unit 142 and a person image storage unit 144 . In general, the object of interest to be found is mostly a vehicle or a person, so in the embodiment of the present invention, the object to be found is limited to a vehicle or a person, but when the object of interest is not a vehicle or a person, an object detector is The configurations of 120 , the object re-recognition feature point extractor 130 , and the object image storage unit 140 may be different.

차량 탐지기(132)는 프레임 영상으로부터 차량 영역을 추출한다. 사람 탐지기(134)는 프레임 영상으로부터 사람 영역을 추출한다. CCTV별 추출된 차량 영역 정보 또는 CCTV별 추출된 사람 영역 정보는 각각 차량 재인식 특징점 추출기(132)와 사람 재인식 특징점 추출기(134)로 전달된다. 차량 재인식 특징점 추출기(132)는 서로 다른 프레임 영상의 차량 영역으로부터 동일한 차량인지 검출한다. 사람 재인식 특징점 추출기(134)는 서로 다른 프레임 영상의 사람 영역으로부터 동일한 사람인지 검출한다. CCTV별 추출된 차량 영역 정보는 차량 이미지 저장부(142)에 저장된다. CCTV별 추출된 사람 영역 정보는 사람 이미지 저장부(144)에 저장된다.The vehicle detector 132 extracts a vehicle area from the frame image. The person detector 134 extracts a human region from the frame image. The vehicle area information extracted for each CCTV or the person area information extracted for each CCTV is transmitted to the vehicle re-recognition feature point extractor 132 and the person re-recognition feature point extractor 134 , respectively. The vehicle re-recognition feature point extractor 132 detects whether the vehicle is the same vehicle from vehicle regions of different frame images. The human re-recognition feature point extractor 134 detects whether the person is the same person from the human regions of different frame images. The vehicle area information extracted for each CCTV is stored in the vehicle image storage unit 142 . The extracted person area information for each CCTV is stored in the person image storage unit 144 .

인트라 클러스터 생성기(150)는 CCTV별로 연속된 프레임 상에서 나타나는 동일한 객체들을 하나의 클러스터로 분류한다. 분류 결과는 인트라 클러스터 결과 저장부(160)에 CCTV별로 클러스터 대표 이미지들로 저장된다. CCTV별 클러스터링을 수행하면, CCTV별로 동일한 객체들이 군집 형태의 그룹을 형성하게 된다. 그룹을 형성하는 객체들간의 유클리디언 거리를 토대로 중심점이 결정되고, 그 중심점에서 가장 가까운 이미지가 해당 CCTV에서의 클러스터 대표 이미지로 선택될 수 있다. 이러한 방식은 하나의 예이며, 이와 다른 방법을 통해서 중심점이 결정될 수도 있다. CCTV별 클러스터 대표 이미지들은 인터 클러스터 생성기(170)로 전달된다. 일 실시 예에 따르면, 인트라 클러스터 생성기(150)는 K-mean 모델을 사용할 수 있으나 이에 한정되지 않는다. The intra cluster generator 150 classifies the same objects appearing on consecutive frames for each CCTV into one cluster. The classification result is stored as cluster representative images for each CCTV in the intra cluster result storage unit 160 . When clustering for each CCTV is performed, the same objects for each CCTV form a cluster type group. A center point is determined based on the Euclidean distance between objects forming a group, and an image closest to the center point may be selected as a cluster representative image in the corresponding CCTV. This method is an example, and the center point may be determined through another method. The representative cluster images for each CCTV are transmitted to the inter-cluster generator 170 . According to an embodiment, the intra cluster generator 150 may use a K-mean model, but is not limited thereto.

도 3은 도 2에 도시된 인트라 클러스터 생성기가 하나의 CCTV에서 추출한 동일 사람에 대한 클러스터링 결과의 일 예를 나타낸 도면이다. 3 is a diagram illustrating an example of a clustering result for the same person extracted from one CCTV by the intra cluster generator shown in FIG. 2 .

도 3에 도시한 바와 같이, 하나의 CCTV에서 연속된 프레임 상에서 나타나는 동일한 사람들은 하나의 클러스터(C1, C2, C3)로 구분된다. 이때 하나의 CCTV에서 연속된 프레임 상에서 나타나는 동일한 사람들에 대한 클러스터링 결과는 매우 유사한 모양의 객체가 클러스터링 되는 경향이 있다. 이는 연속 프레임에서는 동일 객체의 움직임 차이가 거의 없는 경우가 많기 때문이다. As shown in Fig. 3, the same people appearing on consecutive frames in one CCTV are divided into one cluster (C1, C2, C3). At this time, the clustering results for the same people appearing on consecutive frames in one CCTV tend to cluster objects with very similar shapes. This is because in many cases there is little difference in motion of the same object in successive frames.

다시, 도 2를 보면, 인터 클러스터 생성기(170)는 인트라 클러스터 생성기(150)에서 분류된 각 클러스터 대표 이미지들의 특징점을 기반으로 전체 카메라에 대하여 같은 객체를 하나의 클러스터로 분류한다. 분류 결과는 인터 클러스터 결과 저장부(180)에 객체별 클러스터 대표 이미지들로 저장된다. 일실시예에 따르면, 인터 클러스터 생성기(170)는 K-mean 모델을 사용할 수 있으나 이에 제한되지 않는다. Again, referring to FIG. 2 , the inter-cluster generator 170 classifies the same object into one cluster for the entire camera based on the feature points of each cluster representative image classified by the intra-cluster generator 150 . The classification result is stored as cluster representative images for each object in the inter-cluster result storage unit 180 . According to an embodiment, the inter-cluster generator 170 may use a K-mean model, but is not limited thereto.

도 4는 도 2에 도시된 인터 클러스터 생성기가 서로 다른 CCTV에서 추출한 동일 사람에 대한 클러스터링 결과의 일 예를 나타낸 도면이다. 4 is a diagram illustrating an example of a clustering result for the same person extracted from different CCTVs by the inter-cluster generator shown in FIG. 2 .

도 4를 참고하면, 인터 클러스터 생성기(170)는 서로 다른 CCTV의 영상에서 동일한 사람을 하나의 클러스터(C11, C22, C33, C44)로 분류한다. 그런데 카메라간 렌즈 왜곡, 해상도, 촬영 각도, 컬러 등의 차이로 인해서 동일인이 아님에도 동일 클러스터로 분류되거나 반대로 동일인임에도 다른 클러스터로 분류되는 경우가 많다. 예를 들어, 클러스터(C44)의 객체 영역의 영상(400)과 같이 동일인이 아님에도 동일 클러스터(C44)로 분류될 수 있다. 인터 클러스터 생성기(170)는 객체별 클러스터링 결과를 출력할 수 있고, 사용자는 객체별 클러스터링 결과로부터 잘못 분류된 객체를 확인한다. 인터 클러스터 생성기(170)는 사용자에 의해 객체별 클러스터링 결과에서 잘못 분류된 객체를 보정할 수 있다. 구체적으로, 인터 클러스터 생성기(170)는 클러스터별로 분류된 결과를 이미지로 출력하여 사용자에게 제공한다. 사용자는 최종적으로 각 클러스터에서 가장 많이 나타난 객체를 선택할 수 있다. 그러면, 인터 클러스터 생성기(170)는 사용자가 선택한 객체만으로 해당 클러스터를 구성함으로써, 잘못 분류된 객체를 보정할 수 있다. Referring to FIG. 4 , the inter-cluster generator 170 classifies the same person in different CCTV images into one cluster (C11, C22, C33, C44). However, due to differences in lens distortion, resolution, shooting angle, color, etc. between cameras, they are often classified into the same cluster even though they are not the same person, or conversely, they are classified into different clusters even though they are the same person. For example, like the image 400 of the object region of the cluster C44, even though they are not the same person, they may be classified into the same cluster C44. The inter-cluster generator 170 may output a clustering result for each object, and the user identifies an object incorrectly classified from the object-by-object clustering result. The inter-cluster generator 170 may correct an object misclassified in the clustering result for each object by the user. Specifically, the inter-cluster generator 170 outputs the results classified by clusters as images and provides them to the user. The user can finally select the object that appears the most in each cluster. Then, the inter-cluster generator 170 may correct the erroneously classified object by configuring a corresponding cluster only with the object selected by the user.

다음, 도 2를 보면, 이동경로 매핑부(190)는 관심 객체의 이동경로 정보를 획득하고, 인터 클러스터 생성기(170)에 의해 전체 CCTV에 대하여 분류된 객체별 클러스터 중에서 획득한 이동경로 정보와 가장 많은 지점에서 매핑이 되는 클러스터 대표 이미지를 결정한다. 이동경로 매핑부(190)는 전체 카메라에 대하여 분류된 객체별 클러스터에서 해당 이미지가 추출된 CCTV의 위치 정보를 토대로 객체별 클러스터 내 이미지를 이동경로 정보에 매핑하고, 이동경로 정보 상의 가장 많은 지점에서 매핑이 되는 클러스터의 클러스터 대표 이미지 즉, 객체 영역의 영상을 검출한다. 이동경로 매핑부(190)는 이동경로에 일치하는 객체 영역의 영상을 검출할 수 있다. Next, referring to FIG. 2 , the movement path mapping unit 190 acquires movement path information of the object of interest, and obtains movement path information and the most Determine the cluster representative image to be mapped at many points. The movement path mapping unit 190 maps the images in the cluster for each object to movement path information based on the location information of CCTVs from which the corresponding images are extracted from the clusters for each object classified for the entire camera, and at the most points on the movement path information. A cluster representative image of a mapped cluster, that is, an image of an object region is detected. The movement path mapping unit 190 may detect an image of an object region matching the movement path.

또한 이동경로 매핑부(190)는 객체별 클러스터 내 이미지들로부터, 이 이미지를 촬영한 CCTV의 위치 정보를 확인하면, 해당 객체의 이동 경로를 파악할 수도 있다. In addition, the movement path mapping unit 190 may determine the movement path of the object by checking the location information of the CCTV in which the image is captured from the images in the cluster for each object.

도 5는 본 발명의 실시 예에 따른 이동경로 기반 객체 매핑 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a movement path-based object mapping method according to an embodiment of the present invention.

도 5를 참고하면, 이동경로 기반 객체 매핑 장치(100)는 관심 객체의 이동경로 정보를 획득한다(S500).Referring to FIG. 5 , the movement path-based object mapping apparatus 100 obtains movement path information of the object of interest ( S500 ).

다수의 CCTV에서 입력되는 동영상을 샘플링하여 프레임 영상을 추출한다(S510). A frame image is extracted by sampling the video input from a plurality of CCTVs (S510).

이동경로 기반 객체 매핑 장치(100)는 각 CCTV에서 추출된 적어도 하나의 프레임 영상에서 객체 영역을 추출한다(S520). The movement path-based object mapping apparatus 100 extracts an object area from at least one frame image extracted from each CCTV (S520).

이동경로 기반 객체 매핑 장치(100)는 1차적으로 동일한 CCTV 내의 적어도 하나의 프레임 영상에서 추출된 객체 영역의 특징점을 기반으로 CCTV별로 동일 객체를 하나의 클러스터로 분류한다(S530). The movement path-based object mapping apparatus 100 primarily classifies the same object into one cluster for each CCTV based on the feature points of the object area extracted from at least one frame image within the same CCTV (S530).

다음, 이동경로 기반 객체 매핑 장치(100)는 CCTV별 클러스터 내 객체 영역들에 대하여 전체적으로 동일한 객체를 하나의 클러스터로 재분류한다(S540). Next, the movement path-based object mapping apparatus 100 reclassifies the same object as a whole into one cluster for object areas within the cluster for each CCTV (S540).

이동경로 기반 객체 매핑 장치(100)는 객체별 클러스터 내 객체 영역의 영상들을 해당 CCTV 위치 정보를 토대로 이동경로 정보에 매핑시키고(S550), 이동경로 상의 가장 많은 지점에서 매핑이 되는 객체 영역의 영상을 출력한다(S560).The movement path-based object mapping apparatus 100 maps the images of the object area in the cluster for each object to the movement path information based on the corresponding CCTV location information (S550), and the image of the object area mapped at the most points on the movement path. output (S560).

이상에서 설명한 본 발명의 실시 예에 따른 이동경로 기반 객체 매핑 방법 및 장치 중 적어도 일부 기능은 하드웨어로 구현되거나 하드웨어에 결합된 소프트웨어로 구현될 수 있다. 아래에서는 이동경로 기반 객체 매핑 방법 및 장치가 컴퓨터 시스템에 결합된 실시 예에 대해서 도 6을 참고로 하여 상세하게 설명한다.At least some functions of the movement path-based object mapping method and apparatus according to the embodiment of the present invention described above may be implemented as hardware or software coupled to hardware. Hereinafter, an embodiment in which a movement path-based object mapping method and apparatus are coupled to a computer system will be described in detail with reference to FIG. 6 .

도 6은 본 발명의 다른 실시 예에 따른 이동경로 기반 객체 매핑 장치를 개략적인 도면으로, 도 1 내지 도 5를 참고하여 설명한 이동경로 기반 객체 매핑 방법 및 장치 중 적어도 일부를 수행하는 데 사용할 수 있는 시스템을 나타낸다.6 is a schematic diagram of a movement path-based object mapping apparatus according to another embodiment of the present invention, which can be used to perform at least some of the movement path-based object mapping method and apparatus described with reference to FIGS. 1 to 5 . represents the system.

도 6을 참고하면, 이동경로 기반 객체 매핑 장치(600)는 프로세서(610), 메모리(620), 저장 장치(630) 및 입출력(input/output, I/O) 인터페이스(640)를 포함한다. Referring to FIG. 6 , the movement path-based object mapping apparatus 600 includes a processor 610 , a memory 620 , a storage device 630 , and an input/output (I/O) interface 640 .

프로세서(610)는 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현될 수 있다.The processor 610 may be implemented as a central processing unit (CPU) or other chipsets, microprocessors, or the like.

메모리(620)는 동적 랜덤 액세스 메모리(dynamic random access memory, DRAM), 램버스 DRAM(rambus DRAM, RDRAM), 동기식 DRAM(synchronous DRAM, SDRAM), 정적 RAM(static RAM, SRAM) 등의 RAM과 같은 매체로 구현될 수 있다. The memory 620 is a medium such as a RAM, such as dynamic random access memory (DRAM), rambus DRAM (RDRAM), synchronous DRAM (SDRAM), static RAM (SRAM), etc. can be implemented as

저장 장치(630)는 하드 디스크(hard disk), CD-ROM(compact disk read only memory), CD-RW(CD rewritable), DVD-ROM(digital video disk ROM), DVD-RAM, DVD-RW 디스크, 블루레이(blu-ray) 디스크 등의 광학 디스크, 플래시 메모리, 다양한 형태의 RAM과 같은 영구 또는 휘발성 저장 장치로 구현될 수 있다. The storage device 630 includes a hard disk, a compact disk read only memory (CD-ROM), a CD rewritable (CD-RW), a digital video disk ROM (DVD-ROM), a DVD-RAM, and a DVD-RW disk. , may be implemented as a permanent or volatile storage device such as an optical disk such as a Blu-ray disk, a flash memory, or various types of RAM.

I/O 인터페이스(640)는 프로세서(610) 및/또는 메모리(620)가 저장 장치(630)에 접근할 수 있도록 한다. I/O interface 640 allows processor 610 and/or memory 620 to access storage device 630 .

프로세서(610)는 도 1 내지 도 5에서 설명한 이동경로 기반 객체 매핑 방법을 수행할 수 있으며, 프레임 추출기(110), 객체 탐지기(120), 객체 재인식 특징점 추출기(130), 인트라 클러스터 생성기(150), 인터 클러스터 생성기(170) 및 이동경로 매핑부(190)의 적어도 일부 기능을 구현하기 위한 프로그램 명령을 메모리(620)에 로드시켜, 도 1 내지 도 5를 참고로 하여 설명한 동작이 수행되도록 제어할 수 있다. 이러한 프로그램 명령은 저장 장치(630)에 저장되어 있을 수 있으며, 또는 네트워크로 연결되어 있는 다른 시스템에 저장되어 있을 수 있다. The processor 610 may perform the movement path-based object mapping method described with reference to FIGS. 1 to 5 , and includes a frame extractor 110 , an object detector 120 , an object re-recognition feature extractor 130 , and an intra cluster generator 150 . , a program command for implementing at least some functions of the inter-cluster generator 170 and the movement path mapping unit 190 is loaded into the memory 620, and the operation described with reference to FIGS. 1 to 5 is performed. can These program commands may be stored in the storage device 630 or may be stored in another system connected to a network.

메모리(620) 또는 저장 장치(630)는 객체 이미지 저장부(140), 인트라 클러스터 결과 저장부(160) 및 인터 클러스터 결과 저장부(180)를 포함할 수 있다. The memory 620 or the storage device 630 may include an object image storage unit 140 , an intra cluster result storage unit 160 , and an inter cluster result storage unit 180 .

I/O 인터페이스(640)는 사용자 인터페이스를 제공할 수 있다. I/O 인터페이스(640)를 통해 관심 객체의 이동경로 정보 및 CCTV로부터의 영상을 입력 받을 수 있고, 이동경로 상의 가장 많은 지점에서 매핑이 되는 객체 이미지를 출력할 수 있다. I/O interface 640 may provide a user interface. Through the I/O interface 640, movement path information of an object of interest and an image from CCTV may be input, and an object image mapped at the most points on the movement path may be output.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also provided. is within the scope of the right.

Claims (1)

이동경로 기반 객체 매핑 장치의 이동경로 기반 객체 매핑 방법으로서,
관심 객체의 이동경로 정보를 획득하는 단계,
상기 이동경로 상의 다수의 카메라로부터 각각 촬영된 적어도 하나의 프레임 영상에서 객체 영역을 추출하는 단계,
상기 각 카메라에서 추출된 객체 영역의 특징점을 기반으로 동일한 객체를 하나의 클러스터로 분류하는 단계, 그리고
객체별 클러스터 내 객체 영역의 영상들 중에서 상기 이동경로 상의 가장 많은 지점에서 매핑이 되는 객체 영역의 영상을 출력하는 단계
를 포함하는 이동경로 기반 객체 매핑 방법.As a movement path-based object mapping method of a movement path-based object mapping device,
obtaining movement path information of the object of interest;
extracting an object region from at least one frame image photographed from a plurality of cameras on the movement path,
classifying the same object into one cluster based on the feature points of the object area extracted from each camera; and
Outputting an image of an object region mapped at the most points on the movement path among images of an object region in a cluster for each object
A movement path-based object mapping method comprising a.
KR1020200022670A 2020-02-25 2020-02-25 Method and apparatus for mapping objects besed on movement path KR102656084B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200022670A KR102656084B1 (en) 2020-02-25 2020-02-25 Method and apparatus for mapping objects besed on movement path

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200022670A KR102656084B1 (en) 2020-02-25 2020-02-25 Method and apparatus for mapping objects besed on movement path

Publications (2)

Publication Number Publication Date
KR20210108018A true KR20210108018A (en) 2021-09-02
KR102656084B1 KR102656084B1 (en) 2024-04-11

Family

ID=77794217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200022670A KR102656084B1 (en) 2020-02-25 2020-02-25 Method and apparatus for mapping objects besed on movement path

Country Status (1)

Country Link
KR (1) KR102656084B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224377A1 (en) * 2022-05-17 2023-11-23 한화비전 주식회사 Method for managing information of object and apparatus performing same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140054650A (en) * 2012-10-29 2014-05-09 에스케이텔레콤 주식회사 Method and apparatus for searching object of interest by selection of object
JP2015143921A (en) * 2014-01-31 2015-08-06 株式会社日立製作所 Image search system, image search apparatus, and image search method
KR20160143108A (en) * 2015-06-04 2016-12-14 에스케이텔레콤 주식회사 Apparatus for Providing Video Synopsis and Computer-Readable Recording Medium with Program therefor
JP6194963B2 (en) * 2014-02-14 2017-09-13 日本電気株式会社 Video processing system
KR20190119229A (en) * 2018-04-04 2019-10-22 한국과학기술연구원 Method for generatinig video synopsis by identifying target object using plurality of image devices and system for performing the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140054650A (en) * 2012-10-29 2014-05-09 에스케이텔레콤 주식회사 Method and apparatus for searching object of interest by selection of object
JP2015143921A (en) * 2014-01-31 2015-08-06 株式会社日立製作所 Image search system, image search apparatus, and image search method
JP6194963B2 (en) * 2014-02-14 2017-09-13 日本電気株式会社 Video processing system
KR20160143108A (en) * 2015-06-04 2016-12-14 에스케이텔레콤 주식회사 Apparatus for Providing Video Synopsis and Computer-Readable Recording Medium with Program therefor
KR20190119229A (en) * 2018-04-04 2019-10-22 한국과학기술연구원 Method for generatinig video synopsis by identifying target object using plurality of image devices and system for performing the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023224377A1 (en) * 2022-05-17 2023-11-23 한화비전 주식회사 Method for managing information of object and apparatus performing same

Also Published As

Publication number Publication date
KR102656084B1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
US9224278B2 (en) Automated method and system for detecting the presence of a lit cigarette
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
US11527000B2 (en) System and method for re-identifying target object based on location information of CCTV and movement information of object
JP4642128B2 (en) Image processing method, image processing apparatus and system
US8266174B2 (en) Behavior history retrieval apparatus and behavior history retrieval method
JP5106356B2 (en) Image monitoring device
Cetin et al. Methods and techniques for fire detection: signal, image and video processing perspectives
KR102481995B1 (en) On-device AI apparatus for detecting abnormal behavior automatically based on deep learning and operating method thereof
KR20170015639A (en) Personal Identification System And Method By Face Recognition In Digital Image
KR100347058B1 (en) Method for photographing and recognizing a face
JPWO2008035411A1 (en) Mobile object information detection apparatus, mobile object information detection method, and mobile object information detection program
KR20180001356A (en) Intelligent video surveillance system
CN112541403A (en) Indoor personnel falling detection method utilizing infrared camera
KR20130122262A (en) System for searching video and server for analysing video
KR101547255B1 (en) Object-based Searching Method for Intelligent Surveillance System
KR102656084B1 (en) Method and apparatus for mapping objects besed on movement path
JP7074174B2 (en) Discriminator learning device, discriminator learning method and computer program
CN113657250A (en) Flame detection method and system based on monitoring video
KR102475752B1 (en) Method and apparatus for prodicting moving path
Yang et al. Video anomaly detection for surveillance based on effective frame area
KR102316799B1 (en) Method and system for recognizing object and environment
WO2022228325A1 (en) Behavior detection method, electronic device, and computer readable storage medium
KR100434907B1 (en) Monitoring system including function of figure acknowledgement and method using this system
KR100412634B1 (en) Automatic face image picture taking method using camera and device therefor
KR102194511B1 (en) Representative video frame determination system and method using same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right