KR20210112800A - 객체 추적 장치 및 방법 - Google Patents

객체 추적 장치 및 방법 Download PDF

Info

Publication number
KR20210112800A
KR20210112800A KR1020200028287A KR20200028287A KR20210112800A KR 20210112800 A KR20210112800 A KR 20210112800A KR 1020200028287 A KR1020200028287 A KR 1020200028287A KR 20200028287 A KR20200028287 A KR 20200028287A KR 20210112800 A KR20210112800 A KR 20210112800A
Authority
KR
South Korea
Prior art keywords
cctv
terminal
detecting
current
detection module
Prior art date
Application number
KR1020200028287A
Other languages
English (en)
Inventor
변성원
권은정
박현호
신원재
장동만
정의석
이용태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200028287A priority Critical patent/KR20210112800A/ko
Priority to US17/191,981 priority patent/US11869265B2/en
Publication of KR20210112800A publication Critical patent/KR20210112800A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

객체 추적 장치 및 방법이 제공된다. 객체 추적 시스템은, 단말의 식별자 및 식별자에 대응하는 객체를 추적하기 위한 기준 시간을 입력 받는 단말 식별자 및 기준 시간 제공 모듈; 기준 시간 이전의 단말의 위치 및 CCTV 설치 정보를 이용하여, 단말에 대한 교차 CCTV를 검출하는 교차 CCTV 검출 모듈; 교차 CCTV에서 반복해서 출현하는 객체를 기본 이미지로 검출하는 기본 이미지 검출 모듈; 기준 시간 이후의 단말의 위치 및 이동 방향을 검출하여, 단말에 대해 촬영 중인 현재 CCTV를 검출하는 현재 CCTV 검출 모듈; 기준 시간 이후의 단말의 위치 및 이동 방향에 기초하여, 현재 CCTV에 출현하는 객체를 검출하는 객체 검출 모듈; 및 현재 CCTV에서 검출된 객체와 기본 이미지의 동일성을 판단하여 식별자에 대응하는 객체를 추적하는 객체 추적 모듈을 포함할 수 있다.

Description

객체 추적 장치 및 방법{OBJECT TRACKING DEVICE AND METHOD}
본 발명은 객체 추적 장치 및 방법에 관한 것이다.
CCTV(Closed-Circuit television) 영상을 분석하여 영상 내에 촬영된 객체를 추출하고 객체를 특성에 따라 분류하는 기술은 기계 학습 기술의 발전을 통해 그 완성도가 높아지고 있다. 이와 같은 기술을 이용하여, 촬영된 영상 속에서 사람, 자동차, 동물, 건물, 신호등 등의 객체를 종류 별로 분류하거나 동일한 객체인지 판단할 수 있을 뿐 아니라, 건물에 설치된 CCTV를 통해 건물에 출입하는 고객을 수를 자동으로 산출할 수도 있다.
사람을 대상으로 객체를 추적하는 환경에서는, 여러 대의 CCTV에서 출현하는 사람을 검출할 필요가 있다. 예를 들어, 사람의 동선에 따라 촬영되는 CCTV에서 특정 객체를 검출하여 사고 등의 특이 상황을 판단할 수 있다. 또한, 존재가 알려진 특정 객체를 다른 CCTV의 영상에서 재인식하는 영상 객체 재인식을 수행할 수도 있다. 영상 객체 재인식은, 존재가 알려진 특정 객체에 대해 이미 알려진 이미지를 입력으로 하고, 입력 이미지와 동일하다고 판단되는 객체를 목표 영상 내에서 검출하는 것을 의미한다. 영상 객체 재인식은 최근 기계 학습 기술을 이용하여 구현되고 있으며, 이에 따라 재인식 정확도가 많이 향상되고 있다.
다만 이와 같이 영상에서 객체를 추출, 분류 및 재인식하는 작업을 수행하기 위해서는 필요한 컴퓨팅 파워가 매우 크기 때문에, 보다 효율적으로 해당 작업을 수행할 수 있는 방안이 요구된다.
본 발명이 해결하고자 하는 과제는, 위치 추적이 가능한 단말의 위치 정보를 이용하여 CCTV 영상에서 목표하는 객체를 특정할 수 있는 객체 추적 장치 및 방법을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는, 위치 추적이 가능한 단말의 위치 정보를 이용하여 여러 대의 CCTV 영상에서 목표하는 객체를 추적할 수 있는 객체 추적 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 객체 추적 시스템은, 단말의 식별자 및 식별자에 대응하는 객체를 추적하기 위한 기준 시간을 입력 받는 단말 식별자 및 기준 시간 제공 모듈; 기준 시간 이전의 단말의 위치 및 CCTV 설치 정보를 이용하여, 단말에 대한 교차 CCTV를 검출하는 교차 CCTV 검출 모듈; 교차 CCTV에서 반복해서 출현하는 객체를 기본 이미지로 검출하는 기본 이미지 검출 모듈; 기준 시간 이후의 단말의 위치 및 이동 방향을 검출하여, 단말에 대해 촬영 중인 현재 CCTV를 검출하는 현재 CCTV 검출 모듈; 기준 시간 이후의 단말의 위치 및 이동 방향에 기초하여, 현재 CCTV에 출현하는 객체를 검출하는 객체 검출 모듈; 및 현재 CCTV에서 검출된 객체와 기본 이미지의 동일성을 판단하여 식별자에 대응하는 객체를 추적하는 객체 추적 모듈을 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 교차 CCTV 검출 모듈은, 제1 시점 및 제2 시점에서의 단말의 위치를 검출하고, CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 단말의 위치를 연결하는 선분으로부터 소정의 거리 이하인 CCTV를 교차 CCTV로 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 교차 CCTV 검출 모듈은, 촬영 영역과 선분 사이의 거리에 기초하여, 식별자에 대응하는 객체가 촬영 영역에 노출되는 시간을 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 교차 CCTV 검출 모듈은, 교차 CCTV가 검출되지 않은 경우, 기준 시간보다 더 이전의 시간에 해당하는 단말의 위치 및 CCTV 설치 정보를 이용하여, 단말에 대한 교차 CCTV를 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈은, 제1 시점 및 제2 시점에서의 단말의 위치로부터 단말의 이동 방향을 검출하고, CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 이동 방향에 위치하는 CCTV를 현재 CCTV로 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈은, 단말의 이동 속도와 촬영 영역과 제2 시점에서의 단말 사이의 거리에 기초하여, 식별자에 대응하는 객체가 촬영 영역에 노출되는 시간을 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈은, 현재 CCTV가 검출되지 않은 경우, 소정의 시간 동안 대기한 후, 단말의 위치 및 이동 방향을 검출하여, 현재 CCTV를 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈은, 제1 시점 및 제2 시점에서의 단말의 위치를 이용하여 단말의 이동 방향을 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈은, 단말에 탑재된 자이로 센서를 이용하여 단말의 이동 방향을 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 기본 이미지 검출 모듈은, 객체 검출 모듈에 의해 현재 CCTV에서 검출된 객체를 기본 이미지에 업데이트하고, 객체 추적 모듈은, 현재 CCTV에서 검출된 객체와 업데이트된 기본 이미지의 동일성을 판단하여 식별자에 대응하는 객체를 추적할 수 있다.
본 발명의 일 실시 예에 따른 객체 추적 시스템은, 기준 시간 이전의 단말의 위치 및 CCTV 설치 정보를 이용하여, 단말에 대한 교차 CCTV를 검출하는 교차 CCTV 검출 모듈; 교차 CCTV에서 반복해서 출현하는 객체를 기본 이미지로 검출하는 기본 이미지 검출 모듈; 기준 시간 이후의 단말의 위치 및 이동 방향을 검출하여, 단말에 대해 촬영 중인 현재 CCTV를 검출하는 현재 CCTV 검출 모듈; 및 기준 시간 이후의 단말의 위치 및 이동 방향에 기초하여, 현재 CCTV에 출현하는 객체를 검출하는 객체 검출 모듈을 포함하고, 기본 이미지 검출 모듈은, 객체 검출 모듈에 의해 현재 CCTV에서 검출된 객체를 기본 이미지로 업데이트할 수 있다.
본 발명의 몇몇의 실시 예에서, 객체 추적 시스템은, 현재 CCTV에서 검출된 객체와 기본 이미지의 동일성을 판단하여 식별자에 대응하는 객체를 추적하는 객체 추적 모듈을 더 포함하고, 객체 추적 모듈은, 현재 CCTV에서 검출된 객체와 업데이트된 기본 이미지의 동일성을 판단하여 식별자에 대응하는 객체를 추적할 수 있다.
본 발명의 몇몇의 실시 예에서, 교차 CCTV 검출 모듈은, 제1 시점 및 제2 시점에서의 단말의 위치를 검출하고, CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 단말의 위치를 연결하는 선분으로부터 소정의 거리 이하인 CCTV를 교차 CCTV로 검출할 수 있다.
본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈은, 제1 시점 및 제2 시점에서의 단말의 위치로부터 단말의 이동 방향을 검출하고, CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 이동 방향에 위치하는 CCTV를 현재 CCTV로 검출할 수 있다.
본 발명의 일 실시 예에 따른 객체 추적 방법은, 단말의 식별자 및 식별자에 대응하는 객체를 추적하기 위한 기준 시간을 입력 받는 단계; 기준 시간 이전의 단말의 위치 및 CCTV 설치 정보를 이용하여, 단말에 대한 교차 CCTV를 검출하는 단계; 교차 CCTV에서 반복해서 출현하는 객체를 기본 이미지로 검출하는 단계; 기준 시간 이후의 단말의 위치 및 이동 방향을 검출하여, 단말에 대해 촬영 중인 현재 CCTV를 검출하는 단계; 기준 시간 이후의 단말의 위치 및 이동 방향에 기초하여, 현재 CCTV에 출현하는 객체를 검출하는 단계; 및 현재 CCTV에서 검출된 객체와 기본 이미지의 동일성을 판단하여 식별자에 대응하는 객체를 추적하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 교차 CCTV를 검출하는 단계는, 제1 시점 및 제2 시점에서의 단말의 위치를 검출하고, CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 단말의 위치를 연결하는 선분으로부터 소정의 거리 이하인 CCTV를 교차 CCTV로 검출하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 교차 CCTV를 검출하는 단계는, 교차 CCTV가 검출되지 않은 경우, 기준 시간보다 더 이전의 시간에 해당하는 단말의 위치 및 CCTV 설치 정보를 이용하여, 단말에 대한 교차 CCTV를 검출하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 현재 CCTV를 검출하는 단계는, 제1 시점 및 제2 시점에서의 단말의 위치로부터 단말의 이동 방향을 검출하고, CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 이동 방향에 위치하는 CCTV를 현재 CCTV로 검출하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 현재 CCTV를 검출하는 단계는, 현재 CCTV가 검출되지 않은 경우, 소정의 시간 동안 대기한 후, 단말의 위치 및 이동 방향을 검출하여, 현재 CCTV를 검출하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시 예에서, 기본 이미지로 검출하는 단계는, 객체 검출 모듈에 의해 현재 CCTV에서 검출된 객체를 기본 이미지로 업데이트하는 단계를 포함하고, 객체를 추적하는 단계는, 현재 CCTV에서 검출된 객체와 업데이트된 기본 이미지의 동일성을 판단하여 식별자에 대응하는 객체를 추적하는 단계를 포함할 수 있다.
본 발명의 실시 예들에 따르면, 위치 추적이 가능한 단말을 통해, 단말의 위치 이력 및 현재 위치를 수집하고, 해당 단말을 소지하고 이동하는 객체가 촬영된 CCTV, 촬영 시점, 객체의 이동 방향, 이동 속도 등을 검출하여, CCTV 영상에서 객체의 검출을 효율적으로 수행할 수 있다. 또한, 본 발명의 실시 예들에 따르면, 위치 추적이 가능한 단말을 통해, 여러 대의 CCTV 영상에서 목표하는 객체를 효율적으로 추적할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 객체 추적 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 객체 추적 시스템을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 객체 추적 장치 및 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 객체 추적 시스템을 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 시스템(1)은, 서버(10), CCTV 영상 데이터베이스(21), CCTV 설치 정보 데이터베이스(23), 단말 위치 정보 데이터베이스(25) 및 단말(30)을 포함할 수 있다. 도 1에서는, 설명의 편의를 위해, 객체 추적 시스템이 주로 서버(10)로 구현되는 것으로 설명하지만, 본 발명의 범위가 이에 제한되는 것은 아니다.
구체적으로, 본 명세서에서 설명되는 객체 추적 시스템(1)은 하나 이상의 컴퓨팅 장치로 구현될 수 있다. 컴퓨팅 장치는, 예를 들어, 스마트 폰, 스마트 워치, 스마트 밴드, 태블릿 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 서버 등을 들 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니고, 컴퓨터 명령을 저장 및 실행할 수 있는 메모리 및 프로세서를 구비한 임의의 형태의 컴퓨터 장치를 포함할 수 있다.
객체 추적 시스템(1)의 기능들은 단일 컴퓨팅 장치 상에서 모두 구현될 수도 있고, 복수의 컴퓨팅 장치 상에서 나누어 구현될 수도 있다. 예를 들어, 복수의 컴퓨팅 장치는 제1 컴퓨팅 장치 및 제2 컴퓨팅 장치를 포함할 수 있고, 객체 추적 시스템(1)의 일부 기능은 제1 컴퓨팅 장치 상에 구현되고, 객체 추적 시스템(1)의 다른 일부 기능은 제2 컴퓨팅 장치 상에 구현될 수 있다. 그리고 제1 컴퓨팅 장치와 제2 컴퓨팅 장치는 네트워크(40)를 통해 서로 통신할 수 있다.
한편, 서버(10), CCTV 영상 데이터베이스(21), CCTV 설치 정보 데이터베이스(23), 단말 위치 정보 데이터베이스(25) 및 단말(30)은 네트워크(40)를 통해 서로 데이터를 주고 받을 수 있다.
여기서, 네트워크(40)는 셀룰러 네트워크, Wi-Fi 네트워크, 블루투스 네트워크 등을 비롯한 무선 네트워크, LAN(Local Area Network), WLAN(Wide Local Area Network) 등을 비롯한 유선 네트워크, 또는 무선 네트워크와 유선 네트워크의 조합을 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
서버(10)는 위치 추적이 가능한 단말(30)의 위치 정보를 이용하여 CCTV 영상에서 목표하는 객체를 특정하거나, 위치 추적이 가능한 단말(30)의 위치 정보를 이용하여 여러 대의 CCTV 영상에서 목표하는 객체를 추적할 수 있다. 이를 위해, 서버(10)는 단말 식별자 및 기준 시간 제공 모듈(110), 교차 CCTV 검출 모듈(120), 기본 이미지 검출 모듈(130), 객체 검출 모듈(140), 현재 CCTV 검출 모듈(150) 및 객체 추적 모듈(160)을 포함할 수 있다.
CCTV 영상 데이터베이스(21)는 CCTV 영상을 저장 및 관리하는 데이터베이스일 수 있다. 구체적으로, CCTV 영상 데이터베이스(21)는, 복수의 CCTV에서 촬영된 CCTV 영상을 해당 CCTV 정보와 함께 저장할 수 있고, 기본 이미지 검출 모듈(130)에 해당 영상을 제공할 수 있다. 여기서, CCTV 영상은 과거에 촬영된 CCTV 영상뿐 아니라 현재 촬영 중인 CCTV 영상도 포함할 수 있다.
CCTV 설치 정보 데이터베이스(23)는 CCTV의 설치 위치, CCTV의 촬영 영역의 위치, CCTV의 촬영 방향 등에 대한 정보를 저장 및 관리하는 데이터베이스일 수 있다.
단말 위치 정보 데이터베이스(25)는 단말(30)의 위치 이력에 대한 정보를 저장 및 관리하는 데이터베이스일 수 있다. 여기서, 단말(30)의 위치 이력은, 단말(30)에 탑재된 위치 추적 장치를 이용하여 시간 별로 위치를 기록한 정보일 수 있다.
CCTV 영상 데이터베이스(21), CCTV 설치 정보 데이터베이스(23) 및 단말 위치 정보 데이터베이스(25)의 구분은 논리적인 구분에 불과하며, 하나 이상의 물리적 저장 장치에 모두 통합되어 구현되거나, 일부만이 통합되어 구현되거나, 모두 각각 별도의 물리적 장치에 개별적으로 구현되는 등, 임의의 다양한 방식으로 구현될 수 있다.
단말(30)은 추적 대상이 되는 객체(예컨대 사람)가 소지하는 단말을 의미할 수 있다. 즉, 추적 대상이 되는 객체는 단말(30)을 소지하고 이동할 수 있으며, 서버(10)는, 단말(30)의 위치 정보를 이용하여 CCTV 영상에서 객체를 특정하거나 추적을 수행할 수 있다.
CCTV에서 촬영된 영상에 대하여 객체 재인식을 수행할 때, 일반적으로 사전에 준비된 이미지를 이용할 수 있다. 객체를 재인식하기 위해 비교의 대상이 되는 이미지를 기본 이미지(base image)라고 한다.
단말(30)을 통해 수집된 위치 이력을 사용할 수 있다면, 위치 이력을 이용하여 단말(30)을 소지한 객체의 현재 위치 이전의 과거 동선을 검출할 수 있다. 이 동선을 이용하면 과거 동선과 교차하는 CCTV와 교차하는 시간을 검출할 수 있다. 이와 같이 검출된 CCTV(즉, 교차 CCTV)와 교차 시간에 해당하는 CCTV 영상을 검색하면, 해당 영상에서 출현하는 객체를 검출할 수 있다.
교차 CCTV와 교차 시간이 2 개 이상일 경우, 각각의 CCTV 영상에서 출현하는 객체 중 반복하여 출현하는 객체가 추적의 대상이 되는 객체일 수 있다. 특정 객체의 위치 이력에서 교차 CCTV의 개수가 늘어나고, 해당 객체가 교차 CCTV의 영상에서 반복 출현하는 횟수가 늘어난다면, 해당 객체는 추적의 대상이 되는 목표 객체일 가능성도 높아지게 된다. 이와 같은 방식으로 목표하는 객체의 기본 이미지를 획득할 수 있다.
단말(30)의 현재 위치가 수집되고 있으면, 현재 단말(30) 근접하고 있는 CCTV를 검출할 수 있다. 현재의 위치 정보를 이용하여 현재 촬영 중인 CCTV 또는 곧 객체가 노출될 CCTV를 특정할 수 있고, 해당 CCTV 영상에서 앞서 획득한 기본 이미지를 입력으로 객체 재인식을 수행할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 객체 추적 시스템을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 시스템(1)의 서버(10)는, 단말 식별자 및 기준 시간 제공 모듈(110), 교차 CCTV 검출 모듈(120), 기본 이미지 검출 모듈(130), 객체 검출 모듈(140), 현재 CCTV 검출 모듈(150) 및 객체 추적 모듈(160)을 포함할 수 있다.
단말 식별자 및 기준 시간 제공 모듈(110)은, 단말(30)의 식별자 및 식별자에 대응하는 객체를 추적하기 위한 기준 시간을 입력 받을 수 있다.
구체적으로, 단말 식별자 및 기준 시간 제공 모듈(110)은, 추적하고자 하는 객체가 소지한 위치 추적이 가능한 단말(30)의 식별자와 기준 시간을 교차 CCTV 검출 모듈(120), 기본 이미지 검출 모듈(130), 객체 검출 모듈(140), 현재 CCTV 검출 모듈(150) 및 객체 추적 모듈(160)에 제공할 수 있다.
여기서, 식별자는 통신 번호와 같이 단말(30)을 고유하게 식별할 수 있는 임의의 형태의 정보를 포함할 수 있다. 한편, 기준 시간은, 목표하는 객체를 추적하기 위한 기준 시간을 의미하며, 기준 시간은 과거 시간도 될 수 있고 현재 시간도 될 수 있다. 기준 시간이 과거이면, 해당 시점을 현재로 하여, 해당 시점 이후에 촬영되는 영상에서 객체 추적이 수행되고, 기준 시간이 현재이면, 현재 시간 이후에 촬영되는 영상에서 객체 추적이 수행될 수 있다.
교차 CCTV 검출 모듈(120) 및 기본 이미지 검출 모듈(130)은 위치 추적이 가능한 단말(30)의 식별자에 대응하는 객체의 기준 시간 이전의 이미지를, 예를 들어 CCTV 영상 데이터베이스(21)에서 검출할 수 있다.
교차 CCTV 검출 모듈(120)은, 기준 시간 이전의 단말(30)의 위치 및 CCTV 설치 정보를 이용하여, 단말(30)에 대한 교차 CCTV를 검출할 수 있다.
구체적으로, 교차 CCTV 검출 모듈(120)은, 기준 시간 이전의 단말(30)의 위치 이력을, 예를 들어, 단말 위치 정보 데이터베이스(25)로부터 획득하고, 단말(30)이 이동 중에 교차한 CCTV를, 예를 들어, CCTV 설치 정보 데이터베이스(23)로부터 검출할 수 있다. CCTV 설치 정보 데이터베이스(23)는 CCTV 촬영 영역의 위치, CCTV의 촬영 방향 등에 대한 정보를 교차 CCTV 검출 모듈(120)에 제공할 수 있다. 또한, 교차 CCTV 검출 모듈(120)은, 단말(30)의 이동 속도 및 이동 방향을 검출할 수 있다.
한편, 본 발명의 몇몇의 실시 예에서, 교차 CCTV 검출 모듈(120)은, 교차 CCTV가 검출되지 않은 경우, 기준 시간보다 더 이전의 시간에 해당하는 단말(30)의 위치 및 CCTV 설치 정보를 이용하여, 단말(30)에 대한 교차 CCTV를 검출할 수 있다.
기본 이미지 검출 모듈(130)은, 교차 CCTV에서 반복해서 출현하는 객체를 기본 이미지로 검출할 수 있다.
구체적으로, 기본 이미지 검출 모듈(130)은, 교차 CCTV 검출 모듈(120)이 제공하는 단말(30)의 CCTV 통과 시간, 이동 방향, 이동 속도를 이용하여 각각의 교차 CCTV에서 소정의 조건을 만족시키는 영상 객체를 추출하고, 복수 개의 교차 CCTV에서 반복해서 출현하는 객체를 검출할 수 있다. 이 때, 복수의 CCTV에서 검출되는 반복 출현 객체를 기본 이미지로 결정할 수 있다.
객체 검출 모듈(140) 및 현재 CCTV 검출 모듈(150)은, 기준 시간 이후에 해당하는 CCTV에서 촬영되는 객체를 검출할 수 있다.
먼저, 현재 CCTV 검출 모듈(150)은, 기준 시간 이후의 단말(30)의 위치 및 이동 방향을 검출하여, 단말(30)에 대해 촬영 중인 현재 CCTV를 검출할 수 있다.
구체적으로, 현재 CCTV 검출 모듈(150)은, 예를 들어, 단말 위치 정보 데이터베이스(25) 및 CCTV 설치 정보 데이터베이스(23)를 이용하여 단말(30)의 최종 위치와 이동 방향을 검출하고, 이를 기반으로 현재 촬영 구역에 있거나 촬영 구역에 접근하는 방향에 있는 CCTV, 예상되는 CCTV 교차 시점, 예상되는 통과 방향 등의 정보를 객체 검출 모듈(140)에 제공할 수 있다.
한편, 본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈(150)은, 현재 CCTV가 검출되지 않은 경우, 소정의 시간 동안 대기한 후, 단말(30)의 위치 및 이동 방향을 검출하여, 현재 CCTV를 검출할 수 있다.
객체 검출 모듈(140)은, 기준 시간 이후의 단말(30)의 위치 및 이동 방향에 기초하여, 현재 CCTV에 출현하는 객체를 검출할 수 있다.
구체적으로, 객체 검출 모듈(140)은, 현재 CCTV 검출 모듈(150)로부터 제공 받은 CCTV 정보와, 예상 객체 노출 시간과 예상 통과 방향으로 지정되는 객체를 지정된 CCTV 영상에서 검출하고, 기본 이미지 검출 모듈(130)가 검출한 기본 이미지와 동일한 객체인지 판단할 수 있다. 동일한 객체로 판단된 객체의 영상이나 이미지는 객체 추적 모듈(160)에 제공될 수도 있고, 그 자체로 영상 출력하여 사용할 수도 있다.
객체 추적 모듈(160)은, 현재 CCTV에서 검출된 객체와 기본 이미지의 동일성을 판단하여, 식별자에 대응하는 객체를 추적할 수 있다.
구체적으로, 객체 추적 모듈(160)은, 단말 식별자 및 기준 시간 제공 모듈(110), 교차 CCTV 검출 모듈(120), 기본 이미지 검출 모듈(130), 객체 검출 모듈(140) 및 현재 CCTV 검출 모듈(150)과 연동하여, 시간 변화 및 객체의 위치 변화에 따라 해당 객체를 촬영하는 CCTV 카메라의 영상에서 객체 재인식을 수행할 수 있다.
본 발명의 몇몇의 실시 예에서, 기본 이미지 검출 모듈(130)은, 객체 검출 모듈(140)에 의해 현재 CCTV에서 검출된 객체를 기본 이미지에 업데이트하고, 객체 추적 모듈(160)은, 현재 CCTV에서 검출된 객체와, 업데이트된 기본 이미지의 동일성을 판단하여 식별자에 대응하는 객체를 추적할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 방법은, 단말 식별자(id) 및 기준 시간(t)를 입력 받는 단계(S301), 단말 식별자(id) 및 기준 시간(t)에 기초하여 교차 CCTV(pCC)를 검출하는 단계(S303), 교차 CCTV(pCC)에 기초하여 교차 CCTV 영상에서 기본 이미지(bImg)를 검출하는 단계(S305), 단말 식별자(id) 및 기준 시간(t)에 기초하여 현재 CCTV(nCC)를 검출하는 단계(S307) 및 현재 CCTV(nCC) 및 기본 이미지(bImg)에 기초하여 현재 CCTV 영상에서 기본 이미지(bImg)와 동일한 객체(nObj)를 검출하는 단계(S309)를 포함할 수 있다. 여기서 기준 시간(t)은 과거 시간일 수도 있고 현재 시간일 수도 있다.
단계(S303)에서, 교차 CCTV(pCC) 정보는, 과거 특정 시점에 목표 객체가 특정 CCTV에 촬영되었을 때 촬영 추정 시간의 구간과 촬영 CCTV의 식별자, 촬영 영상에서의 객체 이동 방향 등을 포함할 수 있다.
한편, 단계(S307)에서 현재 CCTV(nCC) 정보는, 객체가 해당 CCTV 영상에 노출될 시간의 구간, CCTV의 식별자, 객체의 이동 각도 등을 포함될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 방법은, 도 3과 달리 현재 시간을 기준으로 객체 재인식을 수행하기 위해, 단말 식별자(id) 및 대기 시간(wt)을 입력 받는 단계(S401), 현재 시간을 설정하는 단계(S403), 단말 식별자(id) 및 기준 시간(t)에 기초하여 교차 CCTV(pCC)를 검출하는 단계(S405), 교차 CCTV(pCC)에 기초하여 교차 CCTV 영상에서 기본 이미지(bImg)를 검출하는 단계(S407), 단말 식별자(id) 및 기준 시간(t)에 기초하여 현재 CCTV(nCC)를 검출하는 단계(S409), 현재 CCTV(nCC) 및 기본 이미지(bImg)에 기초하여 현재 CCTV 영상에서 기본 이미지(bImg)와 동일한 객체(nObj)를 검출하는 단계(S411) 및 대기 시간 동안 대기하는 단계(S413)를 포함할 수 있다. 여기서, 대기 시간(wt)은 예컨대 1 초로 설정될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
또한, 객체 추적 방법은, 객체(nObj) 검출 여부를 판정하는 단계(S415)를 포함하며, 객체(nObj)가 검출되지 않은 경우, 객체 추적 방법은 단계(S403)로 진행할 수 있다. 이와 다르게, 객체(nObj)가 검출된 경우, 객체 추적 방법은, 기본 이미지(bImg)를 업데이트하는 단계(S417) 및 현재 시간을 설정하는 단계(S419)를 수행한 다음, 다시 단계(S409)로 진행할 수 있다. 여기서, 단계(S417)는, 기본 이미지(bImg)에 검출한 객체(nObj)에 대한 새로운 이미지(nImg)를 통합하는 방식으로 수행될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
본 실시 예에 따르면, 현재를 기준으로 향후 객체가 출현하는 CCTV에서의 객체를 지속적으로 검출할 수 있다. 일정 시간 간격으로 객체의 위치 변화와 변화된 위치에 대응하여 접근하는 CCTV를 검출하기 위해, 단계(S401)에서 대기 시간(wt)을 정의하고, 단계(S413)에서 대기 시간(wt)만큼 대기하면서, 반복적으로 현재 시간에 따른 영상 객체를 검출 및 추적할 수 있다. 현재 시간을 기준으로 추출된 현재 영상 객체는, 일정 시간이 지난 후, 후속의 객체 검출 시도에서 기본 이미지로 사용될 수 있다. 이를 위해, 단계(S417)는 검출된 현재 영상 객체의 이미지를 기본 이미지에 추가할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 교차 CCTV 검출 모듈(120)이 교차 CCTV를 검출하기 위한 예시적인 방법이 도시되어 있다.
교차 CCTV 검출 모듈(120)은, 제1 시점(ti-1) 및 제2 시점(ti)에서의 단말(30)의 위치(L(ti-1), L(ti))를 검출하고, CCTV 설치 정보에 포함된 CCTV 중 촬영 영역(32)이 단말(30)의 위치를 연결하는 선분으로부터 소정의 거리 이하인 CCTV를 교차 CCTV로 검출할 수 있다.
한편, 본 발명의 몇몇의 실시 예에서, 교차 CCTV 검출 모듈(120)은, 촬영 영역과 선분 사이의 거리에 기초하여, 식별자에 대응하는 객체가 촬영 영역에 노출되는 시간을 검출할 수 있다.
즉, 현재 시각을 기준으로 이전에 측정된 단말(30)의 최종 위치가 위치(L(ti))이고, 그 이전의 위치 측정 값이 위치(L(ti-1))인 경우, 두 지점 간을 객체가 이동한 것으로 가정할 수 있다. 이 때, 임의의 CCTV가 촬영하는 촬영 영역(32)과 위치(L(ti-1), L(ti))를 연결하는 선분과의 거리를 구할 수 있다. 이 거리가 소정의 거리 이하인 경우, 해당 객체가 CCTV 영상에 노출된다고 가정할 수 있으며, 이 때, 객체가 노출되는 시간은 제1 시점(ti-1)과 제2 시점(ti) 사이의 시간이 된다. 이를 이용하면 객체가 CCTV에 노출되는 시간을 구할 수 있다. 위치(L(ti-1), L(ti))를 연결하는 선분의 지점 중 어느 지점이 CCTV의 촬영 영역(32)이 가장 가까운지를 결정하면, 해당 위치와 객체의 이동 속도에 따라 객체가 촬영되는 시간을 보다 정밀하게 검출할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 현재 CCTV 검출 모듈(150)이 현재 CCTV를 검출하기 위한 예시적인 방법이 도시되어 있다.
현재 CCTV 검출 모듈(150)은, 제1 시점(ti-1) 및 제2 시점(ti)에서의 단말(30)의 위치로부터 단말(30)의 이동 방향을 검출하고, CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 이동 방향에 위치하는 CCTV를 현재 CCTV로 검출할 수 있다.
이 경우, 본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈(150)은, 제1 시점(ti-1) 및 제2 시점(ti)에서의 단말(30)의 위치를 이용하여 단말(30)의 이동 방향을 검출할 수 있다.
이와 다르게, 본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈(150)은, 단말(30)에 탑재된 자이로 센서를 이용하여 단말(30)의 이동 방향을 검출할 수 있다.
한편, 본 발명의 몇몇의 실시 예에서, 현재 CCTV 검출 모듈(150)은, 단말(30)의 이동 속도와, 촬영 영역과 제2 시점에서의 단말(30) 사이의 거리에 기초하여, 식별자에 대응하는 객체가 촬영 영역에 노출되는 시간을 검출할 수 있다.
주어진 기준 시간에 촬영이 이루어지고 있거나, 짧은 시간이 지난 후 촬영이 이루어질 예정인 CCTV를 검출하는 상황에서, 기준 시간에서 이전 마지막 위치는 위치(L(ti))이다. 진행 방향은 위치(L(ti-1))와 위치(L(ti))를 잇는 선분의 방향성을 이용하여 위치(L(ti))에서 단말(30)의 진행 방향을 도출할 수 있다. 물론, 단말(30)에 자이로 센서가 탑재된 경우, 이를 이용하여 위치(L(ti))에서 단말(30)의 진행 방향을 도출할 수도 있다.
위치(L(ti))에서 촬영 영역(32)이 충분히 가까우면서, 촬영 영역(32)의 위치가 단말(30)의 진행 방향에 위치하는 경우, 단말은 제2 시점(ti)과 제3 시점(ti+1) 사이의 시간 동안 해당 CCTV에 의해 촬영될 수 있다. 이때, 제3 시점(ti+1)은 촬영영역(32)을 지나갈 만큼 충분히 커야 하며, 이는 객체의 이동 속도와, 위치(L(ti))와 촬영 영역(32) 사이의 거리를 이용하여 검출할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 방법은, 단말 식별자(id) 및 기준 시간(t)를 입력 받는 단계(S701), 기준 거리(cDist)를 입력 받고 교차 CCTV(pCC) 정보를 초기화하는 단계(S703), 단말 식별자(id) 및 기준 시간(t)에 기초하여 단말(30)의 최근 측위 시간(ti)을 검출하는 단계(S705), 최근 측위 시간(ti) 및 단말 식별자(id)에 기초하여 단말(30)의 최근 이동 선분(plink)을 검출하는 단계(S707), 최근 이동 선분(plink) 및 기준 거리(cDist)에 기초하여 근접 CCTV(CCi)를 검출하는 단계(S709)를 포함할 수 있다.
또한, 객체 추적 방법은, 근접 CCTV(CCi)의 존재 여부를 판정하는 단계(S711)를 포함하며, 근접 CCTV(CCi)가 존재하지 않는 경우, 객체 추적 방법은, 위치 이력 검색 범위를 변경(ti <- ti-1)하는 단계(S717)를 수행한 다음, 다시 단계(S705)로 진행할 수 있다.
근접 CCTV(CCi)가 존재하는 경우, 객체 추적 방법은, 교차 CCTV(pCC) 정보를 업데이트하는 단계(S713)를 수행할 수 있다. 여기서, 단계(S713)는, 근접 CCTV(CCi)를 교차 CCTV(pCC)에 추가하는 방식으로 수행될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
또한, 객체 추적 방법은, 교차 CCTV(pCC)가 지정된 개수만큼 검출되었는지 여부를 판정하는 단계(S715)를 포함하며, 지정된 개수만큼 검출되지 않은 경우, 객체 추적 방법은, 위치 이력 검색 범위를 변경(ti <- ti-1)하는 단계(S717)를 수행한 다음, 다시 단계(S705)로 진행할 수 있다.
이와 같이, 도 5와 같은 상황에서, 위치 이력을 이용하여 최근 동선에 기준 거리(cDist) 이내로 접근했던 교차 CCTV의 집합 pCC을 검출할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 방법은, 단말 식별자(id), 기준 시간(t) 및 대기 시간(wt)을 입력 받는 단계(S801), 기준 거리(cDist)를 입력 받고 현재 CCTV(nCC) 정보를 초기화하는 단계(S803), 단말 식별자(id) 및 기준 시간(t)에 기초하여 단말(30)의 최근 측위 시간(ti) 및 위치(loci)를 검출하는 단계(S805), 최근 측위 시간(ti) 및 위치(loci)에 기초하여 단말의 최근 이동 방향(di)을 검출하는 단계(S807), 최근 이동 방향(di), 위치(loci) 및 기준 거리(cDist)에 기초하여 접근 CCTV(CCi)를 검출하는 단계(S809)를 포함할 수 있다.
또한, 객체 추적 방법은, 접근 CCTV(CCi)의 존재 여부를 판정하는 단계(S811)를 포함하며, 접근 CCTV(CCi)가 존재하지 않는 경우, 객체 추적 방법은, 대기 시간(wt) 동안 대기하는 단계(S815)를 수행한 다음, 다시 단계(S805)로 진행할 수 있다. 이 때 기준 시간(t)은 대기 시간(wt)이 감안된 값(t <- t + wt)으로 업데이트될 수 있다.
접근 CCTV(CCi)가 존재하는 경우, 객체 추적 방법은, 현재 CCTV(nCC) 정보를 업데이트하는 단계(S813)를 수행할 수 있다. 여기서, 단계(S813)는, 접근 CCTV(CCi)를 현재 CCTV(nCC)에 추가하는 방식으로 수행될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
이와 같이, 도 6과 같은 상황에서, 현재 목표 객체를 촬영 중이거나 향후 접근하게 되는 현재 CCTV의 집합 nCC를 검출할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 객체 추적 장치 및 방법을 구현하기 위한 컴퓨팅 장치를 설명하기 위한 블록도이다.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 객체 추적 장치 및 방법은 컴퓨팅 장치(50)를 이용하여 구현될 수 있다.
컴퓨팅 장치(50)는 버스(520)를 통해 통신하는 프로세서(510), 메모리(530), 사용자 인터페이스 입력 장치(540), 사용자 인터페이스 출력 장치(550) 및 저장 장치(560) 중 적어도 하나를 포함할 수 있다. 컴퓨팅 장치(50)는 또한 네트워크(40), 예컨대 무선 네트워크에 전기적으로 접속되는 네트워크 인터페이스(570)를 포함할 수 있다. 네트워크 인터페이스(570)는 네트워크(40)를 통해 다른 개체와 신호를 송신 또는 수신할 수 있다.
프로세서(510)는 AP(Application Processor), CPU(Central Processing Unit), GPU(Graphic　Processing　Unit) 등과 같은 다양한 종류들로 구현될 수 있으며, 메모리(530) 또는 저장 장치(560)에 저장된 명령을 실행하는 임의의 반도체 장치일 수 있다. 프로세서(510)는 도 1 내지 도 8에서 설명한 기능 및 방법들을 구현하도록 구성될 수 있다.
메모리(530) 및 저장 장치(560)는 다양한 형태의 휘발성 또는 비 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read-only memory)(531) 및 RAM(random access memory)(532)를 포함할 수 있다. 본 발명의 실시 예에서 메모리(530)는 프로세서(510)의 내부 또는 외부에 위치할 수 있고, 메모리(530)는 이미 알려진 다양한 수단을 통해 프로세서(510)와 연결될 수 있다.
또한, 본 발명의 일 실시 예에 따른 객체 추적 장치 및 방법 중 적어도 일부는 컴퓨팅 장치(50)에서 실행되는 프로그램 또는 소프트웨어로 구현될 수 있고, 프로그램 또는 소프트웨어는 컴퓨터로 판독 가능한 매체에 저장될 수 있다.
또한, 본 발명의 일 실시 예에 따른 객체 추적 장치 및 방법 중 적어도 일부는 컴퓨팅 장치(50)과 전기적으로 접속될 수 있는 하드웨어로 구현될 수도 있다.
이제까지 설명한 본 발명의 실시 예들에 따르면, 위치 추적이 가능한 단말을 통해, 단말의 위치 이력 및 현재 위치를 수집하고, 해당 단말을 소지하고 이동하는 객체가 촬영된 CCTV, 촬영 시점, 객체의 이동 방향, 이동 속도 등을 검출하여, CCTV 영상에서 객체의 검출을 효율적으로 수행할 수 있다. 또한, 본 발명의 실시 예들에 따르면, 위치 추적이 가능한 단말을 통해, 여러 대의 CCTV 영상에서 목표하는 객체를 효율적으로 추적할 수 있다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고, 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속한다.

Claims (20)

  1. 단말의 식별자 및 상기 식별자에 대응하는 객체를 추적하기 위한 기준 시간을 입력 받는 단말 식별자 및 기준 시간 제공 모듈;
    상기 기준 시간 이전의 상기 단말의 위치 및 CCTV 설치 정보를 이용하여, 상기 단말에 대한 교차 CCTV를 검출하는 교차 CCTV 검출 모듈;
    상기 교차 CCTV에서 반복해서 출현하는 객체를 기본 이미지로 검출하는 기본 이미지 검출 모듈;
    상기 기준 시간 이후의 상기 단말의 위치 및 이동 방향을 검출하여, 상기 단말에 대해 촬영 중인 현재 CCTV를 검출하는 현재 CCTV 검출 모듈;
    상기 기준 시간 이후의 상기 단말의 위치 및 이동 방향에 기초하여, 상기 현재 CCTV에 출현하는 객체를 검출하는 객체 검출 모듈; 및
    상기 현재 CCTV에서 검출된 객체와 상기 기본 이미지의 동일성을 판단하여 상기 식별자에 대응하는 객체를 추적하는 객체 추적 모듈을 포함하는
    객체 추적 시스템.
  2. 제1항에 있어서,
    상기 교차 CCTV 검출 모듈은,
    제1 시점 및 제2 시점에서의 상기 단말의 위치를 검출하고, 상기 CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 상기 단말의 위치를 연결하는 선분으로부터 소정의 거리 이하인 CCTV를 상기 교차 CCTV로 검출하는, 객체 추적 시스템.
  3. 제2항에 있어서,
    상기 교차 CCTV 검출 모듈은,
    상기 촬영 영역과 상기 선분 사이의 거리에 기초하여, 상기 식별자에 대응하는 객체가 상기 촬영 영역에 노출되는 시간을 검출하는, 객체 추적 시스템.
  4. 제2항에 있어서,
    상기 교차 CCTV 검출 모듈은,
    상기 교차 CCTV가 검출되지 않은 경우, 상기 기준 시간보다 더 이전의 시간에 해당하는 상기 단말의 위치 및 상기 CCTV 설치 정보를 이용하여, 상기 단말에 대한 교차 CCTV를 검출하는, 객체 추적 시스템.
  5. 제1항에 있어서,
    상기 현재 CCTV 검출 모듈은,
    제1 시점 및 제2 시점에서의 상기 단말의 위치로부터 상기 단말의 이동 방향을 검출하고, 상기 CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 상기 이동 방향에 위치하는 CCTV를 상기 현재 CCTV로 검출하는, 객체 추적 시스템.
  6. 제5항에 있어서,
    상기 현재 CCTV 검출 모듈은,
    상기 단말의 이동 속도와 상기 촬영 영역과 상기 제2 시점에서의 상기 단말 사이의 거리에 기초하여, 상기 식별자에 대응하는 객체가 상기 촬영 영역에 노출되는 시간을 검출하는, 객체 추적 시스템.
  7. 제5항에 있어서,
    상기 현재 CCTV 검출 모듈은,
    상기 현재 CCTV가 검출되지 않은 경우, 소정의 시간 동안 대기한 후, 상기 단말의 위치 및 상기 이동 방향을 검출하여, 상기 현재 CCTV를 검출하는, 객체 추적 시스템.
  8. 제5항에 있어서,
    상기 현재 CCTV 검출 모듈은,
    상기 제1 시점 및 상기 제2 시점에서의 상기 단말의 위치를 이용하여 상기 단말의 이동 방향을 검출하는, 객체 추적 시스템.
  9. 제5항에 있어서,
    상기 현재 CCTV 검출 모듈은,
    상기 단말에 탑재된 자이로 센서를 이용하여 상기 단말의 이동 방향을 검출하는, 객체 추적 시스템.
  10. 제1항에 있어서,
    상기 기본 이미지 검출 모듈은,
    상기 객체 검출 모듈에 의해 상기 현재 CCTV에서 검출된 객체를 상기 기본 이미지에 업데이트하고,
    상기 객체 추적 모듈은,
    상기 현재 CCTV에서 검출된 객체와 상기 업데이트된 기본 이미지의 동일성을 판단하여 상기 식별자에 대응하는 객체를 추적하는, 객체 추적 시스템.
  11. 기준 시간 이전의 단말의 위치 및 CCTV 설치 정보를 이용하여, 단말에 대한 교차 CCTV를 검출하는 교차 CCTV 검출 모듈;
    상기 교차 CCTV에서 반복해서 출현하는 객체를 기본 이미지로 검출하는 기본 이미지 검출 모듈;
    상기 기준 시간 이후의 상기 단말의 위치 및 이동 방향을 검출하여, 상기 단말에 대해 촬영 중인 현재 CCTV를 검출하는 현재 CCTV 검출 모듈; 및
    상기 기준 시간 이후의 상기 단말의 위치 및 이동 방향에 기초하여, 상기 현재 CCTV에 출현하는 객체를 검출하는 객체 검출 모듈을 포함하고,
    상기 기본 이미지 검출 모듈은, 상기 객체 검출 모듈에 의해 상기 현재 CCTV에서 검출된 객체를 상기 기본 이미지를 업데이트하는
    객체 추적 시스템.
  12. 제11항에 있어서,
    상기 현재 CCTV에서 검출된 객체와 상기 기본 이미지의 동일성을 판단하여 상기 단말의 식별자에 대응하는 객체를 추적하는 객체 추적 모듈을 더 포함하고,
    상기 객체 추적 모듈은,
    상기 현재 CCTV에서 검출된 객체와 상기 업데이트된 기본 이미지의 동일성을 판단하여 상기 식별자에 대응하는 객체를 추적하는,
    객체 추적 시스템.
  13. 제11항에 있어서,
    상기 교차 CCTV 검출 모듈은,
    제1 시점 및 제2 시점에서의 상기 단말의 위치를 검출하고, 상기 CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 상기 단말의 위치를 연결하는 선분으로부터 소정의 거리 이하인 CCTV를 상기 교차 CCTV로 검출하는, 객체 추적 시스템.
  14. 제11항에 있어서,
    상기 현재 CCTV 검출 모듈은,
    제1 시점 및 제2 시점에서의 상기 단말의 위치로부터 상기 단말의 이동 방향을 검출하고, 상기 CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 상기 이동 방향에 위치하는 CCTV를 상기 현재 CCTV로 검출하는, 객체 추적 시스템.
  15. 단말의 식별자 및 상기 식별자에 대응하는 객체를 추적하기 위한 기준 시간을 입력 받는 단계;
    상기 기준 시간 이전의 상기 단말의 위치 및 CCTV 설치 정보를 이용하여, 상기 단말에 대한 교차 CCTV를 검출하는 단계;
    상기 교차 CCTV에서 반복해서 출현하는 객체를 기본 이미지로 검출하는 단계;
    상기 기준 시간 이후의 상기 단말의 위치 및 이동 방향을 검출하여, 상기 단말에 대해 촬영 중인 현재 CCTV를 검출하는 단계;
    상기 기준 시간 이후의 상기 단말의 위치 및 이동 방향에 기초하여, 상기 현재 CCTV에 출현하는 객체를 검출하는 단계; 및
    상기 현재 CCTV에서 검출된 객체와 상기 기본 이미지의 동일성을 판단하여 상기 식별자에 대응하는 객체를 추적하는 단계를 포함하는
    객체 추적 방법.
  16. 제15항에 있어서,
    상기 교차 CCTV를 검출하는 단계는,
    제1 시점 및 제2 시점에서의 상기 단말의 위치를 검출하고, 상기 CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 상기 단말의 위치를 연결하는 선분으로부터 소정의 거리 이하인 CCTV를 상기 교차 CCTV로 검출하는 단계를 포함하는, 객체 추적 방법.
  17. 제16항에 있어서,
    상기 교차 CCTV를 검출하는 단계는,
    상기 교차 CCTV가 검출되지 않은 경우, 상기 기준 시간보다 더 이전의 시간에 해당하는 상기 단말의 위치 및 상기 CCTV 설치 정보를 이용하여, 상기 단말에 대한 교차 CCTV를 검출하는 단계를 포함하는, 객체 추적 방법.
  18. 제15항에 있어서,
    상기 현재 CCTV를 검출하는 단계는,
    제1 시점 및 제2 시점에서의 상기 단말의 위치로부터 상기 단말의 이동 방향을 검출하고, 상기 CCTV 설치 정보에 포함된 CCTV 중 촬영 영역이 상기 이동 방향에 위치하는 CCTV를 상기 현재 CCTV로 검출하는 단계를 포함하는, 객체 추적 방법.
  19. 제18항에 있어서,
    상기 현재 CCTV를 검출하는 단계는,
    상기 현재 CCTV가 검출되지 않은 경우, 소정의 시간 동안 대기한 후, 상기 단말의 위치 및 상기 이동 방향을 검출하여, 상기 현재 CCTV를 검출하는 단계를 포함하는, 객체 추적 방법.
  20. 제15항에 있어서,
    상기 기본 이미지로 검출하는 단계는,
    상기 객체 검출 모듈에 의해 상기 현재 CCTV에서 검출된 객체를 상기 기본 이미지를 업데이트하는 단계를 포함하고,
    상기 객체를 추적하는 단계는,
    상기 현재 CCTV에서 검출된 객체와 상기 업데이트된 기본 이미지의 동일성을 판단하여 상기 식별자에 대응하는 객체를 추적하는 단계를 포함하는, 객체 추적 방법.
KR1020200028287A 2020-03-06 2020-03-06 객체 추적 장치 및 방법 KR20210112800A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200028287A KR20210112800A (ko) 2020-03-06 2020-03-06 객체 추적 장치 및 방법
US17/191,981 US11869265B2 (en) 2020-03-06 2021-03-04 Object tracking system and object tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200028287A KR20210112800A (ko) 2020-03-06 2020-03-06 객체 추적 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210112800A true KR20210112800A (ko) 2021-09-15

Family

ID=77556619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200028287A KR20210112800A (ko) 2020-03-06 2020-03-06 객체 추적 장치 및 방법

Country Status (2)

Country Link
US (1) US11869265B2 (ko)
KR (1) KR20210112800A (ko)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5453429B2 (ja) * 2009-07-22 2014-03-26 オムロン株式会社 監視カメラ端末
KR20140090795A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 다중 카메라 환경에서 객체 추적 방법 및 장치
KR20140137893A (ko) 2013-05-24 2014-12-03 한국전자통신연구원 객체 추적 방법 및 장치
KR101512141B1 (ko) 2013-06-27 2015-04-16 영남대학교 산학협력단 사람 움직임 방향을 고려한 스마트 조명 제어 장치 및 방법
US10410278B2 (en) * 2013-07-25 2019-09-10 The Crawford Group, Inc. Method and apparatus for integrated image capture for vehicles to track damage
JP6623568B2 (ja) * 2015-06-05 2019-12-25 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
KR20170050225A (ko) 2015-10-30 2017-05-11 삼성에스디에스 주식회사 객체 지속 인식 방법과 이를 수행하기 위한 장치 및 시스템
US10121248B2 (en) * 2016-08-19 2018-11-06 Raytheon BBN Technologies, Corp. Automated system and method for determining positional order through photometric and geospatial data
KR101897505B1 (ko) 2017-01-23 2018-09-12 광주과학기술원 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
CN110276789B (zh) * 2018-03-15 2021-10-29 杭州海康威视系统技术有限公司 目标跟踪方法及装置
US10637873B2 (en) * 2018-03-20 2020-04-28 Bank Of America Corporation Smart internet of things (“IOT”) relay monitors
US10593189B2 (en) * 2018-07-17 2020-03-17 Denso International America, Inc. Automatic traffic incident detection and reporting system
RU2703152C1 (ru) * 2018-09-20 2019-10-15 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ отображения схемы перемещения объектов
US11436827B1 (en) * 2020-02-25 2022-09-06 Tp Lab, Inc. Location tracking system using a plurality of cameras

Also Published As

Publication number Publication date
US20210279455A1 (en) 2021-09-09
US11869265B2 (en) 2024-01-09

Similar Documents

Publication Publication Date Title
US10417503B2 (en) Image processing apparatus and image processing method
CN110856112B (zh) 一种群智感知的多源信息融合室内定位方法及系统
EP3497590B1 (en) Distributed video storage and search with edge computing
KR101982686B1 (ko) 반려동물의 비문을 이용한 신원등록 및 확인방법
US11080869B2 (en) Search assist system, search assist apparatus, and search assist method
JP7405200B2 (ja) 人物検出システム
US20210097103A1 (en) Method and system for automatically collecting and updating information about point of interest in real space
Papaioannou et al. Fusion of radio and camera sensor data for accurate indoor positioning
KR102096926B1 (ko) 관심 영역 변화를 검출하는 방법 및 시스템
JP2008040781A (ja) 被写体照合装置および被写体照合方法
KR102376479B1 (ko) 인공지능 기반 객체 자동 인식을 위한 cctv 제어 방법, 장치 및 시스템
JP7432867B2 (ja) 照合装置、照合システム、及び、照合方法
JP6645655B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US10997474B2 (en) Apparatus and method for person detection, tracking, and identification utilizing wireless signals and images
US20220277162A1 (en) Optical person recognition techniques for social distancing
KR20200037168A (ko) 관심 영역 변화를 검출하는 방법 및 시스템
KR20210112800A (ko) 객체 추적 장치 및 방법
JPWO2019187288A1 (ja) 情報処理装置、データ生成方法、及びプログラム
KR20190134916A (ko) 실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치
WO2022126668A1 (zh) 一种公共场所行人识别方法及人流统计系统
JP2017182424A (ja) 物体を識別するための装置および方法ならびに当該方法をコンピュータに実行させるためのプログラム
CN111222378A (zh) 一种对象计数方法及装置
KR20220107679A (ko) 객체 추적 엣지 컴퓨팅 장치, 그 제어 방법, 및 서버
WO2022190530A1 (ja) 画像処理装置、画像処理方法およびプログラム
Chen et al. A scalable matching mechanism for online heterogeneous positioning fusion system

Legal Events

Date Code Title Description
A201 Request for examination