KR101897505B1 - 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템 - Google Patents

다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101897505B1
KR101897505B1 KR1020170010702A KR20170010702A KR101897505B1 KR 101897505 B1 KR101897505 B1 KR 101897505B1 KR 1020170010702 A KR1020170010702 A KR 1020170010702A KR 20170010702 A KR20170010702 A KR 20170010702A KR 101897505 B1 KR101897505 B1 KR 101897505B1
Authority
KR
South Korea
Prior art keywords
interest
camera
tracking
information
sub
Prior art date
Application number
KR1020170010702A
Other languages
English (en)
Other versions
KR20180086803A (ko
Inventor
전문구
최형욱
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020170010702A priority Critical patent/KR101897505B1/ko
Priority to PCT/KR2018/000975 priority patent/WO2018135922A1/ko
Priority to US16/480,690 priority patent/US11080868B2/en
Publication of KR20180086803A publication Critical patent/KR20180086803A/ko
Application granted granted Critical
Publication of KR101897505B1 publication Critical patent/KR101897505B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/428—Real-time

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 서로 중첩되지 않으면서 데이터 통신이 가능한 다중 카메라 환경에서 실시간으로 관심 객체를 추적하기 위한 방법 및 시스템에 관한 것으로, 이에 의하면 상호 간에 접속되어 데이터 통신이 가능한 다수의 카메라 간에 서로 촬영 지역이 중첩되지 않더라도 상호 간에 촬영된 영상 데이터에 기반하여 실시간으로 관심 객체 추적이 가능하다는 효과가 인정된다.

Description

다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템{A METHOD AND A SYSTEM FOR REAL TIME TRACKING AN INTERESTING TARGET UNDER MULTI-CAMERA ENVIRONMENT}
본 발명은 다중 카메라 환경에서 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템에 관한 것으로, 보다 구체적으로는 서로 중첩되지 않으면서 데이터 통신이 가능한 다중 카메라 환경에서 실시간으로 관심 객체를 추적하기 위한 방법 및 시스템에 관한 것이다.
최근 정보통신기술과 더불어 보안에 관한 중요성이 증대되면서, 일반적으로 CCTV와 같은 촬영 수단에 정보통신기술이 접목되어 실시간으로 영상 정보를, 사전에 자격이 확인된 단말이라면, 언제 어디서나 원격으로 열람가능한 지능형 CCTV 기술이 보편화되고 있다.
그러나 통상적인 지능형 CCTV 내지 스마트 원격보안기술에 의하더라도 특정한 사용자의 얼굴을 확대하거나 차량의 주차 유무를 판단하거나 차량의 구체적인 정보를 확인하기 위한 정도와 같이, 오직 하나의 CCTV(촬영 수단)에서 해당 영상 정보의 해상도에 따라 추적이 가능할 뿐이다. 즉, 현재 널리 상용화되고 잇는 지능형 CCTV 또는 스마트 원격 보안 기술에 의하더라도 단일 카메라 환경에서의 객체 추적이 가능할 뿐이 때문에, 다중 카메라 환경에서의 객체 추적 기법을 적용하기 위해 다양한 연구가 진행 중이다.
전술한 바와 같은, 상용화된 기술에서의 한계점을 인지한 본 발명은, 다중 카메라 환경에서 관심 객체를 실시간으로 추적가능한 방법 및 시스템을 제공하기 위함이다.
또한, 본 발명은 네트워크로 상호 간에 접속되어 데이터 통신이 가능하며 서로 중첩되지 않는 다중 카메라 환경에서 실시간으로 관심 객체를 추적가능한 방법 및 시스템을 제공하기 위함이다.
본 발명에 따른 제1 양상으로, 다중 카메라 환경에서 관심 객체 추적 방법이 개시된다. 상기 방법은, 서버 모듈에서 상기 다중 카메라 환경에서 서브 네트워크를 선택하는 단계; 클라이언트 모듈에서, 서브 네트워크 구성 정보를 상기 서버 모듈로부터 수신하는 단계; 상기 클라이언트 모듈에서, 상기 서브 네트워크를 구성하는 하나 이상의 카메라로부터 제1 시간 간격으로 영상프레임을 수신하는 단계; 상기 수신된 영상프레임에 기반하여, 관심 객체가 존재하는 카메라를 결정하고, 상기 결정된 카메라로부터의 영상프레임에 대해 상기 관심 객체를 국부적으로 추적하는 단계; 및 상기 관심 객체가 상기 결정된 카메라의 영상프레임에서 사라지면, 상기 서브 네트워크를 구성하는 하나 이상의 카메라 중 상기 관심 객체를 재식별하는 단계를 포함한다.
또한, 본 발명에서 서브 네트워크 구성 정보는, 상기 관심 객체 식별자(ID) 및 카메라 인덱스를 포함하며, 상기 서브 네트워크는, 상기 관심 객체 식별자가 존재할 것으로 예상되는 기준 카메라로부터 이웃하는 하나 이상의 카메라에 의하여 구성될 수 있다.
한편, 상기 방법에서 관심 객체를 국부적으로 추적하는 단계는, 상기 관심 객체가 존재하는 시각부터 제2 시간 간격으로, 상기 서브 네트워크를 구성하는 제1 카메라로부터 수신된 영상프레임에 기반하여 추적하여, 국부경로추적정보(tracklet) 및 관심객체결과(ROI)정보를 생성하게 된다.
추가로, 본 발명에 따른 방법은, 상기 국부경로추적정보 및 상기 관심객체결과정보에 기반하여, 상기 서브 네트워크를 구성하는 제1 카메라 및 제2 카메라 간의 영상프레임을 비교함으로써, 관심객체를 재식별하는 단계를 더 포함할 수 있고, 상기 관심객체가 재식별되면, 상기 서브 네트워크를 구성하는 하나 이상의 카메라들로부터의 영상프레임을, 상기 국부경로추적정보, 다중 카메라 토폴로지 정보 및 관심객체 유사성정보에 기반하여, 데이터를 연관시키는 단계; 상기 데이터를 연관시킴으로써, 전역적 객체 추적 정보 및 다중-카메라 추적 결과를 생성하고, 상기 서버 모듈로 송신하는 단계; 및 상기 전역적 객체 추적 정보 및 다중-카메라 추적 결과에 기반하여, 상기 서버 모듈에서 상기 서브 네트워크를 재설정하는 단계;를 더 포함할 수 있다.
한편, 본 발명에 따른 제2 양상에 의하면, 본 발명의 제1 양상으로 기술된 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 저장 매체가 개시된다. 구체적으로, 제2 양상에 따른 컴퓨터 판독가능 저장 매체에 기록된 컴퓨터 프로그램은, 서버 모듈에서 상기 다중 카메라 환경에서 서브 네트워크를 선택하기 위한 코드; 클라이언트 모듈에서, 서브 네트워크 구성 정보를 상기 서버 모듈로부터 수신하기 위한 코드; 상기 클라이언트 모듈에서, 상기 서브 네트워크를 구성하는 하나 이상의 카메라로부터 제1 시간 간격으로 영상프레임을 수신하기 위한 코드; 상기 수신된 영상프레임에 기반하여, 관심 객체가 존재하는 카메라를 결정하고, 상기 결정된 카메라로부터의 영상프레임에 대해 상기 관심 객체를 국부적으로 추적하기 위한 코드; 및 상기 관심 객체가 상기 결정된 카메라의 영상프레임에서 사라지면, 상기 서브 네트워크를 구성하는 하나 이상의 카메라 중 상기 관심 객체를 재식별하기 위한 코드를 포함한다.
본 발명에 따른 제3 양상에 의하면, 다중 카메라 환경에서 관심 객체 추적 시스템이 개시된다. 상기 관심 객체 추적 시스템은, 서로 다른 지역을 촬영가능한 다수의 카메라; 기 다수의 카메라 중 서브네트워크를 선택가능한 서버 모듈; 및 상기 서버 모듈 및 상기 다수의 카메라와 데이터 통신이 가능하며, 상기 서브 네트워크를 구성하는 하나 이상의 카메라로부터 제1 시간 간격으로 영상프레임을 수신하여, 관심 객체를 검출하고 추적가능한 하나 이상의 클라이언트 모듈을 포함한다.
그리고, 상기 서버 모듈은, 전역적 객체 추적 정보, 다중-카메라 추적 결과 및 다중 카메라 토폴로지 정보에 기반하여, 서브 네트워크를 재설정가능하다. 한편, 상기 하나 이상의 클라이언트 모듈은, 제1 카메라로부터 수신된 영상프레임에서 상기 관심 객체가 존재하는 결정하고, 상기 관심 객체가 존재하는 시각부터 제2 시간 간격으로, 상기 제1 카메라로부터 수신된 영상프레임에 기반하여, 국부경로추적정보 및 관심객체결과정보를 생성하는 국부추적부; 상기 국부경로추적정보 및 상기 관심객체결과정보에 기반하여, 상기 서브 네트워크를 구성하는 제1 카메라 및 제2 카메라 간의 영상프레임을 비교함으로써 관심객체를 재식별하는 객체재식별부; 및 상기 관심객체가 재식별되면, 상기 서브 네트워크를 구성하는 하나 이상의 카메라들로부터의 영상프레임을, 상기 국부경로추적정보, 다중 카메라 토폴로지 정보 및 관심객체 유사성정보에 기반하여, 데이터를 연관시키는 데이터연관부를 포함할 수 있다.
본 발명에 따른 다중 카메라 환경에서 관심 객체 추적 방법 및 시스템에 의하면, 상호 간에 접속되어 데이터 통신이 가능한 다수의 카메라 간에 서로 촬영 지역이 중첩되지 않더라도 상호 간에 촬영된 영상 데이터에 기반하여 실시간으로 관심 객체 추적이 가능하다는 효과가 인정된다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명에 따른 효과가 전술된 사항에 국한되지 아니하고, 본 발명에 따른 관심 객체 추적 방법 및 시스템에 의하면, 궁극적으로 사용자가 추적하고자 하는 대상 객체를 다중 카메라 네트워크 내에서 실시간으로 전역적 추적을 할 수 있다.
도 1은 본 발명의 일 실시예인 다중 카메라 환경에서의 관심 객체 추적 시스템의 개략적인 구성도이다.
도 2는 본 발명이 적용되는 환경인 다중 카메라 환경 하에서 서브 네트워크가 설정 및 재설정되는 과정을 설명하기 위한 간략화된 단면도이다.
도 3은 본 발명의 일 실시예인 다중 카메라 환경에서 관심 객체 추적 시스템의 구성 요소를 설명하기 위한 기능도이다.
도 4는 본 발명의 일 실시예인 다중 카메라 환경에서의 관심 객체 추적 방법의 대략적인 흐름도이다.
도 5는 본 발명에 따른 관심 객체 추적 방법에서 서버 모듈과 클라이언트 모듈 간에 송수신되는 데이터 변수의 예시적인 구성도이다.
도 6은 본 발명에 따른 관심 객체 추적 방법 및 시스템을 적용한 실험예를 나타낸다.
본 명세서에 개시된 본 발명의 실시예에 대하여 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적으로 예시되며, 본 발명에 따른 실시예는 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예는 도면에 예시되어 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, '포함하다', '구비하다', '가지다' 등의 용어는 특정된 특징, 숫자, 단계, 동작, 구성요소, 부분, 요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서 '제1' 또는 '제2' 등과 같이 순차적인 구분은 어느 하나와 다른 것을 임의상 구분하기 위한 목적으로 기재되었을 뿐, 서로 호환되어 이해될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조로 본 발명에 따른 다중 카메라 환경 하에서 실시간 관심 객체 추적 방법 및 시스템에 대해 상세하게 설명된다.
도 1은 본 발명의 일 실시예인 다중 카메라 환경(1)에서의 관심 객체 추적 시스템의 개략적인 구성도이며, 도 2는 본 발명이 적용되는 환경인 다중 카메라 환경(1) 하에서 서브 네트워크가 설정 및 재설정되는 과정을 설명하기 위한 간략화된 단면도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 관심 객체 추적 시스템은, 다수의 카메라(10), 서버 모듈(20), 및 하나 이상의 클라이언트 모듈(30)로 구성된다.
다수의 카메라(10)는 서로 중첩되지 않도록 서로 다른 지역을 촬영가능한 것으로, 통상적인 CCTV, 열상 카메라, 디지털 카메라, IR 카메라 등 영상 정보를 촬영가능한 수단을 구비하고 있는 것을 총칭한다. 이러한 다수의 카메라(10)가 서로 데이터 통신이 가능하도록 네트워크가 설정되어 있는, '다중 카메라 환경' 하에서 본 발명에 의한 관심 객체 추적 방법 및 시스템이 적용될 수 있다.
한편, 서버 모듈(20)은 상기 다수의 카메라(10) 중 서브네트워크를 선택가능하며, 하나 이상의 클라이언트 모듈(30)은 상기 다수의 카메라(10) 및 상기 서버 모듈(20)와 데이터 통신이 가능하며, 상기 서브 네트워크를 구성하는 하나 이상의 카메라(10)로부터 제1 시간 간격으로 영상프레임을 수신하여, 관심 객체를 검출하고 추적가능하다. 서버 모듈(20) 및/또는 클라이언트 모듈(30)(특히, 클라이언트 모듈; 30)은 하드웨어 설계 사양이 만족한다면 복수개로 구성됨으로써 다수의 카메라, 더 많은 수의 카메라와 더 높은 해상도에서 객체 추적이 구현될 수 있다.
이러한 도 1에 도시된 관심 객체 추적 시스템이 적용되는 다중 카메라 환경(1)과 관련하여 도 2를 참조하여 설명된다. 도 2에서, 사각형의 각 지점은 각각 지리적으로 이격된 장소에 설치된 카메라(예, CCTV)를 지칭하는 것으로 이해될 수 있다. 이처럼 개별적인 카메라가 모두 메쉬망(mesh network) 형태로 상호 간에 접속될 수 있지만, 도 2에 도시된 사항은, 전체 카메라 중 일부의 카메라에 의해 서브 네트워크가 설정된 양상을 설명한다.
예를 들어, 추적하고자 하는 대상, 즉, 관심 객체가 도면 부호 11c에 있을 것으로 예상되는 경우, 도면 부호 11c 위치의 카메라를 중심으로 지리적으로 인접한(이웃하는) 카메라들 간에 제1 서브네트워크(11)가 설정 또는 선택될 수 있다. 마찬가지 양상으로, 관심 객체가 도면 부호 12c에 있을 것으로 예상되는 경우, 도면 부호 12c 위치의 카메라를 중심으로 지리적으로 인접한 카메라들 간에 제2 서브네트워크(12)가 설정 또는 선택될 수 있다.
이러한 서브네트워크의 설정에서 '지리적으로 인접한' 또는 '이웃하는'의 의미는 다중 카메라 환경 하에서 카메라의 위치가 다른 카메라를 거치지 않는 관계를 지칭한다. 다시 말해, '지리적으로 인접한' 또는 '이웃하는'의 의미는 임의의 카메라에서 관심 객체가 사라진 후에 나타날 것으로 예상되는 경로를 포괄하는 것으로 이해될 수 있다.
나아가, 본 발명에 따른 관심 객체 추적 시스템에 의하면, 제1 서브네트워크(11)를 구성하는 제1 카메라에서 획득된 영상 정보에서 관심 객체가 사라지는 순간부터, 제1 서브네트워크(11)를 구성하는 다른 카메라(제2, 제3 ... 카메라)에서 획득된 영상 정보에서 관심 객체와 가장 동일한 대상이 나타나는 것으로 판단된 순간이 되면, 해당하는 다른 카메라를 중심으로 새로운 서브네트워크로 재설정할 수 있다.
예를 들어, 도면 부호 11c에 위치한 카메라에서 촬영되는 영상 정보에 있던 관심 객체가 11c의 카메라에서 사라진 후, 도면 부호 12c에 위치한 카메라에서 촬영되는 영상 정보 상에서 상기 관심 객체와 동일한 대상으로 판단된 객체가 식별되면, 도면 부호 12c의 카메라를 중심으로 구성되는 제2 서브네트워크(12)로 재설정할 수 있다.
도 3은 본 발명의 일 실시예인 다중 카메라 환경에서 관심 객체 추적 시스템의 구성요소 중 서버모듈(20)과 클라이언트 모듈(30)에 관하여 설명하기 위한 기능도로, 서버 모듈(20)은 서브 네트워크 구성부(21)를 포함하며, 클라이언트 모듈(30)은 국부 추적부(31), 객체 재식별부(32), 및 데이터 연관부(33)를 포함한다. 도 3에서 서버 모듈(20) 및 클라이언트 모듈(30)의 기능적 구성은 이들만으로 구성되는 것이 아니라, 이를 포함하는 형태라면 다른 추가적인 기능부를 포함하여 구현될 수 있다.
서버 모듈(20)의 서브 네트워크 구성부(21)는 다중 카메라 환경에서 관심 객체가 있을 것으로 예상되는 카메라를 중심으로 하여, 또는 '클라이언트 모듈(30)에서 연산된 결과 정보'와 '다중 카메라 환경을 구성하는 카메라 간의 지리적인/물리적인 거리 간격(다중 카메라 토폴로지 정보)'을 중심으로 새로운 서브 네트워크를 구성한다.
한편, 클라이언트 모듈(30)에서, 국부 추적부(31)는 제1 카메라로부터 수신된 영상프레임에서 상기 관심 객체가 존재하는 결정하고, 상기 관심 객체가 존재하는 시각부터 제2 시간 간격으로, 상기 제1 카메라로부터 수신된 영상프레임에 기반하여, 국부경로추적정보 및 관심객체결과정보를 생성한다.
객체재식별부(32)는 상기 국부경로추적정보 및 상기 관심객체결과정보에 기반하여, 상기 서브 네트워크를 구성하는 제1 카메라 및 제2 카메라 간의 영상프레임을 비교함으로써 관심객체를 재식별한다.
데이터연관부(33)는 상기 관심객체가 재식별되면, 상기 서브 네트워크를 구성하는 하나 이상의 카메라들로부터의 영상프레임을, 상기 국부경로추적정보, 다중 카메라 토폴로지 정보 및 관심객체 유사성정보에 기반하여, 데이터를 연관시킨다.
도 4는 본 발명의 일 실시예인 다중 카메라 환경에서의 관심 객체 추적 방법의 대략적인 흐름도이다. 먼저, 서버 모듈은 다중 카메라 환경에서 서브 네트워크가 설정(선택)되는데(S10 단계), 서브 네트워크는 관심 객체가 존재(위치)할 것으로 예상되는 지점의 카메라를 중심으로 하여 이웃하는 관계를 지칭한다(도 2와 관련하여 설명된 바와 같이, 임의의 카메라에서 촬영되는 영상 프레임에서 관심 객체가 사라진 후 직접적으로 나타날 수 있는 위치를 포괄하는 개념으로 이해되어야 한다).
다음으로, 서버 모듈은 서브 네트워크에 관한 정보를 클라이언트 모듈에 송신하여, 클라이언트 모듈은 서브 네트워크 구성 정보를 수신하여, 상기 서브 네트워크를 구성하는 하나 이상의 카메라로부터 제1 시간 간격으로 영상프레임을 수신한다(S20 단계).
이렇게 수신된 영상프레임에 기반하여, 관심 객체가 존재하는 카메라를 결정하고, 상기 결정된 카메라로부터의 영상프레임에 대해 상기 관심 객체에 대한 국부적인 추적이 이루어진다(S30 단계). 이러한 국부적인 추적은, 하나의 영상프레임 중 색채 정보, 이미지 필터 기법 등에 의하여 이동하는 객체를 확인하고 개별 객체마다 임시적인 식별자를 부여하고 해당 객체가 관심 객체와 일치하는지의 여부를 확인할 수 있거나, 최초에 관심 객체와의 형상 비교, 색채 대비, 및 이러한 과정에서 수반되는 이미지 필터를 사용하여 관심 객체를 식별할 수 있다.
또다른 예로서, 관심 객체에 대한 국부적인 추적은, 관심 객체가 존재하는 시각으로부터 일정한 시간 간격(서브 네트워크를 구성하는 하나 이상의 카메라로부터 영상프레임을 수신하는 제1 시간 간격과는 상이한 간격일 수 있음)으로, 서브 네트워크를 구성하는 제1 카메라(관심 객체가 존재하는 것으로 확인된 카메라)로부터 수신된 영상 프레임에 기반하여, 국부경로추적정보(tracklet) 및 관심객체결과(ROI)정보를 생성할 수 있다. 국부경로추적정보라 함은 단일한 카메라 영상이 시간적으로 변화하는 과정에서 해당 관심 객체가 이동하는 추적 경로를 기록한 것이며, 관심객체결과(ROI)정보는 해당 관심 객체가 해당 영상 프레임에서 사라진 순간에서의 해당 관심 객체의 식별자, 관심객체에 관한 외형 및 색체, 관심 객체가 사라진 시각 정보, 및 위치 정보를 포함할 수 있다.
그리고 관심 객체가 상기 결정된 카메라의 영상프레임에서 사라지면, 상기 서브 네트워크를 구성하는 하나 이상의 카메라 중 상기 관심 객체의 재식별이 이루어지는데(S40 단계), 재식별 과정은 경로 추정, 움직임 추정, 트레클릿(tracklet) 등을 감안하는 색채 외형 비교(color appearance)에 의하여 이루어질 수 있다.
상기 관심객체가 재식별되면, 상기 서브 네트워크를 구성하는 하나 이상의 카메라들로부터의 영상프레임을, 상기 국부경로추적정보, 다중 카메라 토폴로지 정보 및 관심객체 유사성정보에 기반하여, 데이터를 연관시키고(S50 단계), 데이터가 연관되면, 클라이언트 모듈은 전역적 객체 추적 정보 및 다중-카메라 추적 결과를 생성하여, 이를 상기 서버 모듈로 송신하게 된다.
그 후, 전역적 객체 추적 정보 및 다중-카메라 추적 결과에 기반하여, 서버 모듈에 의해 서브 네트워크가 재설정될 수 있다(S10 단계로의 재귀적인 실행).
도 5는 본 발명에 따른 관심 객체 추적 방법에서 서버 모듈과 클라이언트 모듈 간에 송수신되는 데이터 변수의 예시적인 구성도이다. 도 5에서 (a)는 서버 모듈에서 서브네트워크가 선택/설정되고 클라이언트 모듈에서 수신되는 서브 네트워크 구성 정보의 데이터 변수를 도시하고, (b)는 클라이언트 모듈에서 관심 객체에 대한 추적이 이루어진 후 서버 모듈로 송신되는 다중-카메라 추적 결과의 데이터 변수를 도시한다.
서브 네트워크 구성 정보의 데이터 변수에 관한 예시적인 구조인, (a)를 참조하면 N1비트 내지 N8비트까지는 카메라 인덱스를 저장하고, N9비트 및 N10비트는 관심 객체의 식별자(ID)를 저장한다.
다중-카메라 추적 결과의 데이터 변수에 관한 예시적인 구조인, (b)를 참조하면, A열은 타겟 카메라의 인덱스, B열은 타겟 카메라 내의 관심 객체의 국부적 식별자(ID), C열은 다음 타겟 카메라 후보가 되는 카메라 인덱스, D열은 다음 타겟 카메라 후보 내에서의 관심 객체의 국부적 식별자(ID)를 기록한다. 한편, E열 및 F열은 두 객체 간의 연관성 판단 결과 정보를 기록하는데, 예컨대, E열은 두 객체 간의 재색별 유사도 정보를 기록하고, F열은 두 객체 간의 연관성 지수를 기록할 수 있다.
도 6은 본 발명에 따른 관심 객체 추적 방법 및 시스템을 적용한 실험예를 나타낸다. 좌측과 우측의 영상 프레임 정보가 서로 중첩되지 않는(서로 이격된 지역을 촬영하는) 서로 다른 카메라에서 촬영된 정보라고 가정한다. 좌측의 영상 프레임 정보 중에서 부호 X1으로 표기된 대상이 관심 객체일 경우, 좌측의 후행하는 영상 프레임에서 사라진 후에, 객체 재색별 과정을 거쳐 우측의 영상 프레임 정보 중에서 부호 X1이었던 대상과 동일한 대상이라고 판단되는 객체인 부호 X2를 검출하게 됨으로써, 본 발명에 따른 관심 객체 추적 방법이 구현될 수 있는 것이다.
이러한 방식으로, 본 발명의 관심 객체 추적 방법 및 시스템에 의하면, 상호 간에 접속되어 데이터 통신이 가능한 다수의 카메라 간에 서로 촬영 지역이 중첩되지 않더라도 상호 간에 촬영된 영상 데이터에 기반하여 실시간으로 관심 객체 추적이 가능하다는 효과가 인정된다.
전술된 본 발명에서 설명된 관심 객체 추적 방법은, 예시적인 모듈, 로직 블록, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다.
일부 실시 양상에서는, 본 명세서에서 설명된 구성의 하나 이상은 컴퓨터 프로그램 명령으로서 메모리에 저장될 수 있는데, 이러한 컴퓨터 프로그램 명령은 디지털 신호 프로세서를 중심으로 본 명세서에서 설명된 방법을 실행할 수 있다. 본 명세서에 첨부된 도면을 참조하여 특정되는 컴포넌트 간의 연결 예는 단지 예시적인 것으로, 이들 중 적어도 일부는 생략될 수도 있고, 반대로 이들 컴포넌트뿐 아니라 추가적인 컴포넌트를 더 포함할 수 있음은 물론이다.
본 명세서에서 설명된 실시예들에 관한 예시적인 모듈, 로직 블록, 수단, 단계 또는 이들의 조합은 전자 하드웨어(코딩 등에 의해 설계되는 디지털 설계), 소프트웨어(프로그램 명령을 포함하는 다양한 형태의 애플리케이션) 또는 이들의 조합에 의해 구현될 수 있다. 하드웨어 및/또는 소프트웨어 중 어떠한 형태로 구현되는지는 사용자 단말에 부여되는 설계상의 제약에 따라 달라질 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 다중 카메라 환경
10: 카메라
20: 서버 모듈
30: 클라이언트 모듈

Claims (11)

  1. 다중 카메라 환경에서 관심 객체 추적 방법으로,
    서버 모듈에서 상기 다중 카메라 환경에서 서브 네트워크를 선택하는 단계;
    클라이언트 모듈에서, 서브 네트워크 구성 정보를 상기 서버 모듈로부터 수신하는 단계;
    상기 클라이언트 모듈에서, 상기 서브 네트워크를 구성하는 하나 이상의 카메라로부터 제1 시간 간격으로 영상프레임을 수신하는 단계;
    상기 수신된 영상프레임에 기반하여, 관심 객체가 존재하는 카메라를 결정하고, 상기 결정된 카메라로부터의 영상프레임에 대해 상기 관심 객체를 국부적으로 추적하는 단계;
    상기 관심 객체가 상기 결정된 카메라의 영상프레임에서 사라지면, 상기 서브 네트워크를 구성하는 카메라들로부터 수신한 영상프레임들에 기반하여 상기 관심 객체를 재식별하는 단계;
    상기 클라이언트 모듈에서, 국부경로추적정보, 다중 카메라 토폴로지 정보 및 관심객체 유사성정보에 기반하여 상기 관심 객체에 대한 전역적 객체 추적 정보 및 다중-카메라 추적 결과를 생성하는 단계; 및
    상기 서버 모듈에서, 상기 생성된 전역적 객체 추적 정보 및 다중-카메라 추적 결과에 기반하여, 상기 관심 객체를 재식별한 카메라를 중심으로 상기 서브 네트워크를 재설정하는 단계를 포함하는,
    다중 카메라 환경에서 관심 객체 추적 방법.
  2. 제1항에 있어서,
    상기 서브 네트워크 구성 정보는, 상기 관심 객체 식별자(ID) 및 카메라 인덱스를 포함하는,
    다중 카메라 환경에서 관심 객체 추적 방법.
  3. 제2항에 있어서,
    상기 서브 네트워크는, 상기 관심 객체 식별자가 존재할 것으로 예상되는 기준 카메라로부터 이웃하는 하나 이상의 카메라에 의하여 구성되는 것을 특징으로 하는,
    다중 카메라 환경에서 관심 객체 추적 방법.
  4. 제1항에 있어서,
    상기 관심 객체를 국부적으로 추적하는 단계는, 상기 관심 객체가 존재하는 시각부터 제2 시간 간격으로, 상기 서브 네트워크를 구성하는 제1 카메라로부터 수신된 영상프레임에 기반하여 추적하여, 국부경로추적정보(tracklet) 및 관심객체결과(ROI)정보를 생성하는 것을 특징으로 하는,
    다중 카메라 환경에서 관심 객체 추적 방법.
  5. 제4항에 있어서,
    상기 관심객체를 재식별하는 단계는,
    상기 국부경로추적정보 및 상기 관심객체결과정보에 기반하여, 상기 서브 네트워크를 구성하는 제1 카메라 및 제2 카메라 간의 영상프레임을 비교함으로써, 관심객체를 재식별하는 단계를 더 포함하는,
    다중 카메라 환경에서 관심 객체 추적 방법.
  6. 삭제
  7. 삭제
  8. 제1항 내지 제5항 중 어느 한 항에 따른 방법을 수행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독가능 저장 매체.
  9. 서로 다른 지역을 촬영가능한 다수의 카메라;
    상기 다수의 카메라 중 서브네트워크를 선택가능한 서버 모듈; 및
    상기 서버 모듈 및 상기 다수의 카메라와 데이터 통신이 가능하며, 상기 서브 네트워크를 구성하는 하나 이상의 카메라로부터 제1 시간 간격으로 영상프레임을 수신하여, 관심 객체를 검출하고 추적가능한 하나 이상의 클라이언트 모듈을 포함하고,
    상기 클라이언트 모듈은,
    상기 관심 객체가 검출된 카메라의 영상프레임에서 상기 관심 객체가 사라지면, 상기 서브 네트워크를 구성하는 카메라들로부터 영상프레임들을 수신하고, 상기 수신한 영상프레임들에 기반하여 상기 관심 객체를 재식별하고,
    상기 관심 객체가 재식별되면, 국부경로추적정보, 다중 카메라 토폴로지 정보 및 관심객체 유사성정보에 기반하여 상기 관심 객체에 대한 전역적 객체 추적 정보 및 다중-카메라 추적 결과를 생성하고,
    상기 서버 모듈은,
    상기 생성된 전역적 객체 추적 정보 및 다중-카메라 추적 결과에 기반하여, 상기 관심 객체를 재식별한 카메라를 중심으로 상기 서브 네트워크를 재설정하는,
    다중 카메라 환경에서 관심 객체 추적 시스템.
  10. 삭제
  11. 제9항에 있어서,
    상기 하나 이상의 클라이언트 모듈은,
    제1 카메라로부터 수신된 영상프레임에서 상기 관심 객체가 존재하는 결정하고, 상기 관심 객체가 존재하는 시각부터 제2 시간 간격으로, 상기 제1 카메라로부터 수신된 영상프레임에 기반하여, 국부경로추적정보 및 관심객체결과정보를 생성하는 국부추적부;
    상기 국부경로추적정보 및 상기 관심객체결과정보에 기반하여, 상기 서브 네트워크를 구성하는 제1 카메라 및 제2 카메라 간의 영상프레임을 비교함으로써 관심객체를 재식별하는 객체재식별부; 및
    상기 관심객체가 재식별되면, 상기 국부경로추적정보, 다중 카메라 토폴로지 정보 및 관심객체 유사성정보에 기반하여, 상기 서브 네트워크를 구성하는 하나 이상의 카메라들로부터의 영상프레임에 대한 데이터를 연관시킴으로써 상기 전역적 객체 추적 정보 및 다중-카메라 추적 결과 데이터를 생성하는 데이터연관부를 포함하는,
    다중 카메라 환경에서 관심 객체 추적 시스템.
KR1020170010702A 2017-01-23 2017-01-23 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템 KR101897505B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170010702A KR101897505B1 (ko) 2017-01-23 2017-01-23 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
PCT/KR2018/000975 WO2018135922A1 (ko) 2017-01-23 2018-01-23 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
US16/480,690 US11080868B2 (en) 2017-01-23 2018-01-23 Method and system for tracking object of interest in real-time in multi-camera environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170010702A KR101897505B1 (ko) 2017-01-23 2017-01-23 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20180086803A KR20180086803A (ko) 2018-08-01
KR101897505B1 true KR101897505B1 (ko) 2018-09-12

Family

ID=62908863

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170010702A KR101897505B1 (ko) 2017-01-23 2017-01-23 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템

Country Status (3)

Country Link
US (1) US11080868B2 (ko)
KR (1) KR101897505B1 (ko)
WO (1) WO2018135922A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869265B2 (en) 2020-03-06 2024-01-09 Electronics And Telecommunications Research Institute Object tracking system and object tracking method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706258B (zh) * 2019-10-10 2022-10-04 北京百度网讯科技有限公司 对象追踪方法及装置
CN111242986B (zh) * 2020-01-07 2023-11-24 阿波罗智能技术(北京)有限公司 跨相机的障碍物跟踪方法、装置、设备、系统及介质
CN113012194B (zh) * 2020-12-25 2024-04-09 深圳市铂岩科技有限公司 目标追踪方法、装置、介质和设备
US11915434B2 (en) * 2021-04-20 2024-02-27 Alwaysai, Inc. Systems and methods for object re-identification
WO2022239931A1 (ko) * 2021-05-12 2022-11-17 삼성전자 주식회사 전자 장치 및 전자 장치에서 이미지 촬영 방법
MA53520B1 (fr) 2021-06-11 2023-03-31 Univ Sidi Mohammed Ben Abdellah Méthode et plateforme de vidéosurveillance distribuée autonome de détection et suivi des événements en temps réel à travers des caméras intelligentes interconnectées à bas coût
KR20240092844A (ko) 2022-12-15 2024-06-24 유니셈(주) 객체 재식별 추적 장치
CN117237418B (zh) * 2023-11-15 2024-01-23 成都航空职业技术学院 一种基于深度学习的运动目标检测方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE500580T1 (de) * 2005-03-25 2011-03-15 Sensormatic Electronics Llc Intelligente kameraauswahl und objektverfolgung
US10375287B2 (en) * 2009-10-21 2019-08-06 Disney Enterprises, Inc. Object trail-based analysis and control of video
KR101077967B1 (ko) * 2010-02-09 2011-10-28 중앙대학교 산학협력단 이동식 감시 및 추적 장치 및 방법
ES2745739T3 (es) * 2010-09-20 2020-03-03 Qualcomm Inc Un entorno adaptable para realidad aumentada asistida por la nube
KR20140090795A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 다중 카메라 환경에서 객체 추적 방법 및 장치
KR101679318B1 (ko) * 2014-12-30 2016-11-24 주식회사 펀진 객체 추적 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Simonnet et al. Re-identification of pedestrians in crowds using dynamic time warping. ECCV, 2012년 10월, pp. 423-432.*
김준식 외 4명. 시야 공유가 없는 다중 카메라를 이용한 사람 추적. IPIU, 2015년 2월, pp. 1-3.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869265B2 (en) 2020-03-06 2024-01-09 Electronics And Telecommunications Research Institute Object tracking system and object tracking method

Also Published As

Publication number Publication date
US11080868B2 (en) 2021-08-03
KR20180086803A (ko) 2018-08-01
WO2018135922A1 (ko) 2018-07-26
US20200175697A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
KR101897505B1 (ko) 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템
EP3844714B1 (en) Method and apparatus for image segmentation using an event sensor
US7583815B2 (en) Wide-area site-based video surveillance system
Liu et al. “Seeing is not always believing”: detecting perception error attacks against autonomous vehicles
KR102239530B1 (ko) 복수의 카메라로부터 뷰를 결합하는 방법 및 카메라 시스템
CN112037245B (zh) 一种确定追踪目标相似度的方法和系统
CN108038415B (zh) 一种基于机器视觉的无人机自动检测与跟踪方法
US20070018977A1 (en) Method and apparatus for generating a depth map
CN110910460B (zh) 一种获取位置信息的方法、装置及标定设备
CA2910965A1 (en) Tracker assisted image capture
CN110706258B (zh) 对象追踪方法及装置
JP2008140370A (ja) ステレオカメラ侵入検知システム
JP2018170003A (ja) ビデオ中のイベントの検出装置、方法及び画像処理装置
CN111784730B (zh) 一种对象跟踪方法、装置、电子设备及存储介质
CN112449152B (zh) 多路视频同步的方法、系统及设备
JP7196999B2 (ja) オブジェクト検出・追跡装置、方法、およびプログラム
CN107480580B (zh) 图像识别方法和图像识别装置
KR102128319B1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
Ding et al. Opportunistic image acquisition of individual and group activities in a distributed camera network
US20130027550A1 (en) Method and device for video surveillance
Casao et al. Distributed multi-target tracking in camera networks
CN111652907A (zh) 一种基于数据关联的多目标跟踪方法、装置及电子设备
US20050128298A1 (en) Method for following at least one object in a scene
CN112749577A (zh) 一种停车位的检测方法及装置
CN113347362B (zh) 一种跨相机轨迹关联方法、装置及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant