KR100904846B1 - 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법 - Google Patents

움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법 Download PDF

Info

Publication number
KR100904846B1
KR100904846B1 KR1020070086253A KR20070086253A KR100904846B1 KR 100904846 B1 KR100904846 B1 KR 100904846B1 KR 1020070086253 A KR1020070086253 A KR 1020070086253A KR 20070086253 A KR20070086253 A KR 20070086253A KR 100904846 B1 KR100904846 B1 KR 100904846B1
Authority
KR
South Korea
Prior art keywords
image
appearance
node
moving object
time
Prior art date
Application number
KR1020070086253A
Other languages
English (en)
Other versions
KR20090021613A (ko
Inventor
남윤영
류정훈
조위덕
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020070086253A priority Critical patent/KR100904846B1/ko
Priority to PCT/KR2007/005225 priority patent/WO2009028761A1/en
Priority to US12/675,682 priority patent/US8300102B2/en
Publication of KR20090021613A publication Critical patent/KR20090021613A/ko
Application granted granted Critical
Publication of KR100904846B1 publication Critical patent/KR100904846B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

움직임을 추적하여 영상획득기기 네트워크의 위상을 추론하는 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 다중 카메라 위상 추론 장치는, 연속적으로 영상을 획득하는 복수의 영상획득기기들로 구성되는 네트워크의 위상을 추론하며, 객체 추출부, 출몰데이터 생성부, 출몰 데이터베이스, 및 위상 추론부를 포함한다. 객체 추출부는 상기 복수의 영상획득기기 별로, 상기 획득된 영상에서 적어도 하나의 움직임 객체를 추출한다. 출몰데이터 생성부는 상기 복수의 영상획득기기 별로, 상기 움직임 객체가 나타나는 등장영상기기와 등장시간, 그리고 상기 움직임 객체가 사라지는 퇴장영상기기와 퇴장시간을 생성한다. 출몰 데이터베이스는 상기 복수의 영상획득기기 별로, 상기 움직임 객체에 대한 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 저장한다. 위상 추론부는 상기 움직임 객체에 대한 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 이용하여 상기 네트워크의 위상을 추론한다. 본 발명의 실시예에 따른 영상획득기기 네트워크의 위상 추론 장치는 움직이는 객체가 등장하고 퇴장하는 영상획득기기, 그리고 등장시간과 퇴장시간을 이용하여 다중 영상획득기기로 이루어지는 네트워크에서 영상획득기기들 간의 위상과 거리를 명확히 함으로써, 영상획득기기 네트워크에서 움직이는 객체를 정확하게 추적할 수 있도록 하는 장점이 있다.

Description

움직임을 추적하여 영상획득기기들의 네트워크 구성을 추론하는 장치 및 방법{Apparatus and method for inferencing topology of multiple cameras network by tracking movement}
본 발명은 다중 영상획득기기의 네트워크에 관한 것으로서, 특히 움직임을 추적하여 움직임을 추적하여 영상획득기기 네트워크의 위상을 추론하는 장치 및 방법에 관한 것이다.
현대에 들어 사회가 복잡하고 다양해지면서 안전사고나 범죄들이 계속해서 증가하고 있으며, 이로 인해 안전과 감시에 대한 요구 또한 계속해서 증대되고 있다. 이러한 안전과 감시에 대한 요구를 만족시키기 위해, 최근에는 주요 시설물의 감시나 우범지대의 치안유지를 목적으로 하는 자동 무인 감시 시스템 등의 개발이 진행되고 있다.
현재 자동 무인 감시 시스템의 개발은, 단순한 DVR(Digital Video Recorder)을 개발하는 수준에서 발전하여, 실용적이고도 경제적인 대안으로서 이동 객체의 인식(detecting)과 추적(tracking)을 수행할 수 있는 지능적 감시 시스템을 개발하는 수준에 도달해 있다. 이러한 지능적 감시 시스템 기술은 영상 시퀀스에서 움직이는 물체를 탐지하고 판별할 수 있는 기술로, 이러한 기술을 구현하기 위해서는 다수의 감시 카메라 환경에서 자동적으로 객체를 식별하고 추적하는 기술이 필요하다.
객체를 추적하는 초기 알고리즘에서는, 카메라 캘리브레이션(calibration)과 오버래핑(overlapping) FOV(Fields Of View)를 이용하여, 여러 대의 카메라에서 객체들이 추적되었다. 이러한 방법 중 하나가, 보정된 카메라를 이용해서 뷰어가 서로 겹치도록 카메라 구성을 한 후, 추적된 객체들의 핸드오버(handover)를 계산하는 방법이다.
다른 방법은 카메라 뷰어가 겹치지 않는 환경에서 객체들을 추적하는 방법으로서, 카메라 뷰어가 서로 겹치지 않도록 카메라 구성을 한 후, 객체들의 전이시간(transition time)과 외형을 매칭시키는 방법이다. 그러나 이러한 방법에서는 객체들의 전이시간이 이용되고 사람들의 움직임 방식이 알려져 있어야 한다는 한계가 있다.
또 다른 방법으로, 확률적 전이 행렬(stochastic transition matrix)을 이용하여 두 대의 카메라들로부터 객체의 행동 패턴을 기술하는 방법이 있다. 이 방법에서는 모든 카메라 사이에 일관성을 확인하기 위해 학습된 데이터가 필요하다.
한편 학습된 데이터를 가지고 일관성을 확인하는 방법 이외의 방법으로, 재등장 기간(period)을 구성한 후 주어진 시간 내 관찰된 객체들을 이용하는 방법이 있다. 이 방법에서는, 관찰된 객체들을 이용하여 재등장 시간이 히스토그램(histogram)으로 표현되고, 이를 바탕으로 카메라들 간의 링크(link)가 찾아진다.
또 다른 방법으로, 점진적인 학습을 이용하여 카메라들 간에 시-공간 링크들의 사후 확률 분포(posterior probability distributions)와 칼라 변화(color variations)를 모델링하는 방법이 있다. 이 방법에서는, 점진적인 칼라의 유사성 학습과정을 토대로, 겹치지 않는 다중 카메라 구성에서 객체의 일치성이 검증된다. 이 때 칼라의 유사성은 CCCM(Consensus-Color Conversion of Munsell color space)을 이용하여 판단되며, 칼라의 유사성이 판단된 후 카메라 사이의 링크가 결정된다.
카메라 사이의 링크는 주어진 시간동안 객체의 등장과 재등장을 조건부 전이 확률(conditional transition probability)로 계산해서 결정된다. 이 때 좀 더 정확하게 링크를 결정하기 위해서, 카메라 화면 내의 블록을 최대한 분할하여, 필요 없는 링크는 제거되고 유효한 링크만 선별된다. 링크 선별 작업 후 각 링크 사이에 관찰된 객체들의 일치성을 더 정확하게 판단하기 위해서, 사후 확률 분포가 이용된다.
또 다른 방법으로, FOV 라인 사이의 관계를 이용하여, 실시간 상황에서 카메라 뷰어가 서로 겹치지 않는 환경에서 객체의 일치성을 확인하는 방법이 있다. 이 방법에서는, 서로 겹침이 없는 카메라의 FOV 라인을 연장시켜 가상 라인(virtual line)을 만든 후, 예측된 객체의 위치와 가상 라인과의 최소거리를 구하여 동일한 객체인지가 식별된다.
상술한 객체 추적 방법에서는 다양한 방법으로 카메라가 구성되는데, 카메라를 구성하는 방법은 단일 카메라 구성과 다중 카메라 구성으로 구분될 수 있다. 또한 영상이 겹치는지 여부(overlapping)에 따라, 다중 카메라 구성은 겹침 카메라 구성과 비겹침(nonoverlapping) 카메라 구성으로 구분될 수 있다. 겹침 카메라 구성에서는 카메라 영상이 겹치도록 다중 카메라들이 구성되고, 비겹침 카메라 구성에서는 카메라 영상이 겹치지 않도록 다중 카메라들이 구성된다.
단일 카메라 구성은, 과속단속 카메라와 같이, 특정한 공간 영역에서 정의된 기능을 수행하는데 주로 사용된다. 다중 카메라 구성은 실내외의 넓은 영역에서 안전을 유지하고 감시를 수행하는 데 사용된다. 겹침 카메라 구성은 2대 이상의 카메라가 일정 영역을 공유함으로써 영상을 자세하게 분석하거나 스테레오 비전기술을 통해 3차원 영상을 제작하는데 사용된다.
그러나 카메라의 설치와 유지비용 때문에, 넓은 영역을 감시하는 시스템에서는 대부분 비겹침 카메라 구성이 이용된다. 비겹침 카메라 구성에서 객체를 추적하기 위해서는 객체의 외형적인 식별자와 객체의 출몰시간 간격이 고려되어야 한다.
본 발명이 이루고자하는 기술적 과제는 객체의 움직임을 추적하여 영상획득기기 네트워크의 위상을 추론하는 장치를 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는 객체의 움직임을 추적하여 영상획득기기 네트워크의 위상을 추론하는 방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 다중 카메라 위상 추론 장치는, 연속적으로 영상을 획득하는 복수의 영상획득기기들로 구성되는 네트워크의 위상을 추론하며, 객체 추출부, 출몰데이터 생성부, 출몰 데이터베이스, 및 위상 추론부를 포함한다. 객체 추출부는 상기 복수의 영상획득기기 별로, 상기 획득된 영상에서 적어도 하나의 움직임 객체를 추출한다. 출몰데이터 생성부는 상기 복수의 영상획득기기 별로, 상기 움직임 객체가 나타나는 등장영상기기와 등장시간, 그리고 상기 움직임 객체가 사라지는 퇴장영상기기와 퇴장시간을 생성한다. 출몰 데이터베이스는 상기 복수의 영상획득기기 별로, 상기 움직임 객체에 대한 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 저장한다. 위상 추론부는 상기 움직임 객체에 대한 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 이용하여 상기 네트워크의 위상을 추론한다.
또한 상기 객체 추출부는 움직임 객체 추출부, 및 특징 추출부를 포함한다. 움직임 객체 추출부는 상기 획득된 영상에서 배경영역을 제거하여 획득되는 전경영역을 상기 움직임 객체로 추출한다. 특징 추출부는 상기 움직임 객체의 특징을 추출한다.
또한 상기 출몰데이터 생성부는, 상기 움직임 객체가 상기 영상획득기기에 나타나는 경우, 상기 움직임 객체가 나타난 영상획득기기를 상기 등장영상기기로, 상기 움직임 객체가 나타난 시간을 상기 등장시간으로 결정하고, 그리고 상기 움직임 객체가 상기 영상획득기기에서 사라지는 경우, 상기 움직임 객체가 사라진 영상획득기기를 상기 퇴장영상기기로, 상기 움직임 객체가 사라진 시간을 상기 퇴장시간으로 결정한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 영상획득기기 네트워크의 위상 추론 방법은, 복수의 영상획득기기로 구성되는 네트워크의 위상을 추론하며, 상기 영상획득기기 별로 연속적으로 영상을 획득하는 단계, 상기 획득된 영상에서 적어도 하나의 움직임 객체를 추출하는 단계, 상기 복수의 영상획득기기 별로, 상기 움직임 객체가 나타나는 등장영상기기와 등장시간, 그리고 상기 움직임 객체가 사라지는 퇴장영상기기와 퇴장시간을 결정하여 등록하는 단계, 및 상기 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 이용하여 상기 네트워크의 위상을 추론하는 단계를 포함한다.
또한 상기 움직임 객체를 추출하는 단계는, 상기 획득된 영상에서 배경영역을 제거하여 획득되는 전경영역을 상기 움직임 객체로 추출한다.
또한 상기 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 결정하여 등록하는 단계는, 상기 움직임 객체가 상기 영상획득기기에 나타나는 경우, 상기 움직임 객체가 나타난 영상획득기기를 상기 등장영상기기로, 상기 움직임 객체가 나타난 시간을 상기 등장시간으로 결정하는 단계, 및 상기 움직임 객체가 상기 영상획득기기에서 사라지는 경우, 상기 움직임 객체가 사라진 영상획득기기를 상기 퇴장영상기기로, 상기 움직임 객체가 사라진 시간을 상기 퇴장시간으로 결정하는 단계를 포함한다.
또한 상기 위상을 추론하는 단계는, 상기 움직임 객체가 상기 영상획득기기에 나타난 경우, 상기 움직임 객체가 새로운 움직임 객체인지 판단하는 단계, 상기 움직임 객체가 새로운 움직임 객체인 경우 상기 움직임 객체를 등록한 후 상기 등장영상기기에 대한 영상노드를 생성하며, 상기 움직임 객체가 등록된 움직임 객체인 경우 상기 움직임 객체의 이동시간과 임계이동시간을 비교하는 단계, 및 상기 이동시간이 큰 경우 상기 움직임 객체를 새로운 움직임 객체로 재등록한 후 상기 등장영상기기에 대한 영상노드를 생성하며, 상기 이동시간이 크지 않은 경우 상기 등장영상기기와 이전의 퇴장영상기기를 비교하여 상기 네트워크의 위상을 결정하는 단계를 포함한다.
또한 움직임 객체를 추출하는 단계는 상기 움직임 객체의 특징을 추출하는 단계를 포함하며, 상기 새로운 움직임 객체인지 판단하는 단계는 상기 움직임 객체와 이전에 추출된 움직임 객체의 특징을 비교하여 판단하는 것이 바람직하다.
또한 상기 네트워크의 위상을 결정하는 단계는, 상기 이전의 퇴장영상기기가 등록되지 않았거나, 또는 상기 움직임 객체의 등장영상기기와 상기 이전의 퇴장영상기기가 같지 않은 경우, 상기 움직임 객체가 다른 영상획득기기에도 나타나는지 판단하여 영상노드 또는 겹침노드를 생성하는 단계, 및 상기 움직임 객체의 등장영상기기가 상기 이전의 퇴장영상기기가 같은 경우, 상기 등장영상기기에 대한 가상노드를 생성하는 단계를 포함한다.
또한 상기 가상노드를 생성하는 단계는 상기 가상노드로의 비가시(非可視)에지를 생성하는 단계를 포함하며, 상기 가상노드로의 비가시에지의 가중치는 상기 이동시간인 것이 바람직하다.
또한 상기 영상노드 또는 겹침노드를 생성하는 단계는, 상기 움직임 객체가 다른 영상획득기기에 나타나지 않는 경우, 상기 등장영상기기에 대한 영상노드를 생성하는 단계, 상기 움직임 객체가 다른 영상획득기기에도 나타나는 경우, 상기 등장영상기기와 상기 다른 영상획득기기 간의 겹침노드를 생성하는 단계를 포함한다.
또한 상기 영상노드를 생성하는 단계는 상기 영상노드로의 비가시에지를 생성하는 단계를 포함하고, 상기 겹침노드를 생성하는 단계는 상기 겹침노드로의 가시(可視)에지를 생성하는 단계를 포함하며, 상기 영상노드로의 비가시에지와 상기 겹침노드로의 가시에지의 가중치는 상기 이동시간인 것이 바람직하다.
한편 상기 위상을 추론하는 단계는, 상기 움직임 객체가 상기 영상획득기기에서 사라진 경우, 상기 퇴장영상기기 이외의 다른 영상획득기기에 상기 움직임 객체가 나타나는지 판단하는 단계, 상기 움직임 객체가 나타나지 않는 경우 비겹침노드를 생성하는 단계, 및 상기 움직임 객체가 나타나는 경우 이전의 등장영상기기와 상기 퇴장영상기기가 같은지 판단하여 카메라노드 또는 회귀 가시에지를 생성하는 단계를 더 포함할 수 있다.
또한 상기 카메라노드 또는 회귀 가시에지를 생성하는 단계는, 상기 이전의 등장영상기기와 상기 퇴장영상기기가 같지 않은 경우, 상기 퇴장영상기기에 대한 영상노드를 생성하는 단계, 및 상기 이전의 등장영상기기와 상기 퇴장영상기기가 같은 경우, 상기 퇴장영상기기로 회귀하는 회귀 가시에지를 생성하는 단계를 포함한다.
또한 상기 퇴장영상기기에 대한 영상노드를 생성하는 단계는 상기 영상노드로의 겹침에지를 생성하는 단계를 포함하며, 상기 영상노드로의 겹침에지와 상기 회귀 가시에지의 가중치는 상기 이동시간인 것이 바람직하다.
상술한 바와 같이 본 발명의 실시예에 따른 영상획득기기 네트워크의 위상 추론 장치는 움직이는 객체가 등장하고 퇴장하는 영상획득기기, 그리고 등장시간과 퇴장시간을 이용하여 다중 영상획득기기로 이루어지는 네트워크에서 영상획득기기들 간의 위상과 거리를 명확히 함으로써, 영상획득기기 네트워크에서 움직이는 객체를 정확하게 추적할 수 있도록 하는 장점이 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 영상획득기기 네트워크의 위상 추론 장치의 블록도이다. 위상 추론 장치(100)는 연속적으로 영상을 획득하는 복수의 영상획득기기들(110_1 내지 110_N)로 구성되는 네트워크(115)의 위상을 추론한다. 도 1을 참조하면, 위상 추론 장치(100)는 객체 추출부(130), 출몰데이터 생성부(150), 출몰 데이터베이스(170), 및 위상 추론부(190)를 포함한다.
객체 추출부(130)는 복수의 영상획득기기(110_1 내지 110_n) 별로, 획득된 영상에서 적어도 하나의 움직임 객체를 추출한다. 한편 설명의 편의를 위해 도 1에서는, 복수의 영상획득기기들(110_1 내지 110_N) 각각에 대응하여 움직임 객체가 추출되는 방식으로 객체 추출부(130)가 구현되는 것으로 도시되어 있으나, 이는 하나의 구현 예일 뿐이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 다양한 형태로 객체 추출부를 구현할 수 있을 것이다.
한편 객체 추출부(130)는 움직임 객체 추출부(131_1 내지 131_N), 및 특징 추출부(133_1 내지 133_N)를 포함한다. 움직임 객체 추출부(131_1 내지 131_N)는 영상획득기기들(110_1 내지 110_N)에서 획득된 영상에서 배경영역을 제거하여 획득되는 전경영역을 움직임 객체로 추출한다. 특징 추출부(133_1 내지 133_N)는 상기 움직임 객체의 특징을 추출한다.
출몰데이터 생성부(150)는 움직임 객체가 나타나는 등장영상기기와 등장시간, 그리고 움직임 객체가 사라지는 퇴장영상기기와 퇴장시간을, 복수의 영상획득 기기(110_1 내지 110_n) 별로, 생성한다.
움직임 객체의 이동에 따라, 영상획득기기에는 움직임 객체가 출몰하는데(즉 나타나거나 사라지는데), 이 경우 출몰데이터 생성부(150)는 움직임 객체가 어떤 영상획득기기(등장영상기기 또는 퇴장영상기기)에 언제(등장시간 또는 퇴장시간) 출몰하는지 검출하여 출몰데이터(등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간)를 생성한다.
구체적으로, 움직임 객체가 영상획득기기에 나타나는 경우, 출몰데이터 생성부(150)는 움직임 객체가 나타난 영상획득기기를 등장영상기기로 결정하고 움직임 객체가 나타난 시간을 등장시간으로 결정하여 출몰데이터를 생성한다. 한편 움직임 객체가 영상획득기기에서 사라지는 경우, 출몰데이터 생성부(150)는 움직임 객체가 사라진 영상획득기기를 퇴장영상기기로 결정하고 움직임 객체가 사라진 시간을 퇴장시간으로 결정하여 출몰데이터를 생성한다.
출몰 데이터베이스(170)는 움직임 객체에 대한 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을, 복수의 영상획득기기(110_1 내지 110_n) 별로, 저장한다. 한편 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 이러한 방식 이외에 다양한 방식으로도 출몰 데이터가 저장될 수 있음을 알 수 있을 것이다.
위상 추론부(190)는 움직임 객체에 대한 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 이용하여 네트워크(115)의 위상을 추론한다. 본 발명의 실시예에서 위상 추론부(190)는, 움직임 객체가 등장하거나 또는 퇴장할 때마다, 현재 등장하거나 퇴장하는 움직임 객체의 출몰데이터와, 동일한 움직임 객체에 대해 이전에 저장된 출몰데이터를 비교하여 위상을 추론한다. 이하 도 1 내지 도 5를 참조하여 위상 추론 장치(100), 특히 위상 추론부(190)의 동작에 대해 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 영상획득기기 네트워크의 위상 추론 방법의 흐름도이다. 먼저 움직임 객체의 출몰을 검출하기 위해서 영상획득기기(110_1 내지 110_N)들 각각은 연속적으로 영상을 획득한다(S210).
그 후 객체 추출부(130)는, 복수의 영상획득기기(110_1 내지 110_N) 별로, 획득된 영상에서 적어도 하나의 움직임 객체를 추출하며(S230), 움직임 객체의 특징을 더 추출할 수 있다. 즉 앞서 설명한 바와 같이, 움직임 객체 추출부(131_1 내지 131_N)는 획득된 영상에서 배경영역을 제거하여 획득되는 전경영역을 움직임 객체로 추출한다.
전경영역을 추출하기 위해, 본 발명의 실시예에서 움직임 객체 추출부(131_1 내지 131_N)는 색상, 에지, 모션, 디스페리티(disparity) 정보를 복합적으로 이용하는 강건한 세그멘테이션을 사용하는 것이 바람직하다.
즉 움직임 객체 추출부(131_1 내지 131_N)는 획득된 영상의 스무드 디스페리티(smooth disparity)를 계산하고 색상, 에지, 모션, 디스페리티를 비교하여, 정적인 배경장면에서 움직이는 대상물을 분리한다. 또한 움직임 객체만을 분리하기 위해서, 움직임 객체가 제한된 디스페리티 범위, 즉 깊이를 가지고 움직임 객체의 디스페리티가 부드럽게 변한다고 가정한 후, 분리된 대상물들 중 깊이 정보를 포함하 고 있는 대상물을 추적하여 움직임 객체를 추출한다.
한편 특징 추출부(133_1 내지 133_N)는 상술한 방법을 통해 추출된 움직임 객체의 특징을 추출한다. 본 발명의 실시예에서는 특징 추출부(133_1 내지 133_N)는 그리드 패치 분류(grid patch classification) 방법을 이용하여 특징을 추출하는 것이 바람직하다. 그리드 패치 분류 방법을 이용하는 경우, 특징 추출부(133_1 내지 133_N)는 전경영역에서 블랍(blob) 형태의 움직임 객체(예를 들어 사람)의 모습을 각 부분으로 분리한다. 움직임 객체가 사람인 경우, 본 발명의 실시예에서 특징 추출부(133_1 내지 133_N)는 움직임 객체를 머리, 몸 손, 다리 등으로 분리하여 머리 색, 모자 착용 여부, 옷 색 등이 움직임 객체의 식별자로 사용되도록 하는 것이 바람직하다.
후술하겠지만, 위상 추론부(190)는 영상획득장치 네트워크의 위상을 추론할 때 움직임 객체의 동일성을 판단하는데(S270), 이 때 움직임 객체의 특징, 예를 들어, 움직임 객체의 머리 색, 모자 착용 여부, 옷 색 등이 움직임 객체의 식별자로서 사용될 수 있다.
다시 도 2를 참조하면 움직임 객체가 추출된 후, 출몰데이터 생성부(150)는, 복수의 영상획득기기 별로, 움직임 객체가 나타나는 등장영상기기와 등장시간, 그리고 움직임 객체가 사라지는 퇴장영상기기와 퇴장시간을 결정하여 등록한다(S250).
도 3은 도 2에서 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 결정하는 단계를 설명하기 위한 흐름도이다. 앞서 설명한 바와 같이, 움직임 객 체가 영상획득기기에 나타나는 경우, 출몰데이터 생성부(150)는 움직임 객체가 나타난 영상획득기기를 등장영상기기로 결정하고 움직임 객체가 나타난 시간을 등장시간으로 결정하여 출몰데이터를 생성한다(S251). 한편 움직임 객체가 영상획득기기에서 사라지는 경우, 출몰데이터 생성부(150)는 움직임 객체가 사라진 영상획득기기를 퇴장영상기기로 결정하고 움직임 객체가 사라진 시간을 퇴장시간으로 결정하여 출몰데이터를 생성한다(S253). 한편 생성된 출몰데이터, 즉 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간은, 출몰 데이터베이스(170)에 저장된다.
한편 앞서 설명한 바와 같이, 위상 추론부(190)는 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 이용하여 상기 네트워크의 위상을 추론한다(S270). 위상 추론부(190)는 움직임 객체가 등장하거나 또는 퇴장할 때마다, 등장 또는 퇴장하는 움직임 객체의 출몰데이터와, 이전에 저장된 출몰데이터를 비교하여 위상을 추론한다. 이하에서는 움직임 객체가 등장하는 경우(도 4 참조)와 퇴장하는 경우(도 5 참조)로 구분하여 위상 추론부(190)의 동작을 설명한다.
도 4는 도 2에서 위상을 추론하는 단계 중 일부를 설명하기 위한 흐름도로, 영상획득기기에 움직임 객체가 나타나는 경우를 나타낸다. 움직임 객체가 영상획득기기에 나타나는 경우, 앞서 설명된 동작에 의해 나타난 움직임 객체에 대한 등장영상기기와 등장시간이 등록된다.
위상 추론부(190)는 영상획득기기에 현재 나타난 움직임 객체가 새로운 움직임 객체인지 판단한다(S271). 앞서 설명한 바와 같이, 객체 추출부(130)는 움직임 객체 이외에 움직임 객체의 특징을 더 추출할 수 있는데, 본 발명의 실시예에서 특징 추출부(133_1 내지 133_N)는 움직임 객체의 특징, 예를 들어 머리 색, 옷 색, 신체 사이즈 등을 추출하는 것이 바람직하다. 이 경우 위상 추론부(190)는 현재 움직임 객체의 특징과 이전에 추출된 움직임 객체의 특징을 비교하는 방식으로 현재 움직임 객체가 새로운 움직임 객체인지 판단할 수 있다.
움직임 객체가 새로운 움직임 객체인 경우, 위상 추론부(190)는 현재 움직임 객체를 등록한 후(S272), 현재 움직임 객체가 나타난 영상획득기기, 즉 현재 움직임 객체에 대응되는 등장영상기기에 대한 영상노드를 생성한다(S273).
한편 움직임 객체가 새로운 움직임 객체가 아닌 경우, 즉 현재 움직임 객체가 이전에 등록된 움직임 객체인 경우, 위상 추론부(190)는 움직임 객체의 이동시간과 임계이동시간을 비교한다. 여기서 이동시간은, 움직임 객체에 대해 일어났던 연속적인 이벤트(즉 등장 또는 퇴장)들 중 이웃하는 이벤트들 간의 시간간격으로, 움직임 객체가 나타나는 경우 이동시간은, 등장시간과, 움직임 객체가 현재 나타나기 바로 전에 사라졌거나 또는 나타났던 시간과의 차이에 해당한다.
한편 움직임 객체는 네트워크 공간(115) 내에서 움직일 수도 있으나, 네트워크 공간(115)에서 이탈한 후 다시 네트워크 공간(115)으로 진입할 수도 있다. 후자의 경우는 위상 추론에 필요하지 않은 상황이므로, 이러한 상황은 배재될 필요가 있다. 본 발명의 실시예에서는 움직임 객체에 대해 일어나는 연속적인 이벤트들 간의 시간간격이 임계이동시간 내인 경우, 움직임 객체가 네트워크 공간(115) 내에서 이동한 것으로 판단한다.
따라서 이동시간이 임계이동시간보다 큰 경우, 위상 추론부(190)는 움직임 객체가 네트워크(115) 외부로 이탈했다가 네트워크(115) 내로 다시 진입한 것으로 간주한다. 즉 위상 추론부(190)는 움직임 객체를 새로운 움직임 객체로 재등록한 후(S272) 등장영상기기에 대한 영상노드를 생성한다(S273).
한편 이동시간이 임계이동시간보다 크지 않은 경우, 위상 추론부(190)는 등장영상기기와, 현재 움직임 객체가 이전에 사라진 영상획득기기, 즉 이전의 퇴장영상기기를 비교하여(S275) 네트워크의 위상을 결정한다. 이하 이전 퇴장영상기기를 비교하여 네트워크의 위상을 결정하는 동작에 대해 설명한다.
먼저 등장영상기기가 이전의 퇴장영상기기와 같은 경우, 위상 추론부(190) 등장영상기기에 대한 가상노드를 생성하고(S276), 가상노드로의 비가시(非可視)에지를 생성한다. 이 때 위상 추론부(190)는 이동시간을 가상노드로의 비가시에지의 가중치로서 등록할 수 있다(S283).
한편 이전의 퇴장영상기기가 등록되지 않았거나 또는 등장영상기기와 이전의 퇴장영상기기가 같지 않은 경우, 위상 추론부(190)는 움직임 객체가 다른 영상획득기기에도 나타나는지 판단하여(S278) 영상노드 또는 겹침노드를 생성한다.
구체적으로 설명하면, 먼저 움직임 객체가 다른 영상획득기기에 나타나지 않는 경우, 위상 추론부(190)는 등장영상기기에 대한 영상노드를 생성하고(S281), 영상노드로의 비가시에지를 생성한다(S282). 이 때 위상 추론부(190)는 이동시간을 영상노드로의 비가시에지의 가중치로서 등록할 수 있다(S283).
반면 움직임 객체가 다른 영상획득기기에도 나타나는 경우, 위상 추론 부(190)는 등장영상기기와 다른 영상획득기기 간의 겹침노드를 생성하고(S279), 겹침노드로의 가시(可視)에지를 생성한다(S280). 이 때 위상 추론부(190)는 이동시간을 겹침노드로의 가시에지의 가중치로서 등록할 수 있다(S283).
이상에서는 영상획득기기에 움직임 객체가 나타나는 경우, 위상 추론부(190)의 동작에 대해 설명하였다. 이하에서는 영상획득기기에서 움직임 객체가 사라지는 경우, 위상 추론부(190)의 동작에 대해, 도 5를 참조하여 설명한다.
도 5는 도 2에서 위상을 추론하는 단계 중 나머지 일부를 설명하기 위한 흐름도이다. 움직임 객체가 영상획득기기에서 사라지는 경우, 위상 추론부(190)는 먼저 퇴장영상기기 이외의 다른 영상획득기기에 움직임 객체가 나타나는지 판단한다(S291).
다른 영상획득기기에 움직임 객체가 나타나지 않는 경우, 위상 추론부(190)는 비겹침노드를 생성하고(S292), 비겹침노드로의 가시에지를 생성한다(S293). 한편 다른 영상획득기기에 움직임 객체가 나타나는 경우, 위상 추론부(190)는 이전의 등장영상기기와 퇴장영상기기가 같은지 판단하여(294) 카메라노드 또는 회귀 가시에지를 생성한다.
구체적으로 설명하면, 이전의 등장영상기기와 퇴장영상기기가 같지 않은 경우, 위상 추론부(190)는 퇴장영상기기에 대한 영상노드를 생성하고(S296), 영상노드로의 겹침에지를 생성한다(S297). 이 때 위상 추론부(190)는 이동시간을 겹침에지의 가중치로서 등록할 수 있다.
한편 이전의 등장영상기기와 퇴장영상기기가 같은 경우, 위상 추론부(190)는 퇴장영상기기로 회귀하는 회귀 가시에지를 생성한다. 이 때 위상 추론부(190)는 이동시간을 회귀 가시에지의 가중치로서 등록할 수 있다.
본 발명의 실시예에서는, 영상획득기기 네트워크(115)에 진입하여 이동하는 움직임 객체에 대해 상술한 동작을 반복하여 훈련시킴으로써, 영상획득기기 네트워크(115)의 시공간적 위상 관계를 구성할 수 있다. 또한 이러한 위상 관계를 이용함으로써 영상획득기기 네트워크(115)에서의 움직임 객체에 대한 추적이 정확하게 수행될 수 있다.
이하에서는 도 6 내지 도 8을 참조하여, 본 발명이 실제 공간에 적용되어 영상획득기기 네트워크(115)의 시공간적 위상 관계가 구성되는 예에 대해 설명한다.
도 6은 본 발명의 실시예에 따른 위상 추론 방법이 실험되는 다중 카메라 네크워크 공간의 개략도이고, 도 7은 도 6의 공간에서 실험된 데이터를 설명하기 위한 도면이고, 그리고 도 8은 도 7의 데이터를 이용하여 추론된 다중 카메라 네트워크의 위상 관계를 설명하기 위한 도면이다. 도 6의 공간에서의 실험은 다음과 같은 조건에서 이루어졌다.
실험에 사용된 방법은, 인텔 듀얼 코어 2.4GHz CPU와 1GB 메모리 사양의 Windows XP 환경에서 C++와 OpenCV를 이용하여 구현되었으며, 영상획득기기는 Samsung Dome Camera SID-45C 이고, 획득된 영상(320×240)은 초당 15프레임으로 처리되었다. 실험은 도 6의 공간에서 사용자가 빌딩 내부를 이동함에 따라 카메라의 FOV에서 등장영상기기와 퇴장영상기기를 검출하여, 카메라들 간의 위상 관계를 분석하였다.
다음 표는 20분간의 학습 동안 도 6의 공간에서 움직임 객체들의 움직임을 시간 순서로 정리한 것의 일부이다.
Figure 112007062300035-pat00001
약 50초 동안 세 개의 움직임 객체들(p1, p2, p3)이 도 6의 공간에서 움직였음을 알 수 있다. 이하에서는 움직임 객체(p1)의 움직임을 중심으로 살펴본다.
p1은 09:45:22:12에 카메라1(C1)에 처음으로 나타났음을 알 수 있다. 따라서 이 경우, p1이 등록되고(S272), 영상노드(c1)가 생성된다(S273).
한편 p1은 09:45:30:34에 카메라2(C2)에 다시 나타나는데, 카메라1(C1)에서도 계속해서 나타나고 있다. 따라서 이 경우, 겹침노드(o1)가 생성되고(S279), 영상노드(c1)로부터 겹침노드(o1)로의 가시에지가 생성된다(S280). 한편 p1이 카메라1(C1)에 나타난 후 다시 카메라2(C2)에 나타날 때까지 약 8초가 소요되었으므로, 이 때 겹침노드(o1)로의 가시에지의 가중치로 8이 등록된다(S283).
p1은 09:45:32:56에 카메라1(C1)에서 사라진다. 그러나 아직 카메라2(C2)에서는 보이고 있기 때문에 영상노드(c2)가 생성되고(S296) 겹침노드(o1)로부터 영상노드(c2)로의 겹침에지가 생성되고(S297) 가중치로 2가 등록된다(S298). 그 후, p1 은 09:45:37:41에 카메라2(C2)에서 사라지고 다른 카메라에서도 보이지 않기 때문에, 비겹침노드(no1)가 생성되며(S292), 영상노드(c2)로부터 비겹침노드(no1)로의 가시에지가 생성되고(S293) 가중치 5가 등록된다(S298).
그 후, p1은 09:45:38:23에 카메라3(C3)에서 재등장하여 영상노드(c3)가 생성되며(S281), 영상노드(c3)로의 비가시에지(s282)가 생성되고 가중치 1이 등록된다(S283). 그 후, p1은 09:45:39:18에 카메라3(C3)에서 퇴장하여 비겹침노드(no2)가 생성되며(S292), 영상노드(c3)로부터 비겹침노드(no3)로의 가시에지가 생성되고(S293) 가중치 1이 등록된다(S298).
그 후, p1은 09:45:40:76에 카메라4(C4)에서 재등장하여 영상노드(c4)가 생성되며(S281), 영상노드(c4)로의 비가시에지가 생성되고(S282) 가중치 1이 등록된다(S283). 그 후 p1은 09:45:45:24에 카메라4(C4)에서 퇴장하는데, 이 때 퇴장하는 카메라는 재등장한 카메라(C4)와 동일하므로 회귀 가시에지가 생성되고(S295) 가중치 5가 등록된다(S298).
그 후, p1은 09:45:46:74에 카메라3(C3)에서 재등장하는데, 재등장과 관련된 노드와 에지는 생성되어 있으므로, 전이시간만 확인한다. 그 후, p1은 09:45:51:81에 카메라3(C3)에서 퇴장하여 카메라5(C5)에서 재등장한다. 이 때 비겹침노드(no3)와 영상노드(c5)가 생성되며(S292와 SS281), 각각 가시에지와 비가시에지가 생성되고(S293과 S282) 가중치 4와 3이 등록된다(S298과 S283).
그 후, p1은 09:46:02:64에 카메라5(C5)에서 사라진 후, 다시 09:46:05:15에 카메라5(C5)에서 재등장하는데, p1이 사리지는 경우 생성되는 비겹침노드가 생성되 어야 하나, p1이 동일한 카메라(C5)에서 사라진 후 다시 나타나므로, 비겹침모드가 아니라 가상노드(v1)가 생성된다(S276). 이 경우 영상노드(c5)로부터 가상노드(v1)로의 가시에지가 생성되고(S293), 가상노드(v1)에서의 회귀 비가시에지가 생성되며(S277), 가중치 8과 3이 등록된다(S298, S283).
도 1 내지 도 5에서 설명한 본 발명의 실시예에 따라, 상술한 방법과 유사한 방법으로, 다른 움직임 객체들(p2, p3)의 움직임에 따라 노드들과 에지들, 그리고 가중치가 생성되고 등록될 수 있다. 도 7은 이렇게 결정되는 노드들과 가중치들을 매트릭스와 리스트의 형태로 표현한 것으로, 도 7의 (a)는 움직임 객체(p1)에 대한 인접 노드들 간의 매트릭스(matrix)이고, 도 7의 (b)는 인접한 노드들 간에 형성되는 에지와 가중치의 리스트이다.
이러한 방식으로, 다중 카메라 네트워크 내에서 움직이는 움직임 객체에 대해 상술한 과정을 반복하여 수행시킴으로써, 다중 카메라 네트워크 내의 카메라들 간의 시공간적 위상 관계가 학습될 수 있다.
또한 이렇게 학습된 카메라들 간의 시공간적 위상 관계는 위상-가중치 그래프(weighted graph)(도 8 참조)로 표현될 수 있다. 도 8에 도시된 바와 같이, 위상-가중치 그래프(G)는 노드(node)와 에지(edge)로 구성이 된다. 노드는 영상노드, 겹침노드, 비겹침노드, 가상노드로 구분되며, 에지는 가시에지, 비가시에지, 겹침에지로 구분된다.
움직임 객체가 등장하고 퇴장하는 방향정보를 이용하여 노드들 간의 링크가 구성되며, 등장시간과 퇴장시간과의 차이는 움직임 객체가 이동한 이동시간으로서, 이동시간은 노드와 노드 사이에 생성되는 에지의 가중치로서 등록된다.
한편 겹침에지는 두 개 이상의 카메라에 움직임 객체가 나타나는 경우를 나타내므로, 움직임 객체의 이동방향을 분석함으로써 영상획득기기들(예를 들어 카메라들) 간의 각도가 추론될 수 있다. 특히 건물 내의 복도나 건물 외의 차량이 이동하는 도로의 경우, 사람이나 차량의 움직이는 패턴과 경로는 일정하기 때문에 이러한 추론이 가능하다. 상술한 바와 같이 이러한 시공간적 위상은 일정시간동안의 학습을 통해 자동적으로 구성될 수 있다.
상술한 바와 같이, 본 발명을 이용한 훈련을 통해, 영상획득기기들(예를 들어 카메라들) 간의 거리, 움직임 객체와 영상획득기기와의 거리, 카메라의 각도 등을 포함한 다중 영상획득기기 네트워크의 위상 관계가 자동적으로 구성될 수 있으며, 이렇게 구성된 위상 관계를 이용함으로써 사람을 포함한 움직임 객체의 움직임이 정확하게 추적될 수 있다. 즉 위상 관계로부터 알 수 있는 움직임 객체의 외형적인 식별자, 객체의 출몰방향과 시간차 등을 이용해, 다수의 카메라들로부터 움직임 객체가 연속적으로 추적될 수 있다.
한편 본 발명의 실시예를 이용하여 구현되는 다중 카메라에서의 객체 추적 기술은, 보안이 필요한 빌딩이나 아파트 단지와 같은 거주지 내에서의 안전관리를 위한 홈 네트워크 분야에서도 폭 넓게 응용될 수 있을 것이다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동 작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시예에 따른 영상획득기기 네트워크의 위상 추론 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 영상획득기기 네트워크의 위상 추론 방법의 흐름도이다.
도 3은 도 2에서 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 결정하는 단계를 설명하기 위한 흐름도이다.
도 4는 도 2에서 위상을 추론하는 단계 중 일부를 설명하기 위한 흐름도이다.
도 5는 도 2에서 위상을 추론하는 단계 중 나머지 일부를 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 위상 추론 방법이 실험되는 다중 카메라 네크워크 공간의 개략도이다.
도 7은 도 6의 공간에서 실험된 데이터를 설명하기 위한 도면이다.
도 8은 도 7의 데이터를 이용하여 추론된 다중 카메라 네트워크의 위상 관계를 설명하기 위한 도면이다.

Claims (15)

  1. 복수의 영상획득기기로 구성되는 네트워크의 위상을 추론하는 방법에 있어서,
    상기 영상획득기기 별로 연속적으로 영상을 획득하는 단계;
    상기 획득된 영상에서 적어도 하나의 움직임 객체를 추출하는 단계;
    상기 복수의 영상획득기기 별로, 상기 움직임 객체가 나타나는 등장영상기기와 등장시간, 그리고 상기 움직임 객체가 사라지는 퇴장영상기기와 퇴장시간을 결정하여 등록하는 단계; 및
    상기 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 이용하여 상기 네트워크의 위상을 추론하는 단계를 포함하며,
    상기 위상을 추론하는 단계는,
    상기 움직임 객체가 상기 영상획득기기에 나타난 경우, 상기 움직임 객체가 새로운 움직임 객체인지 판단하는 단계;
    상기 움직임 객체가 새로운 움직임 객체인 경우 상기 움직임 객체를 등록한 후 상기 등장영상기기에 대한 영상노드를 생성하며, 상기 움직임 객체가 등록된 움직임 객체인 경우 상기 움직임 객체의 이동시간과 임계이동시간을 비교하는 단계; 및
    상기 이동시간이 큰 경우 상기 움직임 객체를 새로운 움직임 객체로 재등록한 후 상기 등장영상기기에 대한 영상노드를 생성하며, 상기 이동시간이 크지 않은 경우 상기 등장영상기기와 이전의 퇴장영상기기를 비교하여 상기 네트워크의 위상을 결정하는 단계를 포함하는 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  2. 제 1 항에 있어서, 상기 움직임 객체를 추출하는 단계는,
    상기 획득된 영상에서 배경영역을 제거하여 획득되는 전경영역을 상기 움직임 객체로 추출하는 것을 포함하는 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  3. 제 1 항에 있어서, 상기 등장영상기기와 등장시간, 그리고 퇴장영상기기와 퇴장시간을 결정하여 등록하는 단계는,
    상기 움직임 객체가 상기 영상획득기기에 나타나는 경우, 상기 움직임 객체가 나타난 영상획득기기를 상기 등장영상기기로, 상기 움직임 객체가 나타난 시간을 상기 등장시간으로 결정하는 단계; 및
    상기 움직임 객체가 상기 영상획득기기에서 사라지는 경우, 상기 움직임 객체가 사라진 영상획득기기를 상기 퇴장영상기기로, 상기 움직임 객체가 사라진 시간을 상기 퇴장시간으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    움직임 객체를 추출하는 단계는 상기 움직임 객체의 특징을 추출하는 단계를 포함하며,
    상기 새로운 움직임 객체인지 판단하는 단계는 상기 움직임 객체와 이전에 추출된 움직임 객체의 특징을 비교하여 판단하는 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  6. 제 1 항에 있어서, 상기 네트워크의 위상을 결정하는 단계는,
    상기 이전의 퇴장영상기기가 등록되지 않았거나, 또는 상기 움직임 객체의 등장영상기기와 상기 이전의 퇴장영상기기가 같지 않은 경우, 상기 움직임 객체가 다른 영상획득기기에도 나타나는지 판단하여 영상노드 또는 겹침노드를 생성하는 단계; 및
    상기 움직임 객체의 등장영상기기가 상기 이전의 퇴장영상기기가 같은 경우, 상기 등장영상기기에 대한 가상노드를 생성하는 단계를 포함하는 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  7. 제 6 항에 있어서,
    상기 가상노드를 생성하는 단계는 상기 가상노드로의 비가시(非可視)에지를 생성하는 단계를 포함하며,
    상기 가상노드로의 비가시에지의 가중치는 상기 이동시간인 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  8. 제 6 항에 있어서, 상기 영상노드 또는 겹침노드를 생성하는 단계는,
    상기 움직임 객체가 다른 영상획득기기에 나타나지 않는 경우, 상기 등장영상기기에 대한 영상노드를 생성하는 단계;
    상기 움직임 객체가 다른 영상획득기기에도 나타나는 경우, 상기 등장영상기기와 상기 다른 영상획득기기 간의 겹침노드를 생성하는 단계를 포함하는 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  9. 제 8 항에 있어서,
    상기 영상노드를 생성하는 단계는 상기 영상노드로의 비가시에지를 생성하는 단계를 포함하고,
    상기 겹침노드를 생성하는 단계는 상기 겹침노드로의 가시(可視)에지를 생성하는 단계를 포함하며,
    상기 영상노드로의 비가시에지와 상기 겹침노드로의 가시에지의 가중치는 상기 이동시간인 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  10. 제 1 항에 있어서,
    상기 움직임 객체가 상기 영상획득기기에서 사라진 경우, 상기 퇴장영상기기 이외의 다른 영상획득기기에 상기 움직임 객체가 나타나는지 판단하는 단계;
    상기 움직임 객체가 나타나지 않는 경우 비겹침노드를 생성하는 단계; 및
    상기 움직임 객체가 나타나는 경우 이전의 등장영상기기와 상기 퇴장영상기기가 같은지 판단하여 카메라노드 또는 회귀 가시에지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  11. 제 10 항에 있어서, 상기 카메라노드 또는 회귀 가시에지를 생성하는 단계는,
    상기 이전의 등장영상기기와 상기 퇴장영상기기가 같지 않은 경우, 상기 퇴장영상기기에 대한 영상노드를 생성하는 단계; 및
    상기 이전의 등장영상기기와 상기 퇴장영상기기가 같은 경우, 상기 퇴장영상기기로 회귀하는 회귀 가시에지를 생성하는 단계를 포함하는 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  12. 제 11 항에 있어서,
    상기 퇴장영상기기에 대한 영상노드를 생성하는 단계는 상기 영상노드로의 겹침에지를 생성하는 단계를 포함하며,
    상기 영상노드로의 겹침에지와 상기 회귀 가시에지의 가중치는 상기 이동시간인 것을 특징으로 하는 영상획득기기 네트워크의 위상 추론 방법.
  13. 삭제
  14. 삭제
  15. 삭제
KR1020070086253A 2007-08-27 2007-08-27 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법 KR100904846B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070086253A KR100904846B1 (ko) 2007-08-27 2007-08-27 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법
PCT/KR2007/005225 WO2009028761A1 (en) 2007-08-27 2007-10-23 Apparatus and method for inferencing topology of multiple cameras network by tracking movement
US12/675,682 US8300102B2 (en) 2007-08-27 2007-10-23 Apparatus and method for inferencing topology of multiple cameras network by tracking movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070086253A KR100904846B1 (ko) 2007-08-27 2007-08-27 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090021613A KR20090021613A (ko) 2009-03-04
KR100904846B1 true KR100904846B1 (ko) 2009-06-25

Family

ID=40387453

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070086253A KR100904846B1 (ko) 2007-08-27 2007-08-27 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법

Country Status (3)

Country Link
US (1) US8300102B2 (ko)
KR (1) KR100904846B1 (ko)
WO (1) WO2009028761A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8654197B2 (en) * 2009-03-04 2014-02-18 Raytheon Company System and method for occupancy detection
KR101048441B1 (ko) * 2009-08-31 2011-07-12 한국산업기술대학교산학협력단 다중카메라 시스템에서의 객체 추적 방법 및 그 장치
KR101086372B1 (ko) * 2010-04-30 2011-11-23 주식회사 아이티엑스시큐리티 디브이알 및 그 영상 감시방법
WO2011136419A1 (ko) * 2010-04-30 2011-11-03 (주)아이티엑스시큐리티 디브이알 및 그 영상 재생방법
WO2012005387A1 (ko) * 2010-07-05 2012-01-12 주식회사 비즈텍 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2012061549A2 (en) * 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8754892B2 (en) * 2011-10-28 2014-06-17 International Business Machines Corporation Visualization of virtual image relationships and attributes
KR101256107B1 (ko) * 2012-04-24 2013-05-02 주식회사 아이티엑스시큐리티 디브이알 및 그의 영상 감시방법
US20150237325A1 (en) * 2012-08-15 2015-08-20 Industrial Technology Research Institute Method and apparatus for converting 2d images to 3d images
JP6233624B2 (ja) * 2013-02-13 2017-11-22 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
WO2014125882A1 (ja) * 2013-02-15 2014-08-21 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
US9280833B2 (en) 2013-03-05 2016-03-08 International Business Machines Corporation Topology determination for non-overlapping camera network
US8913791B2 (en) 2013-03-28 2014-12-16 International Business Machines Corporation Automatically determining field of view overlap among multiple cameras
WO2014175356A1 (ja) 2013-04-26 2014-10-30 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
US9791264B2 (en) * 2015-02-04 2017-10-17 Sony Corporation Method of fast and robust camera location ordering
KR101586169B1 (ko) * 2015-06-24 2016-01-19 김정환 개인용 올인원 보안 cctv 장치
US9947111B2 (en) * 2015-10-28 2018-04-17 Sony Corporation Method of multiple camera positioning utilizing camera ordering
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US11601583B2 (en) 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US10192414B2 (en) * 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US10318836B2 (en) 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US20170280102A1 (en) * 2016-03-22 2017-09-28 Sensormatic Electronics, LLC Method and system for pooled local storage by surveillance cameras
CA3017835A1 (en) * 2016-03-30 2017-10-05 Nec Corporation Analysis apparatus, analysis method, and storage medium
GB2553108B (en) * 2016-08-22 2020-07-15 Canon Kk Method, processing device and system for managing copies of media samples in a system comprising a plurality of interconnected network cameras
CN106303442B (zh) 2016-08-26 2020-05-26 浙江大华技术股份有限公司 追踪路径拓扑结构建立方法、目标对象追踪方法及设备
CN109194929B (zh) * 2018-10-24 2020-05-29 北京航空航天大学 基于WebGIS的目标关联视频快速筛选方法
KR102355006B1 (ko) * 2020-03-10 2022-01-24 연세대학교 산학협력단 다중 cctv 환경에서의 보행자 추적 장치 및 방법
US11031044B1 (en) 2020-03-16 2021-06-08 Motorola Solutions, Inc. Method, system and computer program product for self-learned and probabilistic-based prediction of inter-camera object movement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070078451A (ko) * 2006-01-27 2007-08-01 덕성여자대학교 산학협력단 네트워크 카메라를 이용한 다중 사람추적 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614429B1 (en) * 1999-05-05 2003-09-02 Microsoft Corporation System and method for determining structure and motion from two-dimensional images for multi-resolution object modeling
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
EP1303788A4 (en) * 2000-05-09 2006-05-31 Jon Oshima MULTIPLEXED FILM CAMERA
JP3956843B2 (ja) * 2002-12-18 2007-08-08 株式会社デンソー 移動物体検出装置及びプログラム
JP4096757B2 (ja) * 2003-02-25 2008-06-04 松下電工株式会社 画像追跡装置
US7450735B1 (en) * 2003-10-16 2008-11-11 University Of Central Florida Research Foundation, Inc. Tracking across multiple cameras with disjoint views
US7239805B2 (en) * 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
GB0502369D0 (en) * 2005-02-04 2005-03-16 British Telecomm Classifying an object in a video frame
JP4765732B2 (ja) * 2006-04-06 2011-09-07 オムロン株式会社 動画編集装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070078451A (ko) * 2006-01-27 2007-08-01 덕성여자대학교 산학협력단 네트워크 카메라를 이용한 다중 사람추적 시스템

Also Published As

Publication number Publication date
KR20090021613A (ko) 2009-03-04
US8300102B2 (en) 2012-10-30
WO2009028761A1 (en) 2009-03-05
US20100231723A1 (en) 2010-09-16

Similar Documents

Publication Publication Date Title
KR100904846B1 (ko) 움직임을 추적하여 영상획득기기들의 네트워크 구성을추론하는 장치 및 방법
US10268900B2 (en) Real-time detection, tracking and occlusion reasoning
JP6018674B2 (ja) 被写体再識別のためのシステム及び方法
JP6654789B2 (ja) 変化点で複数候補を考慮して物体を追跡する装置、プログラム及び方法
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
Maddalena et al. People counting by learning their appearance in a multi-view camera environment
CN105531995A (zh) 用于使用多个摄像机进行对象和事件识别的系统和方法
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
D'Orazio et al. Color brightness transfer function evaluation for non overlapping multi camera tracking
Lin et al. A new network-based algorithm for human activity recognition in videos
KR20210020723A (ko) 폭행 감지 기능을 구비한 cctv 촬영 장치 및 cctv 영상에 기초한 폭행 감지 방법
D'Orazio et al. A survey of automatic event detection in multi-camera third generation surveillance systems
KR20150065370A (ko) 행동 인식 장치 및 그 방법
Kim et al. Object detection and tracking for intelligent video surveillance
Khan et al. Comparative study of various crowd detection and classification methods for safety control system
Qureshi Object-video streams for preserving privacy in video surveillance
Xu et al. Smart video surveillance system
JP2021149687A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
Duque et al. The OBSERVER: An intelligent and automated video surveillance system
SanMiguel et al. Object-size invariant anomaly detection in video-surveillance
Jeyabharathi New feature descriptor: Extended Symmetrical-Diagonal Hexadecimal Pattern for efficient background subtraction and object tracking
Benet et al. Embedded low-level video processing for surveillance purposes
Foggia et al. A Method for Detecting Long Term Left Baggage based on Heat Map.
Mazzeo et al. Object tracking by non-overlapping distributed camera network
KR20220082433A (ko) 크라우드소싱 환경에서 객체 정보 분석 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180411

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190326

Year of fee payment: 11