KR100905504B1 - 비디오 트립와이어 - Google Patents

비디오 트립와이어

Info

Publication number
KR100905504B1
KR100905504B1 KR1020047005183A KR20047005183A KR100905504B1 KR 100905504 B1 KR100905504 B1 KR 100905504B1 KR 1020047005183 A KR1020047005183 A KR 1020047005183A KR 20047005183 A KR20047005183 A KR 20047005183A KR 100905504 B1 KR100905504 B1 KR 100905504B1
Authority
KR
South Korea
Prior art keywords
video
tripwire
sensing device
way
virtual
Prior art date
Application number
KR1020047005183A
Other languages
English (en)
Other versions
KR20040050907A (ko
Inventor
베네시아너피터엘.
올맨마크씨.
브루워폴씨.
초삭앤드류제이.
클락존아이.더블유.
프레이져매튜에프.
해링닐스
히라타다스키
호네카스파
립톤알랜제이.
시버슨윌리암이.
스피카스제임스에스.
슬로웨토마스이.
스트라트토마스엠.
틸키존에프.
장종
Original Assignee
오브젝트비디오 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=25519079&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR100905504(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 오브젝트비디오 인코퍼레이티드 filed Critical 오브젝트비디오 인코퍼레이티드
Publication of KR20040050907A publication Critical patent/KR20040050907A/ko
Application granted granted Critical
Publication of KR100905504B1 publication Critical patent/KR100905504B1/ko

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Glass Compositions (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Liquid Crystal (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

비디오 트립와이어 시스템 및 그 구현 방법은, 비디오 출력을 생성하는 감지 장치(1), 상기 비디오 출력이 전송되는 통신 매체(2), 상기 통신 매체로부터 상기 비디오 출력을 수신하는 분석 시스템(5) 및 상기 분석 시스템으로 입력을 송신하고 상기 분석 시스템으로부터 출력을 수신함에 따라 사용자로 하여금 가상 트립와이어를 생성할 수 있게 하고, 상기 분석 시스템에 명령을 제공할 수 있게 하는 사용자 인터페이스를 포함한다. 상기 감지 장치는, 상기 시스템에 의해 이용되기 위한 감지 장치 파라미터를 결정하기 위해 수동 및/또는 자동으로 캘리브레이션될 수 있다. 상기 분석 시스템은 상기 감지 장치로부터의 분석 데이터에 의해 상기 가상 트립와이어가 횡단되었는지를 판정하고, 트립와이어 횡단에 대한 응답을 트리거링한다.

Description

비디오 트립와이어{VIDEO TRIPWIRE}
본 발명은 감시 시스템에 관한 것이다. 특히, 본 발명은 가상 트립와이어를 구현하는 비디오-기반 감시 시스템에 관한 것이다.
본래 형태의 트립와이어는 와이어, 줄 등이 통로를 가로질러 배치되어, 사람 또는 사물이 상기 와이어 등에 걸리거나 또는 상기 와이어 등을 당기게 되면, 특정한 응답이 트리거 되도록 하는 구성이다. 예를 들어, 이러한 응답은 지뢰의 폭발, 경고음 발생 또는 이벤트의 기록(예를 들어, 카운터, 카메라 등을 트리거링함)일 수 있다. 현재, 트립와이어는, 예를 들어 광선(예를 들어, 레이저, 적외선 또는 가시광선)으로 구현되곤 한다. 사람 또는 사물이 광선을 차단하면, 응답이 트리거링된다.
광선을 이용하는 종래의 트립와이어의 일례가 도1에 개략적으로 도시되어 있다. 광원(source)은 통로를 횡단하여 수신기(receiver)에 전송되는 광선을 생성한다. 만일 광선이 차단되면 수신기는 더 이상 광선을 수신하지 못한다. 전술된 바와 같이, 이는 특정 응답을 초래하게 된다.
종래의 트립와이어는 적어도 이용하기에 개념적으로 단순하다는 점에서 유리하다. 또한 일단 설치되면, 사람의 개입을 최소화할 수 있다.
그러나, 종래의 트립와이어는 몇가지 단점을 갖는다. 예를 들어, 종래 트랩와이어는 관심있는 트리거링 대상물과 관심없는 트리거링 대상물을 구별할 수 없다. 일례로서, 혹자는, 개가 지나간 숫자와는 상관 없이, 몇명의 사람이 통로를 지나가는가에만 관심이 있을 수 있다. 그러나, 사람 또는 개 모두 트립와이어를 트리거링할 것이다. 또한, 한 무리의 사람들이 함께 걸어가면, 각각의 사람에 대해 한번씩 트리거링 하기 보단, 트립와이어가 한번 트리거링 된 것이라고 간주하는 문제가 있다.
또한, 종래의 트립와이어 배열은 통상적으로 전용 장비의 설치를 포함한다. 예를 들어, 레이저 트립와이어를 고려하면, 레이저 광원 및 레이저 검출기가 관심 대상인 통로를 횡단하여 설치되어야 한다. 또한, 이러한 전용 장비는 쉽게 발견되지 않게 설치하는 것이 곤란하다.
또한, 종래의 트립와이어는 고도의 유연성(flexibility)을 제공하지 못한다. 종래의 트립와이어는 일반적으로 사람 또는 사물이 당해 트립와이어를 횡단하는 것을 검출할 뿐이며 상기 횡단하는 방향은 고려되지 않는다. 또한, 종래의 트립와이어는 직선으로만 연장되기 때문에 당해 트립와이어가 가로질러 설치되는 영역으로 제한된다(conventional tripwires are limited as to the regions across which they may be set up).
종래의 비디오 감시 시스템 또한 오늘날에 상용되고 있다. 이들은, 예를 들어, 상점, 은행 및 많은 기타 시설에서 이용되고 있다. 비디오 감시 시스템은 통상적으로 하나 또는 그 이상의 비디오 카메라를 포함하고, 하나 또는 복수의 카메라로부터의 비디오 출력은 추후 리뷰용으로 기록되거나 관리자에 의해 모니터링되거나 또는 양쪽 모두에 이용될 수 있다. 비디오 카메라(1)가 통로를 향해 조준된 이러한 시스템이 도2에 도시되어 있다. 비디오 카메라(1)는, 여기서 케이블(2)로 도시된 통신 매체를 거쳐 전송되는 비디오 신호를 생성한다. 케이블(2)은 가상 디스플레이 장치(3)와 기록 장치(4) 중의 하나 또는 모두에 접속된다.
종래의 트립와이어와 대조적으로, 비디오 감시 시스템은 사람과 동물(즉, 관심있는 대상물과 그렇지 않은 대상물)를 구별할 수 있고, 함께 걸어 가는 한 무리의 사람들 중에서 개개인을 구별할 수 있다. 또한, 이것은 모니터링할 수 있는 영역의 형태의 관점에서, 트립와이어 이상의 유연성을 제공한다. 또한, 비디오 감시 시스템은 매우 광범위하게 이용되기 때문에, 추가적 장비를 설치할 필요가 없다. 그러나, 비디오 감시 시스템 또한 몇몇의 단점을 가진다.
아마도 종래의 비디오 감시 시스템의 가장 중대한 단점은 생성된 비디오로부터 정확한 정보를 추출하기 위해 고도의 인적 개입을 요구한다는 점일 것이다. 즉, 누군가가 생성되는 비디오영상을 감시해야 하거나, 또는 누군가가 저장된 비디오영상을 리뷰해야 한다는 것이다.
종래기술의 비디오-기반 감시 시스템의 일례가 실리(Seeley) 등의 미국특허 제6,097,429호 및 제6,091,771호(집합적으로 "실리 등"으로 후술함)에 개시되어 있다. 실리 등은 침입이 검출되면 스냅샷(snapshot)을 촬영하는 비디오 보안 시스템을 제안하였다. 실리 등은 오경보 및 다른 것을 제외하고 침입/침입자만을 검출할 필요에 대한 몇가지 문제점을 해결하였다. 이러한 기능에는 이미지 구별 기술(image differencing techniques)및 대상물 인식 기술(object recognition techniques)이 이용된다. 그러나, 후술하는 바와 같이, 실리 등의 발명과 본 발명 사이에는 상당한 차이점이 있다. 실리 등의 가장 심각한 단점은 검출 및 인식이 어떻게 수행되는가에 대한 설명이 결여되었다는 것이다. 이들에 개시된 것은 본 발명에 개시된 것과 대조적이다.
또 하나의 비디오 및 기타 센서 기반 감시 시스템이 나스버그(Nasburg)의 미국특허 제5,696,503호 및 제5,801,943호(집합적으로 "나스버그"로 후술함)에 개시되어 있다. 나스버그는 비디오 센서를 포함하는 복수의 센서를 이용하여 차량의 추적을 취급한다. "핑거프린츠(Fingerprints)"는 차량 추적을 위해 개발되었고 개별 차량을 순차적으로 검출하도록 이용된다. 나스버그는 비디오 트립와이어의 개념을 언급하였지만, 그러한 비디오 트립와이어가 어떻게 구현되는가에 대한 개시가 없다. 또한 나스버그는 오로지 차량의 검출 및 추적에 초점이 맞추어진다는 점에서 본 발명과 상이하다. 대조적으로, 후술하는 바와 같이, 본 발명은 임의의 이동하는 대상물, 강성체(예를 들어, 차량) 및 비강성체(예를 들어, 사람)를 모두 검출하도록 의도된다.
도1은 종래기술의 트립와이어를 도시한 도면.
도2는 종래기술의 비디오 감시 시스템을 도시한 도면.
도3은 본 발명의 일실시예에 따른 비디오 트립와이어 시스템을 도시한 도면.
도4는 본 발명의 일실시예에 따른 분석 시스템의 일실시예에 대한 블록도.
도5는 본 발명의 일실시예에 따른 방법을 도시한 흐름도.
도6은 도5에 도시된 캘리브레이션 단계의 제1 실시예를 도시한 흐름도.
도7은 도5에 도시된 캘리브레이션 단계의 제2 실시예를 도시한 흐름도.
도8은 도5에 도시된 캘리브레이션 단계의 제3 실시예를 도시한 흐름도.
도9는 도8에 도시된 히스토그래밍 단계의 예시적인 실시예를 도시한 도면.
도10은 도7 및 8에 도시된 분할 단계의 예시적인 실시예를 도시한 흐름도.
도11은 트립와이어 횡단을 검출하는 단계의 예시적인 실시예를 도시한 흐름도.
도12 및 13은 보고 형식의 예시적인 실시예를 묘사한 "스크린 샷"을 도시한 도면.
도14는 본 발명의 예시적인 어플리케이션을 도시한 흐름도.
전술된 관점에서, 비디오 감시 시스템의 장점과 트립와이어의 장점을 결합한 감시 시스템을 갖는 것은 유리하고, 이는 본 발명의 목적이라 할 수 있다.
본 발명은, 임의의 형상의 가상 트립와이어가 컴퓨터-기반 비디오 처리 기술을 이용하는 디지털 비디오에 배치되는 비디오 트립와이어 시스템을 구현한다.그 다음에 가상 트립와이어는 다시 컴퓨터-기반 비디오 처리 기술을 이용하여 모니터링된다. 모니터링의 결과로서, 통계량이 컴파일되고, 침입이 검출되며, 이벤트가 기록되고, 응답이 트리거링될 수 있다. 예를 들어, 본 발명의 일실시예에서, 한 사람이 한 방향으로 가상 트립와이어를 횡단하는 이벤트가 장래 식별을 위해 그 사람의 스냅샷의 포착을 트리거링할 수 있다.
본 발명의 시스템은 컴퓨터 장비와 결합하는 기존 비디오 장비를 이용하여 구현될 수 있다. 따라서 모니터링 장비의 대규모 설치를 요구하지 않는 장점을 갖는다. 본 발명의 시스템은, 부분적으로, 대응법의 여러 단계를 구현하는 소프트웨어를 포함하는 컴퓨터-판독가능 매체의 형태로, 또는 그러한 소프트웨어를 실행하는 컴퓨터 네트워크를 포함할 수 있는 컴퓨터 시스템으로서 실시될 수 있다.
또한 본 발명의 시스템은 열 이미징 시스템 또는 적외선 카메라를 포함하는 종래의 비디오 이외에도 이미징 장치와 결합하여 이용될 수 있다.
본 발명의 일실시예는, 비디오 트립와이어 시스템을 구현하는 방법에 있어서, 감지 장치(비디오 카메라 또는 기타 유사 장치)가 만일 미리 존재하지 않는다면 감지 장치를 설치하는 단계, 감지 장치를 캘리브레이션(calibration)하는 단계, 가상 트립와이어로서 경계를 수립하는 단계, 및 데이터를 수집하는 단계를 포함하는 비디오 트립와이어 시스템을 구현하는 방법을 포함한다.
추가적인 목적과 장점은 상세한 설명, 도면 및 실시예로부터 명백해 질 것이다.
<정의>
본 발명을 설명하는데 있어서, 다음 정의들이 (전술된 부분을 포함하여) 전반적으로 이용된다.
"컴퓨터"는 구조화 입력을 수용하고, 소정 규칙에 따라 구조화 입력을 처리하고, 출력으로서 처리결과를 산출하는 특정 장치를 지칭한다. 컴퓨터의 예로서, 컴퓨터, 범용 컴퓨터, 수퍼컴퓨터, 메인프레임, 수퍼 미니 컴퓨터, 미니 컴퓨터, 워크스테이션 마이크로컴퓨터, 서버, 대화식 텔레비젼, 컴퓨터와 대화식 텔레비젼의 혼성 결합 및 컴퓨터 및/또는 소프트웨어를 에뮬레이팅하는 어플리케이션-특정 하드웨어를 둘 수 있다. 컴퓨터는 병렬 및/또는 병렬이 아닌 동작을 수행할 수 있는 단일 또는 복수 프로세서를 가질 수 있다. 또한 컴퓨터는 네트워크를 통해 서로 접속되어 컴퓨터들 사이에서 정보를 송신 또는 수신하는 2개 또는 그 이상의 컴퓨터를 지칭한다. 이러한 컴퓨터의 예로서 네트워크에 의해 링크된 컴퓨터들을 통해 정보를 처리하는 분산 컴퓨터 시스템을 들 수 있다.
"컴퓨터-판독가능 매체"는 컴퓨터로 액세스 가능하게 데이터를 저장하기 위해 이용되는 어떤 저장 장치를 지칭한다. 컴퓨터-판독가능 매체의 예로서 자기 하드 디스크, 플로피 디스크, CD-ROM 또는 DVD와 같은 광 디스크, 자기 테이프, 메모리 칩, 및 이메일의 송수신 또는 네트워크 엑세스에 이용되는 컴퓨터-판독가능 전자 데이터를 운송하기 위해 이용되는 반송파를 들 수 있다.
"소프트 웨어"는 컴퓨터를 동작시키기 위한 소정 규칙을 지칭한다. 소프트웨어의 예로서 소프트웨어, 코드 세그먼트(code segments), 명령, 컴퓨터 프로그램, 및 프로그래밍된 로직을 들 수 있다.
"컴퓨터 시스템"은 컴퓨터를 동작시키기 위한 소프트웨어를 내포하는 컴퓨터-판독가능 매체를 포함하는 컴퓨터를 갖는 시스템을 지칭한다.
"네트워크"는 통신 설비에 의해 접속되는 복수의 컴퓨터 및 관련 장치를 지칭한다. 네트워크는 케이블과 같은 지속적인 접속, 또는 전화 또는 기타 통신 링크를 통해 구성되는 일시적인 접속을 포함한다. 네트워크의 예로서 인터넷(Internet)과 같은 인터넷(internet), 인트라넷(intranet), 근거리 통신 네트워크(LAN), 광역 네트워크(WAN), 및 인터넷 및 인트라넷과 같은 네트워크의 결합을 들 수 있다.
"비디오"은 아날로그 및/또는 디지털 형태로 표현되는 동영상(motion picture)이다. 비디오의 예로서 텔레비젼, 영화, 카메라 또는 기타 관측기로부터의 이미지 시퀀스, 및 컴퓨터-생성 이미지 시퀀스를 들 수 있다. 이들은, 예를 들어, 실제 촬영, 저장 장치, IEEE 1394-기반 인터페이스, 비디오 디지털화 장치, 컴퓨터 그래픽 엔진, 또는 네트워크 접속으로부터 얻어질 수 있다.
"비디오 프로세싱"은 예를 들어, 압축 및 편집을 포함하는 비디오의 어떤 처리를 지칭한다.
"프레임"은 비디오내의 특정 이미지 또는 기타 이산 유니트를 지칭한다.
도면에 도시된 본 발명의 바람직한 실시예를 설명함에 있어서, 특정 용어가 명확성을 위해 채용되었다. 그러나, 본 발명은 그렇게 선택된 특정 용어에 제한되도록 의도되지 않는다. 각각의 특정 요소는 유사한 목적을 달성하기 위해 유사한 방식으로 동작하는 모든 기술적인 등가 요소를 포함하는 것으로 이해되어야 한다. 여기서 언급되는 각각의 참조는, 각각이 참조에 의해 개별적으로 구체화되는 것처럼 참조에 의해 구체화된다.
또한, 후술할 실시예는 대체로 사람의 검출에 대해 설명한다. 그러나, 본 발명이 사람의 검출에 제한된 것으로 이해되어서는 안된다. 반대로, 후술할 실시예의 비디오 트립와이어 시스템은 모든 종류의 대상물, 생물 또는 무생물을 검출하기 위해 이용될 수 있다. 예로서 차량, 동물, 식물의 성장(예: 시스템은 가지를 다듬을 시기를 검출할 수 있음), 낙하하는 대상물(예: 쓰레기 투하 장치로 재활용 캔이 떨어지면 검출하는 시스템) 및 초소형 개체(예: 미생물이 세포벽을 투과하면 검출하는 시스템)를 들 수 있다.
도3은 비디오 트립와이어 시스템의 일실시예에 대한 개요를 도시한다. 도2에 도시된 바와 같이, 감지 장치(1)는 통로를 향해 조준되고 출력 신호를 생성한다. 감지 장치(1)는, 도2와 관련하여 설명된 바와 같이, 비디오 카메라일 수 있다. 그러나, 감지 장치(1)는 또한 비디오-타입의 출력을 생성하는 다른 형태의 감지 장치이거나, 열-기반, 음향-기반{예: 소노그램(sonogram)} 또는 적외선-기반 장치일 수도 있다. 감지 장치(1)의 출력은 통신 매체(2)를 통해 전송된다. 통신 매체(2)는, 예를 들어, 케이블일 수 있다. 그러나, 통신 매체(2)는 또한 어떤 다른 형태의 통신 매체, 예를 들어, RF, 네트워크(예: 인터넷) 또는 광파(光波)일 수도 있다. 만일 통신 매체(2)를 통한 통신에 있어서 변조, 부호화, 압축 또는 기타 통신-관련 신호 처리가 요구되면, 그러한 신호 처리를 수행하는 수단은, 감지 장치(1)의 부분으로서, 또는 감지 장치(1)에 결합된 분리된 수단(도시하지 않음)으로서, 제공된다. 통신 매체(2)는 출력 신호를 감지 장치(1)로부터 분석 시스템(5)으로 전달한다. 분석 시스템(5)은 사용자 인터페이스(6)로부터 입력을 수신하고 출력을 사용자 인터페이스(6)로 송신한다. 사용자 인터페이스(6)는, 예를 들어, 모니터, 마우스, 키 보드, 터치 스크린, 프린터 또는 기타 입/출력 장치를 포함할 수 있다. 사용자 인터페이스(6)를 이용하여, 사용자는 초기화(후술되는 바와 같이 가상 트립와이어의 생성을 포함함) 및 분석 시스템(5)으로의 명령 제공에 필요한 입력을 포함하는 입력을 시스템으로 제공할 수 있다. 또한 사용자 인터페이스(6)는 알람 또는 기타 경보 장치를 포함할 수 있다. 또한 사용자 인터페이스(6)는, 예를 들어 전술된 바와 같은 트리거링 이벤트에 대한 다른 응답을 구현하는 수단을 포함하거나 당해 수단에 접속될 수 있다. 또한 사용자 인터페이스(6)는 통상적으로 도2의 모니터링 장치(3)와 같은 디스플레이 장치를 포함한다.
분석 시스템(5)은 비디오 트립와이어를 구현하기 위해 필요한 처리를 포함하는 분석 작업(task)을 수행한다. 분석 시스템(5)의 일실시예는 도4에 보다 상세히 도시되어 있다. 도4는, 도3에 또한 도시된 바와 같이, 통신 매체(2) 및 사용자 인터페이스(6)에 결합된 분석 시스템(5)을 도시한다. 도4에서, 도시된 분석 시스템(5)은 수신기(51), 컴퓨터 시스템(52) 및 메모리(53)를 포함한다. 수신기(51)는 통신 매체(2)로부터 감지 장치(1)의 출력 신호를 수신한다. 만일 신호가 변조, 부호화 등이 되었으면, 수신기(51)는 복조, 복호화를 수행하는 수단을 포함한다. 또한, 만일 통신 매체(2)로부터 수신된 신호가 아날로그 형태이면, 수신기(51)는 아날로그 신호를 컴퓨터 시스템(52)에 의한 처리에 적합한 디지털 신호로 변환하는 수단을 포함한다. 수신기(51)는, 도시된 바와 같이, 분리된 블록으로 구현되거나, 또는, 다른 실시예에서, 컴퓨터 시스템(52)에 일체로 구성될 수 있다. 또한, 만일 통신 매체(2)로부터 컴퓨터 시스템(52)으로 신호를 송신하기 이전에 어떠한 신호 처리도 필요하지 않다면, 수신기(51)는 완전히 생략될 수 있다.
컴퓨터 시스템(52)에는 도시된 바와 같이 메모리(53)가 외부에 제공되거나 컴퓨터 시스템(52) 내부에 제공되거나 또는 내외부 조합으로 제공된다. 메모리(53)는 분석 시스템(5)에 의해 요구되는 모든 메모리 자원을 포함하고 또한 통신 매체(2)로부터 수신되는 신호를 저장하는 하나 또는 그 이상의 기록 장치를 포함할 수 있다.
본 발명의 추가적 실시예에서, 감지 장치(1)는 동일한 위치를 모니터링하는 하나 이상의 감지 장치의 형태로 구현될 수 있다. 이 경우, 각 감지 장치에 의한 데이터 출력은 통신 매체(2)를 통한 데이터 전송 이전에 통합될 수 있고, 또는 모든 감지 장치의 출력은 분석 시스템(5)으로 전송되고 거기서 처리될 수 있다.
또한 본 발명의 추가적 실시예에서, 감지 장치(1)는 상이한 위치를 모니터링하고 데이터를 단일의 분석 시스템(5)으로 송신하는 몇개의 감지 장치를 포함할 수 있다. 이 방식에서, 단일의 시스템이 복수 장소(sites)의 감시를 위해 이용될 수 있다.
도3 및 도4에 도시된 구성요소에 의해 수행되는 프로세스는 본 발명의 방법에 대한 다음의 설명에 비추어 명백해 질 것이다.
도5는 본 발명의 방법의 일실시예에 대한 전체적인 흐름도이다. 만일 아직 감지 장치(1)가 설치되지 않았다면, 설치되어야 한다(단계 71). 그러나, 많은 경우에, 이러한 감지 장치는 이미 존재할 것이다. 예를 들어, 대부분의 은행에서는 이미 비디오 감시 시스템을 이용하므로, 새로운 비디오 카메라를 설치할 필요가 없다. 본 시스템의 바람직한 실시예에서, 감지 장치(또는 장치들)는 고정적으로 설치된다. 바람직하게, 이것은 "실재적인" 방위로 (즉, 이미지에서의 위쪽이 현실 세계의 위쪽에 대응하도록) 설치된다.
일단 감지 장치(1)가 설치되었으면, 분석 시스템(5)을 통해 감지 장치(1)의 캘리브레이션이 수행될 필요가 있다. 통상적으로, 시스템 캘리브레이션은, 감지 장치(1)의 필요한 캘리브레이션 파라미터가 시스템으로 입력되는(또는 자동적으로 결정되는) 명시적 캘리브레이션에 의해, 또는, 감지 장치(1)의 시계(視界, field of view) 내에서 다양하게 위치한 관심 대상의 크기가 시스템으로 입력되는(또는 자동적으로 결정되는) 암시적 캘리브레이션에 의해 수행될 수 있다. 캘리브레이션의 목적은 스케일 정보(scale information)를 제공하는 것이다. 즉, 상이한 이미지 영역에서 사람 또는 기타 관심있는 대상물의 크기를 시스템이 인지하도록 하는 것이다. 이 정보는 데이터 분석(단계 74)에 있어서 특히 중요하다. 캘리브레이션은 수동 수치 캘리브레이션(manual numeric calibration), 보조 분할 캘리브레이션(aided segmentation calibration) 및 완전 자동 캘리브레이션(fully automation calibration)의 3개 방식 중 하나의 방식, 또는 2개 또는 그 이상이 조합된 방식으로 수행될 수 있다. 이들 캘리브레이션의 실시예에 대한 흐름도가 도6,7 및 8에 각각 도시되어 있다.
도6은 전술된 바와 같은 명시적 캘리브레이션을 포함하는 수동 캘리브레이션의 일실시예에 대한 흐름도를 도시한다. 사용자는 사용자 인터페이스(6)를 통해 감지 장치(1)에 관한 파라미터를 입력한다(단계 721). 이들 파라미터는, 예를 들어, 감지 장치(1)의 초점 길이, 지면으로부터의 감지 장치(1)의 높이 및 지면에 대한 감지 장치(1)의 각도를 포함할 수 있다. 그 다음에 분석 시스템(5)은 가시적 피드백(visual feedback)을 생성한다(단계 722). 예를 들어, 시스템은 사람 또는 기타 관심있는 대상물을 실제 비디오 프레임 상에 중첩시킬 수 있다. 가시적 피드백은 사용자 인터페이스(6)에서 사용자에게 제공된다. 가시적 피드백은 캘리브레이션이 정확하다는 것을 확인하는데 도움이 되는 스케일 정보(즉, 사람 또는 기타 관심있는 대상물의 그 주변에 대한 크기)를 제공한다. 그 다음에 사용자는 가시적 피드백의 형상이 만족스러운지 또는 파라미터가 조절될 필요가 있는지를 결정한다(단계 723). 만일 가시적 피드백의 모양(appearance)이 만족스러우면, 프로세스는 완료된다. 그렇지 않으면, 프로세스는 새로운 파라미터의 입력(단계 721)을 위해 복귀된다.
암시적 캘리브레이션을 이용하며, 적어도 어느 정도의 명시적 캘리브레이션(후술 참조)을 포함할 수 있는 보조 분할 캘리브레이션법의 일실시예가 도7에 도시되어 있다. 이 실시예에서, 감지 장치(1)의 시계(視界)를 관통하여 사람이 걸어 간다(또는 어떤 기타 관심있는 대상물이 움직인다. 이하의 설명은 사람을 참조하여 이루어질 것이지만 다른 타입의 관심 대상물에도 동등하게 적용될 수 있다는 것이 이해되어야 한다)(단계 721A). 이것은 시스템으로 하여금 이미지의 상이한 영역에서 평균적인 사람의 예상되는 크기를 결정할 수 있게 한다. 그 다음에 시스템은 움직이는 사람을 분할한다(단계 722A). 그 다음에 이미지의 상이한 영역에서의 사람의 크기가 캘리브레이션을 위해(즉, 전술된 바와 같은 파라미터 결정을 위해) 이용된다(단계 723A). 수동 캘리브레이션에서와 같이, 가시적 피드백이 제공되고(단계 724A), 그 다음에 사용자는 이미지의 형상이 만족스러운지 여부를 평가한다(단계 725A). 이미지의 형상이 만족스럽지 않다면, 파라미터를 조절할 수 있고(단계 726A), 또는 대안적으로 단계(721A)로 복귀하여 캘리브레이션이 완전히 재수행될 수 있다. 상기 옵션은 사용자에 의해 선택 가능하도록 구성될 수 있다. 다른 한편으로, 만일 형상이 만족스러우면, 프로세스가 완료된다.
암시적 캘리브레이션을 포함하는 완전 자동 캘리브레이션법의 일실시예가 도8에 도시되어 있다. 우선, 대략 몇 시간에서 며칠에 걸친 계속된 기간 동안의 정보(비디오 정보가 도8에 도시되어 있음)가 감지 장치(1)에 의해 수집된다(단계 721B). 데이터가 수집된 후, 분석을 위해 대상물이 분할된다(단계 722B). 그 다음에 이미지의 여러 영역에서 히스토그램(histogram)이 여러 대상물에 대해 생성된다(단계 723B). 이 단계의 세부사항이 도9에 추가적으로 도시되어 있다.
도9는 2-단계 프로세스로서 실시되는 히스토그래밍 단계(723B)를 도시하지만 본 발명이 이 프로세스에 제한되지는 않는다. 단계(1)에서, 시스템은 "인살리언트(insalient)" 이미지 영역(이하 비신뢰 영역), 즉, 신뢰성있게 추적하기에는 대상물들이 너무 많이 존재하는 영역을 결정한다. 결과적으로, 높은 신뢰성으로 추적될 수 있는 대상물들만이 이용된다. 본 발명의 일실시예에서, 상기 높은 신뢰성으로 추적될 수 있는 대상물들만이 저장된다. 단계(2)에서, 시스템은 잔존하는 이미지 영역만을 이용하고 이들 영역에서 검출되는 대상물들의 히스토그램을 형성한다. 단계(2)에서 표시된 바와 같이, 그리고 도8에 도시된 바와 같이, 시스템은 이미지의 각 영역에서 사람의 평균 사이즈를 결정하기 위해 히스토그램을 이용한다(단계 724B). 그 다음에 이 정보는 시스템을 캘리브레이션하기 위해 이용된다(단계 725B). 이 후속 프로세스는 도7의 단계(723A)와 유사하게 구현될 수 있다.
이미지 영역에서 사람의 평균 크기를 결정하는 단계(724B)는, 의미있는 결정을 산출하는 충분한 수의 대상물이 소정의 영역에 로그인(logged in)될 때 수행된다. 의미있는 히스토그램을 위해 필요한 결정의 수는 경험적으로 결정될 수 있고, 예를 들어, 트립와이어가 접하게 될 수량 및 행동의 타입에 의존할 수 있다. 이러한 영역에 있어서, 피크(peaks)가 히스토그램에서 검출된다. 각 이미지 영역에서의 최고 피크, 즉, 최고 빈도의 발생체는 한명의 사람으로 추정된다. 만일 이 정보가 결정되면, 그 다음에 캘리브레이션이 성공적으로 수행되고(단계 725B), 실제 동작을 위해 준비되었음을 신호로 알릴수 있다.
도8의 프로세스는 전형적으로 인적 개입 없이 수행된다. 그러나, 무리의 사람들을 구별하려는 시도에 대한 문제점을 감소시키기 위해 사용자는 시간 윈도우(time window)를 제공할 수 있는데, 상기 시간 윈도우 기간 동안 대부분의 대상물이 개개의 사람으로 예측된다. 이러한 시간 윈도우는 정보를 획득하는 단계(721B)에서 또는 추가적인 처리 단계에서 부과될 수 있다.
자동화된 캘리브레이션법(보조 및 완전 자동) 각각은 이미지를 전경(foreground) 대상물과 배경(background)으로 분할할 필요가 있다(각각 도7의 722A 및 도8의 722B 참조). 이 프로세스의 일실시예가 도10에 도시되어 있다. 이 예시적인 실시예는 픽셀-레벨 배경 모델링(pixel-level background modeling)(단계 7221), 전경 검출 및 추적(단계 7222), 및 대상물 분석(단계 7223)의 3단계로 구성된다.
픽셀-레벨 배경 모델링(단계 7221)의 목적은 이미지 배경의 정확한 묘사를 유지하고 전경(foreground, FG) 픽셀로부터 배경(background, BG) 픽셀을 구별하는 것이다. 예시적인 실시예에서, 이 단계는, 2001년 3월 23일자 출원의 미국 특허출원 제09/815,385호{명칭 "통계적 픽셀 모델링을 이용하는 비디오 분할(Video Segmentation Using Statistical Pixel Modeling)"}에 개시된 내용 전체가 참조됨으로써 본 명세서에 편입되는 프로세스를 구현한다. 예시적인 방식의 전체적인 사상은, 픽셀값 및 그 통계량을 포함하는 모든 픽셀의 히스토리는 여러 개의 프레임을 거쳐 유지된다는 것이다. 안정적이고 변하지 않는 픽셀은 BG로 취급된다. 픽셀의 통계량이 현저하게 변하면, 당해 픽셀은 FG로 고려될 것이다. 만일 픽셀이 다시 안정화되면, 당해 픽셀은 BG 픽셀로 고려될 것이다. 이 방식은 센서 잡음을 경감시키고 자동적으로 배경으로 변경시킨다(예를 들어, 상점에서, 누군가가 선반으로부터 하나의 물품을 제거하였을 때, 당해 선반은 순간적으로 FG로 취급될 것이지만 화면(scene)이 재-안정화된 후에는 다시 BG로 취급될 것이다).
전경 검출 및 추적(단계 7222)의 목적은 시공간 일관성(spatio-temporal consistency)을 보장하기 위해 FG 픽셀을 FG 대상물로 결합하고 당해 픽셀을 복수의 프레임을 거쳐 추적하는 것이다. 상기 단계는, 픽셀-레벨 배경 모델링(단계 7221)으로부터 픽셀의 통계적 특성 뿐만 아니라, FG 픽셀로 결정된 픽셀의 세트를 획득한다. 예시적인 실시예에서 FG 픽셀은, 주지의 기술인 단일 형태학(simple morphology) 및 관련 구성 검출(connected component detection)을 이용하여 보다 더 큰 FG 대상물로 공간적으로 병합된다. 신뢰성있는 크기 정보를 획득하기 위해, 이들 대상물들은 여러 프레임을 거쳐 상관법(correlation method)을 이용하여 추적된다. 예시적인 추적 기술, 예를 들어, 2000년 10월 24일자 출원의 미국 특허출원 제09/694,712호{명칭 "대화식 비디오 조작(Interactive Video Manipulation)"}에 개시된 내용 전체가 참조됨으로써 본 명세서에 편입된다. 또한, 예를 들어, Wren, C.R. 등의 "Pfinder: Real-time Tracking of the Human body" (IEEE Trans.on Pattern Matching and Machine Intelligence, 19권, 780~784 쪽, 1997년); Grimson, W.E.L. 등의 "Using Adaptive Tracking to Classify and Monitor Actives in a site" (CVPR, 22~29쪽, 1998년 6월); 및 Olson, T.J.와 Brill, F.Z.의 "Moving Object Detection and Event Recognition Alorithm for Smart Camera" (IUW, 159~175쪽, 1997년 5월)를 참조하자. 이들 참조문헌 각각은 그 전체가 참조됨으로써 본 명세서에 편입된다.
세번째 단계인 대상물 분석(단계 7223)은 다양한 기능을 갖는다. 대상물 분석(단계 7223)은, 대상물을 분리하여 카운트하고, 관심 대상물(예: 사람)과 "컨퓨저(confuser)"(예: 쇼핑 수레)를 구별하고, 대상물의 이동방향을 결정하며, 대상물의 차단(occlusion of object)을 나타낸다. 예시적인 실시예에서, 대상물이 고려된 결정은 다음 중 하나 또는 그 이상에 기반하여 이루어진다: 대상물의 크기, 대상물의 내부 움직임, 머리와 같은 돌출부의 수(예: 사람이 관심 대상인 경우), 및 얼굴 검출(예를 들어, 사람이 관심 대상인 경우). 상기 기능을 수행하기 위한 기술은 이 기술분야에서 잘 알려져 있으며, 예를 들어 상기 기술들은, Allmen, M.과 Dyer, C.의 "Long-range Spatiotemperal Motion Understanding Spatiotemporal Flow Curves" (Proc. IEEE CVPR, Lahaina, Maui, Hawaii, 303~309쪽, 1991년); Gavrila, D.M.의 "The Visual Analysis of Human Movement: A Survey" (CVIU, 73권, 제1호 82~98쪽, 1999년 1월); Collins, Lipton 등의 "A System for Video Surveillance and Monitoring: VSAM Final Report" (Robotics Institute, Carnegie-Mellon University, Tech. Rept. 제CMU-RI-TR-00-12, 2000년 3월); Lipton, A.J 등의 "Moving Target Classification and Tracking from Real-Time Video" (1998 DARPA IUW, 1998년 11월 20~23일); 및 Haering, N. 등의 "Visual Event Detection" (Video Computing Series, M. Shah, Ed., 2001년)에 개시되어 있다. 상기 참조문헌 각각은 그 전체가 참조됨으로써 본 명세서에 편입된다.
이제 도5로 돌아가서, 시스템 초기화 단계(73)가 캘리브레이션 단계(72) 이후에 수행된다. 상기 단계는 사용자로 하여금 시스템이 데이터를 수집하고, 응답하며, 보고하는 방식에 대한 여러 파라미터를 입력하도록 한다. 우선, 사용자는 이미지 상에 하나 또는 그 이상의 관심 라인을 중첩시킬 수 있다. 상기 라인은 하나 또는 그 이상의 트립와이어로서 역할한다. 라인은 이미지에서 임의의 방향으로 임의 위치에 배치될 수 있다. 예외적으로, 라인은 이미지 경계에 너무 가깝게 배치되지은 않는다. 이는 라인을 횡단하는 대상물(예: 사람)이 검출되려면 당해 대상물이 라인의 양측에서 적어도 부분적으로 보여야 하기 때문이다. 예시적인 실시예에서, 트립와이어는 이미지에서 지면 상에 있는 것으로 가정된다. 즉, 대상물의 아랫부분(예: 사람의 다리)이 라인을 횡단할 때 검출이 발생된다. 보다 통상적인 실시예에서, 사용자는 각 라인에 대해 지면 위로 높이를 설정할 수 있다.
초기화될 수 있는 다른 파라미터는 활동이 검출되는 구간, 이벤트 검출을 위한 기준으로서 각 라인을 가로지르는 방향(예를 들어, 사람이 어떤 영역에 진입하거나 당해 영역에서 퇴장할 때를 검출하는 것과 대조적으로, 사람이 당해 영역을 진입할 때를 검출하기 위함임), 및 검출 감도를 포함한다.
초기화 단계(73)의 또 다른 기능은 사용자가 다양한 로깅 옵션(logging options)을 선택하게 하는 것이다. 이들 옵션은 어떤 데이터가 수집될 것인지를 결정하고, 다음을 포함할 수 있지만, 이에 제한되지는 않는다:
ㆍ 사람(또는, 통상적으로, 관심 대상물)가 횡단할 때에만 로깅.
ㆍ 2명 또는 그 이상의 사람이 횡단할 때에만 로깅.
ㆍ 모든 횡단을 로깅.
ㆍ 횡단 검출에 고도의 신뢰성이 있을 때에만 로깅.
ㆍ 검출 통계량만을 로깅.
ㆍ "스냅샷" 촬영 또는 검출 이벤트 주변의 전체 비디오 생성.
"스냅샷"에 의해 정지 이미지가 생성되고, 이는 독립적으로 생성되거나 특정 비디오(또는 다른 감지 장치) 프레임일 수 있다.
초기화 단계(73) 이후, 시스템은 데이터를 수집하고 분석한다(단계 74). 만일 사용자가 시간 윈도우를 입력했다면, 시스템이 당해 시간 윈도우 내에 존재하는 경우, 시스템은 프로세스를 시작한다. 시스템이 (만일 사용자에 의해 특정된 특별한 타입의) 트립와이어 이벤트를 검출하면, 당해 이벤트는 수반되는 정보를 따라 로깅된다. 상기 수반되는 정보의 타입은 데이터 보고에 관한 설명에서 명백해 질 것이다. 몇몇의 적용예의 환경에서, 트립와이어 이벤트는 경고음 또는 기타 응답(예: 스냅샷 촬영)을 트리거링할 수 있다(단계 76).
트립와이어 이벤트의 분석 및 검출을 수행하는 예시적인 기술의 실시예가 도11에 도시되어 있다. 우선 FG 대상물이 대상물 분할(단계 740)에 의해 비디오로부터 결정된다. 예를 들어, 대상물 분할(단계 740)은 전술된 바와 같이 도10에 도시된 단계(7221,7222 및 7223)를 포함할 수 있다. 그 다음에 FG 대상물의 위치를 확인하여(단계 741) 트립와이어를 나타내는 라인과 중복하는지를 판정한다(단계 742). 전술된 바와 같이, 트립와이어 라인이 항상 지면이라고 가정되는 예시적인 실시예에서, 만일 대상물의 아랫부분이 트립와이어 라인과 중복하면 대상물이 트립와이어를 횡단하는 것으로 판정된다. 만일 중복하지 않는다고 판정되면, 트립와이어 이벤트는 발생하지 않는다(단계 743). 그 다음에, 만일 중복이 있으면, 특정 방향만으로의 횡단만이 트립와이어 이벤트로 고려되고, 횡단 방향이 확인되고(단계 744), 상기 특정 방향이 아닌 다른 방향으로 일어난 횡단은 트립와이어 이벤트로 고려되지 않는다(단계 745). 만일 어느 쪽의 방향으로의 횡단이든지 트립와이어 이벤트를 나타내면, 프로세스는 단계(744)의 확인을 생략한다. 만일 단계(744)가 수행되었거나 긍정 결과를 산출하면, 또는 만일 단계(744)가 수행되지 않으면, 추가적인 질의(단계 746)가 수행될 수 있다. 이러한 질의는, 예를 들어, 관심 대상물의 특징{예: 자동차, 트럭, 파란색 차, 파란색 스테이션 웨건(station wagon), 특정 크기 보다 작은 차 등} 또는 특정 대상물의 특징(예: 특정 사람의 얼굴, 차량 번호판 등)을 결정하는 과정을 포함할 수 있다. 만일 이러한 질의(단계 746)가 긍정 결과를 산출하면, 또는 이러한 질의가 생략되면, 그 다음에 프로세스는 트립와이어 이벤트가 발생했는지를 판정한다(단계 747). 물론, 이러한 질의(단계 746)가 부정 결과를 산출하면, 트립와이어 이벤트가 일어나지 않은 것으로 판정된다.
횡단 방향의 판정(단계 744)을 구현하는 여러 방법들이 가능하다. 제1 예로서, 트립와이어의 횡단으로써 검출되는 대상물에 대한 광 흐름법(optical flow method)의 이용을 통해 구현될 수 있다. 광 흐름법의 이용은 또한 대상물 분할에 대한 필요를 제거할 수 있다. 제2 예로서, 궤적 정보가 대상물 추적으로부터 이용될 수 있다(도10의 단계(7222)). 제3 예로서, 사용자에 의해 입력되는 실제 트립와이어 각각의 어느 한쪽에 보조적인{더미(dummy)} 트립와이어를 설정하고 실제 트립와이어가 횡단될 때 어떤 순서로 보조 트립와이어가 횡단되는지를 판정함으로써 횡단 방향의 판정이 구현될 수 있다.
캘리브레이션 단계(72)는, 특히 특정 타입의 대상물이 관심 대상이면, 단계(74)의 실행에서 특히 중요하다. 예를 들어, 만일 사람이 관심 대상물이면, 캘리브레이션 단계(72)에 의해 단계(74)는, 예를 들어, 사람을 보다 작은 대상물(예: 고양이 및 쥐) 또는 보다 큰 대상물(예: 무리의 사람들 및 자동차)로부터 구별할 수 있다.
데이터가 수집되면, 사용자에게 보고될 수 있다(단계 75). 본 발명의 예시적인 실시예에서, 사용자는 그래픽 사용자 인터페이스(GUI)를 이용하여 시스템에게 결과를 질의할 수 있다. 이 실시예에서, 하나 또는 그 이상의 개별 검출에 대한 요약 정보 및/또는 상세 데이터가 디스플레이될 수 있다. 요약 정보는 다음 중 하나 또는 그 이상을 포함한다: 검출 수, 검출된 사람(또는 기타 관심 대상물)의 수, 복수-사람(복수-대상물) 검출의 수{즉, 동시에 복수의 사람(또는 기타 관심 대상물)이 횡단할 때}, 각 방향으로 횡단하는 사람(대상물)의 수, 사용자가 선택한 시간 윈도우 내의 전술된 일부 또는 전부, 및 전술된 일부 또는 전부의 하나 또는 그 이상의 시간 히스토그램.
단일 검출 상의 세부사항은 다음 중 하나 또는 그 이상을 포함할 수도 있다: 시간, 방향, 횡단하는 사람(대상물)의 수, 횡단하는 대상물(들)의 크기 및 검출 시간 즈음에서 촬영되는 하나 또는 그 이상의 스냅샷 또는 비디오.
도12 및 도13은 예시적인 실시예에서 예시적인 리포팅 디스플레이의 스크린 샷 샘플을 도시한다. 도12는 복도의 양끝을 연결하는 트립와이어(124)의 횡단에 대한 요약 정보(121)를 도시하고 있다. 이 특별한 예시에서, 스크린은 트립와이어(124)를 포함하는 영역의 실황 비디오(123)를 보여준다. 또한 감시가 일어나는 동안(즉, 시간 윈도우동안의 기간) 및 횡단 이벤트가 로깅되는 동안의 기간을 제공하는 캡션(125)이 포함된다. 요약 정보(121)는 횡단의 수 및 횡단 방향을 포함한다. 이 경우, 사용자는 특정 횡단 시간 및 날짜가 디스플레이(122)되도록 추가적으로 특정하였다.
도13은 특정 횡단 이벤트에 대한 개별 정보를 도시한다. 상기 횡단 이벤트는 도12에 도시된 특정 횡단 시간 및 날짜(122)에 대응하여 생성된다. 도13의 디스플레이에서, 사용자는 각 횡단 이벤트의 스냅샷이 시간 및 날짜와 함께 디스플레이 하도록 선택하였다. 특히, 스냅샷(131 및 132)은 도12의 비디오(123)에 도시된 영역에서의 횡단에 대응한다. 추가적인 실시예에서, 사용자는, 횡단 이벤트 시간의 즈음에서 촬영된 대응하는 비디오를 보기 위해, 스냅샷 또는 스냅샷에 관련되는 버튼을 클릭할 수 있다.
본 발명에 따른 비디오 트립와이어의 어플리케이션의 일예는 "테일게이팅" 검출(tailgating detection: 이하 연속 검출)이다. 테일게이팅은 소정 수의 사람(1명일 수도 있음)이 어떤 영역(또는 그와 유사한 것)으로 진입하고, 한 명 또는 그 이상의 사람이 뒤따라서 밀착하여 당해 영역으로 진입하는 이벤트를 나타낸다. 도14는 연속 검출 시스템을 구현하기 위한 방법의 흐름도를 도시하고 있다. 이 실시예에서, 비디오 감시 카메라는 출입구, 예를 들어 문 또는 회전문을 통한 입장을 기록할 수 있는 위치에 설치되는 것으로 가정한다. 또한, 상기 카메라는 전술된 바와 같이 캘리브레이션된다. 시스템은 출입구(141)를 통해 어떤 사람이 진입하거나 진입할려고 하는 것을 검출하는 것으로부터 동작을 시작한다. 상기 검출은 소정 수의 방식으로 달성될 수 있다. 예를 들어, 누군가가 돈을 주입하거나, 키패드에 코드를 입력하거나, 카드 판독기를 통해 카드를 긁음으로서 달성될 수 있다. 또는 출입문이 열리는 것을 시각적으로 검출하기 위해 시스템은 비디오-기반 검출법을 이용할 수 있다{이것은 외부 장비(카드 판독기, 키패드 등)를 이용하는 인터페이스가 불필요하다는 장점을 지니므로, 어떤 환경에서의 설치 및 구현을 용이하게 할 수 있다}. 진입이 검출되면, 감시가 시작된다(단계 142). 이 감시 동안에, 시스템은 출입구를 통해 이동하는 대상물을 검출하고 몇 명의 사람이 진입하였는가를 판정하기 위해 상기 대상물을 분석한다. 전술된 바와 같이, 만일 카메라가 얼굴을 기록할 수 있는 위치에 있다면 시스템은 얼굴 검출을 포함할 수 있다. 그 다음에 시스템은 진입한 사람의 수가 허용될 수 있는지를 판정한다(단계 143). 도시된 실시예에서, 한번에 한명의 사람만이 입장할 수 있도록 허용된다. 그러나, 보다 통상적인 실시예에서, 임의 개수로도 선택될 수 있다. 만일 한명의 사람(허용된 수)가 진입하면, 응답이 필요하지 않다(단계 144). 다른 한편으로, 한 명 이상의 사람(허용된 수 이상)이 진입하면, 응답이 트리거링된다(단계 145). 이러한 응답은, 예를 들어, 알람 발생, 스냅샷 촬영 또는 상기 진입을 포함하는 비디오 기록을 포함할 수 있다. 상기 스냅샹 촬영 또는 비디오 기록을 이용하는 시스템에 부가되는 장점은, 카드 판독기를 이용하는 시스템의 경우에, 도난된 카드를 이용하는 사람을 추적하는 유용한 증거를 제공할 수 있다는 점이다.
본 명세서에 도시되고 설명된 실시예들은 단지 이 기술분야에서 통상의 지식을 가진자에게 본 발명을 구성 및 이용하기 위한 발명가들에게 알려진 최선의 방식을 가르치기 위해 의도된 것이다. 본 명세서에서의 어떠한 것들도 본 발명의 범위를 제한하기 위한 것으로 고려되어서는 안된다. 본 발명의 전술된 실시예들은, 전술된 가르침에 따른 이 기술분야에서 통상의 지식을 가진자의 평가에 의해, 본 발명의 범위를 벗어나지 않고 수정 또는 변형될 수 있고, 구성요소가 추가 또는 생략될 수 있다. 그러므로, 청구항 및 그 등가요소의 범위 내에서, 상세히 설명된 바 외에도 본 발명은 실시될 수 있다는 것이 이해되어야 한다.

Claims (67)

  1. 비디오 출력을 생성하는 감지 장치; 및
    사용자 인터페이스를 포함하고, 상기 감지 장치로부터 수신된 비디오 출력에 기반하여 데이터를 수집 및 처리하고, 캘리브레이션을 수행하기 위한 컴퓨터 시스템
    을 포함하고,
    여기서, 상기 사용자 인터페이스는 입력 수단 및 출력 수단을 포함하고,
    상기 컴퓨터 시스템은 처리된 데이터를 디스플레이하며,
    상기 컴퓨터 시스템은 사용자가 상기 감지 장치로부터의 이미지 상에 적어도 하나의 가상 트립와이어를 이중인화(superimpose)할 수 있도록 하며, 가상 트립와이어 횡단에 대한 응답을 트리거하는 소프트웨어를 포함하는
    비디오 트립와이어 시스템.
  2. 제1항에 있어서,
    상기 감지 장치로부터의 비디오 출력을 전송하기 위한 수단;
    상기 전송 수단에 의해 상기 비디오 출력이 전송되는 통신 매체; 및
    상기 통신 매체로부터의 비디오 출력을 수신하기 위한 수단
    을 더 포함하는 비디오 트립와이어 시스템.
  3. 제2항에 있어서,
    상기 통신 매체는 케이블인
    비디오 트립와이어 시스템.
  4. 제2항에 있어서,
    상기 통신 매체는 통신 네트워크를 포함하는
    비디오 트립와이어 시스템.
  5. 제1항에 있어서,
    상기 출력 수단은 가시적 알람(visible alarm)을 전달하기 위한 수단 및 가청적 알람(audible alarm)을 전달하기 위한 수단 중 적어도 하나를 포함하는
    비디오 트립와이어 시스템.
  6. 제1항에 있어서,
    상기 출력 수단은 영상 디스플레이 장치를 포함하는
    비디오 트립와이어 시스템.
  7. 제6항에 있어서,
    상기 영상 디스플레이 장치는
    비디오, 하나 또는 그 이상의 스냅샷 및 수문자(alphanumeric) 정보 중 적어도 하나를 디스플레이할 수 있는
    비디오 트립와이어 시스템.
  8. 제1항에 있어서,
    비디오 데이터 및 수문자 데이터 중 적어도 하나를 저장하기 위한 적어도 하나의 메모리 장치
    를 더 포함하는 비디오 트립와이어 시스템.
  9. 제1항에 있어서,
    상기 감지 장치는
    비디오 카메라, 적외선 카메라, 소노그래픽 장치(sonographic device) 및 감열식 촬상 장치(thermal imaging device) 중 적어도 하나를 포함하는
    비디오 트립와이어 시스템.
  10. 제1항에 있어서,
    비디오 출력을 생성하는 적어도 하나의 부가적인 감지 장치
    를 더 포함하고,
    여기서, 상기 컴퓨터 시스템은 추가적으로 상기 적어도 하나의 부가적인 감지 장치의 비디오 출력을 수신 및 처리하는
    비디오 트립와이어 시스템.
  11. 비디오 트립와이어 시스템의 구현 방법에 있어서,
    상기 시스템에 의해 이용되는 감지 장치 파라미터를 결정하기 위해서, 감지 장치를 캘리브레이션하는 단계;
    적어도 하나의 가상 트립와이어를 기입하는 단계를 포함하여, 상기 시스템을 초기화하는 단계;
    상기 감지 장치로부터 데이터를 획득하는 단계;
    상기 적어도 하나의 가상 트립와이어가 횡단되는지 여부를 판정하기 위해서, 상기 감지 장치로부터 획득된 데이터를 분석하는 단계; 및
    가상 트립와이어 횡단에 대한 응답을 트리거하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 캘리브레이션하는 단계는,
    사용자에 의해 수동으로 파라미터가 기입되는 단계;
    상기 사용자에 대한 영상 피드백(visual feedback)을 생성하는 단계; 및
    상기 영상 피드백의 모양(appearance)이 상기 사용자에게 용인될 수 없는 경우에, 상기 사용자가 상기 파라미터를 재기입하는 것을 허용하는 단계를 포함하는
    방법.
  13. 제11항에 있어서,
    상기 캘리브레이션하는 단계는,
    사람이 상기 감지 장치의 시계(field of view)를 관통하여 이동하는 단계;
    상기 이동하는 사람을 분할하는 단계;
    파라미터를 결정하기 위해서, 상기 시계의 상이한 구역에서의 상기 사람의 크기를 이용하는 단계;
    사용자에게 영상 피드백을 제공하는 단계; 및
    상기 영상 피드백의 모양이 상기 사용자에게 용인될 수 없는 경우에, 상기 파라미터의 조정을 허용하는 단계를 포함하는
    방법.
  14. 제13항에 있어서,
    상기 조정을 허용하는 단계는
    상기 사용자가 수동으로 상기 파라미터를 조정하는 것을 허용하는 단계를 포함하는
    방법.
  15. 제13항에 있어서,
    상기 조정을 허용하는 단계는
    상기 캘리브레이션하는 단계를 재시작하는 단계를 포함하는
    방법.
  16. 제13항에 있어서,
    상기 조정을 허용하는 단계는
    상기 사용자가, 수동으로 상기 파라미터를 조정하는 것과 상기 캘리브레이션하는 단계를 재시작하는 것 사이에서 어느 하나를 선택하는 것을 허용하는 단계를 포함하는
    방법.
  17. 제13항에 있어서,
    상기 분할하는 단계는,
    픽셀-레벨 배경 모델링(pixel-level background modeling)을 수행하는 단계;
    전경 검출(foreground detection) 및 추적을 수행하는 단계; 및
    전경 대상물(object)을 분석하는 단계를 포함하는
    방법.
  18. 제11항에 있어서,
    상기 캘리브레이션하는 단계는,
    상기 감지 장치를 이용하여 소정 시간 동안 비디오 정보를 수집하는 단계;
    상기 비디오 정보로부터의 대상물을 분할하는 단계;
    상기 감지 장치의 시계에 대응하는 비디오 이미지의 여러 구역에서의 사람의 평균 크기를 결정하기 위해서, 분할된 대상물을 분석하는 단계; 및
    파라미터를 결정하기 위해서, 상기 여러 구역에서의 사람의 평균 크기를 이용하는 단계를 포함하는
    방법.
  19. 제18항에 있어서,
    상기 분할하는 단계는,
    픽셀-레벨 배경 모델링을 수행하는 단계;
    전경 검출 및 추적을 수행하는 단계; 및
    전경 대상물을 분석하는 단계를 포함하는
    방법.
  20. 제18항에 있어서,
    상기 분석하는 단계는,
    상기 비디오 이미지의 비신뢰 영역(insalient region)을 판정하는 단계; 및
    상기 비디오 이미지의 비신뢰 영역이 아닌 영역(non-insalient region)에서 검출된 전경 대상물의 히스토그램을 형성하는 단계를 포함하는
    방법.
  21. 제20항에 있어서,
    상기 비디오 이미지의 특정 영역에서의 사람의 평균 크기의 결정은
    상기 영역에서 검출되는 전경 대상물의 수가 소정의 수를 초과한 경우에만 이루어지는
    방법.
  22. 제20항에 있어서,
    히스토그램에서의 최고 피크는 한명의 사람에 대응하여 취해지는
    방법.
  23. 제18항에 있어서,
    캘리브레이션에 이용되는 하나 또는 그 이상의 시간 윈도우(time window)가 사용자에 의해 기입되는 단계
    를 더 포함하는 방법.
  24. 제11항에 있어서,
    상기 시스템을 초기화하는 단계는
    적어도 하나의 로깅 옵션(logging option)을 선택하는 단계를 더 포함하는
    방법.
  25. 제11항에 있어서,
    상기 분석하는 단계는
    검출된 대상물이 적어도 하나의 가상 트립와이어와 오버랩되는지 여부를 판정하는 단계를 포함하는
    방법.
  26. 제25항에 있어서,
    상기 캘리브레이션하는 단계는
    대상물 분할을 수행하는 단계를 포함하고,
    여기서, 상기 검출된 대상물은 상기 대상물 분할을 수행하는 단계에 기반하여 검출되는
    방법.
  27. 제26항에 있어서,
    상기 대상물 분할을 수행하는 단계는
    픽셀-레벨 배경 모델링을 수행하는 단계;
    전경 검출 및 추적을 수행하는 단계; 및
    전경 대상물을 분석하는 단계를 포함하는
    방법.
  28. 제25항에 있어서,
    상기 분석하는 단계는
    대상물 분할을 수행하는 단계를 더 포함하고,
    여기서, 상기 검출된 대상물은 상기 대상물 분할을 수행하는 단계에 기반하여 검출되는
    방법.
  29. 제28항에 있어서,
    상기 대상물 분할을 수행하는 단계는
    픽셀-레벨 배경 모델링을 수행하는 단계;
    전경 검출 및 추적을 수행하는 단계; 및
    전경 대상물을 분석하는 단계를 포함하는
    방법.
  30. 제25항에 있어서,
    상기 분석하는 단계는
    상기 검출된 대상물이 적어도 하나의 가상 트립와이어와 오버랩되는지 여부를 판정하는 단계가 긍정 결과를 리턴하는 경우에, 횡단의 방향이 사용자에 의해 기입된 횡단의 방향과 일치하는지 여부를 판정하는 단계를 더 포함하는
    방법.
  31. 제30항에 있어서,
    상기 분석하는 단계는
    상기 횡단의 방향이 사용자에 의해 기입된 횡단의 방향과 일치하는지 여부를 판정하는 단계가 긍정 결과를 리턴하는 경우에, 상기 검출된 대상물의 특성에 관하여 적어도 하나의 부가적인 질의를 수행하는 단계를 더 포함하는
    방법.
  32. 제25항에 있어서,
    상기 분석하는 단계는
    상기 검출된 대상물이 적어도 하나의 가상 트립와이어와 오버랩되는지 여부를 판정하는 단계가 긍정 결과를 리턴하는 경우에, 상기 검출된 대상물의 특성에 관하여 적어도 하나의 부가적인 질의를 수행하는 단계를 더 포함하는
    방법.
  33. 제11항에 있어서,
    상기 응답의 트리거링 단계는
    청각 알람을 활성화하는 단계; 시각 알람을 활성화하는 단계; 스냅샷을 취득하는 단계; 및 비디오를 기록하는 단계 중 적어도 하나의 단계를 포함하는
    방법.
  34. 제11항의 방법을 포함하는 연속 검출(tailgating detection) 방법에 있어서,
    사람이 관심 영역에 진입하는 것을 검출하는 단계;
    상기 검출 단계에 응답하여 상기 관심 영역의 감시를 시작하는 단계;
    상기 관심 영역에 진입하는 사람의 수가 허용가능한 수보다 큰 지 여부를 판정하는 단계; 및
    상기 판정 단계가 긍정 결과를 리턴하는 경우에, 응답을 트리거하는 단계
    를 더 포함하는 방법.
  35. 제11항의 방법을 구현하는 소프트웨어를 포함하는
    컴퓨터-판독가능 매체.
  36. 제11항의 방법을 구현하는 소프트웨어를 실행하는
    컴퓨터 시스템.
  37. 출력 데이터를 제공하는 감지 장치; 및
    상기 출력 데이터를 수신하는 컴퓨터 시스템
    을 포함하고,
    여기서, 상기 컴퓨터 시스템은, 사용자 인터페이스; 적어도 하나의 프로세서; 및 제11항의 방법을 구현하는 소프트웨어를 포함하는 컴퓨터-판독가능 매체를 포함하는
    비디오 트립와이어 시스템.
  38. 제1항에 있어서,
    상기 컴퓨터 시스템은
    상기 캘리브레이션, 상기 수집 및 상기 처리를 수행하는데 적합한 주문형(application-specific) 하드웨어를 포함하는
    비디오 트립와이어 시스템.
  39. 비디오 트립와이어를 구현하기 위한 장치에 있어서,
    상기 장치는
    상기 장치에 의해 이용되는 감지 장치 파라미터를 결정하기 위해서, 감지 장치를 캘리브레이션하는 단계;
    적어도 하나의 가상 트립와이어를 식별하는 단계를 포함하여, 상기 장치를 초기화하는 단계;
    상기 감지 장치로부터 데이터를 획득하는 단계;
    상기 적어도 하나의 가상 트립와이어가 횡단되는지 여부를 판정하기 위해서, 상기 감지 장치로부터의 데이터를 분석하는 단계; 및
    가상 트립와이어 횡단에 대한 응답을 트리거하는 단계
    를 포함하는 방법을 구현하는데 적합한 장치.
  40. 제39항에 있어서,
    상기 장치는
    컴퓨터 및/또는 소프트웨어를 에뮬레이션하기 위한 주문형 하드웨어
    를 포함하고,
    여기서, 상기 하드웨어는 상기 캘리브레이션 단계, 상기 초기화 단계, 상기 획득 단계, 상기 분석 단계 및 상기 트리거 단계를 수행하는데 적합한
    장치.
  41. 비디오 출력을 생성하기 위한 감지 장치; 및
    사용자 인터페이스를 포함하고, 상기 감지 장치로부터 수신된 비디오 출력에 기반하여 데이터를 수집 및 처리하기 위한 컴퓨터 시스템
    을 포함하고,
    여기서, 상기 컴퓨터 시스템은 처리된 상기 데이터를 디스플레이하고, 사용자가 상기 감지 장치로부터의 이미지 상에 적어도 하나의 가상 트립와이어를 이중인화(superimpose)할 수 있도록 하며, 가상 트립와이어 횡단에 대한 응답을 트리거하는 소프트웨어를 포함하는
    비디오 트립와이어 시스템.
  42. 제41항에 있어서,
    상기 감지 장치로부터의 비디오 출력을 전송하기 위한 수단;
    상기 전송 수단에 의해 상기 비디오 출력이 전송되는 통신 매체; 및
    상기 통신 매체로부터의 비디오 출력을 수신하기 위한 수단
    을 더 포함하는 비디오 트립와이어 시스템.
  43. 제42항에 있어서,
    상기 통신 매체는 케이블을 포함하는
    비디오 트립와이어 시스템.
  44. 제42항에 있어서,
    상기 통신 매체는 통신 네트워크를 포함하는
    비디오 트립와이어 시스템.
  45. 제41항에 있어서,
    상기 사용자 인터페이스는, 가시적 알람을 전달하기 위한 수단 또는 가청적 알람을 전달하기 위한 수단 중 적어도 하나를 포함하는
    비디오 트립와이어 시스템.
  46. 제41항에 있어서,
    상기 사용자 인터페이스는 영상 디스플레이 장치를 포함하는
    비디오 트립와이어 시스템.
  47. 제46항에 있어서,
    상기 영상 디스플레이 장치는
    비디오, 하나 또는 그 이상의 스냅샷 또는 수문자 정보 중 적어도 하나를 디스플레이할 수 있는
    비디오 트립와이어 시스템.
  48. 제41항에 있어서,
    비디오 데이터 또는 수문자 데이터 중 적어도 하나를 저장하기 위한 적어도 하나의 메모리 장치
    를 더 포함하는 비디오 트립와이어 시스템.
  49. 제41항에 있어서,
    상기 감지 장치는
    비디오 카메라, 적외선 카메라, 소노그래픽 장치 또는 감열식 촬상 장치 중 적어도 하나를 포함하는
    비디오 트립와이어 시스템.
  50. 제41항에 있어서,
    비디오 출력을 생성하기 위한 적어도 하나의 부가적인 감지 장치
    를 더 포함하고,
    여기서, 상기 컴퓨터 시스템은 추가적으로 상기 부가적인 감지 장치의 비디오 출력을 수신 및 처리하는
    비디오 트립와이어 시스템.
  51. 비디오 트립와이어 시스템의 구현 방법에 있어서,
    적어도 하나의 가상 트립와이어를 기입하는 단계를 포함하여, 상기 시스템을 초기화하는 단계;
    감지 장치로부터 데이터를 획득하는 단계;
    소정의 기입된 가상 트립와이어가 횡단되는지 여부를 판정하기 위해서, 상기 감지 장치로부터 획득된 데이터를 분석하는 단계; 및
    가상 트립와이어 횡단에 대한 응답을 트리거하는 단계
    를 포함하는 방법.
  52. 제51항에 있어서,
    상기 시스템을 초기화하는 단계는
    적어도 하나의 로깅 옵션을 선택하는 단계를 더 포함하는
    방법.
  53. 제51항에 있어서,
    상기 분석하는 단계는
    대상물이 소정의 가상 트립와이어와 오버랩되는지 여부를 판정하는 단계를 포함하는
    방법.
  54. 제53항에 있어서,
    상기 분석하는 단계는,
    대상물 분할을 수행하는 단계; 및
    상기 대상물 분할에 기반하여 상기 대상물을 검출하는 단계를 더 포함하는
    방법.
  55. 제54항에 있어서,
    상기 대상물 분할을 수행하는 단계는,
    픽셀-레벨 배경 모델링을 수행하는 단계;
    전경 검출 및 추적을 수행하는 단계; 및
    전경 대상물을 분석하는 단계를 포함하는
    방법.
  56. 제53항에 있어서,
    상기 분석하는 단계는,
    상기 대상물이 소정의 가상 트립와이어와 오버랩되는 것으로 판정되는 경우에, 가상 트립와이어 횡단의 방향이 사용자에 의해 기입된 가상 트립와이어 횡단의 방향과 일치하는지 여부를 판정하는 단계를 더 포함하는
    방법.
  57. 제56항에 있어서,
    상기 분석하는 단계는,
    상기 가상 트립와이어 횡단의 방향이 상기 사용자에 의해 기입된 가상 트립와이어 횡단의 방향과 일치하는 것으로 판정되는 경우에, 상기 대상물의 특성에 관하여 적어도 하나의 부가적인 질의를 수행하는 단계를 더 포함하는
    방법.
  58. 제53항에 있어서,
    상기 분석하는 단계는,
    상기 대상물이 소정의 가상 트립와이어와 오버랩되는 것으로 판정되는 경우에, 상기 대상물의 특성에 관하여 적어도 하나의 부가적인 질의를 수행하는 단계를 더 포함하는
    방법.
  59. 제51항에 있어서,
    상기 응답을 트리거하는 단계는,
    청각 알람을 활성화하는 단계;
    시각 알람을 활성화하는 단계;
    스냅샷을 취득하는 단계; 또는
    비디오를 기록하는 단계 중 적어도 하나의 단계를 포함하는
    방법.
  60. 제51항의 방법을 포함하는 연속 검출(tailgating detection) 방법에 있어서,
    사람이 관심 영역에 진입하는 것을 검출하는 단계;
    상기 검출에 응답하여 상기 관심 영역의 감시를 시작하는 단계;
    상기 관심 영역에 진입하는 사람의 수가 허용가능한 수보다 큰 지 여부를 판정하는 단계; 및
    상기 판정 단계가 긍정 결과를 리턴하는 경우에, 응답을 트리거하는 단계
    를 더 포함하는 방법.
  61. 제51항의 방법을 구현하기 위한 소프트웨어
    를 포함하는 컴퓨터-판독가능 매체.
  62. 제51항의 방법을 구현하는 소프트웨어를 실행하는
    컴퓨터 시스템.
  63. 출력 데이터를 제공하기 위한 감지 장치; 및
    상기 출력 데이터를 수신하기 위한 컴퓨터 시스템
    을 포함하고,
    여기서, 상기 컴퓨터 시스템은,
    사용자 인터페이스;
    적어도 하나의 프로세서; 및
    제51항의 방법을 구현하기 위한 소프트웨어를 포함하는 컴퓨터-판독가능 매체를 포함하는
    비디오 트립와이어 시스템.
  64. 비디오 트립와이어 시스템을 구현하고, 소프트웨어를 포함하는 컴퓨터-판독가능 매체에 있어서,
    상기 소프트웨어는,
    감지 장치로부터의 이미지 상에 이중인화(superimpose)되는 적어도 하나의 가상 트립와이어를 사용자 인터페이스로부터 수신하는 단계; 및
    가상 트립와이어 횡단에 대한 응답을 트리거하는 단계
    를 포함하는 컴퓨터-판독가능 매체.
  65. 제64항에 있어서,
    상기 소프트웨어는
    상기 사용자 인터페이스로부터 상기 가상 트립와이어 횡단에 대한 검출의 시간 간격을 수신하는 단계를 더 포함하는
    컴퓨터-판독가능 매체.
  66. 제64항에 있어서,
    상기 소프트웨어는
    상기 사용자 인터페이스로부터 상기 가상 트립와이어 횡단에 대한 횡단의 방향을 수신하는 단계를 더 포함하는
    컴퓨터-판독가능 매체.
  67. 제64항에 있어서,
    상기 소프트웨어는
    상기 사용자 인터페이스로부터 상기 가상 트립와이어 횡단에 대한 검출의 감도를 수신하는 단계를 더 포함하는
    컴퓨터-판독가능 매체.
KR1020047005183A 2001-10-09 2002-10-09 비디오 트립와이어 KR100905504B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/972,039 US6696945B1 (en) 2001-10-09 2001-10-09 Video tripwire
US09/972,039 2001-10-09
PCT/US2002/032091 WO2003032622A2 (en) 2001-10-09 2002-10-09 Video tripwire

Publications (2)

Publication Number Publication Date
KR20040050907A KR20040050907A (ko) 2004-06-17
KR100905504B1 true KR100905504B1 (ko) 2009-07-01

Family

ID=25519079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020047005183A KR100905504B1 (ko) 2001-10-09 2002-10-09 비디오 트립와이어

Country Status (15)

Country Link
US (1) US6696945B1 (ko)
EP (1) EP1435170B2 (ko)
JP (1) JP2005506740A (ko)
KR (1) KR100905504B1 (ko)
CN (1) CN100337253C (ko)
AT (1) ATE507543T1 (ko)
AU (1) AU2002337829A1 (ko)
CA (1) CA2460426A1 (ko)
DE (1) DE60239882D1 (ko)
DK (1) DK1435170T3 (ko)
ES (1) ES2364915T3 (ko)
HK (1) HK1071956A1 (ko)
IL (1) IL160996A0 (ko)
MX (1) MXPA04003441A (ko)
WO (1) WO2003032622A2 (ko)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940998B2 (en) 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US20050146605A1 (en) * 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
WO2007126525A2 (en) * 2006-04-17 2007-11-08 Objectvideo, Inc. Video segmentation using statistical pixel modeling
JP4612779B2 (ja) * 2001-06-14 2011-01-12 キヤノン株式会社 通信装置及び通信装置の映像表示制御方法
US6970083B2 (en) * 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
US7136507B2 (en) * 2003-11-17 2006-11-14 Vidient Systems, Inc. Video surveillance system with rule-based reasoning and multiple-hypothesis scoring
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US7148912B2 (en) * 2003-11-17 2006-12-12 Vidient Systems, Inc. Video surveillance system in which trajectory hypothesis spawning allows for trajectory splitting and/or merging
US7088846B2 (en) * 2003-11-17 2006-08-08 Vidient Systems, Inc. Video surveillance system that detects predefined behaviors based on predetermined patterns of movement through zones
US7646401B2 (en) * 2004-01-30 2010-01-12 ObjectVideo, Inc Video-based passback event detection
US20050281417A1 (en) * 2004-06-18 2005-12-22 Gregory Toprover Media device
AU2006230361A1 (en) * 2005-03-30 2006-10-05 Cernium Corporation Intelligent video behavior recognition with multiple masks and configurable logic inference module
US20060232673A1 (en) * 2005-04-19 2006-10-19 Objectvideo, Inc. Video-based human verification system and method
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
US7822224B2 (en) 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US7796780B2 (en) * 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US8027512B2 (en) * 2005-09-30 2011-09-27 Robert Bosch Gmbh Method and software program for searching image information
EP1958123A2 (en) * 2005-11-23 2008-08-20 Diamondback Vision Inc. Object density estimation in video
JP4321541B2 (ja) * 2006-04-03 2009-08-26 ソニー株式会社 監視装置と監視方法
WO2007139658A2 (en) * 2006-05-24 2007-12-06 Objectvideo, Inc. Intelligent imagery-based sensor
JP4201025B2 (ja) * 2006-06-30 2008-12-24 ソニー株式会社 監視装置、監視システム及びフィルタ設定方法、並びに監視プログラム
TW200822751A (en) * 2006-07-14 2008-05-16 Objectvideo Inc Video analytics for retail business process monitoring
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
WO2008057285A2 (en) * 2006-10-27 2008-05-15 Vidient Systems, Inc. An apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
JP4318724B2 (ja) 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US20080232688A1 (en) * 2007-03-20 2008-09-25 Senior Andrew W Event detection in visual surveillance systems
DE102007033391A1 (de) 2007-07-18 2009-01-22 Robert Bosch Gmbh Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm
US8619140B2 (en) * 2007-07-30 2013-12-31 International Business Machines Corporation Automatic adjustment of area monitoring based on camera motion
TW200926011A (en) * 2007-09-04 2009-06-16 Objectvideo Inc Background modeling with feature blocks
US8624733B2 (en) * 2007-11-05 2014-01-07 Francis John Cusack, JR. Device for electronic access control with integrated surveillance
US8108055B2 (en) * 2007-12-28 2012-01-31 Larry Wong Method, system and apparatus for controlling an electrical device
US8370111B2 (en) * 2008-03-31 2013-02-05 The Boeing Company System and method for forming optimized perimeter surveillance
US8686854B2 (en) 2008-03-31 2014-04-01 The Boeing Company System and method for forming optimized perimeter surveillance
WO2009126151A1 (en) * 2008-04-09 2009-10-15 Utc Fire & Security Corporation Video content analysis
US9019381B2 (en) 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
EP2164043A1 (en) 2008-09-12 2010-03-17 March Networks Corporation Video camera calibration and perspective calculation
US8165348B2 (en) * 2008-11-17 2012-04-24 International Business Machines Corporation Detecting objects crossing a virtual boundary line
US9520040B2 (en) * 2008-11-21 2016-12-13 Raytheon Company System and method for real-time 3-D object tracking and alerting via networked sensors
WO2010124062A1 (en) 2009-04-22 2010-10-28 Cernium Corporation System and method for motion detection in a surveillance video
KR101586700B1 (ko) * 2009-07-03 2016-01-20 한화테크윈 주식회사 감지장치, 이벤트 감지방법 및 촬영시스템
CN101872524B (zh) * 2009-08-14 2012-07-18 杭州海康威视数字技术股份有限公司 基于虚拟墙的视频监控方法、系统及装置
US9030555B2 (en) * 2009-11-25 2015-05-12 Lg Electronics Inc. Surveillance system
DE102009058765A1 (de) * 2009-12-15 2011-06-16 Hella Kgaa Hueck & Co. System und Verfahren zum Kontrollieren von Bewegungen von Objekten
TWI400670B (zh) * 2009-12-16 2013-07-01 Ind Tech Res Inst 多層次侵入事件偵測系統與方法及其電腦程式產品
US8890936B2 (en) 2010-10-12 2014-11-18 Texas Instruments Incorporated Utilizing depth information to create 3D tripwires in video
US20130096831A1 (en) * 2011-10-18 2013-04-18 International Business Machines Corporation Automatic, adaptive and optimized sensor selection and virtualization
US11470285B2 (en) * 2012-02-07 2022-10-11 Johnson Controls Tyco IP Holdings LLP Method and system for monitoring portal to detect entry and exit
JP6057562B2 (ja) 2012-06-28 2017-01-11 キヤノン株式会社 情報処理装置およびその制御方法
US10645345B2 (en) * 2012-07-03 2020-05-05 Verint Americas Inc. System and method of video capture and search optimization
US9582671B2 (en) 2014-03-06 2017-02-28 Sensity Systems Inc. Security and data privacy for lighting sensory networks
CN103687200A (zh) 2012-09-12 2014-03-26 赛西蒂系统股份有限公司 用于传感应用的网络化照明基础设施
US9197861B2 (en) 2012-11-15 2015-11-24 Avo Usa Holding 2 Corporation Multi-dimensional virtual beam detection for video analytics
US9933297B2 (en) 2013-03-26 2018-04-03 Sensity Systems Inc. System and method for planning and monitoring a light sensory network
WO2014160708A1 (en) 2013-03-26 2014-10-02 Sensity Systems, Inc. Sensor nodes with multicast transmissions in lighting sensory network
JP5438859B1 (ja) * 2013-05-30 2014-03-12 パナソニック株式会社 客層分析装置、客層分析システムおよび客層分析方法
TWI507661B (zh) 2013-07-03 2015-11-11 Faraday Tech Corp 影像監控系統及其方法
US9746370B2 (en) 2014-02-26 2017-08-29 Sensity Systems Inc. Method and apparatus for measuring illumination characteristics of a luminaire
US20150288604A1 (en) * 2014-04-02 2015-10-08 Tyco Fire & Security Gmbh Sensor Network Gateway
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
US10362112B2 (en) 2014-03-06 2019-07-23 Verizon Patent And Licensing Inc. Application environment for lighting sensory networks
CN105450918B (zh) * 2014-06-30 2019-12-24 杭州华为企业通信技术有限公司 一种图像处理方法和摄像机
US10110856B2 (en) 2014-12-05 2018-10-23 Avigilon Fortress Corporation Systems and methods for video analysis rules based on map data
US9760792B2 (en) 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification
US9922271B2 (en) 2015-03-20 2018-03-20 Netra, Inc. Object detection and classification
JP6229816B2 (ja) 2015-03-27 2017-11-15 日本電気株式会社 モバイル監視装置、プログラム、及び制御方法
US10044988B2 (en) 2015-05-19 2018-08-07 Conduent Business Services, Llc Multi-stage vehicle detection in side-by-side drive-thru configurations
US9996749B2 (en) * 2015-05-29 2018-06-12 Accenture Global Solutions Limited Detecting contextual trends in digital video content
ES2563098B1 (es) 2015-06-15 2016-11-29 Davantis Technologies Sl Procedimiento de mejora de imagen IR basado en información de escena para videoanálisis
US9313556B1 (en) 2015-09-14 2016-04-12 Logitech Europe S.A. User interface for video summaries
US10299017B2 (en) 2015-09-14 2019-05-21 Logitech Europe S.A. Video searching for filtered and tagged motion
US9805567B2 (en) 2015-09-14 2017-10-31 Logitech Europe S.A. Temporal video streaming and summaries
WO2017046704A1 (en) 2015-09-14 2017-03-23 Logitech Europe S.A. User interface for video summaries
WO2017051499A1 (en) * 2015-09-25 2017-03-30 Sony Corporation Representative image generation device, representative image generation method, and program
JP6772609B2 (ja) 2015-09-25 2020-10-21 ソニー株式会社 代表画像生成装置、代表画像生成方法及びプログラム
US10190914B2 (en) 2015-12-04 2019-01-29 Amazon Technologies, Inc. Motion detection for A/V recording and communication devices
US10325625B2 (en) 2015-12-04 2019-06-18 Amazon Technologies, Inc. Motion detection for A/V recording and communication devices
ES2751364T3 (es) * 2016-02-04 2020-03-31 Holding Assessoria I Lideratge S L Hal Sl Detección de acceso fraudulento en puertas de acceso controlado
JP2017182441A (ja) * 2016-03-30 2017-10-05 富士通株式会社 業務実態処理装置、方法、及びプログラム
US9779302B1 (en) 2016-03-31 2017-10-03 Intel Corporation System for optimizing storage location arrangement
US20200380252A1 (en) 2019-05-29 2020-12-03 Walmart Apollo, Llc Systems and methods for detecting egress at an entrance of a retail facility
US10904446B1 (en) 2020-03-30 2021-01-26 Logitech Europe S.A. Advanced video conferencing systems and methods
US10972655B1 (en) 2020-03-30 2021-04-06 Logitech Europe S.A. Advanced video conferencing systems and methods
US10951858B1 (en) 2020-03-30 2021-03-16 Logitech Europe S.A. Advanced video conferencing systems and methods
US10965908B1 (en) 2020-03-30 2021-03-30 Logitech Europe S.A. Advanced video conferencing systems and methods
KR102441599B1 (ko) * 2020-05-29 2022-09-07 주식회사 아이티엑스에이아이 재실 인원 통제 장치

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3812287A (en) * 1969-05-12 1974-05-21 J Lemelson Video detection system
CA1116286A (en) * 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
US4257063A (en) * 1979-03-23 1981-03-17 Ham Industries, Inc. Video monitoring system and method
US4737837A (en) † 1985-11-27 1988-04-12 Honeywell Inc. Ring topology for an integrated circuit logic cell
JPH0335399A (ja) * 1989-06-30 1991-02-15 Toshiba Corp 変化領域統合装置
JPH03242592A (ja) † 1990-02-21 1991-10-29 Toshiba Corp 画像監視装置
JPH05284501A (ja) * 1992-04-06 1993-10-29 Mitsubishi Electric Corp 侵入監視画像装置
JP3218521B2 (ja) † 1992-09-30 2001-10-15 清水建設株式会社 画像センサによる移動体検知システム
US5696503A (en) * 1993-07-23 1997-12-09 Condition Monitoring Systems, Inc. Wide area traffic surveillance using a multisensor tracking system
US5801943A (en) * 1993-07-23 1998-09-01 Condition Monitoring Systems Traffic surveillance and simulation apparatus
US5491511A (en) * 1994-02-04 1996-02-13 Odle; James A. Multimedia capture and audit system for a video surveillance network
IL113434A0 (en) * 1994-04-25 1995-07-31 Katz Barry Surveillance system and method for asynchronously recording digital data with respect to video data
US5623249A (en) * 1995-01-26 1997-04-22 New Product Development, Inc. Video monitor motion sensor
US5926210A (en) * 1995-07-28 1999-07-20 Kalatel, Inc. Mobile, ground-based platform security system which transmits images that were taken prior to the generation of an input signal
US6016161A (en) * 1996-01-25 2000-01-18 Medar, Inc. Method and system for automatically calibrating a color-based machine vision system
JP3200663B2 (ja) * 1996-03-29 2001-08-20 技研トラステム株式会社 移動体検出方法，移動体検出装置，及び移動体計数装置
US5956081A (en) * 1996-10-23 1999-09-21 Katz; Barry Surveillance system having graphic video integration controller and full motion video switcher
GB9702849D0 (en) * 1997-02-12 1997-04-02 Trafficmaster Plc Traffic monitoring
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6091771A (en) * 1997-08-01 2000-07-18 Wells Fargo Alarm Services, Inc. Workstation for video security system
GB2329542B (en) * 1997-09-17 2002-03-27 Sony Uk Ltd Security control system and method of operation
EP0967584B1 (en) † 1998-04-30 2004-10-20 Texas Instruments Incorporated Automatic video monitoring system
JPH11355759A (ja) * 1998-06-03 1999-12-24 Kokusai Electric Co Ltd 遠隔監視システム
WO2000028498A1 (en) * 1998-11-12 2000-05-18 Smith Micro Software Inc. Computer system with motion-triggered alarm procedure
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
JP2000268173A (ja) * 1999-03-17 2000-09-29 Hitachi Denshi Ltd 物体認識画像処理方法
JP2000295600A (ja) * 1999-04-08 2000-10-20 Toshiba Corp 監視装置
US6201473B1 (en) * 1999-04-23 2001-03-13 Sensormatic Electronics Corporation Surveillance system for observing shopping carts
US6297844B1 (en) * 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
JP2001175868A (ja) * 1999-12-22 2001-06-29 Nec Corp 人物検出方法及び装置
JP2001189925A (ja) * 1999-12-28 2001-07-10 Glowing Shinko:Kk 移動物体監視システム
US20020082769A1 (en) * 2000-11-21 2002-06-27 Gary Church Airport auditing and information system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Olson et al, "Moving Object Detection and Event Recognition Algorithm for Smart Cameras," Texas Instruments Res. & Devel., 1997, pages 159~175*

Also Published As

Publication number Publication date
DK1435170T3 (da) 2011-08-15
ES2364915T3 (es) 2011-09-16
HK1071956A1 (en) 2005-08-05
CN100337253C (zh) 2007-09-12
US20040027242A1 (en) 2004-02-12
EP1435170B1 (en) 2011-04-27
AU2002337829A1 (en) 2003-04-22
EP1435170A4 (en) 2006-05-03
CA2460426A1 (en) 2003-04-17
MXPA04003441A (es) 2005-02-17
KR20040050907A (ko) 2004-06-17
CN1568487A (zh) 2005-01-19
EP1435170B2 (en) 2020-12-09
EP1435170A2 (en) 2004-07-07
IL160996A0 (en) 2004-08-31
US6696945B1 (en) 2004-02-24
DE60239882D1 (de) 2011-06-09
ATE507543T1 (de) 2011-05-15
WO2003032622A3 (en) 2003-12-24
JP2005506740A (ja) 2005-03-03
WO2003032622A2 (en) 2003-04-17

Similar Documents

Publication Publication Date Title
KR100905504B1 (ko) 비디오 트립와이어
CA2545535C (en) Video tripwire
US7646401B2 (en) Video-based passback event detection
CN101310288B (zh) 采用视频原语的视频监视系统
DK1872583T3 (en) Video processing method, computer-readable medium containing instructions for implementing the method and video processing system
US7280673B2 (en) System and method for searching for changes in surveillance video
US20070122000A1 (en) Detection of stationary objects in video
US20050162515A1 (en) Video surveillance system
WO2007067722A2 (en) System and method for detecting an invalid camera in video surveillance
Appiah et al. Autonomous real-time surveillance system with distributed ip cameras

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
J204 Request for invalidation trial [patent]
J121 Written withdrawal of request for trial
FPAY Annual fee payment

Payment date: 20130604

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140609

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150602

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160615

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170613

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180612

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190613

Year of fee payment: 11