KR20070095769A - 감시 시스템 및 감시방법 - Google Patents

감시 시스템 및 감시방법 Download PDF

Info

Publication number
KR20070095769A
KR20070095769A KR1020070020904A KR20070020904A KR20070095769A KR 20070095769 A KR20070095769 A KR 20070095769A KR 1020070020904 A KR1020070020904 A KR 1020070020904A KR 20070020904 A KR20070020904 A KR 20070020904A KR 20070095769 A KR20070095769 A KR 20070095769A
Authority
KR
South Korea
Prior art keywords
information
wireless terminal
detected
detecting
image
Prior art date
Application number
KR1020070020904A
Other languages
English (en)
Other versions
KR100882890B1 (ko
Inventor
세이이치 히라이
나오키 하시구치
Original Assignee
가부시키가이샤 히다치 고쿠사이 덴키
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히다치 고쿠사이 덴키 filed Critical 가부시키가이샤 히다치 고쿠사이 덴키
Publication of KR20070095769A publication Critical patent/KR20070095769A/ko
Application granted granted Critical
Publication of KR100882890B1 publication Critical patent/KR100882890B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons

Abstract

본 발명은 침입자를 검출하는 감시 시스템 및 감시방법에 관한 것이다.
이를 위하여 본 발명에서는 촬상장치가 소정영역의 영상을 촬영하고, 사람검출장치가 촬영한 영상에 의거하여 상기 영상에 비친 사람에 관한 정보를 검출하고, 무선 단말장치가 사람에 의하여 유지되어 운반되고, 무선 수신장치가 소정의 영역에 존재하는 무선 단말장치로부터 무선에 의하여 송신되는 신호를 수신하고, 단말 검출장치가 수신된 신호에 의거하여 무선 단말장치에 관한 정보를 검출하고, 침입자 판정장치가 검출한 사람에 관한 정보 및 무선 단말장치에 관하여 검출된 정보에 의거하여 침입자에 관한 정보를 검출한다.

Description

감시 시스템 및 감시방법{SURVEILLANCE SYSTEM AND SURVEILLANCE METHOD}
도 1은 본 발명의 일 실시예에 관한 침입자 검지시스템의 구성예를 나타내는 도,
도 2는 카메라와 무선기지국장치의 설치위치관계의 일례를 나타내는 도,
도 3은 감시대상영역 내의 무선 단말장치수를 카운트하는 방법을 설명하기 위한 도,
도 4는 침입자 판정장치에 의하여 행하여지는 침입자 판정처리의 일례를 나타내는 도,
도 5a ~ 도 5c는 검출인의 위치정보와 검출단말의 위치정보의 대조의 일례를 설명하기 위한 도,
도 6은 침입자 검지시스템의 구성예를 나타내는 도,
도 7은 침입자 판정장치에 의하여 행하여지는 침입자 판정처리의 다른 예를 나타내는 도면이다.
본 발명은 예를 들면 감시 카메라에 의하여 촬영(taken) 또는 촬상(image- pickedup)된 영상을 감시하는 감시 시스템에 관한 것으로, 특히 침입자를 검지하는 감시 시스템 및 감시방법에 관한 것이다.
예를 들면 종래부터 호텔이나 빌딩, 편의점(convenience stores)이나 금융기관, 또는 댐이나 철도, 도로라는 상업적, 공공적 시설에는, 범죄억지나 사고방지 등의 목적으로 영상감시 시스템이 설치되어 있다.
영상감시 시스템에서는 감시대상을 카메라 등의 촬상장치로 촬영하여, 그 영상을 관리사무소나 경비실 등의 감시 센터에 전송하여 상주하는 감시자가 그 영상을 감시하여 목적이나 필요에 따라 주의를 하는 것이나, 또는 영상을 녹화·보존하는 것이 행하여진다.
또, 예를 들면 영상을 디지털화하여 영상의 각 화소가 가지는 휘도나 색정보나, 그것들의 시계열 변화, 분포 등으로부터 영상에 비치고 있는 물체의 존재나, 그 움직임 등을 식별하는 화상인식이라 불리우는 기술이 알려져 있다. 그리고 CPU(Central Procesing Unit)의 고성능화에 따라 이와 같은 기술에 의하여 식별하는 것이 가능한 사물은 확대되어 있고, 최근에는 인간이나 개, 고양이, 차라는 물체의 식별이나, 사람 얼굴의 식별까지 가능하게 되어 오고 있다.
또 일본국 특개2005-143016호 공보에는 점포 등의 감시영역 내의 사람수(내방객수)를 계수하는 기술이 개시되어 있다.
또, 상기한 영상감시 시스템에 상기한 화상인식기술을 적용한 어플리케이션으로서 침입자 검지 시스템이 검토되고 있다.
침입자 검지 시스템에서는 미리 설정된 감시영역에 사람이 들어 간 것을 화 상인식기술에 의하여 검지하여 감시자에게 통보하는 것이나, 또는 침입자에게 경고하는 것으로, 감시자의 부담경감이나 침입자의 침입억지를 도모하는 것이 행하여진다.
도 6에는 본원 발명자들이 본원 발명을 할 때에 검토한 침자자 검지 시스템의 구성예를 나타내고 있다.
본 예의 침입자 검지 시스템은, 카메라(111)와, 침입자 검지장치(112)와, 감시 단말장치(113)와, 녹화장치(114)와, 경보장치(115)와, 전송매체(b1∼b4)를 구비하고 있다.
또, 도 6에는 카메라(111)에 의하여 촬영되는 영역인 감시대상영역(A11)이나, 감시대상영역(A11)에 존재하는 침입자(101)를 나타내고 있다.
카메라(111)는, 촬상부와 영상 데이터 출력부를 가지고, 감시대상영역(A11)을 촬영하여, 촬영한 영상의 데이터를 전송매체(b1)를 거쳐 침입자 검지장치(112)에 전송하고, 상기 영상의 데이터를 전송매체(b2)를 거쳐 감시 단말장치(113)에 전송하고, 상기 영상의 데이터를 전송매체(b3)를 거쳐 녹화장치(114)에 전송한다.
침입자 검지장치(112)는, 영상 데이터 입력부와 CPU와 트리거신호 출력부를 가지고, 입력된 영상 데이터에 대하여 CPU를 사용하여 화상인식처리(본예에서는 침입자 검지처리)를 행한다. 이 결과, 감시대상영역(A11)에 침입자(101)가 존재하는 것(침입자 있음)을 판정한 경우에는, 트리거신호 출력부에서 신호를 출력하고, 이 신호를 전송매체(b4, b5)를 거쳐 녹화장치(114)나 경보장치(115)에 전달한다.
감시 단말장치(113)는, 영상 데이터 입력부를 가지고, 입력된 영상 데이터를 표시한다.
녹화장치(114)는, 영상 데이터 입력부와 트리거신호 입력부를 가지고, 입력신호에 따라 입력된 영상 데이터의 녹화개시나 정지를 행한다.
경보장치(115)는, 트리거신호 입력부를 가지고, 입력신호에 따라 음성이나 빛 등으로 감시자에게 침입자가 존재하는 것을 알린다.
그러나 도 6에 나타내는 바와 같은 침입자 검지 시스템에서는 감시대상이 되는 영역(A11)은 사람의 출입이 금지된 영역이며, 평상시에 사람의 출입이 없는 영역에 사람이 들어 간 것이 불심이라는 논리로 구축된 시스템이기 때문에, 예를 들면 평상시에 사람의 출입이 있는 영역에서 침입자를 발견할 수 없다는 문제가 있는 것을 알 수 있었다.
본 발명은 이와 같은 문제를 감안하여 이루어진 것으로, 평상시에 사람의 출입이 있는 것 같은 영역에 대하여, 침입자 등의 부정대상(illegal object)을 발견할 수 있는 감시 시스템을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 일 측면에 관한 감시 시스템에서는 다음과 같은 구성에 의하여 부정대상을 검출한다.
즉, 촬상장치가 소정의 영역(감시대상이 되는 영역)의 영상을 촬영한다. 대상 검출장치가, 상기 촬상장치에 의하여 촬영된 영상에 의거하여 상기 영상에 비친 대상에 관한 정보를 검출한다.
또, 무선 단말장치가 진정대상(genuine or legitimate object)에 의하여 유지되어 운반된다. 무선 수신장치가 상기 소정의 영역에 존재하는 상기 무선 단말장치로부터 무선에 의하여 송신되는 신호를 수신한다. 단말 검출장치가, 상기 무선 수신장치에 의하여 수신된 신호에 의거하여 상기 무선 단말장치에 관한 정보를 검출한다.
그리고 부정대상 검출장치가, 상기 대상 검출장치에 의하여 검출된 정보 및 상기 단말 검출장치에 의하여 검출된 정보에 의거하여 부정대상에 관한 정보를 검출한다.
따라서 감시대상영역에 존재하는 대상 및 무선 단말장치에 관한 정보를 검출하여, 진정대상은 무선 단말장치를 유지하고 있고, 부정대상은 무선 단말장치를 유지하고 있지 않은 것에 의거하여 부정대상을 검출할 수 있고, 예를 들면 평상시에 대상(예를 들면 사람)의 출입이 있는 영역에 대하여, 진정대상(예를 들면 아동) 중에 존재하는 부정대상(예를 들면 침입자)을 발견할 수 있다.
여기서 소정의 영역(감시대상이 되는 영역)으로서는 여러가지 영역이 사용되어도 좋다.
또, 대상으로서는 여러가지 것이 사용되어도 좋고, 예를 들면 사람이나 동물이나, 차량 등의 이동체나 다른 물건 등을 사용할 수 있다.
또, 촬상장치로서는 예를 들면 카메라를 사용하여 구성할 수 있다.
또, 대상에 관한 정보나, 무선 단말장치에 관한 정보나, 부정대상에 관한 정보로서는 예를 들면 수나 위치 등의 정보를 검출할 수 있다.
또, 무선 단말장치로부터 무선 송신되는 신호에는, 예를 들면 각 무선 단말장치마다 설정된 식별정보가 포함되어도 좋고, 또 예를 들면 각 무선 단말장치에 설치된 GPS 기능에 의하여 검출된 상기 각 무선 단말장치의 위치의 정보가 포함되어도 좋다.
또, 무선 단말장치로서는 여러가지 것이 사용되어도 좋고, 예를 들면 전용장치가 사용되어도 좋고, 또는 휴대전화 단말장치 등을 이용하는 것도 가능하다.
본 발명에 관한 감시 시스템에서는 일 구성예로서 다음과 같은 구성으로 하였다.
즉, 상기 대상 검출장치는, 상기 대상에 관한 정보로서, 상기 대상의 수 및 위치에 관한 정보를 검출한다.
또, 상기 단말 검출장치는, 상기 무선 단말장치에 관한 정보로서 상기 무선 단말장치의 수 및 위치에 관한 정보를 검출한다.
그리고 상기 부정대상 검출장치는, 상기 대상 검출장치에 의하여 검출된 상기 대상의 수가 상기 단말 검출장치에 의하여 검출된 상기 무선 단말장치의 수보다 많은 경우에, 상기 대상 검출장치에 의하여 검출된 상기 대상의 위치와 상기단말 검출장치에 의하여 검출된 상기 무선 단말장치의 위치가 불일치한 대상을 부정대상으로 하고, 상기 부정대상에 관한 정보를 검출한다.
따라서 감시대상영역에 존재하는 대상의 수가 무선 단말장치의 수보다 많은 경우에는 무선 단말장치를 유지하고 있지 않은 대상이 존재하기 때문에, 그와 같은 대상을 부정대상으로서 검출할 수 있다.
본 발명에 관한 감시 시스템에서는 일 구성예로서 다음과 같은 구성으로 하였다.
즉, 상기 무선 수신장치를 3개 이상 복수 구비하였다. 그리고 상기 단말 검출장치는, 상기 복수의 무선 수신장치에 의하여 수신된 신호에 의거하여 상기 무선 단말장치의 위치에 관한 정보를 검출한다.
따라서 3개 이상의 무선 수신장치를 다른 장소에 구비하여 동일한 무선 단말장치로부터 무선 송신되는 신호를 이들의 다른 장소에서 수신함으로써 이들의 다른 장소에서의 수신신호에 의거하여 무선 단말장치의 위치를 특정하는 것이 가능하다.
본 발명에 관한 감시 시스템에서는 일 구성예로서 다음과 같은 구성으로 하였다.
즉, 부정시 처리장치(illegality processing apparatus)가, 상기 부정대상 검출장치에 의하여 상기 부정대상이 존재하는 것이 검출된 경우에, 소정의 처리를 실행한다.
따라서 부정대상의 존재가 검출된 경우에, 각종 처리를 실행하여 감시자에의한 감시를 지원할 수 있다.
여기서 부정대상의 존재가 검출된 경우에 실행하는 소정의 처리로서는 여러가지 처리가 사용되어도 좋고, 예를 들면 촬상장치 등에 의하여 촬영되는 영상을 기록하는 처리나, 부정대상이 검출된 것을 소리나 빛 등에 의하여 통지하는 처리나, 검출된 부정대상을 카메라에 의한 영상으로 더욱 주목하여 파악하여 줌업 등을 행하는 처리나, 검출된 부정대상을 화면상에서 강조 표시하는 처리 등을 사용할 수 있다.
본 발명에 관한 감시 시스템에서는 일 구성예로서 다음과 같은 구성으로 하였다.
즉, 기억장치가 상기 진정대상에 의하여 유지되는 상기 무선 단말장치의 식별정보와 상기 진정대상의 크기에 관한 정보와의 대응을 기억한다.
또, 상기 대상 검출장치는, 상기 대상에 관한 정보로서, 상기 대상의 크기에 관한 정보를 검출한다.
그리고 상기 부정대상 검출장치는, 상기 대상의 위치와 상기 무선 단말장치의 위치가 일치한 때에 있어서도, 상기 대상 검출부에 의하여 검출된 상기 대상의 크기에 관한 정보 및 상기 기억장치의 기억내용에 의거하여 상기 대상의 크기와 상기 무선 단말장치의 식별정보에 대응한 크기가 불일치한 경우에는 부정대상이라고 판정한다.
따라서 감시대상영역에 존재하는 대상의 위치와 무선 단말장치의 위치가 일치한 경우에 있어서도, 상기 대상의 크기와 상기 무선 단말장치의 식별정보에 대응한 크기가 불일치한 경우에는, 상기 대상은 상기 무선 단말장치를 유지하고 있으나, 진정대상이 아니라 부정대상이라고 판정함으로써, 예를 들면 무선 단말장치를 부정하게 취득하여 유지하고 있는 대상(예를 들면, 사람)을 검출할 수 있다.
여기서 기억장치로서는 예를 들면 메모리를 사용하여 구성할 수 있다.
또, 식별정보로서는 예를 들면 각 무선 단말장치마다 설정된 고유번 호(unique number) 등의 정보를 사용할 수 있다.
또, 대상의 크기로서는 예를 들면 촬영되는 영상 중에 있어서의 세로방향의 길이 또는 가로방향의 길이 또는 면적 등을 사용할 수 있고, 일례로서 대상이 사람인 경우에 사람의 신장을 이용할 수 있다.
또한, 본 발명은 프로그램이나 기록매체 등으로서 제공하는 것도 가능하다.
본 발명에 관한 프로그램에서는 각 장치를 구성하는 컴퓨터에 실행시키는 것으로서, 각종 기능을 상기 컴퓨터에 의하여 실현한다.
본 발명에 관한 기록매체에서는 각 장치를 구성하는 컴퓨터에 실행시키는 프로그램을 상기 컴퓨터의 입력수단에 의하여 판독 가능하게 기록한 것으로서, 상기 프로그램은 각종 처리를 상기 컴퓨터에 실행시킨다.
본 발명은 방법으로서도 실시할 수 있다. 본 발명에 관한 방법에서는 상기 방법을 구성하는 각종 처리를, 상기 처리를 실행하기 위한 각 장치가 실행한다.
본 발명의 일 측면에 의한 부정대상을 검출하는 감시방법은,
소정의 영역의 영상을 촬상장치로 촬상하고,
상기 촬상장치에 의하여 촬영된 영상에 의거하여 상기 영상 내의 대상의 수와 위치를 포함하는 정보를 대상 검출장치로 검출하고,
상기 소정의 영역에 존재하는 상기 대상이 유지하는 곳의 무선 단말장치로부터 무선에 의하여 송신되는 신호를 무선 수신장치로 수신하고,
상기 무선 수신장치에 의하여 수신된 신호에 의거하여 상기 무선 단말장치의 수와 위치를 포함하는 정보를 단말 검출장치로 검출하고,
상기 대상 검출장치에 의하여 검출된 상기 정보와 상기 단말 검출장치에 의하여 검출된 상기 정보에 의거하여 부정대상에 관한 정보를 부정대상 검출장치로 검출하는 단계를 포함한다.
일 실시예에 있어서, 상기 부정대상에 관한 정보를 검출하는 단계는, 상기 검출된 대상의 수와 상기 검출된 무선 단말장치의 수를 비교하여, 상기 검출된 대상의 수가 상기 검출된 무선 단말장치의 수보다 클 때, 부정대상 있음이라고 판정하고, 상기 감시방법은 또한,
상기 영상 내의 상기 대상의 위치와 상기 무선 단말장치의 위치를 대조하여 불일치한 대상을 찾는 단계와,
불일치한 대상을 부정대상이라 판정하고, 불일치한 위치를 부정대상의 위치라고 판정하는 단계를 가진다.
본 발명의 다른 측면에 의한 부정대상을 검출하는 감시방법은,
무선 단말장치를 유지하여 운반하는 진정대상의 크기를 상기 무선 단말장치의 ID 데이터와 대응시켜 미리 기억장치에 기억하여 두고,
소정 영역의 영상을 촬상장치로 촬상하고,
상기 촬상장치에 의하여 촬영된 영상에 의거하여 상기 영상 내의 대상의 수와 위치와 크기를 포함하는 정보를 대상 검출장치로 검출하고,
상기 소정의 영역에 존재하는 상기 대상이 유지하는 무선 단말장치로부터 무선에 의하여 송신되는 신호를 무선 수신장치로 수신하고,
상기 무선 수신장치에 의하여 수신된 신호에 의거하여 상기 무선 단말장치의 수와 위치와 ID 데이터를 포함하는 정보를 단말 검출장치로 검출하고,
상기 대상 검출장치에 의하여 검출된 상기 정보와 상기 단말 검출장치에 의하여 검출된 상기 정보에 의거하여 부정대상에 관한 정보를 부정대상 검출장치로 검출하는 단계를 포함한다.
일 실시예에 있어서, 상기 부정대상에 관한 정보를 검출하는 단계는, 상기 검출된 대상의 수와 상기 검출된 무선 단말장치의 수를 비교하여 상기 검출된 대상의 수가 상기 검출된 무선 단말장치의 수와 동수이거나 또는 그것보다 작을 때, 상기 감시방법은 이하의 단계를 더 포함한다.
상기 검출된 무선단말장치의 ID 데이터를 이용하여 상기 무선 단말장치를 유지하는 진정대상의 크기를 상기 기억장치로부터 추출하고,
상기 영상 내의 상기 대상의 크기와 상기 기억장치로부터 추출한 무선 단말장치를 유지하는 진정대상의 크기를 대조하고,
상기 영상 내의 상기 대상의 크기와 상기 기억장치로부터 추출한 무선 단말장치를 유지하는 대상의 크기를 비교하여,
불일치한 대상을 부정대상이라 판정하고, 불일치한 위치를 부정대상의 위치라고 판정한다.
본 발명에 관한 실시예를 도면을 참조하여 설명한다.
도 1에는 본 발명의 일 실시예에 관한 침입자 검지 시스템의 구성예를 나타내고 있다.
본예에서는 학교에서의 침입자 감시에 적용한 경우를 나타내고 있다. 구체적으로는 감시대상이 되는 장소(A1)로서 학교의 문 주변을 이미지하여 나타내고 있고, 감시원이 근무하고 있는 장소(A2)로서 학교의 직원실을 이미지하여 나타내고 있다.
본예의 침입자 검지 시스템은, 감시대상이 되는 장소(A1)에, 카메라(1)와 복수(본예에서는 3대)의 무선 기지국장치(B1∼B3)를 구비하고 있고, 또 감시원이 감시하고 있는 장소(A2)에 사람 검출장치(11)와, 단말 검출장치(12)와, 침입자 판정장치(13)와, 감시 단말장치(14)와, 녹화장치(15)와, 경보장치(16)를 구비하고 있다. 또 본 예의 침입자 검지 시스템은, 각 장치 사이에서 신호를 전송하는 매체인 복수의 전송매체(a1∼a6, a11∼a14)를 구비하고 있다.
또, 도 1에는 카메라(1)에 의하여 영상을 촬영하여 감시하는 대상이 되는 영역(감시대상영역)(A3)이나, 감시대상영역(A3)에 존재하는 복수(본예에서는 8명)의 아동(C1∼C8)이나, 감시대상영역(A3)에 존재하는 침입자(2)를 나타내고 있다. 본예에서는 감시대상영역(A3)은, 아동(C1∼C8)이 통행하는 학교의 문 앞의 영역이다.
또, 도 1에는 도시하고 있지 않으나, 각 아동(C1∼C8)은, 무선 단말장치를 소지하고 있다.
각 아동(C1∼C8)의 무선 단말장치에는, 각 아동(C1∼C8)에게 유니크하게 할당된 식별정보(ID 데이터)가 메모리에 미리 기록되어 있다. 또 무선 단말장치는, 예를 들면 스쿨백이나 명찰 등에 내장 또는 장착하는 구성으로 되어 있다.
무선 단말장치는, 안테나부를 가지고, ID 데이터를 무선 기지국장치(B1∼B3)에 대하여 간헐적으로 무선 송신하는 기능을 가지고 있다. 무선 단말장치로부터의 무선송신으로서는 예를 들면 패시브(passive)형 RF-ID와 같이 무선 기지국장치 (B1∼B3)로부터의 송신 전파를 이용하는 방식이 사용되어도 좋고, 또는 액티브(active)형 RF-ID나 지그비(ZigBee)단말과 같이 전원을 가진 무선 단말장치로부터 전파를 발하는 방식이 사용되어도 좋다. 또 무선 단말장치로부터의 송신의 타이밍(timing)으로서는, 무선 기지국장치(B1∼B3)로부터의 질문(request)에 응답하는 수동적인 방식이 사용되어도 좋고, 또는 무선 단말장치측으로부터 능동적으로 송신을 행하는 방식이 사용되어도 좋다.
또, 침입자(2)는 무선 단말장치를 소지하고 있지 않은 인간이다. 본예의 침입자 검지 시스템에서는 이 침입자(2)를 검지하는 것을 목적으로 한다.
카메라(1)는, 촬상부와 영상 데이터 출력부를 가지는 장치이다. 카메라(1)로서는 예를 들면 아날로그타입의 카메라가 사용되어도 좋고, 또는 촬상부와 영상 데이터 출력부에 더하여, 촬영한 영상을 디지털화하여 필요에 따라 압축 처리를 실시하는 화상 코덱을 구비한 네트워크타입의 카메라가 사용되어도 좋다. 또는 이들 카메라에 있어서, 또한 팬/틸트/줌의 이른바 PTZ 제어부를 구비한 운대(pan and tilt head)부착 카메라가 사용되어도 좋다. 또 카메라(1)의 종류로서는 특별히 한정은 없고, 예를 들면 적외선 카메라 등의 특수한 카메라가 사용되어도 좋다.
카메라(1)는, 도 1에 나타내는 바와 같이 감시대상영역(A3)을 조감하여 촬영하도록 설치되어 있다. 본 예에서는 카메라(1)를 감시대상영역(A3)의 바로 위 에 수직하게 설치하는 경우를 나타내었으나, 비스듬하게 윗쪽에 설치하여도 좋다.
카메라(1)는 촬영한 영상, 즉 감시대상영역(A3)을 조감한 영상의 데이터를 전송매체(a1)를 거쳐 사람 검출장치(11)에 전송하고, 전송매체(a2)를 거쳐 감시 단말장치(14)에 전송하고, 전송매체(a3)를 거쳐 녹화장치(15)에 전송한다.
각 무선 기지국장치(B1∼B3)는, 안테나부와 무선 데이터 출력부를 가지는 장치이고, 도 1에 나타내는 바와 같이 감시대상영역(A3)을 둘러 싸도록 설치되어 있다.
각 무선 기지국장치(B1∼B3)는, 각 무선 단말장치로부터 무선에 의하여 송출된 ID 데이터를 수신하고, 그때 상기 수신과 함께 각 무선 단말장치로부터 송신된 ID 데이터의 수신감도를 측정한다. 그리고 각 무선 기지국장치(B1∼B3)는, 얻어진 ID 데이터와 수신감도 데이터를 전송매체(a4∼a6)를 거쳐 단말 검출장치(12)에 전송한다.
또한 본예에서는 3대의 무선 기지국장치(B1∼B3)를 설치한 경우를 나타내었으나, 본예와 같이 복수의 무선 기지국장치(B1∼B3)를 사용하여 무선 단말장치의 위치정보를 취득하는 구성에서는, 3대 이상의 여러가지 수가 사용되어도 좋다. 또 다른 구성예로서 GPS(Global Positioning System)를 이용한 무선 단말장치를 사용하고, 무선 단말장치가 GPS에 의하여 얻은 정보를 무선 기지국장치(B1∼B3)에 송신하고, 이에 의하여 무선 기지국장치(B1∼B3)가 각 무선 단말장치의 위치정보를 취득하는 구성을 사용하는 경우에는, 무선 기지국장치는 3대 이상이 아니어도 좋다.
사람 검출장치(11)는, 영상 데이터 입력부와 CPU와 검출 데이터 출력부를 가지는 장치이고, 예를 들면 컴퓨터로 이루어진다.
사람 검출장치(11)는, 카메라(1)로부터 전송된 입력영상 데이터에 대하여, CPU를 사용하여 화상인식처리로서 본예에서는 인원수 검출처리 및 위치 검출처리를 행한다. 그리고 사람 검출장치(11)는, 얻어진 검출결과, 즉 감시대상영역(A3) 내에 존재하는 사람의 수와 각각의 감시대상영역(A3) 내에서의 위치정보를, 전송매체(al1)를 거쳐 침입자 판정장치(13)에 전송한다.
단말 검출장치(12)는, 무선 데이터 입력부와 CPU와 검출 데이터 출력부를 가지는 장치이고, 예를 들면 컴퓨터로 이루어진다.
단말 검출장치(12)는, 무선 기지국장치(B1∼B3)로부터 전송되어 오는 ID 데이터를 각각 이력 관리함으로써 감시대상영역(A3) 내의 무선 단말장치의 수를 카운트한다. 또 단말 검출장치(12)는, 동시에 무선 기지국장치(B1∼B3)로부터 전송되어 오는 수신감도 데이터에 의거하여 각 무선 단말장치의 위치 검출처리를 행한다. 또한 무선 단말장치를 사용한 위치 검출의 기술에 대해서는 여러가지 문헌에서 보고가 이루어져 있다. 예를 들면 「무선을 사용한 위치검출」, 오키 테크니컬 리뷰(OKI Technical Review), 2005년 10월, 제204호, Vol. 72, No. 4에 위치 검출기술의 일례가 기재되어 있다. 본원 발명에서는 그와 같은 주지의 기술의 임의 것을 사용하여 위치검출을 행할 수 있다. 예를 들면 수신 전파강도를 이용하여 위치 검출을 행하는 방식을 사용할 수 있다. 이 방식에서는 수신 전파강도가 거리에 반비례하여 감쇠하는 성질을 이용하여 무선단말과 복수의 무선 수신국의 각각과의 거리 를 추정하여, 이들 추정거리로부터 무선단말의 위치를 추정한다.
단말 검출장치(12)는, 얻어진 검출결과, 즉 감시대상영역(A3) 내에 존재하는 무선 단말장치의 수와 각각의 감시대상영역(A3) 내에서의 위치정보를, 전송매체(a12)를 거쳐 침입자 판정장치(13)에 전송한다.
침입자 판정장치(13)는, 검출 데이터 입력부와 CPU와 트리거신호 출력부를 가지는 장치로서, 예를 들면 컴퓨터로 이루어진다. 침입자 판정장치(13)는 메모리(131)를 가진다. 이 메모리(131)는 아동의 신장 등의 크기에 관한 데이터를 상기 아동이 유지하는 무선 단말장치의 ID 데이터와 대응시켜 각 아동마다 기억하여 두는 데이터 베이스를 구성한다.
침입자 판정장치(13)는 사람 검출장치(11)로부터 보내져 온 사람에 관한 수정보 및 위치정보를 수신함과 동시에, 단말 검출장치(12)로부터 보내져 온 무선 단말장치에 관한 수정보 및 위치정보를 수신한다. 그리고 침입자 판정장치(13)는 수신한 사람 및 무선 단말장치의 수정보를 시각 동기를 취하여 대조하여 침입자(2)의 유무의 판정을 행하고, 또 침입자(2)가 존재하는 경우에는 수신한 사람 및 무선 단말장치의 위치정보의 대조를 행하여 침입자(2)의 위치를 판정한다.
이 판정의 결과, 침입자(2)가 존재하는 것(침입자 있음)을 판정한 경우에는 침입자 판정장치(13)는 트리거신호 출력부에서 신호를 출력하고, 전송매체(a13, a14)를 거쳐 이 신호를 녹화장치(15)나 경보장치(16)에 전달한다. 또 카메라(1)로서 PTZ 제어가 가능한 운대부착 카메라가 사용되는 경우에는, 침입자 판정장치(13)는 침입자 있음을 검출하였을 때에는, 카메라(1)의 촬영범위를 침입자(2)를 향하여 줌인하도록 침입자(2)에 관한 위치정보를 카메라(1)에 송신한다.
감시 단말장치(14)는, 영상 데이터 입력부를 가지고 입력한 영상 데이터를 표시하는 장치이고, 예를 들면 아날로그타입의 CRT의 모니터로 이루어진다.
또, 예를 들면 카메라(1)로서 네트워크타입의 카메라가 사용되는 경우에는 감시 단말장치(14)가 네트워크 인터페이스와, 화상 코덱과, CRT나 액정 모니터와, 조작 인터페이스를 구비한 컴퓨터로 이루어지는 구성이 사용되어도 좋다.
녹화장치(15)는 영상 데이터 입력부와 트리거신호 입력부와 기록매체를 가지고, 입력된 트리거신호에 따라 입력한 영상 데이터의 기록매체에의 녹화개시 또는 녹화정지를 행하는 장치이고, 예를 들면 테이프타입의 타임랩스 VTR로 이루어진다.
또, 예를 들면 카메라(1)로서 네트워크타입의 카메라가 사용되는 경우에는, 녹화장치(15)가 네트워크 인터페이스와, 하드디스크나 광디스크로 대표되는 고속으로 랜덤 엑세스 가능한 기록매체와, 기록매체에의 인터페이스를 구비하는 네트워크 레코더(network recorder)로 이루어지는 구성이 사용되어도 좋다.
경보장치(16)는, 트리거신호 입력부와 음성출력부 또는 광출력부를 가지는 장치이고, 예를 들면 PATLITE Corporation에서 발매되고 있는 패트라이트 PATLITE (TM)로 이루어진다. PATLITE는 rotary beacon light의 일종이다. 또는 경보장치(16)는 예를 들면 단순한 버저로서 구성되어도 좋고, 또는 패트라이트(TM)나 버저의 조합의 기기로서 구성되어도 좋다.
경보장치(16)는, 입력신호를 트리거로 하여 음성이나 빛 등으로 감시자에 대 하여 침입자(2)가 존재하는 것을 알린다.
전송매체(a1∼a6, a11∼a14)는, 예를 들면 네트워크 케이블이나 동축 케이블이나 시리얼 케이블 등으로 이루어지고, 발신된 데이터를 전송하는 기능을 가지고 있다. 본 예에서는 루터(router)나 스위치나 허브(hub) 등의 네트워크기기나 영상분배기 등도 전송매체(a1∼a6, a11∼a14)에 포함시키고 있다. 또한 전송매체 (a1∼a6, a11∼a14)가 무선 LAN(Local Area Network) 등으로 구성되어도 좋다.
여기서 본예에서는 기능을 명확화하고, 설명을 간이화하기 위하여 카메라(1), 사람 검출장치(11), 단말 검출장치(12), 침입자 판정장치(13)를 각각 물리적으로 떨어진 별개의 장치로서 나타내었으나, 각각 임의의 조합으로 일체형의 장치이어도 상관없다. 예를 들면 카메라(1)와 사람 검출장치(11)가 일체화된 장치가 사용되어도 되고, 또는 단말 검출장치(12)와 침입자 판정장치(13)가 일체화된 장치가 사용되어도 되고, 또는 이들 모든 장치(1, 11∼13)가 일체화된 장치가 사용되어도 된다.
또, 본 예에서는 설명을 간략화하기 위하여 카메라(1), 사람 검출장치(11), 단말 검출장치(12), 침입자 판정장치(13), 감시 단말장치(14), 녹화장치(15), 경보장치(16)는 각 1대인 구성을 나타내었으나, 각각 적절하게 복수대로 하는 구성도 가능하다.
다음에 카메라(1) 및 무선 기지국장치(B1∼B3)의 설치의 위치관계에 대하여 설명한다.
도 2에는 카메라(1)와 무선 기지국장치(B1∼B3)의 설치위치관계의 일례를 나 타내고 있고, 감시대상영역(A3)을 바로 위에서 조감한 이미지를 나타내고 있다.
구체적으로는 카메라(1)(도면에서 작은 쪽의 사각부분)와, 무선 기지국장치(B1∼B3)(도면에서 삼각부분)와, 각 무선 기지국장치(B1∼B3)의 무선 도달범위(D1∼D3)(도면에서 원내부분)와, 감시대상영역(A3)(도면에서 큰 쪽의 사각 내의 사선부분)을 나타내고 있다.
카메라(1)는, 그 촬영범위가 감시대상영역(A3)과 동일(또는 근사)이 되도록 설치된다. 또한 카메라에 따라서는 촬영범위 중에서 임의의 범위를 유효범위로서 설정하는 것이 가능한 것이 있고, 이 경우에는 그 유효범위가 감시대상영역 (A3)과 동일(또는 근사)해지도록 설치하여도 좋다.
무선 기지국장치(B1∼B3)는, 본예에서는 무지향성의 무선방식을 사용하고 있고, 각각의 무선 도달범위(D1∼D3)는 원형상(3차원적으로는 반구형상)이 된다.
무선 기지국장치(B1∼B3)는, 도 2에 나타내는 바와 같이 무선 도달범위(D1∼D3)의 겹침부분이 감시대상영역(A3)을 완전히 포함하도록 설치된다. 또한 본예에서는 이 겹침부분이 감시대상영역(A3)에 비교적 깨끗하게(비교적 정확하게) 외접하도록 나타내고 있으나, 실제에 있어서도 감시대상영역(A3)을 완전하게 포함하는 것을 제 1 조건으로, 극력, 불일치부분이 적어지도록 설치하는 것이, 못보고 놓치는 것을 줄이기 위하여 바람직하다.
다음에 도 3을 참조하여 단말 검출장치(12)에 의하여 감시대상영역(A3) 내의 무선 단말장치의 수를 카운트하는 방법에 대하여 설명한다.
도 3에는 무선 기지국장치(B1∼B3)(도면에서 삼각부분)와, 각 무선 기지국장 치(B1∼B3)의 무선 도달범위(D1∼D3)(도면에서 큰 원내 부분)와, 복수(본예에서는 12대)의 무선 단말장치(E1∼E12)(도면에서 작은 원부분)를 나타내고 있다.
무선 기지국장치(B1)는, 무선 도달범위(D1) 내에 무선 단말장치(E1∼E10)를 포착하고 있는 상태이며, 무선 단말장치(E1∼E10)로부터 각각 간헐적으로 수신하고 있는 ID 데이터와 수신감도 데이터를, 차례로 단말 검출장치(12)에 전송하고 있다. 무선 기지국장치(B2)는, 무선 도달범위(D2) 내에 무선 단말장치(E1∼E9, E11, E12)를 포착하고 있는 상태이며, 무선 단말장치(E1∼E9, E11, E12)로부터 각각 간헐적으로 수신하고 있는 ID 데이터와 수신감도 데이터를, 차례로 단말 검출장치(12)에 전송하고 있다. 무선 기지국장치(B3)는, 무선 도달범위(D3) 내에 무선 단말장치(E1∼E8, El1, E12)를 포착하고 있는 상태이고, 무선 단말장치(E1∼E8, E11, E12)로부터 각각 간헐적으로 수신하고 있는 ID 데이터와 수신감도 데이터를, 차례로 단말 검출장치(12)에 전송하고 있다.
단말 검출장치(12)는, 각 무선 기지국장치(B1∼B3)로부터의 전송 데이터를 상시 수신하여, 현재에 있어서 각 무선 기지국장치(B1∼B3)가 어느 쪽의 무선 단말장치를 포착하고 있는지를 ID 데이터를 사용하여 관리한다.
단말 검출장치(12)는, 3대의 무선 기지국장치(B1∼B3)의 무선 도달범위(D1∼D3)의 겹침부분에 존재하는 무선 단말장치, 즉 3대의 무선 기지국장치(B1∼B3)의 모두에 포착하고 있는 무선 단말장치의 수를 카운트하여 감시대상영역(A3) 내의 무선 단말장치의 수로 한다.
본예에서는 이 겹침부분에는 무선 단말장치(E1∼E8)가 존재하고 있고, 무선 단말장치의 수는 8대가 된다.
다음에 도 4를 참조하여 침입자(2)의 유무 및 침입자(2)의 위치를 판정하는 방법에 대하여 설명한다.
도 4에는 침입자 판정장치(13)에 의하여 행하여지는 침입자 판정처리의 순서의 일례를 나타내고 있다.
침입자 판정장치(13)는 소정의 일정시간을 대기하고(단계 S1), 그 일정시간의 경과후에 다음의 처리(단계 S2)로 이행한다. 이 일정시간으로서는 예를 들면 감시대상영역(A3)의 면적이나 대상이 되는 물체(본예에서는 인간)의 이동속도 또는 촬영하는 카메라(1)와의 거리 등에 의하여 시스템 설계자가 최적의 값을 정하는 것이 바람직하다.
다음에 침입자 판정장치(13)는, 사람 검출장치(11)로부터 검출인수와 그것들의 위치정보를 수신하고(단계 S2), 단말 검출장치(12)로부터 검출 단말수와 그것들의 위치정보를 수신한다(단계 S3).
다음에 침입자 판정장치(13)는 얻어진 각 무선 단말장치(E1∼E8)의 위치정보에, 카메라(1)의 촬영범위정보를 겹쳐서 카메라(1)의 촬영범위 외에 존재하는 무선 단말장치를 제거한다(단계 S4). 이 필터링은 도 2에 나타내는 바와 같이 무선 도달범위(D1∼D3)의 겹침부분과 감시대상영역(A3)은 완전한 동일영역이 아니라, 겹침부분이어도 감시대상영역(A3)이 아닌 불일치부분이 존재하기 때문에, 이 불일치부분에 무선 단말장치가 존재할 가능성도 있기 때문에 실시한다. 카메라(1)의 촬영범위정보는 예를 들면 장치에 미리 사람의 손으로 설정하여 둔다. 본예에서는 이 필터링을 침입자 판정장치(13)에 의하여 실시하고 있으나, 단말 검출장치(12)에 의하여 실시하는 구성으로 할 수도 있다.
다음에 침입자 판정장치(13)는, 얻어진 검출인수(P)의 값과 얻어진 필터링후의 검출 단말수(이하에, 단지 검출 단말수라고 한다)(Q)의 값과의 대소관계를 비교한다(단계 S5).
이 비교의 결과(단계 S6), 검출인수(P)의 쪽이 검출 단말수(Q)보다 많은 즉, 「P > Q」의 관계에 있는 경우에는, 단계 S7의 처리로 이행하고, 또 검출인원수(P)가 검출 단말수(Q) 이하인 즉, 「P ≤ Q」의 관계에 있는 경우에는 단계 S11의 처리로 이행한다.
여기서 검출인수(P)가 검출 단말수(Q) 이하였던 경우에는, 침입자 판정장치(13)는 침입자가 존재하지 않는 것(침입자 없음)을 판정하고(단계 S11), 단계 S1의 처리로 되돌아간다.
한편, 상기한 비교결과로서(단계 S6), 검출인수(P)의 쪽이 검출 단말수(Q)보다 많았던 경우에는 침입자 판정장치(13)는 침입자(2)가 존재하는 것(침입자 있음)을 판정하여, 녹화장치(15)나 경보장치(16)를 향하여 트리거신호를 출력한다(단계 S7).
다음에 침입자 판정장치(13)는, 카메라(1)의 촬영범위 내에 대하여 단계 S2의 처리에 의하여 얻어진 각 사람의 위치정보와 단계 S3의 처리에 의하여 얻어진 각 무선 단말장치의 위치정보를 대조하여, 이들이 불일치가 되는 대상을 찾는 다(단계 S8). 여기서 위치정보의 대조에 있어서 일치라고 간주되는 허용오차로서는 예를 들면 장치에 대한 설정에 의하여 임의의 값으로 설정하는 것이 가능하다.
다음에 침입자 판정장치(13)는 얻어진 불일치한 대상을 침입자(2)라고 판정함과 동시에, 그 대상의 위치를 침입자(2)의 위치라고 판정한다(단계 S9).
또, 운대부착 카메라가 사용되고 있는 경우에는 침입자 판정장치(13)는 얻어진 침입자(2)의 위치에 대한 줌인 명령을 운대부착 카메라에 보낸다(단계 S10). 또한 시스템 내에 운대부착 카메라가 없는 경우 또는 줌인의 필요가 없는 경우에는 단계 S10의 처리는 생략한다.
그리고 침입자 판정장치(13)는, 단계 S1의 처리로 되돌아간다.
도 5a, 도 5b, 도 5c를 참조하여 검출인의 위치정보와 검출단말의 위치정보의 대조에 대하여 구체적으로 설명한다. 또한 본예에서는 도 1에 나타내는 감시대상영역(A3)의 상황을 예로 하고 있다.
도 5a에 나타내는 바와 같이 단계 S2의 처리에서 침입자 판정장치(13)에 의하여 얻어지는 검출인수는 9명이 되고, 또 각각의 사람(C1∼C8, 2)의 위치정보가 얻어진다. 또한 도 5a에서는 각각의 사람(C1∼C8, 2)을 그림적(visually)으로 나타내고 있으나, 침입자 판정장치(13) 내에서는 위치정보는 좌표값으로서 유지된다.
도 5b에 나타내는 바와 같이, 단계 S3의 처리에서 침입자 판정장치(13)에 의하여 얻어지는 검출 단말수는 8대가 되고, 또 각각의 무선 단말장치(E1∼E8)의 위치정보가 얻어진다. 또한 도 5b에서는 각각의 무선 단말장치(E1∼E8)를 그림적(visually)으로 나타내고 있으나, 침입자 판정장치(13) 내에서는 위치정보는 좌 표값으로서 유지된다.
또, 본예에서는 단계 S4의 처리에서 이들 모든 무선 단말장치(E1∼E8)는, 카메라(1)의 촬영범위에 존재하게 된다.
본예의 경우에는 단계 S5 및 단계 S6의 처리에 있어서, 검출인수 P = 9, 검출 단말수 Q = 8이고, 「P > Q」의 관계가 되기 때문에, 침입자 판정장치(13)에서는 단계 S7의 처리에서 침입자 있음이라고 판정되어, 트리거신호가 출력되고, 이것에 따라 녹화장치(15)는 녹화를 개시하고, 경보장치(16)는 경고음을 울리는 것이나 점멸하는 것 등에 의하여 감시자의 주의를 재촉한다. 또는 단계 S7이나 단계 S9의 후처리로서 감시단말장치(14)에 표시시키는 영상 위에 경고 메시지를 표시하거나, 영상 위의 침입자를 프레임으로 둘러 싸는 등으로 하여 침입자의 강조 표시를 행하도록 하여도 좋다.
도 5c에 나타내는 바와 같이 단계 S8의 처리에서 침입자 판정장치(13)에 의하여 사람의 위치정보와 무선 단말장치의 위치정보의 대조를 행한 결과로서, 단계 S9의 처리에서 1명의 사람이 침입자(2)로서 판정되고, 단계 S2의 처리에서 얻어진 그 사람의 위치정보가 침입자(2)의 위치정보로서 판정된다.
단계 S10의 처리에서 카메라(1)에 침입자(2)의 위치에 대한 줌인 명령이 보내지고, 이것에 의하여 침입자(2)가 감시단말장치(14)의 화면에 크게 비치게 되어 감시자는 침입자(2)의 얼굴이나 소지물이나 거동 등을 상세하게 볼 수 있게 된다. 또한 이와 같이 침입자(2)를 줌인하는 카메라로서는, 예를 들면 감시대상영역(A3)을 촬영하는 카메라(1)가 사용되어도 좋고, 또는 다른 카메라가 사용되어도 좋다. 다른 카메라로서는 예를 들면 침입자의 얼굴이 보이기 쉽도록 감시대상영역(A3)을 비스듬하게 윗쪽에서 촬영하고 있는 운대부착 카메라를 사용할 수 있다.
또한 단계 S10의 처리로서, 줌인에 의한 촬영 외에, 예를 들면 침입자(2)의 위치의 화상을 강조 표시하는 등으로 하여 다른 부분의 화상과 구별할 수 있도록 카메라를 제어하는 형태 등을 사용할 수도 있다.
또, 본예에서는 단계 S5 및 단계 S6의 처리에 있어서, 검출인수(P)가 검출 단말수(Q) 이하인, 즉 「P ≤ Q」의 관계에 있는 경우에는 침입자 없음이라고 판정하고 있다. 여기서「P = Q」뿐만 아니라 「P < Q」인 경우에도 침입자 없음이라고 판정함으로써, 사람 검출장치(11)가 사람의 겹침에 의하여 실제의 인원수보다 적게 판정된 경우에 있어서도 오보를 없앨 수 있다.
또, 예를 들면 도 3이나 도 5a, 도 5b, 도 5c에 나타내는 바와 같은 심벌을 모니터의 화면에 표시하는 구성을 사용할 수도 있다.
또, 예를 들면 각 무선 단말장치(E1∼E12)에 할당된 ID 데이터에 대응하여 상기 각 무선 단말장치(E1∼E12)의 유지자의 신장 데이터를 침입자 판정장치(13)가 데이터 베이스(131)에 의하여 기억하여 두고, 사람 검출장치(11)가 화상인식처리를 사용하여 각 사람의 신장을 검출하고, 침입자 판정장치(13)가 사람 검출장치(11)에 의하여 검출된 각 사람의 신장과 데이터 베이스(131)에 기억된 상기 각 사람의 신장 데이터를 대조하여, 이 대조의 결과, 신장 데이터가 일치하지 않는 경우에는 무선 단말장치가 원래의 유지자가 아닌 사람에게 장착되어 있는, 즉 예를 들면 악의가 있는 제3자에 의한 행세(imersonation)라고 하여, 녹화장치(15)나 경보장치(16) 를 동작시키는 구성을 사용할 수도 있다.
도 7에 언급하여 이 신장 데이터에 의거하여 침입자의 유무 및 침입자의 위치를 판정하는 방법에 대하여 설명한다.
도 7은 침입자 판정장치(13)에 의하여 행하여지는 침입자 판정처리의 순서의 일례를 나타내고 있다. 단계 S1, S3에서 S11까지는 도 4에 나타내는 처리순서와 동일하고, S2'와 새롭게 가해진 단계 S12 내지 S14에 대하여 설명한다.
단계 S2'에서는 검출인수와 각 위치정보에 더하여, 각 사람의 신장 데이터를 사람 검출장치로부터 수신한다. 단계 S6에서 P ≤ Q 라고 판정된 경우, 침입자 판정장치(13)는, 각 검출단말의 ID를 이용하여 그 단말의 소유자의 신장 데이터를 데이터 베이스(131)로부터 추출한다(단계 S12). 이어서 침입자 판정장치(13)는, 각 위치마다 단계 S2'에서 수신한 신장 데이터를 단계 S12에서 취득한 신장 데이터와 대조한다(단계 S13). 대조결과에 의거하여 침입자 판정장치(13)는 신장의 차가 어느 일정값 이상 있는지 비교하여(단계 S14), 신장차가 일정 이상 있는 경우는, 단계 S9로 진행하여 그 위치를 침입자의 위치라고 판정하고, 또한 그 위치의 사람을 침입자라고 판정한다. 단계 S14에서 신장의 차가 일정값 미만 인 경우는, 처리는 단계 S11로 진행하고, 침입자 없음이라고 판단한다.
이상과 같이, 본예의 침입자 검지 시스템에서는 감시대상영역(A3)에 비치고 있는 사람의 수와 각 사람의 위치를 검출하여 무선 기지국장치(B1∼B3)의 무선 도달범위(D1∼D3) 내에 존재하는 무선 단말장치(E1∼E8)의 수와 각 무선 단말장치 (E1∼E8)의 위치를 검출하여, 양자의 수의 대소관계로부터 침입자(2)의 유무를 판 정하고, 양자의 위치정보의 대조로부터 침입자(2)의 위치를 판정한다.
따라서 본예의 침입자 검지 시스템에서는, 예를 들면 평상시에 사람의 출입 특히 복수인의 출입이 있는 영역을 감시대상영역(A3)으로 하는 경우에 있어서도 침입자(2)를 검지하여 감시자에게 통보하는 것이나 침입자(2)에게 경고하는 것이 가능하게 되어 감시자의 부담경감이나 침입자(2)의 침입억지를 도모할 수 있다.
또, 본예의 침입자 검지 시스템에서는 팬/틸트/줌의 이른바 PTZ 제어가 가능한 운대부착 카메라를 사용하는 경우에 있어서는, 침입자(2)를 검지하였을 때에는 그 침입자(2)를 향하여 운대부착 카메라를 줌인 동작시킴으로써, 감시자에 의하여 침입자(2)의 얼굴이나 소지물이나 거동 등을 상세하게 보는 것이 가능해져 감시자가 원격지에서도 더욱 적확하게 대응을 취하도록 지원할 수 있다.
또한 본예에서는 감시 시스템으로서 침입자 검지 시스템의 예를 나타내고 있고, 대상으로서 사람을 이용하고 있으며, 진정대상으로서 무선 단말장치(E1∼E8)를 유지한 아동(C1∼C8)을 이용하고 있고, 부정대상으로서 침입자(2)를 이용하고 있다.
또, 본예에서는 감시대상영역(A3)의 영상을 촬영하는 카메라(1)의 기능에 의하여 촬상장치가 구성되어 있고, 대상의 수나 위치를 검출하는 사람 검출장치(11)의 기능에 의하여 대상검출장치가 구성되어 있고, 무선 단말장치(E1∼E8)로부터 무선 송신되는 신호를 수신하는 무선 기지국장치(B1∼B3)의 기능에 의하여 무선 수신장치가 구성되어 있고, 무선 단말장치(E1∼E8)의 수나 위치를 검출하는 단말 검출장치(12)의 기능에 의하여 단말 검출장치가 구성되어 있고, 부정대상을 검출하는 침입자 판정장치(13)의 기능에 의하여 부정대상 검출장치가 구성되어 있고, 부정대상이 검출된 경우에 녹화를 행하는 녹화장치(15)나 경보를 발하는 경보장치(16) 등의 기능에 의하여 부정시 처리장치가 구성되어 있고, 대상의 크기에 대하여 판단하는 경우에 무선 단말장치(E1∼E12)의 식별정보(본예에서는 ID 데이터)와 그것을 유지하는 대상의 크기(본예에서는 사람의 신장)와의 대응을 메모리 또는 데이터 베이스에 기억하는 침입자 판정장치(13)의 기능에 의하여 기억장치가 구성되어 있다.
여기서 본 발명에 관한 시스템이나 장치 등의 구성으로서는, 반드시 이상에 나타낸 것에 한정되지 않고, 여러가지 구성이 사용되어도 좋다. 또 본 발명은 예를 들면 본 발명에 관한 처리를 실행하는 방법 또는 방식이나, 이와 같은 방법이나 방식을 실현하기 위한 프로그램이나 상기 프로그램을 기록하는 기록매체 등으로서 제공하는 것도 가능하고, 또 여러가지 시스템이나 장치로서 제공하는 것도 가능하다.
또, 본 발명의 적용분야로서는 반드시 이상에 나타낸 것에 한정되지 않고, 본 발명은 여러가지 분야에 적용하는 것이 가능한 것이다.
또, 본 발명에 관한 시스템이나 장치 등에 있어서 행하여지는 각종 처리로서는 예를 들면 프로세서나 메모리 등을 구비한 하드웨어자원에 있어서 프로세서가 ROM(Read Only Memory)에 저장된 제어 프로그램을 실행함으로써 제어되는 구성이 사용되어도 좋고, 또 예를 들면 상기 처리를 실행하기 위한 각 기능수단이 독립된 하드웨어회로로서 구성되어도 좋다.
또, 본 발명은 상기한 제어 프로그램을 저장한 플렉시블 디스크(플로피(TM) 디스크)나 CD(Compact Disc)- ROM 등의 컴퓨터에 의하여 판독 가능한 기록매체나 상기 프로그램(자체)으로서 파악할 수도 있고, 상기 제어 프로그램을 상기 기록매체로부터 컴퓨터에 입력하여 프로세서에 실행시킴으로써 본 발명에 관한 처리를 수행시킬 수 있다.
이상 설명한 바와 같이, 본 발명에 관한 감시 시스템에 의하면, 소정의 영역(감시대상이 되는 영역)의 영상을 촬영하고, 촬영된 영상에 의거하여 상기 영상에 비친 대상을 검출하고, 상기 소정의 영역에 존재하는 무선 단말장치로부터 무선에 의하여 송신되는 신호를 수신하고, 수신된 신호에 의거하여 무선 단말장치를 검출하여 진정대상은 무선 단말장치를 유지하고 있고, 부정대상은 무선 단말장치를 유지하고 있지 않는 것에 의거하여 부정대상을 검출하도록 하였기 때문에, 예를 들면 평상시에 대상(예를 들면, 사람)의 출입이 있는 영역에 대하여 진정대상(예를 들면, 아동) 중에 존재하는 부정대상(예를 들면, 침입자)을 발견할 수 있다.

Claims (9)

  1. 부정대상을 검출하는 감시 시스템에 있어서,
    소정의 영역의 영상을 촬영하는 촬상장치와,
    상기 촬상장치에 의하여 촬영된 영상에 의거하여 상기 영상에 비친 대상에 관한 정보를 검출하는 대상 검출장치와,
    진정대상에 의하여 유지되는 무선 단말장치와,
    상기 소정의 영역에 존재하는 상기 무선 단말장치로부터 무선에 의하여 송신되는 신호를 수신하는 무선 수신장치와,
    상기 무선 수신장치에 의하여 수신된 신호에 의거하여 상기 무선 단말장치에 관한 정보를 검출하는 단말 검출장치와
    상기 대상 검출장치에 의하여 검출된 정보 및 상기 단말 검출장치에 의하여 검출된 정보에 의거하여 부정대상에 관한 정보를 검출하는 부정대상 검출장치를 구비한 것을 특징으로 하는 감시 시스템.
  2. 제 1항에 있어서,
    상기 대상 검출장치는, 상기 대상에 관한 정보로서, 상기 대상의 수 및 위치에 관한 정보를 검출하고,
    상기 단말 검출장치는, 상기 무선 단말장치에 관한 정보로서, 상기 무선 단말장치의 수 및 위치에 관한 정보를 검출하고,
    상기 부정대상 검출장치는, 상기 대상 검출장치에 의하여 검출된 상기 대상의 수가 상기 단말 검출장치에 의하여 검출된 상기 무선 단말장치의 수보다 많은 경우에, 상기 대상 검출장치에 의하여 검출된 상기 대상의 위치와 상기 단말 검출장치에 의하여 검출된 상기 무선 단말장치의 위치가 불일치한 대상을 부정대상으로 하고, 상기 부정대상에 관한 정보를 검출하는 것을 특징으로 하는 감시 시스템.
  3. 제 2항에 있어서,
    상기 무선 수신장치를 3개 이상의 복수 구비하고,
    상기 단말 검출장치는, 상기 복수의 무선 수신장치에 의하여 수신된 신호 에 의거하여 상기 무선 단말장치의 위치에 관한 정보를 검출하는 것을 특징으로 하는 감시 시스템.
  4. 제 2항에 있어서,
    상기 부정대상 검출장치에 의하여 상기 부정대상이 존재하는 것이 검출된 경우에 소정의 처리를 실행하는 부정시 처리장치를 구비하는 것을 특징으로 하는 감시 시스템.
  5. 제 2항에 있어서,
    상기 진정대상에 의하여 유지되는 상기 무선 단말장치의 식별정보와 상기진정대상의 크기에 관한 정보와의 대응을 기억하는 기억장치를 구비하고,
    상기 대상 검출장치는, 상기 대상에 관한 정보로서, 상기 대상의 크기에 관한 정보를 검출하고,
    상기 부정대상 검출장치는, 상기 대상의 위치와 상기 무선 단말장치의 위치가 일치한 때에 있어서도 상기 대상 검출장치에 의하여 검출된 상기 대상의 크기에 관한 정보 및 상기 기억장치의 기억내용에 의거하여 상기 대상의 크기와 상기 무선 단말장치의 식별정보에 대응한 크기가 불일치한 경우에는, 부정대상이라고 판정하는 것을 특징으로 하는 감시 시스템.
  6. 부정대상을 검출하는 감시방법은,
    소정의 영역의 영상을 촬상장치로 촬상하고,
    상기 촬상장치에 의하여 촬영된 영상에 의거하여 상기 영상 내의 대상의 수(P)와 위치를 포함하는 정보를 대상 검출장치로 검출하고,
    상기 소정의 영역에 존재하는 상기 대상이 유지하는 곳의 무선 단말장치로부터 무선에 의하여 송신되는 신호를 무선 수신장치로 수신하고,
    상기 무선 수신장치에 의하여 수신된 신호에 의거하여 상기 무선 단말장치의 수(Q)와 위치를 포함하는 정보를 단말 검출장치로 검출하고,
    상기 대상 검출장치에 의하여 검출된 상기 정보와 상기 단말 검출장치에 의하여 검출된 상기 정보에 의거하여 부정대상에 관한 정보를 부정대상 검출장치로 검출하는 단계를 포함하는 것을 특징으로 하는 감시방법.
  7. 제 6항에 있어서,
    상기 부정대상에 관한 정보를 검출하는 단계는,
    상기 검출된 대상의 수(P)와 상기 검출된 무선 단말장치의 수(Q)를 비교하여, 상기 검출된 대상의 수(P)가 상기 검출된 무선 단말장치의 수(Q)보다 클 때, 부정대상 있음이라고 판정하고, 상기 감시방법은 또한
    상기 영상 내의 상기 대상의 위치와 상기 무선 단말장치의 위치를 대조하여 불일치한 대상을 찾는 단계와,
    불일치한 대상을 부정대상이라고 판정하고, 불일치한 위치를 부정대상의 위치라고 판정하는 단계를 가지는 것을 특징으로 하는 감시방법.
  8. 부정대상을 검출하는 감시방법은,
    무선 단말장치를 유지하여 운반하는 진정대상의 크기(size)를, 상기 무선 단말장치의 ID 데이터와 대응시켜 미리 기억장치에 기억하여 두고,
    소정의 영역의 영상을 촬상장치로 촬상하고,
    상기 촬상장치에 의하여 촬영된 영상에 의거하여 상기 영상 내의 대상의 수(P)와 위치와 크기(size)를 포함하는 정보를 대상 검출장치로 검출하고,
    상기 소정의 영역에 존재하는 상기 대상이 유지하는 무선 단말장치로부터 무선에 의하여 송신되는 신호를 무선 수신장치로 수신하고,
    상기 무선 수신장치에 의하여 수신된 신호에 의거하여 상기 무선 단말장치의 수(Q)와 위치와 ID 데이터를 포함하는 정보를 단말 검출장치로 검출하고,
    상기 대상 검출장치에 의하여 검출된 상기 정보와 상기 단말 검출장치에 의하여 검출된 상기 정보에 의거하여 부정대상에 관한 정보를 부정대상 검출장치로 검출하는 단계를 포함하는 것을 특징으로 하는 감시방법.
  9. 제 8항에 있어서,
    상기 부정대상에 관한 정보를 검출하는 단계는,
    상기 검출된 대상의 수(P)와 상기 검출된 무선 단말장치의 수(Q)를 비교하여 상기 검출된 대상의 수(P)가 상기 검출된 무선 단말장치의 수(Q)와 동수이거나 또는 그것보다 작을 때, 상기 감시방법은,
    상기 검출된 무선 단말장치의 ID 데이터를 이용하여, 상기 무선 단말장치를 유지하는 진정대상의 크기를 상기 기억장치로부터 추출하고(S12),
    상기 영상 내의 상기 대상의 크기와 상기 기억장치로부터 추출한 무선 단말장치를 유지하는 진정대상의 크기를 대조하여(S13),
    상기 영상 내의 상기 대상의 크기와 상기 기억장치로부터 추출한 무선 단말장치를 유지하는 대상의 크기를 비교하여(S14),
    불일치한 대상을 부정대상이라고 판정하고, 불일치인 위치를 부정대상의 위치라고 판정하는 단계(S9)를 더 포함하는 것을 특징으로 하는 감시방법.
KR1020070020904A 2006-03-22 2007-03-02 감시 시스템 및 감시방법 KR100882890B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006078338A JP4617269B2 (ja) 2006-03-22 2006-03-22 監視システム
JPJP-P-2006-00078338 2006-03-22

Publications (2)

Publication Number Publication Date
KR20070095769A true KR20070095769A (ko) 2007-10-01
KR100882890B1 KR100882890B1 (ko) 2009-02-10

Family

ID=38631339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070020904A KR100882890B1 (ko) 2006-03-22 2007-03-02 감시 시스템 및 감시방법

Country Status (3)

Country Link
US (1) US7535353B2 (ko)
JP (1) JP4617269B2 (ko)
KR (1) KR100882890B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157918A1 (ko) * 2020-02-05 2021-08-12 삼성전자 주식회사 안전 서비스를 제공하는 전자 장치 및 그 방법

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8376216B2 (en) * 2005-02-25 2013-02-19 Kyocera Corporation Reader device with reading time counting unit
US8917165B2 (en) * 2007-03-08 2014-12-23 The Mitre Corporation RFID tag detection and re-personalization
US8199009B2 (en) * 2007-06-08 2012-06-12 Bas Strategic Solutions, Inc. Method and system for administering remote area monitoring system
US8212669B2 (en) * 2007-06-08 2012-07-03 Bas Strategic Solutions, Inc. Remote area monitoring system
JP5001808B2 (ja) * 2007-12-06 2012-08-15 株式会社竹中工務店 犯罪防止装置及び犯罪防止プログラム
ES2334617B1 (es) * 2008-02-13 2011-02-10 Jose Juan Blanch Puig Sistema y procedimiento para monitorizar la actividad de una persona en un recinto, y sensor para detectar una persona en un area predefinida.
JP5004845B2 (ja) * 2008-03-26 2012-08-22 キヤノン株式会社 監視端末装置およびその表示処理方法,プログラム,メモリ
US9779598B2 (en) * 2008-11-21 2017-10-03 Robert Bosch Gmbh Security system including less than lethal deterrent
US8164443B2 (en) * 2009-04-08 2012-04-24 International Business Machines Corporation Group aware tracking of personal property within a bounded zone
US9711034B2 (en) * 2010-01-11 2017-07-18 Isaac S. Daniel Security system and method
JP4888587B2 (ja) 2010-07-07 2012-02-29 日本電気株式会社 色情報生成システム、色情報生成装置、色情報生成方法および色情報生成プログラム
EP2565857B1 (de) * 2011-09-01 2017-05-31 Siemens Schweiz AG Verfahren und System zur Bewertung der Sicherheitslage in einem Gebäude mit Aufenthaltsbereichen mit Zugangsberechtigung
US9179104B2 (en) 2011-10-13 2015-11-03 At&T Intellectual Property I, Lp Method and apparatus for managing a camera network
EP2820625A1 (en) * 2012-02-29 2015-01-07 Koninklijke Philips N.V. Apparatus, method and system for monitoring presence of persons in an area
US9172917B1 (en) * 2012-08-17 2015-10-27 Kuna Systems Corporation Internet protocol security camera connected light bulb/system
US9143741B1 (en) 2012-08-17 2015-09-22 Kuna Systems Corporation Internet protocol security camera connected light bulb/system
US11523485B1 (en) * 2012-08-17 2022-12-06 Kuna Systems Corporation Reduced false alarms for outdoor IP security cameras
US10117309B1 (en) * 2012-08-17 2018-10-30 Kuna Systems Corporation Internet protocol security camera with behavior detection
US9325949B2 (en) 2012-11-19 2016-04-26 Qualcomm Incorporated Intrusion detection
EP3084721A4 (en) * 2013-12-17 2017-08-09 Intel Corporation Camera array analysis mechanism
WO2015101356A1 (en) * 2014-01-06 2015-07-09 Binatone Electronics International Limited Dual mode baby monitoring priority application
KR101593187B1 (ko) * 2014-07-22 2016-02-11 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US20180054597A1 (en) * 2015-03-30 2018-02-22 Nec Corporation Monitoring system, monitored device, control method, and recording medium
EP3398029B1 (en) * 2015-12-31 2021-07-07 Robert Bosch GmbH Intelligent smart room control system
US10542429B2 (en) 2016-04-13 2020-01-21 Allied Telesis Holdings K.K. Communication terminal identification information identifying processing system
CN105844756B (zh) * 2016-04-22 2018-12-07 西安交通大学 一种基于射频反向散射信号的人数计数方法
DE102016213982A1 (de) * 2016-07-29 2018-02-01 Robert Bosch Gmbh Konzept zum Überwachen eines Parkplatzes für Kraftfahrzeuge
CN106898069B (zh) * 2017-02-24 2019-10-01 广东林盟科技有限公司 门禁系统
JP6365906B1 (ja) * 2017-03-01 2018-08-01 パナソニックIpマネジメント株式会社 3次元侵入検知システムおよび3次元侵入検知方法
US11024105B1 (en) * 2017-10-16 2021-06-01 Cybra Corporation Safety and security methods and systems
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
TWI672595B (zh) * 2018-04-09 2019-09-21 宏碁股份有限公司 監視方法與使用此方法的電子裝置
CN109448194A (zh) * 2018-12-03 2019-03-08 厦门路桥信息股份有限公司 入侵侦测跟踪系统及方法
JP2020102817A (ja) * 2018-12-25 2020-07-02 凸版印刷株式会社 監視対象識別装置、監視対象識別システム、および、監視対象識別方法
JP7457948B2 (ja) 2021-03-10 2024-03-29 パナソニックIpマネジメント株式会社 位置推定システム、位置推定方法、位置情報管理システム、位置情報管理方法及びプログラム
CN116997289A (zh) * 2021-03-25 2023-11-03 索尼集团公司 手术室系统、图像记录方法、程序和医疗信息处理系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000023953A (ko) * 1999-12-15 2000-05-06 이광호 단말 구성원간의 입출 확인이 가능한 생활안전종합관리시스템
JP2003132468A (ja) * 2001-10-24 2003-05-09 Shimizu Corp 公開空間におけるセキュリティシステム
US7123126B2 (en) * 2002-03-26 2006-10-17 Kabushiki Kaisha Toshiba Method of and computer program product for monitoring person's movements
JP2004005511A (ja) * 2002-03-26 2004-01-08 Toshiba Corp 監視システム、監視方法および監視プログラム
JP4032908B2 (ja) * 2002-10-01 2008-01-16 カシオ計算機株式会社 入場者管理システムおよびプログラム
JP2005143016A (ja) 2003-11-10 2005-06-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
JP4559819B2 (ja) * 2004-10-29 2010-10-13 セコム株式会社 不審者検出システム及び不審者検出プログラム
JP2006202062A (ja) 2005-01-20 2006-08-03 Toshiba Corp 施設監視システム
JP2006244226A (ja) 2005-03-04 2006-09-14 Adc Technology Kk 出退制限システムおよび認証媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157918A1 (ko) * 2020-02-05 2021-08-12 삼성전자 주식회사 안전 서비스를 제공하는 전자 장치 및 그 방법

Also Published As

Publication number Publication date
JP2007257122A (ja) 2007-10-04
JP4617269B2 (ja) 2011-01-19
US7535353B2 (en) 2009-05-19
KR100882890B1 (ko) 2009-02-10
US20080074256A1 (en) 2008-03-27

Similar Documents

Publication Publication Date Title
KR100882890B1 (ko) 감시 시스템 및 감시방법
KR100962529B1 (ko) 객체 추적 방법
US9767663B2 (en) GPS directed intrusion system with data acquisition
CA2814366C (en) System and method of post event/alarm analysis in cctv and integrated security systems
US9053621B2 (en) Image surveillance system and image surveillance method
KR101248054B1 (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
KR101936837B1 (ko) 맵기반 지능형 영상통합 감시시스템 및 이를 이용한 감시 방법
JP6529062B1 (ja) デジタルアキュレート・セキュリティシステム、方法及びプログラム
KR102084687B1 (ko) 불법촬영 보안 관제 서비스 제공 방법 및 그 시스템
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
KR101046819B1 (ko) 소프트웨어 휀스에 의한 침입감시방법 및 침입감시시스템
JP6754451B2 (ja) 監視システム、監視方法及びプログラム
JP7031817B2 (ja) 監視システム、監視プログラム、および、記憶媒体
KR101028524B1 (ko) 입산 및 수영 금지구역 등의 출입금지 구역을 단속, 경고 및 홍보하는 cctv 시스템 및 그 구동방법
JP2004030022A (ja) 侵入検知システム
Rafiee et al. Improving indoor security surveillance by fusing data from BIM, UWB and video
KR20120068150A (ko) 객체 추적 시스템 및 그 방법
JP2005346545A (ja) 監視装置及びプログラム
KR20160086536A (ko) 시공적 상황데이터를 이용한 경고 방법 및 시스템
KR102043923B1 (ko) 휴대용 iot센서 기반 보안방범 관제시스템 및 그 방법
KR101741312B1 (ko) 가정용 실시간 감시시스템
RU2703180C2 (ru) Способ интеллектуального мониторинга охраняемого объекта и устройство для его осуществления
JP2004104510A (ja) 監視システム
US10586432B2 (en) Systems and methods for intrusion detection using selective masking
KR102008239B1 (ko) 스마트 방범 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140117

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150119

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 10