KR20080058171A - 카메라 템퍼링 검출 - Google Patents
카메라 템퍼링 검출 Download PDFInfo
- Publication number
- KR20080058171A KR20080058171A KR1020070118428A KR20070118428A KR20080058171A KR 20080058171 A KR20080058171 A KR 20080058171A KR 1020070118428 A KR1020070118428 A KR 1020070118428A KR 20070118428 A KR20070118428 A KR 20070118428A KR 20080058171 A KR20080058171 A KR 20080058171A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- edge image
- counter
- tempering
- camera
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/02—Monitoring continuously signalling or alarm systems
- G08B29/04—Monitoring of the detection circuits
- G08B29/046—Monitoring of the detection circuits prevention of tampering with detection circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Alarm Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
본 발명은 카메라 시야의 가능한 템퍼링(temparing)을 식별하는 방법 및 모듈에 관한 것이다. 본 발명에 의한 방법은 이미지 순서로부터 분석을 위한 이미지를 수신하는 단계, 수신된 이미지를 엣지 이미지로 변환하는 단계, 상기 엣지 이미지 및 참조 엣지 이미지 사이의 유사성 레벨을 나타내는 유사성 값을 발생시키는 단계, 유사성 값이 규정된 템퍼링 범위 내에 있다면 카메라의 시야의 가능한 템퍼링을 나타내는 단계 및 소정의 수의 연속적으로 분석되는 이미지들 중 각각의 하나가 가능한 템퍼링의 표시를 가져오지 않는 경우에 최근 분석된 엣지 이미지를 기준 엣지 이미지와 결합함으로써 기준 엣지 이미지를 업데이트하는 단계를 포함한다.
템퍼링, 비템퍼링, 엣지 이미지, 모니터링 카메라
Description
본 발명은 카메라의 템퍼링을 검출하는 방법, 모듈 및 모니터링 카메라의 템퍼링을 검출하는 모니터링 카메라에 관한 것이다.
건물, 특히 흥미있는 에어리어를 모니터링하는 카메라 및/또는 절차를 포함하는 모니터링 시스템은 흥미있는 이미지 시야로부터 주기적으로 업데이트되는 이미지를 제공하기 위해서, 즉, 흥미있는 환경의 비디오 시퀀스를 제공하기 위해서 광범위하게 사용된다. 카메라로 모니터링하는 것의 문제점은 카메라로부터 이미지 시야가 덮일 수 있거나, 임의의 다른 방법으로 차단되거나 변경될 수 있다는 것이다. 예를 들어, 카메라의 렌즈는 예컨대, 페인트, 파우더, 습기, 천조각 등에 의해 신중하게 또는 고의가 아니게 덮일 수 있고, 카메라는 흥미없는 카메라 시야를 나타내기 위해서 신중하거나 고의가 아니게 다시 방향지어질 수 있고, 카메라가 제거될 수 있거나, 카메라가 심하게 초점이 흐려질 수 있다. 특히, 카메라의 템퍼링은 감시 상황에서 원하지 않는 것이고, 예컨대, 반달리즘 양상일 수 있고, 범죄 준비일 수 있거나 부주의로 인하여 간단히 생성될 수 있다. 두 가지 방법으로, 감시 카메라는 템퍼링될 때 사용이 제한될 수 있다.
그러므로 카메라 시야가 차단되거나 카메라가 흥미없는 비디오 시퀀스를 전달하거나 중요한 이벤트를 숨기는 결과를 가져오는 것으로 템퍼링될 수 있는 여러 방법이 있다. 그러므로 카메라가 차단되거나 템퍼링될 때 자동으로 대체되거나 경고를 울리는 것이 중요하다.
카메라 기능 장애를 검출하는 한 방법은 Symposium on Image Analysis and Interpretation, 2004. 6th IEEE Southwest, March 2004, pp 36-40에서 Harasse S 등에 의한 "Automated Camera Dysfuction Detection"에 개시된다. 이 문서에 따르면, 카메라의 변위, 차단 또는 카메라의 초점이 흐려지는 것을 검출함으로써 카메라의 기능 장애가 검출된다. 카메라의 기능 장애를 검출하는 절차는 T 프레임의 이미지 시퀀스의 각각의 프레임으로부터 강한 엣지들을 선-어큐뮬레이터(pre-accumulator)내에서 축적하는 것을 포함한다. 그리고 나서 N개의 선-어큐뮬레이터가 발생되어 저장된다. N개의 선-어큐뮬레이터로부터, 일시적인 어큐뮬레이터가 발생된다. 일시적인 어큐뮬레이터는 새로운 선-어큐뮬레이터를 생성하고, 일시적인 어큐뮬레이터로부터 가장 오래된 선-어큐뮬레이터를 추출하며 새로운 선-어큐뮬레이터를 일시적인 어큐뮬레이터에 부가함으로써 업데이트된다. 카메라의 변위를 검출하기 위해서, 일시적인 어큐뮬레이터와 동일한 방법으로 발생되는 기준 어큐뮬레이터 및 현재 어큐뮬레이터가 블록 부합 알고리즘을 사용하여 부합되는데, 이는 두 개의 어큐뮬레이터 간의 일반화된 상호 작용을 최대화시키고, 기준 어큐뮬레이터 및 현재 어큐뮬레이터 간의 관련된 병진이 식별된다. 차단은 여러 블록으로 이미지 공간을 분리함으로써 검출되고 엔트로피를 측정함으로써 각 블록에서 정보 품질을 측정함으로써 검출된다. 초점 변화는 단지 적합한 엣지에서의 에너지 증감을 계산함으로써 검출된다.
상기 제안된 기능 장애 검출은 이미지 프레임 및 여러 유형의 어큐뮬레이터에 대한 많은 메모리를 필요로 한다. 게다가 검출은 많은 프로세싱 용량을 필요로 하고 복잡하다.
본 발명의 목적은 카메라 시야의 템퍼링의 식별을 개선하는 것이다.
목적은 청구항 1에 따른 카메라 시야의 템퍼링을 식별하는 방법, 청구항 11에 따른 카메라 시야의 가능한 템퍼링을 식별하는 모듈, 청구항 20 및 21 각각에 따른 상기 모듈을 포함하고 상기 방법을 수행하는 감시 카메라 및 청구항 22에 따른 컴퓨터 프로그램에 의해 성취된다. 본 발명의 부가적인 실시예는 종속항에서 개시된다.
특히, 본 발명의 제1 양상의 일 실시예에 따르면, 카메라 시야의 가능한 템퍼링을 식별하는 방법은 이미지 시퀀스로부터 분석하기 위한 이미지를 수신하는 단계, 수신된 이미지를 엣지 이미지로 변환하는 단계 및 상기 엣지 이미지 및 기준 엣지 이미지 사이의 유사성 레벨을 나타내는 유사성 값을 발생시키는 단계를 포함한다. 게다가, 방법은 유사성 값이 규정된 템퍼링 범위 내에 있다면, 카메라의 시야의 가능한 템퍼링을 나타내는 단계 및 소정의 수의 연속적으로 분석되는 이미지들 중 각각의 하나가 가능한 템퍼링의 표시의 결과를 가져오지 않는 경우에 최근 분석된 엣지 이미지를 기준 엣지 이미지와 결합함으로써 기준 엣지 이미지를 업데이트하는 단계를 포함한다.
본 발명의 제2 양상의 일 실시예에 따르면, 카메라 시야의 가능한 템퍼링을 식별하는 모듈이 이미지 시퀀스로부터 분석하기 위한 이미지를 수신하는 수단 및 수신된 이미지를 엣지 이미지로 변환시키도록 배열된 엣지 이미지 발생기를 포함한다. 모듈은 또한 엣지 이미지 및 기준 엣지 이미지 사이의 유사성 레벨을 나타내는 유사성 값을 발생시키도록 배열되고 유사성 값이 규정된 템퍼링 범위 내에 있다면, 카메라의 시야의 가능한 템퍼링을 나타내도록 배열된 상호 관련 평가기 및 소정의 수의 연속적으로 분석되는 이미지들 중 각각의 하나가 가능한 템퍼링의 표시의 결과를 가져오지 않는 경우에 최근 분석된 엣지 이미지를 기준 엣지 이미지와 결합함으로써 기준 엣지 이미지를 업데이트하도록 배열된 기준 엣지 이미지 업데이터를 포함한다.
상기 방법 및 상기 모듈의 이점은 이들 둘 다가 적은 양의 메모리를 필요로 하고, 단순하며, 프로세싱 용량을 거의 필요로 하지 않는다는 것이다. 다른 이점은 방법 및 모듈이 이미지 센서로부터 각각의 이미지가 분석되는 것을 필요로 하지 않고 이미지 시퀀스의 두 개의 분석된 이미지 간에 일정한 수의 프레임조차 필요로 하지 않는다는 것이다. 이는 방법 및 모듈을 로버스트(robust)하게 하고 다른 중요한 임무가 우선 순위지어질 수 있는 시스템을 사용하도록 한다.
상기 방법 및 모듈의 다른 이점은 방법 및 모듈에 의해 사용될 단지 두 개의 이미지가 임의의 소정의 시간에 메모리에 저장될 필요가 있다는 것이다.
다른 실시예 및 본 발명의 제1 양상에 따르면, 엣지 이미지로 변환될 이미지의 해상도가 감소된다. 본 발명의 제2 양상에 따르면, 이는 스케일링 수단에 의해 수행된다.
해상도의 감소는 템퍼링 검출이 진동 및 적은 움직임에 덜 민감하도록 하고, 적은 프로세싱 용량을 필요로 하며, 필요로 되는 메모리 양이 매우 감소시키도록 한다.
또 다른 실시예에 따르면, 방법은 이미지 시퀀스의 적어도 하나의 연속적인 이미지가 분석을 위해 선택되지 않은 후에만 분석을 위한 새로운 이미지를 선택하는 단계를 포함한다. 이는 더 적은 프로세싱 캐패시티를 사용하여 템퍼링을 식별하는 결과를 가져온다.
다른 실시예에 따르면, 방법은 또한 카메라 시야의 가능한 템퍼링에 대한 상기 표시에 대한 응답으로 카운터(npt)에 의해 카운팅하는 단계를 포함한다.
또 다른 실시예에 따르면, 방법은 또한 카운터(npt)가 소정의 경고 제한에 도달하면 경고 신호를 발생시키는 단계를 포함한다. 다수의 가능한 카메라 템퍼링 표시를 필요로 함으로써, 경고 설정 전에, 시스템은 모니터링 카메라와의 템퍼링에 기인하지 않는 가끔씩의 차단에 덜 민감하게 된다.
다른 실시예에 따르면, 방법은 상기 템퍼링 범위 내에 있지 않은 상기 유사성 값에 응답하여 카운터(nnt)에 의해 카운팅하는 단계 및 현재 분석된 이미지가 카운터(nnt) 카운팅하는 결과를 가져오고 이전에 분석된 이미지가 카운터(npt) 카운팅하는 결과를 가져온다면, 카운터(npt)를 재설정하는 단계를 더 포함한다. 분석이 비템퍼링(non tampering)을 나타낼 때 가능한 템퍼링의 결과를 가져오는 분석된 이미 지를 카운팅하는 카운터(npt)의 재설정은 소정의 수의 연속적으로 분석된 이미지가 가능한 템퍼링을 나타낼 때만 트리거된다. 이는 한번 이상 발생하는 다수의 가끔씩의 차단에 덜 민감하게 된다는 이점이 있다.
다른 실시예에 따르면, 현재 분석된 이미지가 카운터(npt) 카운팅하는 결과를 가져오고 이전에 분석된 이미지가 카운터(nnt) 카운팅하는 결과를 가져온다면, 카운터(nnt)가 재설정된다.
또 다른 실시예에 따르면, 상기 기준 엣지 이미지의 업데이트는 카운터(nnt)가 소정의 업데이트 제한을 지나 카운팅된다면 수행된다. 이는 기준 엣지 이미지의 업데이트가 로버스트해지고 적합해진다는 이점이 있다.
다른 실시예에 따르면, 최근 분석된 엣지 이미지를 기준 엣지 이미지와 결합함으로써 기준 엣지 이미지를 업데이트하는 것은 제1 인자로 승산되는 최근 분석된 엣지 이미지를 제2 인자로 승산되는 기준 엣지 이미지와 결함하는 것을 포함한다. 이런 특징은 새로운 엣지 이미지만이 업데이트를 위해 사용되는 엣지 이미지에 의해 부분적으로 영향을 받기 때문에 또한 기준 엣지 이미지를 안정시킨다.
또 다른 실시예에 따르면, 제1 인자는 1보다 작은 값이고, 제2 인자는 1에서 제1 인자를 뺀 것에 상응하는 값이다. 이런 특징은 기준 이미지를 또한 안정시킬 수 있다.
본 발명의 다른 양상에 따르면, 본 발명의 방법 또는 모듈은 모니터링 카메 라에서 사용될 수 있다. 본 발명에 따른 방법 및 모듈은 제한된 자원을 제공하는 환경에서 동작할 수 있고, 그러므로 모니터링 카메라에서 유리하게 구현될 수 있다.
본 발명의 적용성의 부가적인 범위는 아래에서 주어진 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 정신 및 범위 내에서 여러 변화 및 수정이 이런 상세한 설명으로부터 당업자에게 명백해질 것이기 때문에 상세한 설명 및 특정한 예들은 본 발명의 바람직한 실시예를 나타내는 동안 단지 설명을 위해서 제공된다.
본 발명의 다른 특징 및 이점이 첨부된 도면을 참조하여 현재 바람직한 실시예의 다음 상세한 설명으로부터 명백해질 것이다.
본 발명에 따르면, 잠재적인 카메라 템퍼링을 검출하는 것은 모니터링 카메라에 의해 발생되는 이미지 시퀀스로부터의 이미지의 분석에 기초한다. 도1에서, 모니터링 카메라(10,20)는 감시 센터(14), 클라이언트 컴퓨터(16) 및/또는 비디오 서버(18)로 네트워크(12)를 통해 연결되는 것으로 도시된다. 도면은 단지 모니터링 카메라(10)와 상호 작용할 수 있는 여러 수단을 도시하도록 의도된다. 모니터링 카메라(10)는 이미지 시퀀스를 발생시키리 수 있는 임의의 디지털 카메라(10)일 수 있거나, 모니터링 카메라(20)는 이미지 시퀀스를 발생시킬 수 있고 아날로그 이미지 정보를 디지털 이미지 데이터로 변환하는 컨버터(22)에 접속될 수 있으며 디지털 이미지 데이터를 네트워크(12)에 제공할 수 있는 임의의 아날로그 카메라일 수 있다. 나머지 설명에서, 모니터링 카메라(10)만 언급되지만, 모니터링 카메라(10)는 디지털 카메라(10)들 중 하나이거나 아날로그 카메라(20) 및 컨버터(22)의 결합물이라고 인식할 수 있다. 모니터링 카메라가 아날로그 카메라인 경우에, 카메라 템퍼링 검출은 컨버터에서 수행된다.
일 실시예에서, 카메라는 네트워크(12)를 통해 트랜스포트하기 위해 이미지 시퀀스를 제공하는 모니터링 카메라이다. 예를 들어, 모니터링 카메라(10)는 컴퓨터 네트워크를 통해 이미지 시퀀스를 전소하도록 될 수 있는 디지털 카메라일 수 있다. 모니터링 카메라(10)는 특정한 클라이언트 컴퓨터(16), 감시 센터(14) 또는 비디오 서버(18)와 직접 통신하도록 배열될 수 있다. 비디오 서버(18)는 모니터링 카메라로부터 이미지 시퀀스를 저장, 승산 및/또는 중계하는 서버일 수 있다. 따라서, 비디오 서버(18)는 모니터링 카메라(10)로부터의 정보를 감시 센터(14) 및/또는 클라이언트 컴퓨터(16)에 제공하도록 배열될 수 있다.
본 발명의 카메라 템퍼링 검출은 모니터링 카메라(10)에 의해서 캡쳐되는 이미지 시퀀스로부터의 이미지 분석에 기초한다. 상기 이미지 분석은 모니터링 카메라(10), 감시 센터(14), 클라이언트 컴퓨터(16) 또는 비디오 서버(18)에서 수행될 수 있다. 그러나 카메라 템퍼링 검출이 많은 대역폭을 사용하는 트래픽을 갖는 네트워크를 로딩하지 않고 수행될 수 있기 때문에 모니터링 카메라에서 템퍼링 검출을 수행하는 이점이 있을 수 있다. 그러므로 이런 이점은 예컨대, 사용자가 단지 카메라 시야에서 어떤 일이 발생한다면 이미지 시퀀스를 제공받는 애플리케이션에서, 사용자가 이미지 시퀀스를 계속 제공받는데 흥미없는 애플리케이션에 관한 것 이다. 이미지 시퀀스를 전송하지 않는 시스템은 대역폭을 절약하기 위해서 또는 시스템의 확정성을 용이하게 하기 위해서 무차별적으로 제공될 수 있는데, 이런 시스템에 모니터링 카메라를 부가하기 쉽기 때문이다.
다음 설명에서, 카메라 템퍼링 검출은 모니터링 카메라에서 수행되는 것으로 주로 설명된다. 그러나 본 발명은 이런 구현에서 제한되는 것으로 보여져서는 안 된다.
도2에서, 본 발명을 구현하는 디지털 모니터링 카메라(50)가 개략적으로 도시된다. 본 발명을 쉽게 하기 위해서, 본 발명에 관련되지 않은 모니터링 카메라의 표준 특징은 바람직하지 않다. 모니터링 카메라(50)는 이미지 센서(52), 예컨대, CCD(Charge Coupled Device), 순간적인 빛을 등록하는 CMOS-센서 또는 이와 유사한 것, 이미지 프로세싱 수단(54), 카메라 템퍼링 검출 모듈(60), 메모리(80), 카메라 제어기(82) 및 네트워크 인터페이스(84)를 포함한다.
이미지 프로세싱 수단(54)은 등록된 빛에 관한 정보를 수신하고 이런 정보를 A/D-컨버터 및 신호 프로세싱 수단(56)에 의해 프로세싱하는데, 이는 당업자에게 널리 공지되었다. 일부 실시예에서, 예컨대, 이미지 센서(52)가 CMOS-센서일 때, 이미지 센서(52)는 A/D-컨버터를 포함하고, 그러므로, 이미지 프로세싱 수단(54)에서 임의의 A/D-컨버터에 대한 요구가 없다. A/D-컨버터 및 신호 프로세싱 수단(56)으로부터의 결과는 일 실시예에 따라 인코더(58)에 의해 프로세싱되기 전에 스케일링 유닛(57)에서 프로세싱되는 디지털 이미지 데이터이다. 스케일링 유닛(57)은 특정한 크기의 적어도 하나의 이미지로 디지털 이미지 데이터를 프로세싱하도록 배열 된다. 그러나 이는 다른 크기의 다수의 이미지를 발생시키도록 배열될 수 있고, 모두 A/D 컨버터 및 신호 프로세싱 수단(56)에 의해 제공되는 동일한 이미지/프레임을 나타낸다. 다른 실시예에 따르면, 스케일링 유닛의 기능은 인코더에 의해 수행되고, 또 다른 실시예에서, 이미지 센서로부터의 이미지의 임의의 스케일링 또는 리사이징을 수행하는 것에 대한 요구가 없다.
인코더(58)는 디지털 이미지를 연속적인 비디오 시퀀스 동안, 제한된 비디오 시퀀스 동안, 스틸 이미지 동안, 또는 스트리밍된 이미지/비디오 동안 다수의 공지된 포맷 중 임의의 하나로 인코딩하도록 배열된다. 예를 들어, 이미지 정보는 MPEG1, MPEG2, MPEG4, JPEG, 비트맵, 등으로 인코딩될 수 있다.
카메라 템퍼링 검출은 하드웨어 또는 소프트웨어에서 구현되는 카메라 템퍼링 검출 모듈로써 구현될 수 있다. 카메라 템퍼링 검출 모듈은 엣지 이미지 발생기(62), 상관 관계 평가기(64), 이미지 시야의 가능한 템퍼링을 나타내도록 결정된 엣지 이미지를 카운팅하도록 배열된 카운터(66), 비템퍼링된 이미지 시야를 나타내는 엣지 이미지를 카운팅하도록 배열된 카운터(68), 경고 발생기(70) 및 기준 엣지 이미지 업데이터(72)를 포함한다. 카메라 템퍼링 검출 모듈(60)의 엣지 이미지 발생기(62)는 스케일링 유닛(57)으로부터 이미지 데이터를 수신하도록 배열된다. 대안적으로, 이미지 데이터의 스케일링이 수행되는 것에 기초하여, 엣지 이미지 발생기(62)가 스케일링 유닛(57), 인코더(58)로부터 이미지 데이터 또는 A/D 컨버터 및 신호 프로세싱 수단(56)으로부터 이미지 데이터를 수신하도록 배열될 수 있다. 카메라 템퍼링 모듈(60)이 모니터링 카메라(50)에서 임베드되지 않는다면, 엣지 이미 지 발생기(62)는 도시되지는 않았지만 네트워크 접속으로부터 이미지 데이터를 수신할 수 있다. 게다가, 엣지 이미지 발생기(62)는 검출된 이미지, 즉 분석될 이미지의 엣지 이미지, 즉, 카운터가 강화되는 이미지를 발생하도록 배열된다. 검출된 이미지를 프로세싱하기 전에, 검출된 이미지의 해상도가 감소된다. 이는 스케일링 유닛(57), 인코더(58)에서 구현되거나 엣지 이미지 발생기(62)에 의해 수행될 수 있다 발생된 엣지 이미지는 그 후에 일시적으로 메모리(80)에 저장된다.
게다가, 상관 관계 평가기(64)는 메모리(80)에 저장된 상기 발생된 엣지 이미지 및 메모리(80)에 저장된 기준 엣지 이미지상에서 상관 동작을 수행하도록 배열된다. 상관 동작은 유사성 값을 생성한다. 상관 관계 평가기(64)는 또한 유사성 값 및 소정의 레벨의 유사성에 기초하여, 발생된 엣지 이미지가 템퍼링된 모니터링 카메라 또는 비템퍼링된 모니터링 카메라의 이미지 시야를 나타내고 있는지 여부를 결정하도록 배열된다.
더욱이, 상관 관계 평가기(64)는 각각의 카운터(66,68)가 아마도 템퍼링된 이미지 시야를 나타내는 분석된 엣지 이미지 및 비템퍼링된 이미지 시야를 나타내는 분석된 엣지 이미지를 카운팅하도록 배열된다. 이는 상기 결정에 응답하여 관련된 카운터(66 또는 68)로 카운팅 신호를 전송하도록 상관 관계 평가기(64)를 배열함으로써 구현될 수 있다. 카운터는 아마도 템퍼링된 이미지 시야를 나타내는 분석된 이미지 및 비템퍼링된 이미지 시야를 나타내는 분석된 이미지 각각의 연속적인 차단의 수를 카운팅할 것이다. 그러므로 상관 관계 평가기(64)는 매시간 카운터(66,68)를 재설정하도록 배열되고, 현재 분석된 엣지 이미지에 관한 결정은 이미 분석된 엣지 이미지와 다르다.
경고 발생기(70)는 소정의 많은 카운터에 도달하거나 통과하는 카운터(66)에 응답하여 잠재적인 카메라 템퍼링을 나타내는 신호를 발생시키도록 배열된다. 따라서, 단지 소정의 수의 연속적으로 분석된 이미지들 중 각각의 하나가 아마도 템퍼링된 카메라 시야를 나타내도록 결정된다면, 잠재적인 카메라 템퍼링을 나타내는 신호는 발생된다. 경고 신호는 모니터링 카메라 상에 나타내지도록 카메라 제어기를 통과하게 되거나, 이런 경고를 해야 하는 어떤 것이나 센터로 전송된다. 경고는 예컨대, 감시 센터, 클라이언트 컴퓨터, 또는 이동 전화로 전송될 수 있다.
기준 엣지 이미지 업데이터(72)는 소정의 많은 카운트에 도달하거나 지나가는 카운터(68)에 대한 응답으로 기준 엣지 이미지를 업데이트하도록 배열된다. 따라서, 기준 엣지 이미지는 단지 소정의 수의 연속적으로 분석된 이미지들 중 각각의 하나가 비템퍼링된 카메라 시야를 나타내도록 결정된다면 업데이트된다.
모니터링 카메라는 또한 카메라 제어기(82) 및 네트워크 인터페이스(84)를 포함한다. 카메라 제어기는 모니터링 카메라의 일반적인 기능을 제어하고 네트워크 인터페이스(84)를 통해 전달될 정보를 배열한다. 카메라 제어기(82)는 경고 발생기(70)에 의해 발생되는 잠재적인 카메라 템퍼링을 나타내는 신호에 응답하여 네트워크에 접속된 장치로 잠재적인 카메라 템퍼링의 표시를 전송하도록 배열될 수 있다. 상기 표시는 클라이언트 컴퓨터, 감시 센터, 비디오 서버 또는 사용자에게 표시를 나타내도록 하는 임의의 장치에 전송될 수 있다.
도3에는 잠재적인 카메라 템퍼링을 검출하는 방법의 일 실시예가 도시된다. 이미지 시퀀스를 형성하는 이미지들은 모니터링 카메라의 이미지 센서에 의해 계속 캡쳐되고, 모니터링 카메라의 이미지 프로세싱 수단에 제공된다(단계102). 분석될 이미지 해상도가 감소된다(단계104). 이미지 해상도는 당업자에게 공지된 임의의 방법으로 감소될 수 있다. 해상도를 감소시키는 한 방법은 n x m 블록의 픽셀을 단일 픽셀로 바꾸는 것이고, 여기서 n 및 m은 희망하는 해상도를 제공하기 위해 선택된다. 게다가, n 및 m은 동일하다. 신호 픽셀은 블록의 픽셀의 평균값을 나타낸다. 다른 방법은 jpeg 표준에 따라 인코딩된 이미지의 각각의 jpeg 블록으로부터 평균값을 추출하고, 하나의 단일 픽셀로 각각의 jpeg 블록을 나타낸다.
이미지 해상도를 감소시키는 하나의 이점은 진동, 바람 등으로 인한 것과 같은 모니터링 카메라의 적은 움직임에 대해 검출 방법을 로버스트하게 한다는 것이다. 다른 이점은 검출 방법이 메모리와 프로세싱 전력을 덜 필요로 한다는 것이다.
단계(106)에서, 분석될 이미지에서 물체의 엣지가 검출된다. 다시 말해서, 분석될 이미지 내의 윤곽선이 식별된다. 그리고 나서 엣지 이미지(I1)는 분석될 이미지로부터 발생되는데, 즉, 엣지 이미지(I1)는 분석될 이미지의 윤곽선이 실질적으로 확대된다. 이미지의 엣지를 검출하는 방법 및 엣지 이미지를 발생시키는 방법은 당업자에게 널리 알려져 있고, 2002, Prentice Hall, (Gonzalez,R.C., and Woods, R.E.), Digital image processing에서 설명된다.
그리고 일반화된 엣지 이미지(I1)는 상관값(C(I1,I2))을 가져오는 기준 엣지 이미지(I2)와 상관된다(단계108). 상관은 당업자에게 공지된 다수의 상관 방법들 중 하나에 의해 수행될 수 있다. 하나의 가능한 방법은 다음의 공식:
그 후에 상관값(C(I1,I2))은 상관 임계값(CT)과 비교된다(단계 110). 상관 임계값(CT)은 아마도 템퍼링된 이미지 시야를 나타내는 값으로 설정된다.
상관값(C(I1,I2))이 상관 임계값(CT)보다 작다면, 절차는 단계 112로 향한다. 이는 엣지 이미지(I1) 및 기준 엣지 이미지(I1)가 매우 낮게 상관되므로, 두 개의 이미지들 사이의 유사성이 거의 없거나 존재하지 않는다는 것을 의미한다. 이런 실시예에 따라, 이런 결과는 카메라 시야의 가능한 템퍼링을 나타낸다.
상관값(C(I1,I2))이 상관 임계값(CT)보다 크거나 같다면, 절차는 단계 114로 향한다. 이는 이런 결과는 엣지 이미지(I1) 및 기준 엣지 이미지(I1)가 매우 상관되므로, 두 개의 이미지들 간의 유사성이 많거나 일치한다는 것을 의미한다. 이런 실시예에 따라, 결과는 비템퍼링된 카메라 시야를 나타낸다.
그러므로 상관값(C(I1,I2))이 단계 110에서 가능한 템퍼링을 나타낸다면, 절차는 단계 112로 이동하고, 이전 상관값이 비템퍼링된 이미지 시야를 나타내는지, 즉, 이전 C(I1,I2)가 CT보다 크거나 같은지(C(I1,I2)≥CT) 여부를 확인한다.
단계 112에서, 이미 분석된 엣지 이미지의 분석으로부터 상관값(C'(I1,I2))이 비템퍼링된 이미지 시야를 나타낸다면, 연속적으로 분석된 템퍼링된 이미지의 수를 카운팅하도록 배열된 카운터(nnt)가 재설정된다(단계116). 이런 실시예에서, 카운터(nnt)가 0으로 재설정됨으로써, 즉, nnt=0임으로써 구현된다. 카운터(nnt)를 재설정함으로써, 가능한 템퍼링을 상관값이 나타낼 때, 카운터는 템퍼링된 시야를 나타내도록 결정되지 않은 연속적으로 분석된 이미지의 인터럽트되지 않은 시퀀스만을 카운팅한다는 것을 보장한다. 그 후에, 카운터(nnt)가 재설정되었다면, 프로세서는 아래에서 설명될 단계 118로 나아간다.
단계 112에서, 이전 상관값(C'(I1,I2))뿐만 아니라, 현재 상관값(C(I1,I2))이 분석된 이미지의 가능한 카메라 템퍼링을 나타낸다면, 절차는 단계 118로 직접 향하는데, 여기서 아마도 템퍼링된 이미지인 연속적으로 분석된 이미지의 수를 카운팅하는 카운터(nnt)가 아마도 템퍼링된 이미지로서 현재 분석된 이미지를 카운팅하도록 설정된다. 본 실시예에서, 카운터(npt)는 1만큼씩, 즉, npt=npt+1로 쉽게 증가된다.
따라서, 카운터(npt)는 언제 현재 상관값(C(I1,I2))이 가능한 카메라 템퍼링을 나타내는지를 항상 카운팅한다. 그러나, 현재 상관값(C(I1,I2))이 가능한 카메라 템퍼링을 나타내는 상관값(C(I1,I2))을 갖는 분석된 이미지의 제1 잠재적인 시퀀스 라면, 절차는 비템퍼링된 이미지 시야를 나타내는 분석 결과를 카운팅하도록 배열된 카운터(nnt)를 재설정하는 부가적인 단계를 포함한다.
카운터(npt)가 단계 118에서 현재 분석 결과를 카운팅한 후에, 카운터의 결과값(npt)이 임계값(Ltampering)과 비교된다(단계 120). 가능한 카메라 템퍼링을 나타내는 연속적으로 분석된 이미지의 수가 소정의 값에 도달하면, 이런 실시예에서, 임계값(Ltampering)이 재설정되고(단계121), 이미지 시야와의 잠재적인 템퍼링의 표시가 설정된다. 잠재적인 템퍼링의 표시는 또한 감시 센터, 클라이언트 컴퓨터, 셀룰러 폰 등에 경고를 전송하는데 사용될 수 있다. 가능한 카메라 템퍼링을 나타내는 연속적으로 분석된 이미지의 수가 소정의 값 이하라면, 절차는 다른 이미지를 분석하기 위해서 단계(102)로 되돌아간다.
이제 단계(110)를 참조하면, 상관값(C(I1,I2)이 가능한 템퍼링을 나타내는지 여부를 확인한다. 상관값(C(I1,I2))이 템퍼링을 나타내지 않는다면, 절차는 단계 114로 이동하고, 이전 상관값이 아마도 템퍼링된 이미지 시야를 나타냈는지 여부, 즉, 이전 C(I1,I2)이 CT보다 작은지(C(I1,I2)<CT) 여부를 확인한다.
이미 분석된 이미지의 분석으로부터 상관값이 아마도 템퍼링된 이미지 시야를 나타냈다면, 연속적으로 분석된 아마도 템퍼링된 이미지의 수를 카운팅하는 카운터(npt)가 재설정된다(단계 124). 본 실시예에서, 카운터(npt)가 0으로 재설정됨으 로써, 즉, npt=0임으로써 구현된다. 카운터(npt)를 재설정함으로써, 이미지 시야의 어떠한 템퍼링도 상관값이 나타내지 않을 때, 카운터는 아마도 템퍼링되었다고 결정된 분석된 이미지의 인터럽트되지 않은 시퀀스만을 카운팅한다는 것을 보장한다. 카운터(npt)가 재설정될 때, 절차는 아래에서 설명될 단계(126)로 향한다.
단계 114에서, 이전 상관값(C'(I1,I2)) 뿐만 아니라 현재 상관값(C(I1,I2))이 분석된 이미지의 가능한 카메라 템퍼링을 나타낸다면, 절차는 템퍼링되지 않은 이미지인 연속적으로 분석된 이미지의 수를 카운팅하는 카운터(nnt)가 비템퍼링된 이미지로써 현재 분석된 이미지를 카운팅하도록 설정되는 단계 126로 바로 보내진다. 본 실시예에서, 카운터(nnt)는 1만큼씩, 즉, nnt=nnt+1로 쉽게 증가된다.
따라서, 카운터(nnt)는 항상 언제 현재 상관값(C(I1,I2))이 모니터링 카메라의 비템퍼링을 나타내는지를 항상 카운팅한다. 그러나, 현재 상관값(C(I1,I2))이 모니터링 카메라의 비템퍼링을 나타내는 상관값(C(I1,I2))을 갖는 분석된 이미지의 제1 잠재적인 시퀀스라면, 절차는 카운터(npt)를 재설정하는 부가적인 단계를 포함한다.
카운터(nnt)가 단계 126에서 현재 분석 결과를 카운팅한 후에, 카운터(nnt)의 결과값은 임계값(Lupdate)과 비교된다(단계 128). 모니터링 카메라의 비템퍼링을 나타 내는 연속적으로 분석된 이미지의 수가 소정의 임계값(Lupdate)에 도달한다면, 카운터(nnt)가 재설정되고(단계 129), 기준 엣지 이미지가 업데이트되고(단계 130), 절차는 다른 이미지를 분석하기 위해 단계 102로 리턴된다. 카메라 시야의 비템퍼링을 나타내는 연속적으로 분석된 이미지의 수가 소정의 값에 도달하지 않는다면, 절차는 다른 이미지를 분석하기 위한 단계 102로 리턴된다.
다른 실시예에 따르면, 도3의 단계 112가 제거될 수 있고, 카운터(nnt)를 재설정하는 단계 116이 임의의 시간에 수행될 수 있고, 카운터(npt)가 아마도 템퍼링된 이미지 시야를 나타내는 분석된 이미지를 카운팅한다. 따라서, 단계 114는 제거될 수 있고, 카운터(npt)의 재설정 단계 124는 임의의 시간에 수행될 수 있고, 카운터(nnt)는 비템퍼링된 이미지 시야를 나타내는 분석된 이미지를 카운팅한다.
게다가, 카운터(nnt) 및 카운터(npt)는 상기 Lupdate 및 Ltampering에 각각 상응하는 값으로부터 카운트 다운하도록 배열될 수 있다. 이런 실시예에서, 개별적인 카운터가 0에 도달할 때, 기준 엣지 이미지를 업데이트하는 단계 130 및 이미지 시야의 잠재적인 템퍼링을 나타내는 단계 122가 수행된다.
상기 방법에서, 다수의 연속적으로 분석된 이미지는 경고를 설정하거나 잠재적은 템퍼링을 나타내기 전에 가능한 템퍼링을 나타낼 필요가 있다. 이는 사람이 일시적으로 모니터링 카메라에 근접하게 서있는 것과 같은 일시적인 "템퍼링" 또는 위조 표시의 관점에서 방법을 로버스트하게 한다. 모니터링 카메라의 애플리케이 션, 즉 모니터링 카메라의 환경 및 목적 및 이미지의 분석 주파수에 따라, 임계값(Ltampering)이 바뀔 수 있다. 예를 들어, 사람들이 모니터링 카메라에 근접할 수 있고 그들이 주로 상대적으로 긴 시간 동안 한곳에 머물러 있는 버스 내부와 같은 것을 모니터링할 때, 임계값은 30분 정도의 시간 기간 동안 분석된 이미지의 수에 상응할 수 있다. 예를 들어, 모리터링 카메라가 주로 사람들로부터 멀리 위치되고, 사람들이 주로 지나가는 복도를 모니터링할 때, 임계값은 30분 정도의 시간 동안에 분석된 이미지의 수에 상응할 수 있다.
도3의 단계 130에서 수행되는 기준 엣지 이미지를 업데이트하는 것은 제2 팩터(β)로 승산된 기준 엣지 이미지에 제1 팩터(α)로 승산된 현재 분석된 엣지 이미지를 부가하는 것을 포함할 수 있다. 이런 방법으로, 기준 엣지 이미지는 카메라 시야의 에어리어에서 긴 시간 변화 동안 조정된다. 더욱이, 영향을 제한함으로써, 현재 엣지 이미지는 예를 들어, 팩터(α)를 팩터(β)보다 더 작은 값으로 설정함으로써, 기준 엣지 이미지 상에 있고, 이미지 시야를 때때로 차지하는 물체의 영향이 작다. 게다가, 이런 업데이트 방식은 단지 결국 저장되어야만 하는 기준 엣지 이미지 및 결국 분석을 위해 일시적으로 저장되어야만 하는 현재 엣지 이미지의 저장을 필요로 함에 따라 상대적으로 적은 양의 메모리를 사용한다. 그러므로 방식은 메모리를 효율적으로 사용한다.
일 실시예에서, 제2 팩터(β)는 1-α의 값을 갖는다. 새로운 기준 엣지 이미지는 ()라 칭해지고, 현재 기준 엣지 이미지는 ()라 칭해지며, 현재 엣지 이 미지는 Ipres라 칭해진다면, 본 실시예에 따른 기준 엣지 이미지의 업데이트가 다음 공식에 의해 설명될 수 있다:
팩터(α)는 오퍼레이터의 환경 및 애플리케이션에 기초하여 0.05-0.25의 범위의 값으로 설정될 수 있다. 상기 값은 환경 변화가 기준 엣지 이미지에서 빨리 나타내지기를 희망한다면 높게 설정된다. 그러나 기준 엣지 이미지 내에서 희망하지 않는 물체를 획득하는 위험이 있다. 반면, 상기 값이 매우 낮게 설정된다면, 시스템은 환경의 긴 영속적이 변화 동안 기준 엣지 이미지를 매우 느리게 조정할 수 있다.
초기 기준 엣지 이미지는 상기 공식에 따라 제1 엣지 이미지를 제2 엣지 이미지와 결합함으로써 발생될 수 있다. 그 후에 결합된 엣지 이미지는 동일한 방법으로 부가적인 엣지 이미지와 결합된다. 절차는 다수의 이미지에 대해 반복되고, 이미지의 수가 사전설정될 수 있다. 이미 설정된 수의 이미지가 이와 같이 결합될 때, 카메라 템퍼링 검출 절차가 시작되므로, 결과를 가져오는 획득된 엣지 이미지가 카메라 템퍼링 검출 절차에서 사용하기 위한 기준 엣지 이미지로서 설정된다.
일 실시예에 따라, 초기 기준 엣지 이미지는 모니터링 카메라가 시작될 때 설정된다(도4 참조). 본 실시예에 따라 초기 기준 이미지를 설정하는 절차는 이미지 센서에 의해 캡쳐된 이미지를 이미지 프로세싱 수단으로 전송하는 것을 포함하고(단계 200), 이미지의 해상도를 감소시키는 것(단계 202)을 포함한다. 해상도를 감소시킨 이미지로부터, 엣지 이미지가 발생된다(단계 204). 초기 기준 엣지 이미지는 엣지 이미지를 기준 이미지 업데이트에 사용되는 공식에 따른 현재 기준 이미지의 데이터와 결합함으로써 업데이트된다. 초기 기준 엣지 이미지의 업데이트 이후에, 카운터(m)는 카운팅한다(단계 208). 카운터가 제한(Linitiate)에 도달하거나 통과한다면, 초기 기준 이미지는 완성되었다고 결정되고, 카운터(m)는 재설정되며, 절차는 도3의 카메라 템퍼링 검출을 계속한다. 그렇지 않으면, 프로세스가 단계 200로 되돌아 가서, 초기 기준 엣지 이미지에 대한 다른 이미지를 수신한다. 초기 기준 엣지 이미지를 형성하는데 사용되는 이미지는 캡쳐된 각각의 이미지일 수 있다. 그러나 일 실시예에서, 캡쳐된 이미지가 모두 사용되는 것은 아니다. 이미지의 선택은 카메라 템퍼링 검출 절차에서 분석될 이미지를 선택하는 것과 동일한 방법으로 수행될 수 있다.
경고가 도3의 카메라 템퍼링 검출 절차에서 나타내질 때, 모니터링 카메라는 도4의 단계(200)로 절차를 리턴함으로써 새로운 초기 기준 엣지 이미지를 발생시키도록 설정된다.
모니터링 카메라는 흥미있는 카메라 시야를 보여주는 소정의 프레임 전송률로 스트리밍 비디오 또는 이미지 시퀀스를 발생시키도록 배열된다. 프레임 전송률은 이미지 시퀀스에서 초당 프레임 수를 규정한다. 특정한 모니터링 애플리케이션에서 사용되는 프레임 전송률은 결과적인 이미지 시퀀스의 품질 요구 조건의 관점에서 주로 선택된다. 일반적으로, 초당 10-30 프레임의 높은 프레임 전송률이 필요 로 된다. 그러므로, 10-30개의 이미지는 매 초마다 프로세싱되어야만 한다. 더욱이, 많은 다른 분석 및 이미지 프로세싱이 동시적으로 수행되어야만 한다. 많은 프로세싱 및 분석이 모니터링 카메라에서 수행되는 실시예에서, 우선 순위가 지어지는 것이 필수적이다.
본 발명의 일 실시예에서, 모니터링 카메라에 의해 제공되는 모든 이미지가 카메라 템퍼링 모듈에서 분석되지 않는데, 즉, 이미지 시퀀스로부터의 이미지가 분석 동안 선택된 후에, 이미지 시퀀스의 적어도 하나의 연속적인 이미지가 이미지 시퀀스로부터 다음 이미지가 분석을 위해 선택되기 전에 분석을 위해 선택되지 않고 통과된다.
또 다른 실시에에서, 분석을 위해 선택된 이미지들 간의 분석을 위해 선택되지 않은 이미지 시퀀스의 이미지 수는 이미지 시퀀스 동안 바뀔 수 있다. 카메라 템퍼링 검출 모듈에 의해 분석하기 위한 이미지 시퀀스에서 모든 이미지를 선택하지 않음으로써, 카메라 템퍼링 검출은 적은 프로세싱 전력을 필요로 하고, 그러므로 제한된 프로세싱 전력, 메모리 등이 종종 구비된 모니터링 카메라서 카메라 템퍼링 검출 방법을 구현할 수 있는 것이 증가된다. 게다가, 카메라 템퍼링 검출 방법은 분석될 이미지들 사이의 시간적인 거리가 동일할 필요가 없고, 분석을 위해 선택된 이미지들 간의 이미지 수가 카메라 템퍼링 검출 방법을 운영하는 시스템의 로드에 기초하여 변경될 수 있다. 방법의 이런 특성은 당신이 할 수 없거나 장치의 동작 동안 자유로운 프로세싱 캐패시티의 양을 예측하기 어려운 장치에 대해 유리하다. 상기 특성은 또한 분석될 이미지가 분석될 수 있다고 보정할 수 없는 장치 또는 프로세스에서 유리하다. 더욱이 종종 제한된 자원을 제공받는 임베드된 시스템에서도 유리하다. 이런 경우에, 본 발명의 카메라 템퍼링 방법은 기간 동안 분석 이미지를 스킵하므로 장치의 프로세싱 로드가 감소될 때 분석 이미지로 리턴할 수 있다.
도1은 가능한 감시 네트워크의 개략도;
도2는 본 발명의 실시예에 따른 디지털 감시 카메라의 개략도;
도3은 본 발명의 실시예에 따른 방법의 흐름도; 및
도4는 카메라 템퍼링을 나타내는 경고가 설정되는 이벤트에서 모니터링 카메라의 동작 및 기준 엣지 이미지의 생성에 관한 흐름도.
Claims (25)
- 카메라 시야의 가능한 템퍼링을 식별하는 방법에 있어서,이미지 시퀀스를 분석하기 위해 이미지를 수신하는 단계,상기 수신된 이미지를 엣지 이미지로 변환시키는 단계,상기 엣지 이미지 및 기준 엣지 이미지 사이의 유사성 레벨을 나타내는 유사성 값을 발생시키는 단계,상기 유사성 값이 규정된 템퍼링 범위에 있다면 상기 카메라 시야의 가능한 템퍼링을 나타내는 단계,소정의 수의 연속적으로 분석된 이미지들 중 각각의 하나가 가능한 템퍼링의 표시의 결과를 가져오지 않는 경우에 최근 분석된 엣지 이미지를 상기 기준 엣지 이미지와 결합함으로써 상기 기준 엣지 이미지를 업데이트하는 단계,가능한 템퍼링 표시의 결과를 가져오는 연속적으로 분석된 이미지의 수를 카운팅하는 단계, 및소정의 수의 연속적으로 분석된 이미지들 중 각각의 하나가 가능한 템퍼링의 표시의 결과를 가져오는 경우에 경고 신호를 발생시키는 단계로서, 상기 소정의 수는 1보다 큰, 발생시키는 단계를 포함하는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 1항에 있어서,엣지 이미지로 변환될 상기 이미지의 해상도를 감소시키는 동작을 더 포함하는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 2항에 있어서,상기 이미지 시퀀스의 적어도 하나의 연속적인 이미지가 분석을 위해 선택되지 않은 후에만 분석을 위해 새로운 이미지를 선택하는 단계를 더 포함하는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 1항에 있어서,상기 카메라 시야의 가능한 템퍼링을 표시하는 것에 응답하여 카운터(npt)에 의해 카운팅하는 단계를 더 포함하는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 4항에 있어서,상기 카운터(npt)가 소정의 경고 제한에 도달한다면 경고 신호를 발생시키는 단계를 더 포함하는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 4항에 있어서,상기 템퍼링 범위 내에 있지 않은 상기 유사성 값에 응답하여 카운터(nnt)에 의해 카운팅하는 단계 및 현재 분석된 이미지가 카운터(nnt) 카운팅하는 결과를 가져오고 이전에 분석된 이미지가 카운터(npt) 카운팅의 결과를 가져온다면, 상기 카운터(npt)를 재설정하는 단계를 더 포함하는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 6항에 있어서,상기 현재 분석된 이미지가 카운터(npt) 카운팅하는 결과를 가져오고 이전에 분석된 이미지가 카운터(nnt) 카운팅의 결과를 가져온다면, 상기 카운터(nnt)를 재설정하는 단계를 더 포함하는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 6항에 있어서,상기 기준 엣지 이미지의 업데이트는 상기 카운터(nnt)가 소정의 업데이트 제한을 통과하여 카운팅한다면 수행되는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 1항에 있어서,현재 분석된 엣지 이미지를 상기 기준 엣지 이미지와 결합함으로써 상기 기준 엣지 이미지를 업데이트하는 것이 제1 팩터로 승산된 상기 최근 분석된 엣지 이미지를 제2 팩터로 승산된 상기 기준 엣지 이미지와 결합하는 것을 포함하는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 9항에 있어서,상기 제1 팩터는 1보다 작은 값이고, 상기 제2 팩터는 1 마이너스 제1 팩터에 상응하는 값인 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 제 1항에 있어서,단지 하나의 엣지 이미지 및 하나의 기준 엣지 이미지가 임의의 소정의 시간에 상기 방법에 의해 사용되는 메모리에 저장되는 것을 특징으로 하는 카메라 시야의 가능한 템퍼링을 식별하는 방법.
- 이미지 시퀀스로부터 분석을 위한 이미지를 수신하는 수단 및 상기 수신된 이미지를 엣지 이미지로 변환시키도록 배열된 엣지 이미지 발생기를 포함하는, 가능한 카메라 템퍼링을 식별하는 모듈에 있어서,엣지 이미지 및 기준 엣지 이미지 사이의 유사성 레벨을 나타내는 유사성 값을 발생시키도록 배열되고, 상기 유사성 값이 규정된 템퍼링 범위 내에 있다면, 상 기 카메라 시야의 가능한 템퍼링을 나타내도록 배열된 상관 관계 평가기,소정의 수의 연속적으로 분석된 이미지들 중 각각의 하나가 가능한 템퍼링 표시의 결과를 가져오지 않는 경우에, 최근 분석된 엣지 이미지를 상기 기준 엣지 이미지와 결합함으로써 상기 기준 엣지 이미지를 업데이트하도록 배열된 기준 엣지 이미지 업데이터,가능한 템퍼링의 표시의 결과를 가져오는 연속적으로 분석된 이미지의 수를 카운팅하도록 배열된 카운터, 및소정의 수의 연속적으로 분석된 이미지들 중 각각의 하나가 가능한 템퍼링의 표시의 결과를 가져오는 경우에 경고 신호를 발생시키도록 배열된 경고 신호 발생기로서, 상기 소정의 수는 1보다 큰, 경고 신호 발생기를 포함하는 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 12항에 있어서,엣지 이미지로 변환되는 상기 이미지의 해상도를 감소시키도록 배열된 스케일링 수단을 더 포함하는 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 12항에 있어서,가능한 카메라 템퍼링의 표시를 카운팅하도록 배열된 카운터(npt)를 더 포함 하는 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 14항에 있어서,상기 카운터(npt)가 소정의 경고 제한에 도달한다면 경고 신호를 발생시키도록 배열된 경고 발생기를 더 포함하는 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 14항에 있어서,상기 템퍼링 범위 내에 있지 않다고 결정된 분석된 이미지를 카운팅하도록 배열된 카운터(nnt)를 더 포함하는데, 상기 상관 관계 평가기는 부가적으로 상기 현재 분석된 이미지가 카운터(nnt) 카운팅하는 결과를 가져오고, 상기 이전에 분석된 이미지는 상기 카운터(npt) 카운팅하는 결과를 가져온다면 카운터(npt)를 재설정하도록 배열되는 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 16항에 있어서,상기 상관 관계 평가기는 부가적으로 상기 현재 분석된 이미지가 카운터(npt) 카운팅하는 결과를 가져오고, 상기 이전에 분석된 이미지가 상기 카운터(nnt) 카운팅하는 결과를 가져온다면 상기 카운터(nnt)를 재설정하도록 배열되는 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 16항에 있어서,상기 기준 엣지 이미지 업데이터는 상기 카운터(nnt)가 소정의 업데이트 제한을 통과하여 카운팅한다면 상기 기준 엣지 이미지의 업데이트를 수행하도록 배열되는 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 12항에 있어서,상기 기준 엣지 이미지 업데이터가 제1 팩터로 승산된 최근 분석된 엣지 이미지를 제2 팩터로 승산된 상기 기준 엣지 이미지와 결합함으로써 최근 분석된 엣지 이미지와 상기 기준 엣지 이미지를 결합하도록 배열되는 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 19항에 있어서,상기 제1 팩터는 1보다 작은 값이고, 상기 제2 팩터는 1 마이너스 제1 팩터에 상응하는 값인 것을 특징으로 하는 가능한 카메라 템퍼링을 식별하는 모듈.
- 제 12항에 따른 상기 모듈을 포함하는 모니터링 카메라.
- 제 1항에 따른 상기 방법을 수행하는 모니터링 카메라.
- 제 12항에 따른 상기 모듈을 포함하는 비디오 서버.
- 제 1항에 따른 방법을 수행하는 비디오 서버.
- 컴퓨터가 제 1항에 따른 상기 단계를 수행하도록 하는 컴퓨터 판독 프로그램 수단을 포함하는, 컴퓨터 가용 매체 상에 저장된 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP06126634.2 | 2006-12-20 | ||
EP06126634A EP1936576B1 (en) | 2006-12-20 | 2006-12-20 | Camera tampering detection |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080058171A true KR20080058171A (ko) | 2008-06-25 |
KR101216271B1 KR101216271B1 (ko) | 2012-12-28 |
Family
ID=38042594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070118428A KR101216271B1 (ko) | 2006-12-20 | 2007-11-20 | 카메라 탬퍼링 검출 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8073261B2 (ko) |
EP (1) | EP1936576B1 (ko) |
JP (1) | JP4629090B2 (ko) |
KR (1) | KR101216271B1 (ko) |
CN (1) | CN101207803B (ko) |
AT (1) | ATE521054T1 (ko) |
ES (1) | ES2370032T3 (ko) |
TW (1) | TWI378409B (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014061922A1 (ko) * | 2012-10-17 | 2014-04-24 | 에스케이텔레콤 주식회사 | 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8385883B2 (en) * | 2007-02-06 | 2013-02-26 | Qualcomm Incorporated | Apparatus and methods for locating, tracking and/or recovering a wireless communication device |
US8429016B2 (en) * | 2008-10-31 | 2013-04-23 | International Business Machines Corporation | Generating an alert based on absence of a given person in a transaction |
US8612286B2 (en) * | 2008-10-31 | 2013-12-17 | International Business Machines Corporation | Creating a training tool |
US8345101B2 (en) * | 2008-10-31 | 2013-01-01 | International Business Machines Corporation | Automatically calibrating regions of interest for video surveillance |
JP4670943B2 (ja) * | 2008-11-27 | 2011-04-13 | ソニー株式会社 | 監視装置、及び妨害検知方法 |
US20100273452A1 (en) * | 2009-04-26 | 2010-10-28 | Qualcomm Incorporated | Apparatus and Methods For Locating Tracking and/or Recovering a Wireless Communication Device |
JP5338498B2 (ja) * | 2009-06-09 | 2013-11-13 | ソニー株式会社 | 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム |
TWI398716B (zh) * | 2009-09-09 | 2013-06-11 | Altek Corp | Use the flash to assist in detecting focal lengths |
US8718379B2 (en) * | 2009-09-15 | 2014-05-06 | Texas Instruments Incorporated | Method and apparatus for image capturing tampering detection |
BE1018413A3 (nl) * | 2010-01-28 | 2010-11-09 | Traficon Nv | Methode en toestel voor het bepalen van beeldkwaliteit. |
US20110221895A1 (en) * | 2010-03-10 | 2011-09-15 | Vinay Sharma | Detection of Movement of a Stationary Video Camera |
TWI413896B (zh) * | 2010-04-21 | 2013-11-01 | Elitegroup Computer Sys Co Ltd | Energy saving methods for electronic devices |
TWI417813B (zh) * | 2010-12-16 | 2013-12-01 | Ind Tech Res Inst | 可串接式相機竄改偵測收發器模組 |
US8605949B2 (en) * | 2011-11-30 | 2013-12-10 | GM Global Technology Operations LLC | Vehicle-based imaging system function diagnosis and validation |
TWI448992B (zh) * | 2011-12-01 | 2014-08-11 | Univ Nat Chiao Tung | 視訊監控方法 |
KR101747214B1 (ko) * | 2012-03-12 | 2017-06-15 | 한화테크윈 주식회사 | 다채널 영상 분석 방법 및 시스템 |
KR101758685B1 (ko) | 2012-03-14 | 2017-07-14 | 한화테크윈 주식회사 | 카메라 템퍼링 감지 방법 및 시스템 |
US9064317B2 (en) | 2012-05-15 | 2015-06-23 | Palo Alto Research Center Incorporated | Detection of near-field camera obstruction |
MY162260A (en) * | 2012-09-10 | 2017-05-31 | Mimos Berhad | Load balancing of graphics processing units in an image processing system |
MY159122A (en) | 2012-09-12 | 2016-12-15 | Mimos Berhad | A surveillance system and a method for tampering detection and correction |
CN103780899B (zh) * | 2012-10-25 | 2016-08-17 | 华为技术有限公司 | 一种检测摄像机是否被干扰的方法、装置及视频监控系统 |
WO2014107625A1 (en) * | 2013-01-04 | 2014-07-10 | USS Technologies, LLC | Public view monitor with tamper deterrent and security systems |
DE102013001841A1 (de) * | 2013-02-04 | 2014-08-07 | Abb Ag | Schutzsystem eines Elektroinstallationsgerätes mit Kamera |
US9253375B2 (en) * | 2013-04-02 | 2016-02-02 | Google Inc. | Camera obstruction detection |
CN107209922B (zh) * | 2015-02-05 | 2020-11-10 | 株式会社理光 | 图像处理设备、图像处理系统、和图像处理方法 |
CN104883539B (zh) * | 2015-05-04 | 2017-12-19 | 兴唐通信科技有限公司 | 一种用于关注区域防篡改的监控方法及系统 |
GB2539900A (en) * | 2015-06-30 | 2017-01-04 | Nokia Technologies Oy | A method, an apparatus and a computer program product for machine learning |
CN105139016B (zh) * | 2015-08-11 | 2018-11-09 | 豪威科技(上海)有限公司 | 监控摄像头的干扰检测系统及其应用方法 |
CN105847767B (zh) * | 2016-05-31 | 2018-07-06 | 浪潮通用软件有限公司 | 一种告警方法、装置及系统 |
WO2018032270A1 (en) * | 2016-08-15 | 2018-02-22 | Qualcomm Incorporated | Low complexity tamper detection in video analytics |
CN106507045B (zh) * | 2016-11-07 | 2018-09-18 | 立德高科(北京)数码科技有限责任公司 | 用识别码定位走失人群的方法及系统、终端、服务器平台 |
CN106846303A (zh) * | 2016-12-30 | 2017-06-13 | 平安科技(深圳)有限公司 | 图像篡改检测方法及装置 |
US11288488B2 (en) | 2017-07-07 | 2022-03-29 | Fingerprint Cards Anacatum Ip Ab | Method of a fingerprint sensing system of enabling authentication of a user based on fingerprint data |
SE543250C2 (en) * | 2017-09-20 | 2020-11-03 | Firefly Ab | Flame detecting arrangement and method for assuring correct field of view |
CN108615045B (zh) * | 2018-03-06 | 2022-07-12 | 重庆金山医疗技术研究院有限公司 | 筛选胶囊内镜拍摄的图像的方法、装置及设备 |
JP7215231B2 (ja) * | 2019-03-04 | 2023-01-31 | トヨタ自動車株式会社 | 情報処理装置、検知方法及びプログラム |
US10913428B2 (en) * | 2019-03-18 | 2021-02-09 | Pony Ai Inc. | Vehicle usage monitoring |
SE545008C2 (en) * | 2019-03-20 | 2023-02-28 | Firefly Ab | Flame detecting arrangement with abnormal movement detection |
US20210192909A1 (en) * | 2019-12-20 | 2021-06-24 | Honeywell International Inc. | On-camera tamper detection |
JP7415872B2 (ja) * | 2020-10-23 | 2024-01-17 | 横河電機株式会社 | 装置、システム、方法およびプログラム |
US20220174076A1 (en) * | 2020-11-30 | 2022-06-02 | Microsoft Technology Licensing, Llc | Methods and systems for recognizing video stream hijacking on edge devices |
CN112508039B (zh) * | 2020-12-08 | 2024-04-02 | 中国银联股份有限公司 | 一种图像检测方法及装置 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61116490A (ja) | 1984-11-10 | 1986-06-03 | Matsushita Electric Works Ltd | 画像監視方式 |
US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
GB9206651D0 (en) * | 1992-03-26 | 1992-05-06 | Solid State Logic Ltd | Video processing |
US5434927A (en) * | 1993-12-08 | 1995-07-18 | Minnesota Mining And Manufacturing Company | Method and apparatus for machine vision classification and tracking |
JP2914170B2 (ja) * | 1994-04-18 | 1999-06-28 | 松下電器産業株式会社 | 映像変化点検出方法 |
JPH0950525A (ja) | 1995-08-08 | 1997-02-18 | Canon Inc | 画像処理装置 |
US5835163A (en) * | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
US5956424A (en) * | 1996-12-23 | 1999-09-21 | Esco Electronics Corporation | Low false alarm rate detection for a video image processing based security alarm system |
EP1010130A4 (en) | 1996-12-23 | 2005-08-17 | Esco Electronics Corp | VIDEO SECURITY SYSTEM WITH LOW FALSE ALERTS RATES USING CLASSIFICATION OF OBJECTS |
DE19938845B4 (de) * | 1998-09-02 | 2006-10-19 | Geutebrück GmbH | Videobild-Überwachungsverfahren |
GB9822956D0 (en) * | 1998-10-20 | 1998-12-16 | Vsd Limited | Smoke detection |
DE19932662A1 (de) * | 1999-07-15 | 2001-01-18 | Bosch Gmbh Robert | Verfahren zur Erkennung von Szenenänderungen und Überwachungseinrichtung hierzu |
US6462774B1 (en) * | 1999-12-20 | 2002-10-08 | Dale Bildstein | Surveillance system method and apparatus |
JP4753340B2 (ja) | 1999-12-23 | 2011-08-24 | セクマナーゲメント ベスローテン フェンノートシャップ | 領域監視の方法、装置及びコンピュータプログラム |
JP2001268575A (ja) * | 2000-03-14 | 2001-09-28 | Pioneer Electronic Corp | 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体 |
FR2814896B1 (fr) * | 2000-10-03 | 2003-01-31 | Telediffusion De France Tdf | Procede de detection d'intrusion, notamment par depointage et/ou obstruction d'une camera, dans un systeme de telesurveillance |
FR2814894A1 (fr) | 2000-10-03 | 2002-04-05 | Telediffusion De France Tdf | Procede de detection d'intrusion, notamment par depointage et/ou obstruction d'un camera, dans un systeme de telesurveillance |
US6801661B1 (en) * | 2001-02-15 | 2004-10-05 | Eastman Kodak Company | Method and system for archival and retrieval of images based on the shape properties of identified segments |
JP2002304677A (ja) | 2001-04-06 | 2002-10-18 | Fujitsu General Ltd | 侵入者検出方法および装置 |
JP3919499B2 (ja) | 2001-10-25 | 2007-05-23 | セコム株式会社 | マスク検出装置及び監視カメラ装置 |
US7123769B2 (en) * | 2001-11-09 | 2006-10-17 | Arcsoft, Inc. | Shot boundary detection |
KR100444784B1 (ko) | 2001-11-15 | 2004-08-21 | 주식회사 에이로직스 | 에지검출을 통한 경보발생방법 및 보안 시스템 |
US7079190B2 (en) * | 2001-12-27 | 2006-07-18 | Zoran Corporation | Technique for determining the slope of a field pixel |
GB2391218A (en) | 2002-05-09 | 2004-02-04 | John Richard Millward | Fuel dispensing apparatus |
US7227893B1 (en) * | 2002-08-22 | 2007-06-05 | Xlabs Holdings, Llc | Application-specific object-based segmentation and recognition system |
JP2004102971A (ja) | 2002-09-10 | 2004-04-02 | Yoshiaki Komiyama | 運転者監視装置 |
US20040223652A1 (en) | 2003-05-07 | 2004-11-11 | Cetin Ahmet Enis | Characterization of motion of moving objects in video |
JP4227539B2 (ja) | 2004-03-02 | 2009-02-18 | 綜合警備保障株式会社 | 監視カメラ妨害検知装置 |
EP1751619A4 (en) | 2004-04-30 | 2010-04-14 | Utc Fire & Security Corp | DETECTION OF FRAUDULENT ATTEMPTS MADE ON A CAMERA |
WO2006002466A1 (en) * | 2004-06-30 | 2006-01-12 | Vfs Technologies Limited | Image processing apparatus and method |
EP1672604A1 (de) * | 2004-12-16 | 2006-06-21 | Siemens Schweiz AG | Verfahren und Einrichtung zur Detektion von Sabotage an einer Überwachungskamera |
JP2006260443A (ja) | 2005-03-18 | 2006-09-28 | Denso Corp | 監視制御装置及び監視制御方法 |
US7751647B2 (en) * | 2005-12-08 | 2010-07-06 | Lenel Systems International, Inc. | System and method for detecting an invalid camera in video surveillance |
CN100417223C (zh) * | 2005-12-30 | 2008-09-03 | 浙江工业大学 | 基于全方位视觉传感器的智能安保装置 |
US20070177800A1 (en) * | 2006-02-02 | 2007-08-02 | International Business Machines Corporation | Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion |
US7859419B2 (en) * | 2006-12-12 | 2010-12-28 | Industrial Technology Research Institute | Smoke detecting method and device |
-
2006
- 2006-12-20 AT AT06126634T patent/ATE521054T1/de not_active IP Right Cessation
- 2006-12-20 ES ES06126634T patent/ES2370032T3/es active Active
- 2006-12-20 EP EP06126634A patent/EP1936576B1/en active Active
-
2007
- 2007-11-02 TW TW096141488A patent/TWI378409B/zh active
- 2007-11-15 US US11/940,687 patent/US8073261B2/en active Active
- 2007-11-19 CN CN200710187848XA patent/CN101207803B/zh active Active
- 2007-11-20 KR KR1020070118428A patent/KR101216271B1/ko active IP Right Grant
- 2007-12-19 JP JP2007326656A patent/JP4629090B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014061922A1 (ko) * | 2012-10-17 | 2014-04-24 | 에스케이텔레콤 주식회사 | 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법 |
KR20140049411A (ko) * | 2012-10-17 | 2014-04-25 | 에스케이텔레콤 주식회사 | 에지 영상을 이용한 카메라 탬퍼링 검출장치 및 방법 |
US9230166B2 (en) | 2012-10-17 | 2016-01-05 | Sk Telecom Co., Ltd. | Apparatus and method for detecting camera tampering using edge image |
Also Published As
Publication number | Publication date |
---|---|
JP2008167429A (ja) | 2008-07-17 |
TWI378409B (en) | 2012-12-01 |
US20080152232A1 (en) | 2008-06-26 |
CN101207803B (zh) | 2011-01-19 |
EP1936576B1 (en) | 2011-08-17 |
ES2370032T3 (es) | 2011-12-12 |
JP4629090B2 (ja) | 2011-02-09 |
EP1936576A1 (en) | 2008-06-25 |
ATE521054T1 (de) | 2011-09-15 |
TW200830223A (en) | 2008-07-16 |
KR101216271B1 (ko) | 2012-12-28 |
US8073261B2 (en) | 2011-12-06 |
CN101207803A (zh) | 2008-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20080058171A (ko) | 카메라 템퍼링 검출 | |
US10123051B2 (en) | Video analytics with pre-processing at the source end | |
US10943357B2 (en) | Video based indoor leak detection | |
US8675065B2 (en) | Video monitoring system | |
CN101106705B (zh) | 改进的报警前视频缓冲器及方法 | |
US20160078296A1 (en) | Image pickup apparatus, information processing apparatus, and information processing method | |
EP2009604A1 (en) | A security device and system | |
US20150085114A1 (en) | Method for Displaying Video Data on a Personal Device | |
WO2009135253A1 (en) | A system and method for electronic surveillance | |
WO2016026043A1 (en) | Video based leak detection | |
TWI521473B (zh) | 影像分析裝置、方法及電腦可讀取媒體 | |
JP7255841B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
CN104202533B (zh) | 移动检测装置及移动检测方法 | |
CN110855932A (zh) | 基于视频数据的报警方法、装置、电子设备及存储介质 | |
CN112419638A (zh) | 一种告警视频的获取方法及装置 | |
Mariappan et al. | A design methodology of an embedded motion-detecting video surveillance system | |
US11558548B2 (en) | Systems and methods for encoding regions containing an element of interest in a sequence of images with a high resolution | |
TWI545945B (zh) | Image tampering detection method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
J201 | Request for trial against refusal decision | ||
AMND | Amendment | ||
B601 | Maintenance of original decision after re-examination before a trial | ||
J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20100816 Effective date: 20121101 |
|
S901 | Examination by remand of revocation | ||
GRNO | Decision to grant (after opposition) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151118 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161124 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20171129 Year of fee payment: 6 |