KR20190046351A - 침입 탐지방법 및 그 장치 - Google Patents

침입 탐지방법 및 그 장치 Download PDF

Info

Publication number
KR20190046351A
KR20190046351A KR1020170140049A KR20170140049A KR20190046351A KR 20190046351 A KR20190046351 A KR 20190046351A KR 1020170140049 A KR1020170140049 A KR 1020170140049A KR 20170140049 A KR20170140049 A KR 20170140049A KR 20190046351 A KR20190046351 A KR 20190046351A
Authority
KR
South Korea
Prior art keywords
image frame
intrusion detection
motion
target image
unit
Prior art date
Application number
KR1020170140049A
Other languages
English (en)
Other versions
KR102195706B1 (ko
Inventor
김태완
이희열
양승지
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170140049A priority Critical patent/KR102195706B1/ko
Publication of KR20190046351A publication Critical patent/KR20190046351A/ko
Application granted granted Critical
Publication of KR102195706B1 publication Critical patent/KR102195706B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예는 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용하여, 관심 영역 내 움직임이 감지되는 경우에만 딥러닝 프로세서를 동작하게 함으로써 고가의 GPU 사용량을 대폭 줄이면서도 오알람의 발생률이 최소화될 수 있도록 하는 침입 탐지방법 및 그 장치에 관한 것이다.

Description

침입 탐지방법 및 그 장치{Method and Apparatus for Detecting Intruder}
본 실시예는 침입 탐지방법 및 그 장치에 관한 것이다. 더욱 상세하게는, CCTV 환경에서의 하이브리드 딥러닝 기반 침입 탐지방법 및 그 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
기존 CCTV 및 다양한 B2C 카메라의 침입 탐지 기능은 움직임의 정도가 일정량 이상일 경우를 탐지하여 침입 여부를 판단한다. 움직임 검출 기능의 경우 많은 기술의 발달로 매우 적은 CPU Resource만을 갖고도 서비스할 수 있어, 거의 모든 업체에서 이를 사용하고 있다.
현재 움직임 기반의 침입탐지 기술은 움직이는 모든 물체를 거의 99% 이상의 정확도로 검출할 수 있으나, 바람에 움직이는 나뭇가지, 애완동물, 야간에 차량의 라이트 등을 침입으로 간주하는 에러를 많이 보이고 있다. 실제로 침입 알람으로 인한 보안 업체의 출동 건수는 2.4만건/월 수준이며, 이 중 실제 침입은 30건/월에 불과(오알람 비율 99.8%)한 것을 알려지고 있다.
최근 들어 딥러닝 기반의 다양한 Computer Vision 또는 Image Processing 기술들이 발표되고 있다. 현재 사람을 검출하는 딥러닝 기반의 네트워크는 CNN, R-CNN, faster R-CNN, mask R-CNN, SSD, DSSD, Yolo 등 매우 많은 기술들이 있다. 이 중 CCTV 처럼 실시간으로 서비스를 할 수 있는 기술들은 Single CNN 네트워크를 사용하는 SSD와 YOLO 두 개가 가장 대표적이며, 사람 검출 정확도는 약 70~80% 정도이다.
하지만, 딥러닝 기반의 영상인식 기술은 Graphic Processing unit(GPU)라는 매우 고가의 하드웨어 장비를 반드시 사용해야 하며, 사용한다고 하더라도 1개의 장비로 동시에 처리할 수 있는 영상의 개수는 1~2개로 제한된다는 점에서 그 상용화가 사실상 불가능하다는 문제점이 존재한다.
이에, CCTV 환경에서 고성능의 딥러닝 기반의 침입탐지 기능을 상용화하기 위해 다양한 오검출을 줄이고 효과적으로 GPU 자원을 사용할 수 있도록 하는 새로운 기술을 필요로 한다.
본 실시예는 침입 탐지장치가 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용하여, 관심 영역 내 움직임이 감지되는 경우에만 딥러닝 프로세서를 동작하게 함으로써 고가의 GPU 사용량을 대폭 줄이면서도 오알람의 발생률이 최소화될 수 있도록 하는 데 그 목적이 있다.
본 실시예는, 입력되는 영상 프레임을 분석하여 상기 영상 프레임 내 객체의 움직임 정보를 검출하는 움직임 검출부; 상기 영상 프레임 중 상기 객체의 움직임 정보가 검출된 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 상기 대상 영상 프레임 내 특정 대상의 존재 여부를 판별하는 프로세스 수행부; 및 상기 움직임 검출부의 검출결과 및 상기 프로세스 수행부의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별하는 제어부를 포함하는 것을 특징으로 하는 침입 탐지장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 침입 탐지장치의 침입자 침입 탐지방법에 있어서, 입력되는 영상 프레임을 분석하여 상기 영상 프레임 내 객체의 움직임 정보를 검출하는 과정; 상기 영상 프레임 중 상기 객체의 움직임 정보가 검출된 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 상기 대상 영상 프레임 내 특정 대상의 존재 여부를 판별하는 과정; 및 상기 검출하는 과정의 검출결과 및 상기 판별하는 과정의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별하는 과정을 포함하는 것을 특징으로 하는 침입 탐지방법을 제공한다.
본 실시예에 따르면, 침입 탐지장치가 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용하여, 관심 영역 내 움직임이 감지되는 경우에만 딥러닝 프로세서를 동작하게 함으로써 고가의 GPU 사용량을 대폭 줄이면서도 침입 탐지의 정확도는 향상시킬 수 있는 효과가 있다.
또한, 본 실시예에 따르면 카메라가 거의 움직이지 않는 고정형 CCTV 환경에서 AI 기술을 기반으로 한 침입탐지 서비스의 실제 상용화가 가능하다는 효과가 있다.
도 1은 본 실시예에 따른 침입탐지 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 침입 탐지장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 침입 탐지방법을 설명하기 위한 순서도이다.
도 4 및 도 5는 본 실시예에 따른 침입 탐지방법에 의한 효과를 설명하기 위한 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
도 1은 본 실시예에 따른 침입탐지 시스템을 개략적으로 나타낸 블록 구성도이다.
도 1에 도시하듯이, 본 실시예에 따른 침입탐지 시스템은 영상 촬영장치(100), 침입 탐지장치(110) 및 모니터링 장치(120)를 포함하는 형태로 구현된다. 이때, 본 실시예에 따른 침입탐지 시스템에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다. 예컨대, 도 1에서는 영상 촬영장치(100)가 침입 탐지장치(110)와 별도의 장치로 구현되는 것으로 예시하였으나, 이러한, 영상 촬영장치(100)는 침입 탐지장치(110)와 하나의 장치로 구현될 수도 있다.
영상 촬영장치(100)는 감시 영역 내 침입자의 침입 여부를 감시하기 위해 영상을 촬영할 수 있는 장치를 의미한다. 영상 촬영장치(110)는 CCTV용 카메라와 같이 고정형 카메라로 구현될 수 있으나, 반드시 이에 한정되는 것은 아니고 침입 탐지장치(110)의 입력영상을 생성할 수 있는 모든 장치를 포함할 수 있다
영상 촬영장치(100)는 침입탐지 시스템 내 하나 이상 포함될 수 있으며, 서로 다른 위치에 설치되어 여러 장소를 촬영한 영상을 생성할 수 있다.
영상 촬영장치(100)는 촬영된 영상에 대한 영상 프레임을 침입 탐지장치(110)로 전송한다.
침입 탐지장치(110)는 영상 촬영장치(100)로부터 수신한 영상 프레임을 실시간으로 분석하여 객체를 탐지 및 인식하고, 분석결과를 기초로 감시 영역 내 침입자의 침입 여부를 판단한다. 침입 탐지장치(110)는 판단결과에 따라 감시 영역 내 침입자의 침입이 확인되는 경우, 이에 대한 정보를 모니터링 장치(120)로 전송한다. 다른 실시예에서, 침입 탐지장치(110)는 감시 영역 내 침입자의 침입과 관련한 알람 정보를 직접 출력할 수도 있다.
본 실시예에 따른 침입 탐지장치(110)는 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용하여 감시 영역 내 침입자의 침입 여부를 판단한다. 즉, 본 실시예에 따른 침입 탐지장치(110)는 딥러닝 기반으로 영상 프레임 내 등장하는 특정 대상을 검출하되, 영상 프레임 내 움직임이 감지되는 경우에만 선택적으로 딥러닝 프로세스를 동작시킨다. 이때, 특정 대상은 사전에 관리자가 기 설정해둔 대상으로서, 사람, 동물 등과 같은 다양한 대상이될 수 있다.
이를 위해, 침입 탐지장치(110)는 영상 프레임 내 객체의 특징을 검출하고, 검출된 객체의 특징에 기초하여 객체의 움직임을 감지할 수 있다.
또한, 침입 탐지장치(110)는 특정 대상을 탐지하고 인식하도록 미리 설계된 인공 신경망 모델을 기 학습(Training)하고, 학습된 인공 신경망 모델을 기반으로 딥러닝 프로세서를 수행하여 영상 프레임 내 특정 대상을 탐지 및 인식할 수 있다. 예를 들어, 인공 신경망 모델로는 컨볼루션 신경망(CNN)이 이용될 수 있다. 컨볼루션 신경망(CNN)은 입력영상에 대해 컨볼루션 연산을 수행하는 하나 이상의 컨볼루션 층(Convolution Layer) 및 컨볼루션 층의 출력을 샘플링하는 하나 이상의 풀링 층(Pooling Layer)을 포함한다. 다만, 컨볼루션 신경망(CNN)은 예시일 뿐 반드시 이에 한정되는 것은 아니며, SSD(Single Shot MultiBox Detector), YOLO 등과 같은 다양한 인공 신경망 모델이 이용될 수 있다. 본 실시예에서는 딥러닝 프로세서의 수행을 위해 기 학습된 인공 신경망 모델에 대해서 특정 모델로 한정하지는 않는다.
한편, 본 실시예에 따른 침입 탐지장치(110)가 감시 영역 내 침입자의 침입 여부를 판단하는 구체적인 동작에 대해서는 도 2의 침입 탐지장치(110)의 구성요소를 설명하는 과정에서 보다 자세하게 설명하도록 한다.
모니터링 장치(120)는 침입 탐지장치(110)로부터 수신한 정보에 따라 경보 발생 등과 같은 적절한 이벤트를 발생시킬 수 있다. 또한, 모니터링 장치(120)는 침입자가 탐지된 영상을 영상 촬영장치(100) 및 침입 탐지장치(110)로부터 수신하여 실시간으로 디스플레이할 수 있다.
도 2는 본 실시예에 따른 침입 탐지장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 침입 탐지장치(110)는 입력부(200), 관심영역 설정부(210), 움직임 검출부(220), 조절부(230), 프로세스 수행부(240), 제어부(250), 저장부(260) 및 알람부(270)를 포함한다. 이때, 본 실시예에 따른 침입 탐지장치(110)에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다. 예컨대, 본 실시예에 따른 침입 탐지장치(110)는 도 1에 도시된 영상 촬영장치(100)를 구성요소로서 추가 포함하는 형태로 구현될 수 있다.
입력부(200)는 침입 탐지장치(110)와 연동된 영상 촬영장치(100)로부터 영상 프레임을 획득한다. 즉, 입력부(200)는 특정 지점에 설치되어 있는 영상 촬영장치(100)로부터 기 설정된 영역이 촬영된 영상 프레임을 획득한다. 여기서, 영상 프레임은 영상 촬영장치(100)에서 촬영된 촬영영상에 대한 프레임을 의미한다.
입력부(200)는 영상 촬영장치(100)로부터 영상 프레임을 실시간으로 수신할 수 있다. 예컨대, 입력부(200)는 일정 크기(640 × 480)의 영상을 초당 15 프레임 단위로 수신할 수 있다. 다른 실시예에서, 입력부(200)는 영상 촬영장치(100)에서 기 촬영되어 저장된 영상에 대한 영상 프레임을 획득할 수도 있다.
또한, 본 실시예에서는 입력부(200)가 영상 촬영장치(100)로부터 촬영된 영상에 대한 영상 프레임을 획득한다고 명시하였지만 반드시 이에 한정되지는 않고, 침입 탐지장치(110)가 영상을 촬영하기 위한 모듈을 구비하고, 해당 모듈을 이용하여 촬영된 영상에 대한 영상 프레임을 직접 획득할 수도 있다.
관심영역 설정부(210)는 영상 프레임 내 특정 영역을 선택한 선택신호를 수신하고, 수신한 선택신호에 근거하여 특정 영역을 관심 영역으로 설정한다. 즉, 관심영역 설정부(210)는 사용자 인터페이스부(미도시)를 이용하여 사용자로부터 영상 프레임 내 특정 영역을 선택한 선택신호를 수신하고, 특정 영역을 관심 영역으로 설정한다.
관심영역 설정부(210)는 특정 영상 프레임 내 관심 영역이 설정되는 경우, 특정 영상 프레임과 대응되는 다른 영상 프레임에서도 동일한 영역이 관심 영역으로 설정되도록 제어한다. 한편, 관심영역 설정부(210)는 관심 영역에 대한 설정값을 저장부(260)에 제공함으로써 저장부(260)가 관심 영역이 설정된 영상 프레임을 제공하도록 동작시킬 수 있다.
움직임 검출부(220)는 입력부(200)를 통해 입력되는 영상 프레임을 분석하여 영상 프레임 내 객체의 움직임 정보를 검출하는 기능을 수행한다. 한편, 움직임 검출부(220)는 관심영역 설정부(210)를 통해 관심 영역이 설정되어 있는 경우, 설정된 관심 영역 내 객체의 움직임 정보를 검출한다.
움직임 검출부(220)는 다양한 방법을 이용하여 영상 프레임 내 객체의 움직임 정보를 검출할 수 있다. 예컨대, 움직임 검출부(220)는 연속된 두 개의 영상 프레임의 차이를 이용하거나, 가우시안 혼합 모델(GMM: Gaussian Mixture Model), VIBE 등을 기반으로 모델링한 배경영상의 차분을 이용하는 등의 방법을 이용하여 영상 프레임 내 객체의 움직임 정보를 검출할 수 있다.
움직임 검출부(200)는 상기의 검출 기능 수행에 따라, 입력부(200)를 통해 입력된 영상 프레임 중 객체의 움직임이 검출된 영상 프레임(이하, 대상 영상 프레임으로 예시하여 설명하도록 한다.) 및 이에 대응되는 움직임 정보를 산출한다.
이때, 움직임 정보로는 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역(또는 Box)에 대한 정보(예: X 좌표, Y 좌표, 영역의 가로 및 세로 길이, 움직임 양)가 포함될 수 있다.
움직임 검출부(200)는 검출 결과에 대한 신뢰성 확보를 위해, 객체의 움직임이 검출된 영상 프레임에 대해 필터링 절차를 수행할 수 있다. 예컨대, 움직임 검출부(200)는 객체의 움직임에 대한 측정 값이 기 설정된 임계치를 초과하는 영상 프레임을 대상 영상 프레임으로서 최종 선별할 수 있다. 이때, 객체의 움직임에 대한 측정 값은 상기의 움직임 정보 보다 자세하게는 객체의 움직임 정보가 검출된 영역의 면적을 통해 측정될 수 있다.
움직임 검출부(200)는 산출한 대상 영상 프레임 및 이에 대응되는 움직임 정보를 프로세스 수행부(240) 및 제어부(250)로 전달한다.
조절부(230)는 프로세스 수행부(240)로 입력되는 대상 영상 프레임의 개수를 조절하는 기능을 수행한다. 이러한, 조절부(230)의 조절 기능은 바람직하게는 이후, 제어부(250)로부터 수행되는 침입 여부 판별결과에 대한 신뢰성을 확보하기 위해 수행될 수 있다.
이러한, 조절부(230)의 조절 결과에 따라 움직임 검출부(200)는 N(N=자연수)개의 대상 영상 프레임을 프로세스 수행부(240)로 출력한다. 이때, N개의 대상 영상 프레임은 최초 객체의 움직임 정보가 검출된 영상 프레임을 기준으로 연속된 N개의 영상 프레임일 수 있다. 한편, 본 실시예에 있어서, 조절부(230)는 그 효율성 등을 이유로 5개의 대상 영상 프레임이 프로세스 수행부(240)로 출력되도록 조절(TH3=5)하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
프로세스 수행부(240)는 딥러닝 기반의 침입탐지 기능을 수행하는 장치를 의미한다.
본 실시예에 따른 프로세스 수행부(240)는 움직임 검출부(200)로부터 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 대상 영상 프레임 내 특정 대상의 존재 여부를 판별한다. 한편, 이하에서는 특정 대상이 사람인 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다.
앞서 도 1에서 설명하였듯이, 본 실시예에 따른 프로세스 수행부(240)는 컨볼루션 신경망(CNN) 등과 같은 다양한 인공 신경망 모델을 기반으로 대상 영상 프레임 내 사람의 존재 여부를 판별할 수 있다. 이러한, 프로세스 수행부(240)가 딥러닝 기반으로 대상 영상 프레임 내 사람을 검출하는 구체적인 방법은 해당 분야에서 일반적인 내용인 바 자세한 설명은 생략하도록 한다.
한편, 본 실시예에 따른 프로세스 수행부(240)는 움직임 검출부(200)로부터 움직임 정보가 검출된 영상 프레임만을 입력 신호로서 제공받고, 해당 영상 프레임에 대해서만 딥러닝 프로세서를 선택적으로 수행함에 따라 종래 대비 GPU 사용량을 대폭 감소시킬 수 있는 효과가 있다.
프로세스 수행부(240)는 판별 결과에 따라, 대상 영상 프레임 내 사람이 검출되는 경우 그 신뢰도 값(Conf)과 더불어, 사람의 위치정보를 산출한다. 여기서, 사람의 위치정보는 대상 영상 프레임 내 사람이 검출된 영역(또는 Box)에 대한 정보(예: X 좌표, Y 좌표, 영역의 가로 및 세로 길이)가 포함될 수 있다.
본 실시예에 따른 프로세스 수행부(240)는 판별 결과에 대한 신뢰성 확보를 위해 신뢰도 값에 기반한 추가적인 판별 절차를 수행할 수 있다. 즉, 프로세스 수행부(240)는 대상 영상 프레임 내 사람이 검출되는 경우 그 신뢰도 값이 일정 임계치(TH1) 이상인 지 여부를 확인하고, 확인 결과에 따라 대상 영상 프레임 내 사람의 존재 여부를 최종 판별할 수 있다. 예컨대, 프로세스 수행부(240)는 TH1의 값을 0.4로 정하여 신뢰도 40% 이상으로 사람이 검출되는 경우에 한해서 대상 영상 프레임 내 사람이 검출된 것으로 최종 판별할 수 있다. 한편, 임계치 TH1의 값은 침입탐지 시스템의 설치 환경에 따라 다양한 값이 설정될 수 있다.
제어부(250)는 움직임 검출부(220)의 검출결과 및 프로세스 수행부(240)의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별한다.
제어부(250)는 프로세스 수행부(240)의 판별 결과에 따라 대상 영상 프레임 내 사람이 검출되지 않을 경우 움직임이 발생한 객체가 바람에 날리는 사물이거나, 지나가는 동물 또는 야간에 자동차의 이동으로 생기는 조명의 영향인 것으로 판단하여 침입자가 존재하지 않는 것으로 판별한다.
제어부(250)는 프로세스 수행부(240)의 판별 결과에 따라 대상 영상 프레임 내 사람이 검출되는 경우 침입자가 존재하는 것으로 판별한다. 한편, 본 실시예에 따른 제어부(250)는 침입자의 침입 여부 결과에 대한 정확도 향상을 위해 추가적인 판별 절차를 수행할 수 있다.
즉, 제어부(250)는 프로세스 수행부(240)의 판별 결과에 따라 대상 영상 프레임 내 사람이 검출되는 경우 그와 관련하여 산출된 위치 정보(ex: 대상 영상 프레임 내 사람이 검출된 영역의 위치 정보) 및 앞서, 해당 대상 영상 프레임에 대하여 움직임 검출부(220)로부터 산출된 움직임 정보(ex: 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역의 위치 정보)를 비교하고, 비교 결과에 따라 침입자의 침입 여부를 판별한다.
예컨대, 제어부(250)는 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역과 사람이 존재하는 영역 사이의 겹침 공간에 대한 비율 값(IOU: Intersection Over Union)이 기 설정된 임계치(TH2)를 초과하는 경우 감시 영역 내 침입자가 침입한 것으로 판별할 수 있다. 이때, IOU는 두 영역 사이의 겹침을 비교하는 수치로서, 이를 이용한, 제어부(250)의 판별 절차는 실제 움직임이 있는 영역에서 사람이 검출되었는지를 확인하는 절차에 해당될 수 있다.
또한, 제어부(250)는 앞서 조절부(230)의 조절에 따라 프로세서 수행부(240)로 입력된 N개의 대상 영상 프레임 각각에 대하여 프로세서 수행부(240)로부터 산출된 판별결과를 모두 고려하여 감시 영역 내 침입자의 침입 여부를 최종 판별할 수 있다. 예컨대, 제어부(250)는 N개의 대상 영상 프레임에 대하여 앞서 명시한 모든 판별 조건을 만족하는 경우 감시 영역 내 침입자가 침입한 것으로 최종 판별할 수 있다.
저장부(260)는 감시 영역 내 침입자의 침입 여부를 판별하는 과정에서 수집되는 모든 정보들을 저장하고, 이를 필요에 따라 제공한다.
알람부(270)는 제어부(250)의 판별 결과에 따라 감시 영역 내 침입자의 침입이 인지되는 경우 이에 대한 알람 정보를 출력하는 기능을 수행한다. 예컨대, 알람부(270)는 감시 영역 내 침입자의 침입과 관련된 정보들을 모니터링 장치(120)로 출력하고, 이를 통해, 모니터링 장치(120)로 하여금 경보 발생 등과 같은 적절한 이벤트가 발생될 수 있도록 할 수 있다. 다른 실시예에서, 알람부(270)는 자체적으로 상기의 이벤트를 발생시킬 수도 있다.
도 3은 본 실시예에 따른 침입 탐지방법을 설명하기 위한 순서도이다.
침입 탐지장치(110)는 영상 촬영장치(100)로부터 입력되는 영상 프레임을 분석하여 영상 프레임 내 객체의 움직임 정보를 검출하고(S302), 검출결과에 따라 대상 영상 프레임을 산출한다(S304). 단계 S302 및 단계 S304에서 침입 탐지장치(110)는 객체의 움직임에 대한 측정 값이 기 설정된 임계치를 초과하는 영상 프레임을 대상 영상 프레임으로서 선별하고, 이에 대응되는 움직임 정보를 산출한다. 이때, 움직임 정보로는 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역(또는 Box)에 대한 정보가 포함될 수 있다.
침입 탐지장치(110)는 기 학습된 인공 신경망 모델을 기반으로 대상 영상 프레임 내 특정 대상 예컨대, 사람의 존재 여부를 판별한다(S306). 단계 S306에서 침입 탐지장치(110)는 컨볼루션 신경망(CNN) 등과 같은 다양한 인공 신경망 모델을 기반으로 대상 영상 프레임 내 사람의 존재 여부를 판별할 수 있다.
침입 탐지장치(110)는 단계 S306의 판별 결과에 따라 대상 영상 프레임 내 사람이 검출되는 경우 그 신뢰도 값(Conf)과 더불어, 사람의 위치정보를 산출한다. 여기서, 사람의 위치정보는 대상 영상 프레임 내 사람이 검출된 영역(또는 Box)에 대한 정보가 포함될 수 있다.
침입 탐지장치(110)는 단계 306의 판별결과에 대한 신뢰성 확보를 위해 신뢰도 값에 기반한 추가적인 판별 절차를 수행한다(S308). 단계 S308에서 침입 탐지장치(110)는 대상 영상 프레임 내 사람이 검출되는 경우 그 신뢰도 값이 일정 임계치(TH1) 이상인 지 여부를 확인하고, 확인 결과에 따라 대상 영상 프레임 내 사람의 존재 여부를 최종 판별할 수 있다
침입 탐지장치(110)는 단계 S308의 판별 절차에 따라 대상 영상 프레임 내 사람이 검출되는 경우 해당 대상 영상 프레임에 대하여 단계 S302에서 산출된 움직임 정보 및 단계 S306에서 산출된 위치 정보를 비교하고, 비교 결과에 따라 침입자의 침입 여부를 판별한다(S310). 단계 S310에서 침입 탐지장치(110)는 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역과 사람이 존재하는 영역 사이의 겹침 공간에 대한 비율 값(IOU: Intersection Over Union)이 기 설정된 임계치(TH2)를 초과하는 경우 감시 영역 내 침입자가 침입한 것으로 판별한다.
침입 탐지장치(110)는 기 설정된 복수 개의 대상 영상 프레임 각각에 대해 단계 S302 내지 단계 S310를 통해 산출된 판별결과를 모두 고려하여 감시 영역 내 침입자의 침입 여부를 최종 판별한다(S312).
침입 탐지장치(110)는 단계 S312의 판별결과에 따라 감시 영역 내 침입자의 침입이 인지되는 경우 이에 대한 알람 정보를 출력한다(S314)
여기서, 단계 S302 내지 S314는 앞서 설명된 침입 탐지장치(110)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.
도 3에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 3에 기재된 침입 탐지방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.
도 4 및 도 5는 본 실시예에 따른 침입 탐지방법에 의한 효과를 설명하기 위한 예시도이다. 한편, 도 4의 (a) 내지 (c)는 종래의 침입 탐지방법에 따른 침입 탐지결과를 예시하였으며, 도 5의 (a) 내지 (a) 내지 (c)는 본 실시예에 따른 침입 탐지방법에 따른 침입 탐지결과를 예시하였다.
도 4의 (a) 내지 (c)를 참조하면, 종래의 움직임 기반의 침입 탐지방법 또는 딥러인 기반의 침입 탐지방법에 의하는 경우 자칫 바람에 움직이는 나뭇가지, 애완동물, 야간에 차량의 라이트 등이 침입자로 간주되어 오알람이 발생할 수 있음을 확인할 수 있다.
반면, 도 5의 (a) 내지 (c)를 참조하면, 본 실시예에 따른 침입 탐지방법에 의하는 경우 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용함에 따라 높은 신뢰도로 침입자를 검출할 수 있음을 확인할 수 있다.
이러한, 본 실시예에 따른 침입 탐지방법에 의하는 경우 관심 영역 내 움직임이 감지되는 경우에만 딥러닝 프로세서를 동작하게 함으로써 기존의 딥러닝을 사용하지 않은 움직임 기반의 침입 탐지방법과 비교해서는 성능 측면에서 월등이 좋으면서도, 딥러닝 기반의 침입 탐지방법과 비교해서는 오검출을 최소화할 수 있는 효과가 있다.
더욱이, 매 프레임마다 GPU를 사용하지 않아도 된다는 점에서 24시간 동안 끊임없이 동작하는 CCTV 환경에 매우 효율적으로 적용될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 영상 촬영장치 110: 침입 탐지장치
120: 모니터링 장치 200: 입력부
210: 관심영역 설정부 220: 움직임 검출부
230: 조절부 240: 프로세스 수행부
250: 제어부 260: 저장부
270: 알람부

Claims (10)

  1. 입력되는 영상 프레임을 분석하여 상기 영상 프레임 내 객체의 움직임 정보를 검출하는 움직임 검출부;
    상기 영상 프레임 중 상기 객체의 움직임 정보가 검출된 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 상기 대상 영상 프레임 내 특정 대상의 존재 여부를 판별하는 프로세스 수행부; 및
    상기 움직임 검출부의 검출결과 및 상기 프로세스 수행부의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별하는 제어부
    를 포함하는 것을 특징으로 하는 침입 탐지장치.
  2. 제 1항에 있어서,
    상기 영상 프레임 내 관심 영역(ROI: Region Of Interest)을 설정하는 관심영역 설정부를 더 포함하며,
    상기 움직임 검출부 및 상기 프로세스 수행부는 각각 상기 관심 영역 내 상기 객체의 움직임 정보 및 상기 특정 대상의 존재 여부를 판별하는 것을 특징으로 하는 침입 탐지장치.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 대상 영상 프레임 내 상기 객체의 움직임 정보가 검출된 영역의 위치정보 및 상기 대상 영상 프레임 내 상기 특정 대상이 존재하는 영역의 위치정보를 비교하고, 비교결과에 따라 상기 침입자의 침입 여부를 판별하는 것을 특징으로 하는 침입 탐지장치.
  4. 제 3항에 있어서,
    상기 제어부는,
    상기 객체의 움직임 정보가 검출된 영역과 상기 특정 대상이 존재하는 영역 사이의 겹침 공간에 대한 비율 값(IOU: Intersection Over Union)이 기 설정된 임계치를 초과하는 경우 상기 감시 영역 내 상기 침입자가 침입한 것으로 판별하는 것을 특징으로 하는 침입 탐지장치.
  5. 제 1항에 있어서,
    상기 프로세스 수행부로 입력되는 상기 대응 영상 프레임의 개수를 조절하는 조절부를 더 포함하며,
    상기 제어부는, 연속된 N(N=자연수)개의 대응 영상 프레임 각각에 대하여 산출된 상기 침입 여부에 대한 판별결과를 모두 고려하여 상기 침입 여부를 최종 결정하는 것을 특징으로 하는 침입 탐지장치.
  6. 제 1항에 있어서,
    상기 움직임 검출부는,
    상기 객체의 움직임에 대한 측정 값이 기 설정된 임계치를 초과하는 영상 프레임을 상기 대상 영상 프레임으로서 선별하는 것을 특징으로 하는 침입 탐지장치.
  7. 제 1항에 있어서,
    상기 프로세스 수행부는,
    상기 판별결과에 대한 신뢰도 수치를 추가 고려하여 상기 대상 영상 프레임 내 상기 특정 대상의 존재 여부를 최종 판별하는 것을 특징으로 하는 침입 탐지장치.
  8. 침입 탐지장치의 침입자 침입 탐지방법에 있어서,
    입력되는 영상 프레임을 분석하여 상기 영상 프레임 내 객체의 움직임 정보를 검출하는 과정;
    상기 영상 프레임 중 상기 객체의 움직임 정보가 검출된 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 상기 대상 영상 프레임 내 특정 대상의 존재 여부를 판별하는 과정; 및
    상기 검출하는 과정의 검출결과 및 상기 판별하는 과정의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별하는 과정
    을 포함하는 것을 특징으로 하는 침입 탐지방법.
  9. 제 8항에 있어서,
    상기 침입 여부를 판별하는 과정은,
    상기 대상 영상 프레임 내 상기 객체의 움직임 정보가 검출된 영역의 위치 정보 및 상기 대상 영상 프레임 내 상기 특정 대상이 존재하는 영역의 위치 정보를 비교하고, 비교결과에 따라 상기 침입 여부를 판별하는 것을 특징으로 하는 침입 탐지방법.
  10. 제 8항에 있어서,
    상기 입력신호로서 제공되는 상기 대응 영상 프레임의 개수를 조절하는 과정을 더 포함하며,
    상기 침입 여부를 판별하는 과정은, 연속된 N개의 대응 영상 프레임 각각에 대하여 산출된 상기 침입 여부에 대한 판별결과를 모두 고려하여 상기 침입 여부를 최종 결정하는 것을 특징으로 하는 침입 탐지방법.
KR1020170140049A 2017-10-26 2017-10-26 침입 탐지방법 및 그 장치 KR102195706B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170140049A KR102195706B1 (ko) 2017-10-26 2017-10-26 침입 탐지방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140049A KR102195706B1 (ko) 2017-10-26 2017-10-26 침입 탐지방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20190046351A true KR20190046351A (ko) 2019-05-07
KR102195706B1 KR102195706B1 (ko) 2020-12-28

Family

ID=66656086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140049A KR102195706B1 (ko) 2017-10-26 2017-10-26 침입 탐지방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102195706B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102021441B1 (ko) * 2019-05-17 2019-11-04 정태웅 인공지능을 이용한 영상 기반의 실시간 침입 감지 방법 및 감시카메라
KR102107957B1 (ko) * 2020-01-06 2020-05-07 주식회사 투윈스컴 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법
KR20210007541A (ko) 2019-07-12 2021-01-20 에스케이텔레콤 주식회사 객체의 움직임 및 크기 정보를 이용한 침입 객체 오 탐지 방지 방법, 이를 위한 장치 및 그 기록매체
KR20210010092A (ko) * 2019-07-19 2021-01-27 한국과학기술연구원 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법 및 이를 수행하는 영상 관제 시스템
KR102342352B1 (ko) * 2020-08-26 2021-12-22 (주) 시티캅 듀얼분석모드를 이용한 cctv 기반의 인공지능 감지시스템
KR102391853B1 (ko) * 2021-11-19 2022-05-09 주식회사 케이비전 영상 정보 처리 시스템 및 방법
KR102531238B1 (ko) * 2023-01-11 2023-05-11 (주)인포스텍 인공지능 기반 다목적 안전 감시 일체형 카메라 시스템
KR102608625B1 (ko) * 2023-08-28 2023-12-04 주식회사 에이아이프로 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법
KR102615768B1 (ko) * 2023-05-18 2023-12-20 주식회사 크랜베리 영상 및 음원을 이용한 이벤트 탐지 시스템 및 방법
CN117333995A (zh) * 2023-09-20 2024-01-02 华能核能技术研究院有限公司 一种基于yolo-v3的高温气冷堆周界入侵探测报警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873445B1 (ko) * 2007-08-14 2008-12-11 주식회사 미디어프론트 영상차이 인식 시스템 및 영상 시스템을 이용한 영상차이인식방법
KR20140081254A (ko) * 2012-12-21 2014-07-01 한국전자통신연구원 사람 검출 장치 및 방법
KR20160037480A (ko) * 2014-09-29 2016-04-06 에스케이텔레콤 주식회사 지능형 영상 분석을 위한 관심 영역 설정 방법 및 이에 따른 영상 분석 장치
KR20160081472A (ko) * 2014-12-31 2016-07-08 삼성에스디에스 주식회사 영상 촬영 장치, 영상 분석 장치 및 방법과 이를 이용한 영상 분석 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873445B1 (ko) * 2007-08-14 2008-12-11 주식회사 미디어프론트 영상차이 인식 시스템 및 영상 시스템을 이용한 영상차이인식방법
KR20140081254A (ko) * 2012-12-21 2014-07-01 한국전자통신연구원 사람 검출 장치 및 방법
KR20160037480A (ko) * 2014-09-29 2016-04-06 에스케이텔레콤 주식회사 지능형 영상 분석을 위한 관심 영역 설정 방법 및 이에 따른 영상 분석 장치
KR20160081472A (ko) * 2014-12-31 2016-07-08 삼성에스디에스 주식회사 영상 촬영 장치, 영상 분석 장치 및 방법과 이를 이용한 영상 분석 시스템

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235819A1 (ko) * 2019-05-17 2020-11-26 Jeong Tae Woong 인공지능을 이용한 영상 기반의 실시간 침입 감지 방법 및 감시카메라
KR102021441B1 (ko) * 2019-05-17 2019-11-04 정태웅 인공지능을 이용한 영상 기반의 실시간 침입 감지 방법 및 감시카메라
JP2022532111A (ja) * 2019-05-17 2022-07-13 イーエスシーエイ（エレクトロニック セキュリティー オブ ザ クリエイティブ アソシエイション） カンパニー リミテッド 人工知能を用いた映像基盤のリアルタイム侵入検知方法及び監視カメラ
US12033480B2 (en) 2019-05-17 2024-07-09 Esca Co., Ltd. Image-based real-time intrusion detection method and surveillance camera using artificial intelligence
KR20210007541A (ko) 2019-07-12 2021-01-20 에스케이텔레콤 주식회사 객체의 움직임 및 크기 정보를 이용한 침입 객체 오 탐지 방지 방법, 이를 위한 장치 및 그 기록매체
US11921774B2 (en) 2019-07-19 2024-03-05 Korea Institute Of Science And Technology Method for selecting image of interest to construct retrieval database and image control system performing the same
KR20210010092A (ko) * 2019-07-19 2021-01-27 한국과학기술연구원 검색 데이터베이스를 구축하기 위한 관심영상 선별 방법 및 이를 수행하는 영상 관제 시스템
KR102107957B1 (ko) * 2020-01-06 2020-05-07 주식회사 투윈스컴 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법
KR102342352B1 (ko) * 2020-08-26 2021-12-22 (주) 시티캅 듀얼분석모드를 이용한 cctv 기반의 인공지능 감지시스템
KR102391853B1 (ko) * 2021-11-19 2022-05-09 주식회사 케이비전 영상 정보 처리 시스템 및 방법
KR102531238B1 (ko) * 2023-01-11 2023-05-11 (주)인포스텍 인공지능 기반 다목적 안전 감시 일체형 카메라 시스템
KR102615768B1 (ko) * 2023-05-18 2023-12-20 주식회사 크랜베리 영상 및 음원을 이용한 이벤트 탐지 시스템 및 방법
KR102608625B1 (ko) * 2023-08-28 2023-12-04 주식회사 에이아이프로 효율적 운영이 가능한 딥러닝 기반 영상 감시 장치 및 방법
CN117333995A (zh) * 2023-09-20 2024-01-02 华能核能技术研究院有限公司 一种基于yolo-v3的高温气冷堆周界入侵探测报警方法及系统

Also Published As

Publication number Publication date
KR102195706B1 (ko) 2020-12-28

Similar Documents

Publication Publication Date Title
KR20190046351A (ko) 침입 탐지방법 및 그 장치
US5554983A (en) Object recognition system and abnormality detection system using image processing
US7639840B2 (en) Method and apparatus for improved video surveillance through classification of detected objects
KR101910542B1 (ko) 객체 검출을 위한 영상분석 서버장치 및 방법
EP0878965A2 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
US20070035622A1 (en) Method and apparatus for video surveillance
CN107122743B (zh) 安防监控方法、装置和电子设备
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
US10719717B2 (en) Scan face of video feed
US20190304272A1 (en) Video detection and alarm method and apparatus
WO2018179202A1 (ja) 情報処理装置、制御方法、及びプログラム
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
KR102580434B1 (ko) 위험 상황 감지 장치 및 위험 상황 감지 방법
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
JP7125843B2 (ja) 障害検知システム
CN113033521A (zh) 基于目标分析的周界动态预警方法与系统
JPWO2008035411A1 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
JP4610005B2 (ja) 画像処理による侵入物体検出装置および方法およびプログラム
CN114764895A (zh) 异常行为检测装置和方法
JP7214437B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020021110A (ja) 警報システム、警報制御装置及び警報方法
JPH05300516A (ja) 動画処理装置
KR101669885B1 (ko) 영상 기반 보행자 추돌 자동 검출 방법 및 이를 적용한 사물 인터넷 장치
JP2005284652A (ja) 動きベクトルを用いた映像監視方法及び装置
CN114663479A (zh) 一种基于计算机视觉的智能监控预警方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant