KR102081517B1 - Intelligent integration control system and intelligent integration control method for linkage tracing of goal target - Google Patents

Intelligent integration control system and intelligent integration control method for linkage tracing of goal target Download PDF

Info

Publication number
KR102081517B1
KR102081517B1 KR1020180133714A KR20180133714A KR102081517B1 KR 102081517 B1 KR102081517 B1 KR 102081517B1 KR 1020180133714 A KR1020180133714 A KR 1020180133714A KR 20180133714 A KR20180133714 A KR 20180133714A KR 102081517 B1 KR102081517 B1 KR 102081517B1
Authority
KR
South Korea
Prior art keywords
target
dummy
unit
camera
information
Prior art date
Application number
KR1020180133714A
Other languages
Korean (ko)
Inventor
이용우
Original Assignee
주식회사 블루아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 블루아이 filed Critical 주식회사 블루아이
Priority to KR1020180133714A priority Critical patent/KR102081517B1/en
Application granted granted Critical
Publication of KR102081517B1 publication Critical patent/KR102081517B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The present invention relates to an intelligent integrated control system for linked tracking of a goal target and an intelligent integrated control method. Target information of a dummy target detected by means of each monitoring unit can be shared with other adjacent monitoring units and the movement of a goal target selected among the dummy targets can be successively tracked. To this end, the intelligent integrated control system for linked tracking of a goal target comprises: a plurality of monitoring units which are installed at each unit area to acquire target information of a dummy target including the image of the dummy target and the features of the correspondent dummy target; and a control server which selects a goal target from the dummy targets transmitted for each monitoring unit, displays the goal target on a map based on the target information of the goal target, and analyzes the features of the goal target and transmitting the target information of the goal target to the monitoring unit in which the goal target is included and other monitoring units adjacent to the same. Here, the monitoring unit, when receiving the target information of the goal target transmitted from the control server, matches the target information of the dummy target with the target information of the goal target and renews the target information of the goal target with the matched target information of the dummy target.

Description

목표타겟의 연계추적을 위한 지능형 통합관제시스템과 지능형 통합관제방법{INTELLIGENT INTEGRATION CONTROL SYSTEM AND INTELLIGENT INTEGRATION CONTROL METHOD FOR LINKAGE TRACING OF GOAL TARGET}INTELLIGENT INTEGRATION CONTROL SYSTEM AND INTELLIGENT INTEGRATION CONTROL METHOD FOR LINKAGE TRACING OF GOAL TARGET}

본 발명은 목표타겟의 연계추적을 위한 지능형 통합관제시스템과 지능형 통합관제방법에 관한 것으로, 보다 구체적으로는 각각의 감시유닛을 통해 검출된 더미타겟의 타겟정보를 인접한 다른 감시유닛과 공유할 수 있고, 더미타겟 중 선정된 목표타겟의 움직임을 연속적으로 추적할 수 있는 목표타겟의 연계추적을 위한 지능형 통합관제시스템과 지능형 통합관제방법에 관한 것이다.The present invention relates to an intelligent integrated control system and an intelligent integrated control method for linkage tracking of a target target. More specifically, the target information of a dummy target detected through each monitoring unit can be shared with other adjacent monitoring units. In addition, the present invention relates to an intelligent integrated control system and an intelligent integrated control method for link tracking of a target target that can continuously track the movement of a selected target target among dummy targets.

일반적으로, 보안 방범을 위하여 무인카메라를 이용하는 원격의 CCTV(폐쇄회로텔레비전) 시스템이 주로 적용된다. 이러한 CCTV 시스템은 도로변의 주정차 단속이나 보안 방범을 필요로 하는 골목길이나 우범지역 또는 엘리베이터나 주차장, 은행, 관공서, 백화점이나 마트 등을 비롯하여 일반 가정에서도 설치 운영되고 있다. 더욱이 사회적인 치안 문제나 복잡성 등으로 CCTV 시스템의 활용이 극대화되고 있는 실정이다.In general, a remote CCTV (closed circuit television) system using an unmanned camera for security security is mainly applied. These CCTV systems are installed and operated in general homes, including alleys and hot spots that require roadside crackdowns and security prevention, as well as elevators, parking lots, banks, government offices, department stores and marts. Moreover, the use of CCTV system is being maximized due to social security issues and complexity.

이와 같이 CCTV 시스템에는 보안 방범을 필요로 하는 위치나 장소의 영상을 카메라로 촬영하여 실시간으로 원격에서 감시하거나 지속적인 녹화로 당시의 상황을 감시 및 인식할 수 있도록 하고 있다.As such, the CCTV system allows cameras to capture images of locations or places that require security, and to monitor them remotely in real time or to monitor and recognize the situation at that time by continuous recording.

종래에 CCTV 시스템은 해당하는 위치나 장소에 설치된 카메라로부터 획득한 영상을 실시간으로 확인할 수 있으므로 현장감을 갖고 감시할 수 있지만, 이동물체, 예를 들어 절도범이나 수배범 또는 도난차량의 이동에 대해서는 지속적인 감시 및 관찰이 이루어지지 않았다. 즉 당시 현장의 상황을 감시하고 녹화할 수 있지만 이는 사후에 이루어지는 것이므로 현장에서 촬영된 절도범이나 수배자 또는 도난차량 등을 실시간으로 검거할 수 없는 문제가 있었다.Conventionally, the CCTV system can monitor the image acquired from the camera installed at the corresponding location or location in real time, so that it can be monitored with a sense of realism, but continuous monitoring and monitoring of the movement of a moving object such as a thief, a criminal or a stolen vehicle No observation was made. In other words, the situation at the time of the scene can be monitored and recorded, but this is done after the fact that there was a problem that can not be arrested in real time the thief, wanted or stolen vehicle taken in the field.

더욱이 곳곳에 설치된 CCTV 시스템 및 카메라는 해당하는 목적을 위해서만 작동되고 있어 현실적인 보안 방범을 위해서는 많은 문제점을 안고 있는 실정이다.In addition, CCTV systems and cameras installed in various places are operating only for the corresponding purpose, which has many problems for realistic security crime prevention.

대한민국 공개특허공보 제2010-0119920호 (발명의 명칭 : 보안 방범망을 이용한 이동물체 추적 시스템 및 그 방법, 2010. 11. 12. 공개)Korean Unexamined Patent Publication No. 2010-0119920 (Invention name: Moving object tracking system and method using security security network, published on Nov. 12, 2010)

본 발명의 목적은 종래의 문제점을 해결하기 위한 것으로서, 각각의 감시유닛을 통해 검출된 더미타겟의 타겟정보를 인접한 다른 감시유닛과 공유할 수 있고, 더미타겟 중 선정된 목표타겟의 움직임을 연속적으로 추적할 수 있는 목표타겟의 연계추적을 위한 지능형 통합관제시스템과 지능형 통합관제방법을 제공함에 있다.An object of the present invention is to solve the conventional problems, it is possible to share the target information of the dummy target detected through each monitoring unit with other adjacent monitoring unit, the movement of the selected target target of the dummy target continuously It is to provide an intelligent integrated control system and intelligent integrated control method for linkage tracking of target targets that can be traced.

상술한 본 발명의 목적을 달성하기 위한 바람직한 실시예에 따르면, 본 발명에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템은 더미타겟의 영상 및 해당 더미타겟의 특성이 포함된 더미타겟의 타겟정보를 획득하기 위해 단위영역별로 설치되는 다수의 감시유닛; 및 상기 감시유닛별로 전송되는 상기 더미타겟 중에서 목표타겟을 선정하고, 상기 목표타겟의 타겟정보를 바탕으로 상기 목표타겟을 지도에 표시함은 물론 상기 목표타겟의 특성을 분석하여 상기 목표타겟이 포함된 감시유닛 및 이에 인접한 다른 감시유닛으로 상기 목표타겟의 타겟정보를 전송하는 관제서버;를 포함하고, 상기 감시유닛은, 상기 단위영역의 일부 또는 전체를 촬영하는 카메라; 및 상기 카메라의 동작 및 상기 카메라가 촬영한 영상을 분석하여 상기 카메라가 촬영한 영상에서 상기 더미타겟을 선정하고, 상기 더미타겟으로부터 특성을 추출하는 컨트롤러;를 포함하며, 상기 감시유닛은, 상기 관제서버로부터 전송된 상기 목표타겟의 타겟정보를 수신하는 경우, 상기 더미타겟의 타겟정보와 상기 목표타겟의 타겟정보를 매칭시켜 상기 목표타겟의 타겟정보를 매칭된 상기 더미타겟의 타겟정보로 갱신한다.According to a preferred embodiment for achieving the above object of the present invention, the intelligent integrated control system for linkage tracking of the target target according to the present invention target image of the dummy target including the image of the dummy target and the characteristics of the dummy target A plurality of monitoring unit is installed for each unit area to obtain a; And selecting a target target from the dummy targets transmitted for each monitoring unit, displaying the target target on a map based on the target information of the target target, and analyzing the characteristics of the target target to include the target target. And a control server for transmitting target information of the target target to a monitoring unit and another monitoring unit adjacent thereto, wherein the monitoring unit comprises: a camera photographing a part or the whole of the unit area; And a controller configured to analyze the operation of the camera and the image photographed by the camera, select the dummy target from the image photographed by the camera, and extract a characteristic from the dummy target. The monitoring unit includes the control unit. When receiving target information of the target target transmitted from the server, the target information of the target target and the target information of the target target is matched to update the target information of the target target with the matched target information of the dummy target.

여기서, 상기 컨트롤러에는, 상기 카메라의 시선 방향을 기준으로 상기 카메라의 요잉 운동과 상기 카메라의 피칭 운동과 상기 카메라의 롤링 운동 중 적어도 어느 하나를 실행시키는 회전구동부; 상기 카메라가 촬영한 영상에서 상기 더미타겟이 포함되는 부분을 확대시키는 확대부; 상기 카메라가 촬영한 영상에서 상기 더미타겟을 선정하고, 선정된 상기 더미타겟의 특성을 추출하며, 상기 더미타켓의 타겟정보를 형성하는 영상분석부; 상기 더미타겟의 타겟정보와 상기 목표타겟의 타겟정보 그리고 상기 카메라가 촬영한 영상이 저장되고, 시계열에 따라 선입선출 방식으로 데이터가 출력되는 타겟저장부; 및 상기 타겟저장부에 저장된 데이터를 상기 관제서버에 전송하고, 상기 관제서버가 선정한 상기 목표타켓의 타겟정보를 수신하는 제어통신부;가 포함된다.The controller may include: a rotation driving unit configured to execute at least one of a yawing motion of the camera, a pitching motion of the camera, and a rolling motion of the camera based on a direction of the eye of the camera; An enlarger configured to enlarge a portion of the image captured by the camera to include the dummy target; An image analyzer which selects the dummy target from an image captured by the camera, extracts characteristics of the selected dummy target, and forms target information of the dummy target; A target storage unit for storing the target information of the dummy target, the target information of the target target, and an image photographed by the camera, and outputting data in a first-in first-out manner according to a time series; And a control communication unit which transmits data stored in the target storage unit to the control server and receives target information of the target target selected by the control server.

여기서, 상기 영상분석부에는, 상기 카메라가 촬영한 영상 중 모션 템플릿 기법을 통해 현재영상과 직전영상을 매칭시켜 영상 내의 움직이는 물체를 상기 더미타겟을 선정하는 타겟선정부; 상기 타겟선정부가 선정한 상기 더미타겟을 분석하여 상기 더미타겟의 특성을 추출하는 타겟특성추출부; 상기 더미타겟의 특성과 상기 목표타겟의 특성을 매칭시키는 타겟매칭부; 및 상기 타겟매칭부의 매칭 결과에 따라 상기 더미타겟의 특성 또는 상기 목표타겟의 특성을 갱신하는 타겟특성갱신부;가 포함된다.The image analyzing unit may include: a target selection unit configured to select the dummy target for a moving object in the image by matching a current image with a previous image by using a motion template technique among images captured by the camera; A target characteristic extracting unit configured to extract the characteristics of the dummy target by analyzing the dummy target selected by the target selection unit; A target matching unit matching the characteristics of the dummy target with the characteristics of the target target; And a target characteristic updating unit updating the characteristic of the dummy target or the characteristic of the target target according to a matching result of the target matching unit.

여기서, 상기 관제서버에는, 상기 감시유닛별 상기 타겟저장부의 데이터가 시계열 순으로 저장되는 데이터베이스부; 상기 데이터베이스부의 데이터로부터 목표타겟을 선정하고, 상기 감시유닛별 상기 데이터베이스부의 데이터에 대한 시간정보를 상호 매칭시켜 상기 데이터베이스부의 데이터를 갱신하는 데이터재가공부; 상기 목표타겟의 타겟정보를 바탕으로 상기 목표타겟의 절대좌표를 계산하여 지도에 표시하는 타겟좌표설정부; 상기 감시유닛별 상기 카메라가 촬영한 영상과 상기 목표타겟이 표시된 지도를 디스플레이하는 디스플레이부; 및 상기 감시유닛별 상기 타겟저장부의 데이터를 수신하고, 상기 목표타겟의 타겟정보를 상기 감시유닛에 전송하는 서버통신부;가 포함된다.Here, the control server, the database unit for storing the data of the target storage unit for each monitoring unit in chronological order; A data reprocessing unit for selecting a target target from the data of the database unit and updating the data of the database unit by matching time information of the data of the database unit for each monitoring unit with each other; A target coordinate setting unit configured to calculate and display an absolute coordinate of the target target based on the target information of the target target; A display unit configured to display a map on which the image captured by the camera for each monitoring unit and the target target are displayed; And a server communication unit which receives data of the target storage unit for each monitoring unit and transmits target information of the target target to the monitoring unit.

여기서, 상기 더미타겟의 특성에는, 상기 더미타겟에 부여되는 식별코드 또는 매칭코드; 상기 더미타겟의 색상비율; 상기 더미타겟의 움직임패턴; 상기 더미타겟의 색상 차이에 따른 외곽선모서리; 상기 더미타겟의 색상 차이에 따른 외곽선비율; 상기 카메라를 기준으로 상기 더미타겟의 상대좌표; 상기 카메라를 기준으로 상기 더미타겟의 이동방향; 및 상기 더미타겟과 다른 감시유닛 사이의 근접거리;가 포함된다.Here, the characteristics of the dummy target, identification code or matching code given to the dummy target; Color ratio of the dummy target; A movement pattern of the dummy target; An outline edge according to the color difference of the dummy target; An outline ratio according to the color difference of the dummy target; Relative coordinates of the dummy target with respect to the camera; A movement direction of the dummy target with respect to the camera; And a close distance between the dummy target and another monitoring unit.

여기서, 상기 목표타겟은, 상기 관제서버에서 수신되는 상기 더미타겟 중 신규 식별코드를 갖는 더미타겟; 상기 관제서버에서 수신되는 상기 더미타겟 중 외부 입력에 의해 선택되는 더미타겟; 및 상기 감시유닛에서 갱신되어 상기 관제서버가 수신하는 목표타겟; 중 적어도 어느 하나로 선정된다.Here, the target target, the dummy target having a new identification code of the dummy target received from the control server; A dummy target selected by an external input among the dummy targets received from the control server; And a target target updated by the monitoring unit and received by the control server. At least one of them is selected.

본 발명에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템을 이용한 지능형 통합관제방법은 본 발명에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템을 이용하는 것으로, 상기 카메라가 상기 단위영역의 일부 또는 전체를 촬영하는 영상촬영단계; 상기 카메라가 촬영한 영상 중 모션 템플릿 기법을 통해 영상 내의 움직이는 물체를 상기 더미타겟으로 선정하는 타겟선정단계; 상기 타겟선정단계를 거친 다음, 상기 더미타겟을 분석하여 상기 더미타겟의 특성을 추출하는 특성추출단계; 상기 더미타겟의 타겟정보와 상기 목표타겟의 타겟정보 그리고 상기 카메라가 촬영한 영상을 상기 타겟저장부에 저장하는 타겟저장단계; 상기 더미타겟의 특성과 상기 목표타겟의 특성을 매칭시키는 타겟매칭단계; 및 상기 타겟매칭단계의 매칭 결과에 따라, 상기 목표타겟의 특성 또는 상기 더미타겟의 특성을 갱신하는 특성갱신단계;를 포함한다.The intelligent integrated control method using the intelligent integrated control system for linkage tracking of the target target according to the present invention uses an intelligent integrated control system for linkage tracking of the target target according to the present invention. An image capturing step of capturing the whole; A target selection step of selecting a moving object in the image as a dummy target through a motion template technique among images captured by the camera; A feature extraction step of extracting characteristics of the dummy target by analyzing the dummy target after the target selection step; A target storing step of storing target information of the dummy target, target information of the target target, and an image photographed by the camera in the target storage unit; A target matching step of matching characteristics of the dummy target with characteristics of the target target; And a property updating step of updating a property of the target target or a property of the dummy target according to a matching result of the target matching step.

본 발명에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템을 이용한 지능형 통합관제방법은 상기 감시유닛별 상기 타겟저장부의 데이터를 수신하여 상기 데이터베이스부에 시계열 순으로 저장하는 데이터베이스단계; 상기 데이터베이스부의 데이터로부터 목표타겟을 선정하고, 상기 데이터베이스부의 데이터에 대한 시간정보를 상호 매칭시켜 상기 데이터베이스부의 데이터를 갱신하는 데이터재가공단계; 상기 목표타겟의 타겟정보를 바탕으로 상기 목표타겟의 절대좌표를 계산하여 지도에 표시하는 좌표설정단계; 및 상기 감시유닛별 상기 카메라가 촬영한 영상과 상기 목표타겟이 표시된 지도를 디스플레이하는 디스플레이단계;를 포함한다.An intelligent integrated control method using the intelligent integrated control system for linkage tracking of a target target according to the present invention comprises: a database step of receiving data of the target storage unit for each monitoring unit and storing the data in the database unit in chronological order; A data reprocessing step of selecting a target target from data of the database unit and updating data of the database unit by matching time information of the data of the database unit with each other; A coordinate setting step of calculating an absolute coordinate of the target target based on the target information of the target target and displaying the coordinate on the map; And a display step of displaying an image photographed by the camera for each monitoring unit and a map on which the target target is displayed.

본 발명에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템과 지능형 통합관제방법에 따르면, 각각의 감시유닛을 통해 검출된 더미타겟의 타겟정보를 인접한 다른 감시유닛과 공유할 수 있고, 더미타겟 중 선정된 목표타겟의 움직임을 연속적으로 추적할 수 있다.According to the intelligent integrated control system and intelligent integrated control method for linkage tracking of the target target according to the present invention, the target information of the dummy target detected through each monitoring unit can be shared with other adjacent monitoring units. The movement of the selected target target can be continuously tracked.

또한, 본 발명은 카메라가 단위영역을 안정되게 촬영하도록 하고, 더미타겟의 선정 및 특성 검출이 용이하며, 더미타겟의 타겟정보를 명확하게 할 수 있다.In addition, the present invention allows the camera to stably photograph the unit area, the selection of the dummy target and the detection of characteristics is easy, and the target information of the dummy target can be made clear.

또한, 본 발명은 더미타겟의 선정 정확도를 높이고, 더미타겟의 특성을 명확하게 하며, 목표타겟이 특성을 구체화시킬 수 있다.In addition, the present invention can increase the accuracy of the selection of the dummy target, make the characteristics of the dummy target clear, and the target target can embody the characteristics.

또한, 본 발명은 관제서버에서 더미타겟의 타겟정보가 식별 가능하도록 하고, 감시유닛들 사이에서 더미타겟 및 목표타겟을 안정되게 공유하도록 한다.In addition, the present invention enables the target information of the dummy target in the control server can be identified, and stably share the dummy target and the target target between the monitoring units.

또한, 본 발명은 감시유닛별 타겟저장부의 데이터를 시계열에 따라 상호 매칭시켜 통합 정렬시킬 수 있고, 데이터베이스부에서 데이터의 검색 및 저장을 간편하게 할 수 있다.In addition, the present invention can be integrated by sorting the data of the target storage unit for each monitoring unit in accordance with the time series, it is possible to simplify the search and storage of data in the database unit.

또한, 본 발명은 더미타겟 및 목표타겟의 정확한 위치를 확인할 수 있고, 더미타겟 및 목표타겟의 움직임을 추적하거나 예측할 수 있다.In addition, the present invention can determine the exact position of the dummy target and the target target, it is possible to track or predict the movement of the dummy target and the target target.

도 1은 본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템을 도시한 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템에서 감시유닛을 도시한 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템에서 관제서버를 도시한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제방법을 도시한 순서도이다.1 is a block diagram illustrating an intelligent integrated control system for link tracking of a target target according to an exemplary embodiment of the present invention.
2 is a block diagram illustrating a monitoring unit in an intelligent integrated control system for link tracking of a target target according to an embodiment of the present invention.
3 is a block diagram illustrating a control server in an intelligent integrated control system for link tracking of a target target according to an embodiment of the present invention.
4 is a flowchart illustrating an intelligent integrated control method for link tracking of a target target according to an exemplary embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템과 지능형 통합관제방법의 일 실시예를 설명한다. 이때, 본 발명은 실시예에 의해 제한되거나 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 공지된 기능 혹은 구성에 대해 구체적인 설명은 본 발명의 요지를 명확하게 하기 위해 생략될 수 있다.Hereinafter, an embodiment of an intelligent integrated control system and an intelligent integrated control method for linkage tracking of a target target according to the present invention will be described with reference to the accompanying drawings. At this time, the present invention is not limited or limited by the embodiment. In addition, in describing the present invention, a detailed description of known functions or configurations may be omitted to clarify the gist of the present invention.

도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템은 감시유닛(10)과, 관제서버(20)를 포함한다.1 to 3, an intelligent integrated control system for linkage tracking of a target target according to an embodiment of the present invention includes a monitoring unit 10 and a control server 20.

감시유닛(10)은 다수 개가 단위영역별로 설치된다. 감시유닛(10)은 더미타겟의 영상 및 해당 더미타겟의 특성이 포함된 더미타겟의 타겟정보를 획득할 수 있다.A plurality of monitoring units 10 are installed for each unit area. The monitoring unit 10 may acquire the target information of the dummy target including the image of the dummy target and the characteristics of the dummy target.

감시유닛(10)은 단위영역의 일부 또는 전체를 촬영하는 카메라(10a)와, 카메라(10a)의 동작 및 카메라(10a)가 촬영한 영상을 분석하여 카메라(10a)가 촬영한 영상에서 더미타겟을 선정하고, 더미타겟으로부터 특성을 추출하는 컨트롤러(10b)를 포함할 수 있다.The monitoring unit 10 analyzes the camera 10a which photographs a part or the whole of the unit area, the operation of the camera 10a and the image captured by the camera 10a, and the dummy target in the image captured by the camera 10a. It may include a controller (10b) for selecting and extracting the characteristics from the dummy target.

그러면, 감시유닛(10)은 관제서버(20)로부터 전송된 목표타겟의 타겟정보를 수신하는 경우, 더미타겟의 타겟정보와 목표타겟의 타겟정보를 매칭시켜 목표타겟의 타겟정보를 매칭된 더미타겟의 타겟정보로 갱신하여 목표타겟의 타겟정보를 구체화할 수 있다.Then, when receiving the target information of the target target transmitted from the control server 20, the monitoring unit 10 matches the target information of the target target and the target information of the target target by matching the target information of the target target dummy target The target information of the target target can be specified by updating the target information of the target target.

또한, 감시유닛(10)은 관제서버(20)로부터 전송되는 목표타겟의 타겟정보가 없는 경우, 더미타겟의 타겟정보와 수신된 목표타겟의 타겟정보가 매칭되지 않는 경우, 해당 감시유닛(10)의 더미타겟에는 신규 식별코드를 부여하여 더미타겟의 타겟정보를 갱신하고, 감시유닛(10)에 저장된 데이터를 관제서버(20)에 전송함으로써, 각각의 감시유닛(10)별 더미타겟의 타겟정보를 취합 관리할 수 있다.In addition, the monitoring unit 10, if there is no target information of the target target transmitted from the control server 20, when the target information of the dummy target and the target information of the received target target does not match, the corresponding monitoring unit 10 Dummy target is given a new identification code to update the target information of the dummy target, and by transmitting the data stored in the monitoring unit 10 to the control server 20, the target information of the dummy target for each monitoring unit 10 Can be managed.

여기서, 더미타겟의 타겟정보는 더미타겟의 식별코드와 더미타겟의 영상과 더미타겟의 특성이 상호 매칭된 데이터의 조합으로 나타낼 수 있다. 마찬가지로, 목표타겟의 타겟정보는 목표타겟의 식별코드와 목표타겟의 영상과 목표타겟의 특성이 상호 매칭된 데이터의 조합으로 나타낼 수 있다.Here, the target information of the dummy target may be represented by a combination of data in which the identification code of the dummy target, the image of the dummy target, and the characteristics of the dummy target are mutually matched. Similarly, the target information of the target target may be represented by a combination of data in which the identification code of the target target, the image of the target target, and the characteristics of the target target are mutually matched.

이때, 컨트롤러(10b)에는 회전구동부(12)와, 확대부(13)와, 영상분석부(15)와, 타겟저장부(16)와, 제어통신부(14)를 포함할 수 있다.In this case, the controller 10b may include a rotation driver 12, an enlarger 13, an image analyzer 15, a target storage unit 16, and a control communication unit 14.

회전구동부(12)는 카메라(10a)의 시선 방향을 기준으로 카메라(10a)의 요잉 운동과 카메라(10a)의 피칭 운동과 카메라(10a)의 롤링 운동 중 적어도 어느 하나를 실행시킨다. 회전구동부(12)는 공지의 다양한 구동수단을 통해 카메라(10a)를 3차원으로 회전시킬 수 있다.The rotation driving unit 12 executes at least one of a yawing motion of the camera 10a, a pitching motion of the camera 10a, and a rolling motion of the camera 10a based on the eyeline direction of the camera 10a. The rotation driver 12 may rotate the camera 10a in three dimensions through various known driving means.

확대부(13)는 카메라(10a)가 촬영한 영상에서 더미타겟이 포함되는 부분을 확대시킨다. 확대부(13)는 영상 내의 움직이는 물체가 추출되면 영상 내의 움직이는 물체를 확대시킬 수 있다. 확대부(13)는 카메라(10a)가 촬영하는 단위영역에서 카메라(10a)의 촬영영역에 대한 공간정보를 이용하여 PTZ 변수를 설정할 수 있다. PTZ 변수는 더미타겟의 특성을 추출할 때, 사용된다.The enlarger 13 enlarges a portion of the image captured by the camera 10a including a dummy target. The enlarger 13 may enlarge the moving object in the image when the moving object in the image is extracted. The magnification unit 13 may set the PTZ variable by using spatial information on the photographing area of the camera 10a in the unit area photographed by the camera 10a. The PTZ variable is used to extract the characteristics of the dummy target.

영상분석부(15)는 카메라(10a)가 촬영한 영상에서 더미타겟을 선정하고, 선정된 더미타겟의 특성을 추출하며, 더미타켓의 타겟정보를 형성할 수 있다.The image analyzer 15 may select a dummy target from an image photographed by the camera 10a, extract characteristics of the selected dummy target, and form target information of the dummy target.

타겟저장부(16)는 더미타겟의 타겟정보와 목표타겟의 타겟정보 그리고 카메라(10a)가 촬영한 영상이 저장된다. 타겟저장부(16)의 데이터는 시계열에 따라 선입선출 방식으로 출력되도록 한다.The target storage unit 16 stores the target information of the dummy target, the target information of the target target, and the image photographed by the camera 10a. The data of the target storage unit 16 is output in a first-in first-out manner according to time series.

제어통신부(14)는 타겟저장부(16)에 저장된 데이터를 관제서버(20)에 전송하고, 관제서버(20)가 선정한 목표타켓의 타겟정보를 수신한다.The control communication unit 14 transmits the data stored in the target storage unit 16 to the control server 20, and receives the target information of the target target selected by the control server 20.

특히, 영상분석부(15)에는 카메라(10a)가 촬영한 영상 중 모션 템플릿 기법을 통해 현재영상과 직전영상을 매칭시키고 영상 내의 움직이는 물체를 더미타겟으로 선정하는 타겟선정부(151)와, 타겟선정부(151)가 선정한 더미타겟을 분석하여 더미타겟의 특성을 추출하는 타겟특성추출부(152)와, 더미타겟의 특성과 목표타겟의 특성을 매칭시키는 타겟매칭부(154)와, 더미타겟의 특성 또는 목표타겟의 특성을 갱신하는 타겟특성갱신부(155)를 포함할 수 있다.In particular, the image analyzer 15 includes a target selection unit 151 for matching a current image with a previous image and selecting a moving object in the image as a dummy target through a motion template technique among images captured by the camera 10a, and a target. A target characteristic extraction unit 152 for analyzing the dummy target selected by the selecting unit 151 to extract the characteristics of the dummy target, a target matching unit 154 for matching the characteristics of the dummy target with the target target, and a dummy target Target characteristics updating unit 155 for updating the characteristics of the characteristics of the target target or may include.

여기서, 타겟특성추출부(152)는 카메라(10a)가 촬영한 영상에서 확대부(13)를 통해 움직이는 물체가 포함되도록 영상을 확대하고, PZT 변수를 접목시켜 더미타겟의 특성을 추출할 수 있다. 또한, 타겟특성추출부(152)는 더미타겟의 영상 및 추출된 더미타겟의 특성을 매칭시켜 더미타겟의 타겟정보를 형성하고, 타겟저장부(16)에는 더미타겟의 타겟정보가 저장되도록 한다. Here, the target feature extractor 152 may enlarge the image to include an object moving through the enlarger 13 in the image photographed by the camera 10a, and extract the characteristics of the dummy target by integrating a PZT variable. . In addition, the target characteristic extractor 152 matches the image of the dummy target and the characteristics of the extracted dummy target to form target information of the dummy target, and the target storage unit 16 stores target information of the dummy target.

또한, 타겟특성갱신부(155)는 타겟매칭부(154)의 매칭 결과를 이용한다.In addition, the target characteristic update unit 155 uses the matching result of the target matching unit 154.

일예로, 타겟매칭부(154)의 매칭 결과, 더미타겟의 특성과 목표타겟의 특성이 매칭되는 경우, 타겟특성갱신부(155)는 목표타겟의 특성을 매칭된 더미타겟의 특성으로 갱신한다. 또한, 타겟특성갱신부(155)는 매칭된 더미타겟에 목적타겟의 식별코드와 매칭되는 매칭코드를 부여하고, 매칭된 더미타겟의 타겟정보를 갱신한다. 그리고 타겟저장부(16)에는 갱신된 목표타겟의 타겟정보와 갱신된 더미타겟의 타겟정보가 저장된다. 그리고 제어통신부(14)는 카메라(10a)가 촬영한 영상과 갱신된 더미타겟의 타겟정보와 갱신된 목적타겟의 타겟정보를 관제서버에 전송한다. 여기서, 매칭코드는 더미타겟의 식별코드로 사용된다.As an example, when the matching result of the target matching unit 154 matches the characteristics of the dummy target and the characteristics of the target target, the target characteristic updater 155 updates the characteristics of the target target with the characteristics of the matched dummy target. In addition, the target characteristic update unit 155 assigns a matching code matching the identification code of the target target to the matched dummy target, and updates the target information of the matched dummy target. The target storage unit 16 stores the target information of the updated target target and the target information of the updated dummy target. The control communication unit 14 transmits the image captured by the camera 10a, the target information of the updated dummy target, and the target information of the updated target target to the control server. Here, the matching code is used as an identification code of the dummy target.

다른 예로, 타겟매칭부(154)의 매칭 결과, 더미타겟의 특성과 목표타겟의 특성이 매칭되지 않는 경우, 타겟특성갱신부(155)는 해당 더미타겟에 신규 식별코드를 부여하여 더미타겟의 타겟정보를 갱신한다. 그리고 타겟저장부(16)에는 갱신된 더미타겟의 타겟정보가 저장된다. 그리고 제어통신부(14)는 카메라(10a)가 촬영한 영상과 갱신된 더미타겟의 타겟정보를 관제서버(20)에 전송한다.As another example, when the matching result of the target matching unit 154, when the characteristics of the dummy target and the characteristics of the target target does not match, the target characteristic update unit 155 assigns a new identification code to the dummy target to target the target of the dummy target. Update the information. The target storage unit 16 stores the target information of the updated dummy target. The control communication unit 14 transmits the image captured by the camera 10a and the target information of the updated dummy target to the control server 20.

더미타겟의 특성에는 타겟선정부(151)가 선정한 더미타겟에 부여되는 식별코드 또는 매칭코드가 포함될 수 있다. 식별코드 또는 매칭코드는 상술한 타겟특성갱신부(155)에 의해 더미타겟에 부여되도록 한다.The characteristics of the dummy target may include an identification code or a matching code assigned to the dummy target selected by the target selecting unit 151. The identification code or matching code is assigned to the dummy target by the above-described target characteristic update unit 155.

더미타겟의 특성에는 타겟선정부(151)가 선정한 더미타겟의 색상비율이 포함될 수 있다. 색상비율은 확대부(13)를 통해 확대된 더미타겟에서 색상별로 구분되고, 더미타겟 전체에 대한 해당 색상의 비율을 수치화하여 표시할 수 있다. 색상비율은 움직이는 물체의 색상에 따라 더미타겟을 구획함에 따라 더미타겟의 구획량으로 표시할 수 있다. 일예로, 더미타겟이 보행자인 경우, 색상비율은 입고 있는 옷의 색상, 피부톤, 머리색, 가방이나 신발 등과 같이 보행자가 착용한 악세사리에 대해 색상별로 구분하고, 해당 색상의 비율을 수치화하여 표시할 수 있다. 다른 예로, 더미타겟이 보행자인 경우, 색상비율은 입고 있는 옷의 색상, 피부톤, 머리색, 가방이나 신발 등과 같이 보행자가 착용한 악세사리에 따라 보행자를 구획하고, 보행자의 구획량으로 표시할 수 있다.The characteristics of the dummy target may include a color ratio of the dummy target selected by the target selection unit 151. The color ratio may be classified by color in the dummy target enlarged through the enlarger 13, and may be displayed by numerically expressing the ratio of the corresponding color to the entire dummy target. The color ratio may be displayed as the division amount of the dummy target by dividing the dummy target according to the color of the moving object. For example, if the dummy target is a pedestrian, the color ratio may be classified by color for the accessories worn by the pedestrian, such as the color of the clothes, skin tone, hair color, bags, shoes, etc. Can be. As another example, when the dummy target is a pedestrian, the color ratio may be divided into pedestrians according to accessories worn by the pedestrian, such as the color of clothes, skin tone, hair color, bags or shoes, and may be displayed as the pedestrian's compartment amount. .

더미타겟의 특성에는 타겟선정부(151)가 선정한 더미타겟의 움직임패턴이 포함될 수 있다. 움직임패턴은 더미타겟이 해당 단위영역에서 움직이는 패턴을 기호화하여 표시할 수 있다. 일예로, 더미타겟이 보행자인 경우, 움직임패턴은 해당 단위영역에서 보행자의 걸음걸이, 보행자의 자세, 보행자의 팔 움직임을 기호화하여 표시할 수 있다.The characteristics of the dummy target may include a movement pattern of the dummy target selected by the target selection unit 151. The movement pattern may be displayed by symbolizing a pattern in which the dummy target moves in the corresponding unit area. For example, when the dummy target is a pedestrian, the movement pattern may symbolically display the gait of the pedestrian, the posture of the pedestrian, and the arm movement of the pedestrian in the corresponding unit area.

더미타겟의 특성에는 타겟선정부(151)가 선정한 더미타겟의 색상 차이에 따른 외곽선모서리가 포함될 수 있다. 외곽선모서리에는 더미타겟의 외형적 특징, 더미타겟의 외형에 대한 모서리 특징, 더미타겟의 색상별 구분경계특징, 더미타겟의 색상에 따른 구획경계특징이 포함될 수 있다. 일예로 더미타겟이 보행자인 경우, 외곽선모서리에는 보행자의 외형적 특징, 악세사리의 특징이 포함될 수 있다.The characteristics of the dummy target may include an outline edge according to the color difference of the dummy target selected by the target selection unit 151. The outline corner may include an external feature of the dummy target, an edge feature for the external shape of the dummy target, a boundary feature for each color of the dummy target, and a partition boundary feature according to the color of the dummy target. For example, when the dummy target is a pedestrian, the outline corner may include an external feature of the pedestrian and an accessory feature.

더미타겟의 특성에는 타겟선정부(151)가 선정한 더미타겟의 색상 차이에 따른 외곽선비율이 포함될 수 있다. 외곽선비율은 더미타겟의 외형비율을 수치화하여 표시할 수 있다. 일예로, 더미타겟이 보행자인 경우, 외곽선비율은 보행자의 신체비율을 수치화하여 표시할 수 있다.The characteristics of the dummy target may include an outline ratio according to the color difference of the dummy target selected by the target selection unit 151. The outline ratio can be displayed by quantifying the outline ratio of the dummy target. For example, when the dummy target is a pedestrian, the outline ratio may be displayed by digitizing the body ratio of the pedestrian.

더미타겟의 특성에는 카메라(10a)를 기준으로 타겟선정부(151)가 선정한 더미타겟의 상대좌표가 포함될 수 있다. 더미타겟의 상대좌표는 위성항법시스템을 이용하여 카메라(10a)의 절대좌표를 획득하고, 영상분석 기법을 통해 영상에서 더미타겟의 좌표를 획득하며, 카메라(10a)의 절대좌표를 기준으로 하는 더미타겟의 좌표로 표시할 수 있다. 더미타겟의 상대좌표는 카메라(10a)의 절대좌표와 매칭시켜 더미타겟의 절대좌표로 환산할 수 있다. 더미타겟의 절대좌표는 카메라(10a)의 절대좌표와 함께 지도에 표시될 수 있다.The dummy target may include relative coordinates of the dummy target selected by the target selecting unit 151 based on the camera 10a. The relative coordinates of the dummy target are obtained by acquiring the absolute coordinates of the camera 10a using the satellite navigation system, and obtaining the coordinates of the dummy target from the image through the image analysis technique, and the dummy based on the absolute coordinates of the camera 10a. Can be expressed in the coordinates of the target. The relative coordinates of the dummy target may be converted into the absolute coordinates of the dummy target by matching the absolute coordinates of the camera 10a. The absolute coordinates of the dummy target may be displayed on the map together with the absolute coordinates of the camera 10a.

더미타겟의 특성에는 카메라(10a)를 기준으로 타겟선정부(151)가 선정한 더미타겟의 이동방향이 포함될 수 있다. 더미타겟의 이동방향은 단위영역에서 더미타겟이 이동되는 형태를 벡터로 표시할 수 있다. 더미타겟의 이동방향은 관제서버(20)가 목표타겟을 전송하는 감시유닛(10)을 제한할 수 있다.The dummy target may include a moving direction of the dummy target selected by the target selecting unit 151 based on the camera 10a. The movement direction of the dummy target may be represented by a vector in which the dummy target is moved in the unit area. The moving direction of the dummy target may limit the monitoring unit 10 that the control server 20 transmits the target target.

더미타겟의 특성에는 타겟선정부(151)가 선정한 더미타겟과 다른 감시유닛(10) 사이의 근접거리가 포함될 수 있다. 근접거리는 단위영역의 가장자리에 위치한 더미타겟을 기준으로 다른 감시유닛(10)과의 거리로 표시할 수 있다. 근접거리는 관제서버(20)가 목표타겟을 전송하는 감시유닛(10)을 제한할 수 있다.The characteristics of the dummy target may include a proximity distance between the dummy target selected by the target selecting unit 151 and the other monitoring unit 10. The proximity distance may be displayed as a distance from another monitoring unit 10 based on the dummy target located at the edge of the unit area. Proximity can limit the monitoring unit 10 that the control server 20 transmits the target target.

관제서버(20)는 감시유닛(10)별로 전송되는 더미타겟 중에서 목표타겟을 선정하고, 목표타겟의 타겟정보를 바탕으로 목표타겟을 지도에 표시함은 물론 목표타겟의 특성을 분석하여 목표타겟이 포함된 감시유닛(10) 및 이에 인접한 다른 감시유닛(10)으로 목표타겟의 타겟정보를 전송한다.The control server 20 selects a target target from among the dummy targets transmitted by the monitoring units 10, displays the target target on the map based on the target information of the target target, and analyzes the characteristics of the target target. The target information of the target target is transmitted to the included monitoring unit 10 and the other monitoring unit 10 adjacent thereto.

관제서버(20)에는 데이터베이스부(22)와, 데이터재가공부(23)와, 타겟좌표설정부(24)와, 디스플레이부(25)와, 서버통신부(21)가 포함될 수 있다.The control server 20 may include a database unit 22, a data reprocessing unit 23, a target coordinate setting unit 24, a display unit 25, and a server communication unit 21.

데이터베이스부(22)는 감시유닛(10)별 타겟저장부(16)의 데이터가 시계열 순으로 저장된다. 데이터베이스부(22)는 감시유닛(10)별 타겟저장부(16)의 데이터를 취합 관리할 수 있다.The database unit 22 stores data of the target storage unit 16 for each monitoring unit 10 in chronological order. The database unit 22 may collect and manage data of the target storage unit 16 for each monitoring unit 10.

데이터재가공부(23)는 데이터베이스부(22)의 데이터로부터 목표타겟을 선정하고, 감시유닛(10)별 데이터베이스부(22)의 데이터에 대한 시간정보를 상호 매칭시켜 데이터베이스부(22)의 데이터를 갱신한다.The data reprocessing unit 23 selects a target target from the data of the database unit 22 and matches the time information on the data of the database unit 22 for each monitoring unit 10 to match the data of the database unit 22. Update

데이터재가공부(23)는 감시유닛(10)별 데이터베이스부(22)의 데이터에 대한 시간정보를 상호 매칭시켜 데이터베이스부(22)의 데이터를 갱신하는 시간매칭부와, 데이터베이스부(22)의 데이터에서 목표타겟을 선정하는 목표선정부를 포함할 수 있다.The data reprocessing unit 23 matches the time information on the data of the database unit 22 for each monitoring unit 10 to update the data of the database unit 22, and the data of the database unit 22. May include a goal-choice that selects a goal target.

목표타겟은 관제서버(20)에서 수신되는 더미타겟 중 신규 식별코드를 갖는 더미타겟과, 관제서버(20)에서 수신되는 더미타겟 중 외부 입력에 의해 선택되는 더미타겟과, 감시유닛(10)에서 갱신되어 관제서버(20)가 수신하는 목표타겟 중 적어도 어느 하나로 선정된다. 이때, 선정된 더미타겟의 특성은 목표타겟의 특성으로 치환된다.The target target includes a dummy target having a new identification code among the dummy targets received from the control server 20, a dummy target selected by an external input among the dummy targets received from the control server 20, and the monitoring unit 10. It is updated and selected as at least one of the target targets received by the control server 20. At this time, the characteristic of the selected dummy target is replaced with the characteristic of the target target.

타겟좌표설정부(24)는 목표타겟의 타겟정보를 바탕으로 목표타겟의 절대좌표를 계산하여 지도에 표시한다. 목표타겟의 절대좌표는 해당 더미타겟의 특성 중 해당 감시유닛(10)에 구비된 카메라(10a)의 절대좌표와 해당 더미타겟의 상대좌표를 이용하여 계산할 수 있다.The target coordinate setting unit 24 calculates the absolute coordinates of the target target based on the target information of the target target and displays it on the map. The absolute coordinate of the target target may be calculated using the absolute coordinates of the camera 10a provided in the monitoring unit 10 and the relative coordinates of the dummy target among the characteristics of the dummy target.

디스플레이부(25)는 감시유닛(10)별 카메라(10a)가 촬영한 영상과 목표타겟이 표시된 지도를 디스플레이한다.The display unit 25 displays a map in which the image captured by the camera 10a of the monitoring unit 10 and the target target are displayed.

서버통신부(21)는 감시유닛(10)별 타겟저장부(16)의 데이터를 수신하고, 목표타겟의 타겟정보를 감시유닛(10)에 전송한다.The server communication unit 21 receives data of the target storage unit 16 for each monitoring unit 10, and transmits target information of the target target to the monitoring unit 10.

도 1 내지 도 3 및 도 4를 참조하면, 본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제방법은 본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제시스템을 이용한다.1 to 3 and 4, the intelligent integrated control method for tracking linkage of a target target according to an embodiment of the present invention is an intelligent integrated control for tracking linkage of a target target according to an embodiment of the present invention. Use the system.

본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제방법은 영상촬영단계(S1)와, 타겟선정단계(S11)와, 특성추출단계(S12)와, 타겟저장단계(S13)와, 타겟매칭단계(S14)와, 특성갱신단계(S15)를 포함할 수 있다.The intelligent integrated control method for linkage tracking of a target target according to an embodiment of the present invention includes an image photographing step (S1), a target selection step (S11), a feature extraction step (S12), and a target storage step (S13). And, it may include a target matching step (S14), and the characteristic update step (S15).

영상촬영단계(S1)는 카메라(10a)가 해당 단위영역의 일부 또는 전체를 촬영한다. 영상촬영단계(S1)에서 카메라(10a)는 회전구동부(12)의 연계 동작으로 움직일 수 있다.In the image capturing step S1, the camera 10a photographs a part or the whole of the corresponding unit area. In the image capturing step (S1), the camera 10a may move in conjunction with the rotation driving unit 12.

타겟선정단계(S11)는 카메라(10a)가 촬영한 영상 중 모션 템플릿 기법을 통해 영상 내의 움직이는 물체를 더미타겟으로 선정한다. 타겟선정단계(S11)는 타겟선정부(151)의 동작으로 구현되거나, 확대부(13)와 타겟선정부(151)의 연계 동작으로 구현될 수 있다.In the target selecting step S11, the moving object in the image is selected as the dummy target through the motion template technique among the images photographed by the camera 10a. The target selection step S11 may be implemented by the operation of the target selection unit 151 or may be implemented by the link operation of the enlarger 13 and the target selection unit 151.

특성추출단계(S12)는 타겟선정단계(S11)를 거친 다음, 더미타겟을 분석하여 더미타겟의 특성을 추출한다. 특성추출단계(S12)는 확대부(13)와 타겟특성추출부(152)의 연계 동작으로 구현될 수 있다.In the feature extraction step S12, after the target selection step S11, the dummy target is analyzed to extract the characteristics of the dummy target. The feature extraction step S12 may be implemented by a linkage operation between the enlarger 13 and the target feature extractor 152.

타겟저장단계(S13)는 더미타겟의 타겟정보와 목표타겟의 타겟정보 그리고 카메라(10a)가 촬영한 영상을 타겟저장부(16)에 저장한다.In the target storing step S13, the target information of the dummy target, the target information of the target target, and the image captured by the camera 10a are stored in the target storage unit 16.

타겟매칭단계(S14)는 더미타겟의 특성과 목표타겟의 특성을 매칭시킨다.The target matching step S14 matches the characteristics of the dummy target with the characteristics of the target target.

특성갱신단계(S15)는 타겟매칭단계(S14)의 매칭 결과에 따라, 목표타겟의 특성 또는 더미타겟의 특성을 갱신한다. 특성갱신단계(S15)는 타겟특성갱신부(155)의 동작에 따라 구현될 수 있다.The characteristic update step S15 updates the characteristic of the target target or the characteristic of the dummy target according to the matching result of the target matching step S14. The characteristic update step S15 may be implemented according to the operation of the target characteristic update unit 155.

본 발명의 일 실시예에 따른 목표타겟의 연계추적을 위한 지능형 통합관제방법은 데이터베이스단계(S21)와, 데이터재가공단계와, 좌표설정단계(S24)와, 디스플레이단계(S25)를 더 포함할 수 있다.Intelligent integrated control method for tracking the tracking of the target target according to an embodiment of the present invention may further include a database step (S21), data reprocessing step, coordinate setting step (S24), and display step (S25). have.

데이터베이스단계(S21)는 감시유닛(10)별 타겟저장부(16)의 데이터를 수신하여 데이터베이스부에 시계열 순으로 저장한다.The database step S21 receives data from the target storage unit 16 for each monitoring unit 10 and stores the data in the database unit in chronological order.

데이터재가공단계는 데이터베이스부(22)의 데이터로부터 목표타겟을 선정하고, 데이터베이스부(22)의 데이터에 대한 시간정보를 상호 매칭시켜 데이터베이스부(22)의 데이터를 갱신한다. 데이터재가공단계는 감시유닛(10)별 데이터베이스부(22)의 데이터에 대한 시간정보를 상호 매칭시켜 데이터베이스부(22)의 데이터를 갱신하는 시간매칭단계(S22)와, 데이터베이스부(22)의 데이터에서 목표타겟을 선정하는 목표선정단계(S23)를 포함할 수 있다. 데이터재가공단계는 데이터재가공부(23)의 동작에 따라 구현될 수 있다.In the data reprocessing step, the target target is selected from the data of the database unit 22, and the time information of the data of the database unit 22 is matched with each other to update the data of the database unit 22. The data reprocessing step includes a time matching step (S22) of updating the data of the database unit 22 by matching the time information on the data of the database unit 22 for each monitoring unit 10 with the data of the database unit 22. In may include a target selection step (S23) for selecting a target target. The data reprocessing step may be implemented according to the operation of the data reprocessing unit 23.

좌표설정단계(S24)는 목표타겟의 타겟정보를 바탕으로 목표타겟의 절대좌표를 계산하여 지도에 표시한다. 좌표설정단계(S24)는 타겟좌표설정부(24)의 동작에 따라 구현될 수 있다.In the coordinate setting step S24, the absolute coordinates of the target target are calculated and displayed on the map based on the target information of the target target. The coordinate setting step S24 may be implemented according to the operation of the target coordinate setting unit 24.

디스플레이단계는 감시유닛별 카메라가 촬영한 영상과 목표타겟이 표시된 지도를 디스플레이한다. 디스플레이단계는 디스플레이부의 동작에 따라 구현될 수 있다.The display step displays a map in which an image captured by a camera for each monitoring unit and a target target are displayed. The display step may be implemented according to the operation of the display unit.

좌표설정단계는 더미타겟의 절대좌표도 계산하여 지도에 표시할 수 있고, 디스플레이단계는 목표타겟과 더미탁세이 모두 표시된 지도를 디스플레이할 수 있다.In the coordinate setting step, the absolute coordinates of the dummy target may also be calculated and displayed on the map, and the display step may display a map in which both the target target and the dummy turbidity are displayed.

상술한 목표타겟의 연계추적을 위한 지능형 통합관제시스템과 지능형 통합관제방법에 따르면, 각각의 감시유닛(10)을 통해 검출된 더미타겟의 타겟정보를 인접한 다른 감시유닛(10)과 공유할 수 있고, 더미타겟 중 선정된 목표타겟의 움직임을 연속적으로 추적할 수 있다.According to the intelligent integrated control system and the intelligent integrated control method for linkage tracking of the target target described above, the target information of the dummy target detected through each monitoring unit 10 can be shared with other adjacent monitoring units 10. In this case, the movement of the selected target target among the dummy targets can be continuously tracked.

또한, 카메라(10a)가 단위영역을 안정되게 촬영하도록 하고, 더미타겟의 선정 및 특성 검출이 용이하며, 더미타겟의 타겟정보를 명확하게 할 수 있다.In addition, the camera 10a can stably photograph the unit area, select the dummy target and detect the characteristics easily, and make the target information of the dummy target clear.

또한, 더미타겟의 선정 정확도를 높이고, 더미타겟의 특성을 명확하게 하며, 목표타겟이 특성을 구체화시킬 수 있다.In addition, the accuracy of the selection of the dummy target can be increased, the characteristics of the dummy target can be made clear, and the target target can embody the characteristics.

또한, 관제서버(20)에서 더미타겟의 타겟정보가 식별 가능하도록 하고, 감시유닛(10)들 사이에서 더미타겟 및 목표타겟을 안정되게 공유하도록 한다.In addition, the control server 20 allows the target information of the dummy target to be identified, and stably share the dummy target and the target target between the monitoring unit (10).

또한, 감시유닛(10)별 타겟저장부(16)의 데이터를 시계열에 따라 상호 매칭시켜 통합 정렬시킬 수 있고, 데이터베이스부(22)에서 데이터의 검색 및 저장을 간편하게 할 수 있다.In addition, the data of the target storage unit 16 for each monitoring unit 10 can be matched with each other according to a time series and integrated sorted, and the database unit 22 can easily search and store the data.

또한, 더미타겟 및 목표타겟의 정확한 위치를 확인할 수 있고, 더미타겟 및 목표타겟의 움직임을 추적하거나 예측할 수 있다.In addition, the exact location of the dummy target and the target target can be confirmed, and the movement of the dummy target and the target target can be tracked or predicted.

상술한 바와 같이 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였지만, 해당 기술분야의 숙련된 당업자라면, 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변경시킬 수 있다.Although the preferred embodiments of the present invention have been described with reference to the drawings as described above, those skilled in the art can variously change the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. Can be modified or changed.

10: 감시유닛 10a: 카메라 10b: 컨트롤러
12: 회전구동부 13: 확대부 14: 제어통신부
15: 영상분석부 151: 타겟선정부 152: 타겟특성추출부
154: 타겟매칭부 155: 타겟특성갱신부 16: 타겟저장부
20: 관제서버 21: 서버통신부 22: 데이터베이스부
23: 데이터재가공부 24: 타겟좌표설정부 25: 디스플레이부
S1: 영상촬영단계 S11: 타겟선정단계 S12: 특성추출단계
S13: 타겟저장 S14: 타겟매칭단계 S15: 특성갱신단계
S21: 데이터베이스단계 S22: 시간매칭단계 S23: 목표선정단계
24: 좌표설정단계 S25: 디스플레이단계10: monitoring unit 10a: camera 10b: controller
12: rotary drive unit 13: expansion unit 14: control communication unit
15: image analysis unit 151: target selection unit 152: target characteristic extraction unit
154: target matching unit 155: target characteristic updating unit 16: target storage unit
20: control server 21: server communication unit 22: database unit
23: data reprocessing unit 24: target coordinate setting unit 25: display unit
S1: imaging step S11: target selection step S12: feature extraction step
S13: Target storage S14: Target matching step S15: Characteristic updating step
S21: database stage S22: time matching stage S23: target selection stage
24: coordinate setting step S25: display step

Claims (8)

더미타겟의 영상 및 해당 더미타겟의 특성이 포함된 더미타겟의 타겟정보를 획득하기 위해 단위영역별로 설치되는 다수의 감시유닛; 및
상기 감시유닛별로 전송되는 상기 더미타겟 중에서 목표타겟을 선정하고, 상기 목표타겟의 타겟정보를 바탕으로 상기 목표타겟을 지도에 표시함은 물론 상기 목표타겟의 특성을 분석하여 상기 목표타겟이 포함된 감시유닛 및 이에 인접한 다른 감시유닛으로 상기 목표타겟의 타겟정보를 전송하는 관제서버;를 포함하고,
상기 감시유닛은,
상기 단위영역의 일부 또는 전체를 촬영하는 카메라; 및
상기 카메라의 동작 및 상기 카메라가 촬영한 영상을 분석하여 상기 카메라가 촬영한 영상에서 상기 더미타겟을 선정하고, 상기 더미타겟으로부터 특성을 추출하는 컨트롤러;를 포함하고,
상기 감시유닛은,
상기 관제서버로부터 전송된 상기 목표타겟의 타겟정보를 수신하는 경우, 상기 더미타겟의 타겟정보와 상기 목표타겟의 타겟정보를 매칭시켜 상기 목표타겟의 타겟정보를 매칭된 상기 더미타겟의 타겟정보로 갱신하며,
상기 컨트롤러에는,
상기 카메라의 시선 방향을 기준으로 상기 카메라의 요잉 운동과 상기 카메라의 피칭 운동과 상기 카메라의 롤링 운동 중 적어도 어느 하나를 실행시키는 회전구동부;
상기 카메라가 촬영한 영상에서 상기 더미타겟이 포함되는 부분을 확대시키는 확대부;
상기 카메라가 촬영한 영상에서 상기 더미타겟을 선정하고, 선정된 상기 더미타겟의 특성을 추출하며, 상기 더미타겟의 타겟정보를 형성하는 영상분석부;
상기 더미타겟의 타겟정보와 상기 목표타겟의 타겟정보 그리고 상기 카메라가 촬영한 영상이 저장되고, 시계열에 따라 선입선출 방식으로 데이터가 출력되는 타겟저장부; 및
상기 타겟저장부에 저장된 데이터를 상기 관제서버에 전송하고, 상기 관제서버가 선정한 상기 목표타겟의 타겟정보를 수신하는 제어통신부;가 포함되는 것을 특징으로 하는 목표타겟의 연계추적을 위한 지능형 통합관제시스템.
A plurality of monitoring units installed for each unit area to acquire the target information of the dummy target including the image of the dummy target and the characteristics of the dummy target; And
Selecting a target target from the dummy target transmitted by the monitoring unit, and displaying the target target on the map based on the target information of the target target, as well as analyzing the characteristics of the target target for monitoring including the target target And a control server which transmits target information of the target target to a unit and another monitoring unit adjacent thereto.
The monitoring unit,
A camera photographing a part or the whole of the unit area; And
And a controller configured to analyze the operation of the camera and the image photographed by the camera, select the dummy target from the image photographed by the camera, and extract a characteristic from the dummy target.
The monitoring unit,
When receiving the target information of the target target transmitted from the control server, matching the target information of the dummy target and the target information of the target target to update the target information of the target target with the matched target information of the dummy target ,
In the controller,
A rotation driving unit configured to execute at least one of a yawing motion of the camera, a pitching motion of the camera, and a rolling motion of the camera based on the direction of the eye of the camera;
An enlarger configured to enlarge a portion of the image captured by the camera to include the dummy target;
An image analyzer configured to select the dummy target from the image photographed by the camera, extract characteristics of the selected dummy target, and form target information of the dummy target;
A target storage unit for storing the target information of the dummy target, the target information of the target target, and an image photographed by the camera, and outputting data in a first-in first-out manner according to a time series; And
And a control communication unit for transmitting the data stored in the target storage unit to the control server and receiving the target information of the target target selected by the control server. .
삭제delete 제1항에 있어서,
상기 영상분석부에는,
상기 카메라가 촬영한 영상 중 모션 템플릿 기법을 통해 현재영상과 직전영상을 매칭시켜 영상 내의 움직이는 물체를 상기 더미타겟을 선정하는 타겟선정부;
상기 타겟선정부가 선정한 상기 더미타겟을 분석하여 상기 더미타겟의 특성을 추출하는 타겟특성추출부;
상기 더미타겟의 특성과 상기 목표타겟의 특성을 매칭시키는 타겟매칭부; 및
상기 타겟매칭부의 매칭 결과에 따라 상기 더미타겟의 특성 또는 상기 목표타겟의 특성을 갱신하는 타겟특성갱신부;가 포함되는 것을 특징으로 하는 목표타겟의 연계추적을 위한 지능형 통합관제시스템.
The method of claim 1,
The image analysis unit,
A target selection unit for selecting the dummy target of a moving object in the image by matching the current image with the previous image by using a motion template technique among images captured by the camera;
A target characteristic extracting unit configured to extract the characteristics of the dummy target by analyzing the dummy target selected by the target selection unit;
A target matching unit matching the characteristics of the dummy target with the characteristics of the target target; And
And a target characteristic update unit for updating the characteristic of the dummy target or the characteristic of the target target according to a matching result of the target matching unit. 2.
제3항에 있어서,
상기 관제서버에는,
상기 감시유닛별 상기 타겟저장부의 데이터가 시계열 순으로 저장되는 데이터베이스부;
상기 데이터베이스부의 데이터로부터 목표타겟을 선정하고, 상기 감시유닛별 상기 데이터베이스부의 데이터에 대한 시간정보를 상호 매칭시켜 상기 데이터베이스부의 데이터를 갱신하는 데이터재가공부;
상기 목표타겟의 타겟정보를 바탕으로 상기 목표타겟의 절대좌표를 계산하여 지도에 표시하는 타겟좌표설정부;
상기 감시유닛별 상기 카메라가 촬영한 영상과 상기 목표타겟이 표시된 지도를 디스플레이하는 디스플레이부; 및
상기 감시유닛별 상기 타겟저장부의 데이터를 수신하고, 상기 목표타겟의 타겟정보를 상기 감시유닛에 전송하는 서버통신부;가 포함되는 것을 특징으로 하는 목표타겟의 연계추적을 위한 지능형 통합관제시스템.
The method of claim 3,
The control server,
A database unit storing data of the target storage unit for each monitoring unit in chronological order;
A data reprocessing unit which selects a target target from the data of the database unit and updates data of the database unit by matching time information of the data of the database unit for each monitoring unit;
A target coordinate setting unit configured to calculate and display an absolute coordinate of the target target based on the target information of the target target;
A display unit configured to display a map on which the image captured by the camera for each monitoring unit and the target target are displayed; And
And a server communication unit for receiving data of the target storage unit for each of the monitoring units and transmitting the target information of the target target to the monitoring unit.
제1항, 제3항 및 제4항 중 어느 한 항에 있어서,
상기 더미타겟의 특성에는,
상기 더미타겟에 부여되는 식별코드 또는 매칭코드;
상기 더미타겟의 색상비율;
상기 더미타겟의 움직임패턴;
상기 더미타겟의 색상 차이에 따른 외곽선모서리;
상기 더미타겟의 색상 차이에 따른 외곽선비율;
상기 카메라를 기준으로 상기 더미타겟의 상대좌표;
상기 카메라를 기준으로 상기 더미타겟의 이동방향; 및
상기 더미타겟과 다른 감시유닛 사이의 근접거리;가 포함되는 것을 특징으로 하는 목표타겟의 연계추적을 위한 지능형 통합관제시스템.
The method according to any one of claims 1, 3 and 4,
In the characteristics of the dummy target,
An identification code or matching code assigned to the dummy target;
Color ratio of the dummy target;
A movement pattern of the dummy target;
An outline edge according to the color difference of the dummy target;
An outline ratio according to the color difference of the dummy target;
Relative coordinates of the dummy target with respect to the camera;
A movement direction of the dummy target with respect to the camera; And
Proximity distance between the dummy target and the other monitoring unit; Intelligent integrated control system for tracking tracking the target target, characterized in that it comprises a.
제1항, 제3항 및 제4항 중 어느 한 항에 있어서,
상기 목표타겟은,
상기 관제서버에서 수신되는 상기 더미타겟 중 신규 식별코드를 갖는 더미타겟;
상기 관제서버에서 수신되는 상기 더미타겟 중 외부 입력에 의해 선택되는 더미타겟; 및
상기 감시유닛에서 갱신되어 상기 관제서버가 수신하는 목표타겟;
중 적어도 어느 하나로 선정되는 것을 특징으로 하는 목표타겟의 연계추적을 위한 지능형 통합관제시스템.
The method according to any one of claims 1, 3 and 4,
The target target,
A dummy target having a new identification code among the dummy targets received from the control server;
A dummy target selected by an external input among the dummy targets received from the control server; And
A target target updated in the monitoring unit and received by the control server;
Intelligent integrated control system for tracking the tracking of the target target, characterized in that selected as at least one of.
제3항에 기재된 목표타겟의 연계추적을 위한 지능형 통합관제시스템을 이용한 지능형 통합관제방법이고,
상기 카메라가 상기 단위영역의 일부 또는 전체를 촬영하는 영상촬영단계;
상기 카메라가 촬영한 영상 중 모션 템플릿 기법을 통해 영상 내의 움직이는 물체를 상기 더미타겟으로 선정하는 타겟선정단계;
상기 타겟선정단계를 거친 다음, 상기 더미타겟을 분석하여 상기 더미타겟의 특성을 추출하는 특성추출단계;
상기 더미타겟의 타겟정보와 상기 목표타겟의 타겟정보 그리고 상기 카메라가 촬영한 영상을 상기 타겟저장부에 저장하는 타겟저장단계;
상기 더미타겟의 특성과 상기 목표타겟의 특성을 매칭시키는 타겟매칭단계; 및
상기 타겟매칭단계의 매칭 결과에 따라, 상기 목표타겟의 특성 또는 상기 더미타겟의 특성을 갱신하는 특성갱신단계;를 포함하는 것을 특징으로 하는 목표타겟의 연계추적을 위한 지능형 통합관제방법.
It is an intelligent integrated control method using the intelligent integrated control system for linkage tracking of the target target described in paragraph 3,
An image capturing step in which the camera photographs a part or the whole of the unit area;
A target selection step of selecting a moving object in the image as a dummy target through a motion template technique among images captured by the camera;
A feature extraction step of extracting characteristics of the dummy target by analyzing the dummy target after the target selection step;
A target storing step of storing target information of the dummy target, target information of the target target, and an image photographed by the camera in the target storage unit;
A target matching step of matching characteristics of the dummy target with characteristics of the target target; And
And a feature updating step of updating a characteristic of the target target or a characteristic of the dummy target according to the matching result of the target matching step.
삭제delete
KR1020180133714A 2018-11-02 2018-11-02 Intelligent integration control system and intelligent integration control method for linkage tracing of goal target KR102081517B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180133714A KR102081517B1 (en) 2018-11-02 2018-11-02 Intelligent integration control system and intelligent integration control method for linkage tracing of goal target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180133714A KR102081517B1 (en) 2018-11-02 2018-11-02 Intelligent integration control system and intelligent integration control method for linkage tracing of goal target

Publications (1)

Publication Number Publication Date
KR102081517B1 true KR102081517B1 (en) 2020-02-25

Family

ID=69647641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180133714A KR102081517B1 (en) 2018-11-02 2018-11-02 Intelligent integration control system and intelligent integration control method for linkage tracing of goal target

Country Status (1)

Country Link
KR (1) KR102081517B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070078451A (en) * 2006-01-27 2007-08-01 덕성여자대학교 산학협력단 Multiple person surveillance system using networked cameras
KR100944734B1 (en) * 2009-06-30 2010-03-03 김한준 Zone information providing system and method using image pick up apparatus
KR20100119920A (en) 2009-05-04 2010-11-12 주식회사 지킴텍 System for pursuit moving object using security crime prevention network and method thereof
KR101387628B1 (en) * 2013-02-13 2014-04-24 (주)금성보안 Entrance control integrated video recorder
KR101786923B1 (en) * 2017-05-15 2017-11-15 주식회사 두원전자통신 CCTV system integrated multi operations

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070078451A (en) * 2006-01-27 2007-08-01 덕성여자대학교 산학협력단 Multiple person surveillance system using networked cameras
KR20100119920A (en) 2009-05-04 2010-11-12 주식회사 지킴텍 System for pursuit moving object using security crime prevention network and method thereof
KR100944734B1 (en) * 2009-06-30 2010-03-03 김한준 Zone information providing system and method using image pick up apparatus
KR101387628B1 (en) * 2013-02-13 2014-04-24 (주)금성보안 Entrance control integrated video recorder
KR101786923B1 (en) * 2017-05-15 2017-11-15 주식회사 두원전자통신 CCTV system integrated multi operations

Similar Documents

Publication Publication Date Title
RU2600540C2 (en) Information processing device and method and program
JP6013923B2 (en) System and method for browsing and searching for video episodes
CN111815675A (en) Target object tracking method and device, electronic equipment and storage medium
KR101404153B1 (en) Intelligent cctv integrated control system
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
KR101788225B1 (en) Method and System for Recognition/Tracking Construction Equipment and Workers Using Construction-Site-Customized Image Processing
KR100968433B1 (en) Store system for the license plate images of vehicle and, search system for images of vehicle using that store system
JP7095953B2 (en) Image management system, image management method, and image management program
KR101062225B1 (en) Intelligent video retrieval method and system using surveillance camera
KR20170100204A (en) Apparatus and method for target tracking using 3d bim
KR102473804B1 (en) method of mapping monitoring point in CCTV video for video surveillance system
KR20160014413A (en) The Apparatus and Method for Tracking Objects Based on Multiple Overhead Cameras and a Site Map
JP4618062B2 (en) Monitoring device, monitoring system, and monitoring method
KR20160103459A (en) node-link based camera network monitoring system and method of monitoring the same
JP2019029935A (en) Image processing system and control method thereof
JP2020052822A (en) Information processing apparatus, authentication system, control method thereof, and program
KR101509593B1 (en) Image classification method and apparatus for preset tour camera
JP6405606B2 (en) Image processing apparatus, image processing method, and image processing program
JP2010068466A (en) Moving body tracking device and moving body tracking method
KR102081517B1 (en) Intelligent integration control system and intelligent integration control method for linkage tracing of goal target
JP2023100805A (en) Imaging apparatus, imaging method, and imaging program
JP7004131B2 (en) Management system, management method and management program
KR102030736B1 (en) Apparatus for analyzing Multi-Distributed Video Data
CN110781730A (en) Intelligent driving sensing method and sensing device
KR102030352B1 (en) Real time tracking system of vehicle base a cognition vehicles number

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant