KR102423255B1 - System and method for integrated management synchronizing sensor information and video information based on the internet of things - Google Patents
System and method for integrated management synchronizing sensor information and video information based on the internet of things Download PDFInfo
- Publication number
- KR102423255B1 KR102423255B1 KR1020200109671A KR20200109671A KR102423255B1 KR 102423255 B1 KR102423255 B1 KR 102423255B1 KR 1020200109671 A KR1020200109671 A KR 1020200109671A KR 20200109671 A KR20200109671 A KR 20200109671A KR 102423255 B1 KR102423255 B1 KR 102423255B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- sensor
- image
- terminal device
- integrated
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 22
- 238000012790 confirmation Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000001360 synchronised effect Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 32
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 8
- 229910002092 carbon dioxide Inorganic materials 0.000 description 7
- 239000000428 dust Substances 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000035784 germination Effects 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- -1 light Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y20/00—Information sensed or collected by the things
- G16Y20/10—Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Manufacturing & Machinery (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Environmental & Geological Engineering (AREA)
- Toxicology (AREA)
- Operations Research (AREA)
- Alarm Systems (AREA)
Abstract
본 발명은 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법이 개시된다.
본 발명에 일 실시예에 따르면, 통신망 상에서 정보를 동기화하여 통합관리하기 위한 시스템으로서, 영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 영상정보 수집부; 상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 센서정보 수집부; 상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 통합정보 생성부; 생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 정보 추출부; 및 상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 정보 제공부를 포함하는 것을 특징으로 한다.The present invention discloses a system and method for synchronizing and integrated management of IoT-based sensor information and image information.
According to an embodiment of the present invention, there is provided a system for synchronizing and integrated management of information on a communication network, comprising: an image information collecting unit for collecting image information that is captured and transmitted by an image capturing device; a sensor information collecting unit that collects sensor information that is measured and transmitted by one or more sensor terminal devices corresponding to the image capturing device; an integrated information generating unit for generating integrated information by synchronizing the image information and the sensor information; an information extraction unit for extracting image information corresponding to an event from the generated integrated information based on the sensor information, or for extracting sensor information corresponding to an event from the generated integrated information based on the image information; and an information providing unit that transmits the integrated information to the manager terminal device in real time, and transmits a confirmation message to the manager terminal device according to the event.
Description
본 발명은 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템 및 방법에 관한 것이다. 보다 상세하게는, 농업, 제조, 의료, 환경 분야 등에 적용되는 사물인터넷 기반의 센서정보를 CCTV에서 녹화되는 영상정보와 동기화하여 통합관리 할 수 있는 기술에 관한 것이다. The present invention relates to a system and method for synchronizing and integrated management of IoT-based sensor information and image information. More specifically, it relates to a technology capable of integrating and managing IoT-based sensor information applied to agriculture, manufacturing, medical care, and environmental fields by synchronizing it with video information recorded in CCTV.
현재 일반적으로 구현되고 있는 CCTV 시스템은, 다수의 CCTV 카메라를 현장에 설치하고, 이를 통합관제센터에서 대형 모니터 화면을 통해 관리자가 실시간 모니터링 하는 방식이다.The CCTV system that is currently generally implemented is a method in which multiple CCTV cameras are installed in the field, and the administrator monitors them in real time through a large monitor screen at the integrated control center.
이러한 CCTV 시스템에는 수많은 CCTV 카메라가 설치되어 있기 때문에, 모든 영상을 동시에 모니터링을 위해서 많은 인원이 필요하며, 인간의 시각에 전적으로 의존하는 방식이기 때문에, 정확하게 특정한 사건의 장면만을 모니터링 하는 것은 사실상 어렵다는 한계를 가지고 있다. 이러한 문제점을 보완하기 위해 객체 검출(object detection), 추적(tracking), 상황 인식(event detection) 등의 복합적인 영상처리기술(video processing)이 도입되고 있으나, 실시간으로 방대한 영상을 처리하여 특정 장면이나 객체만을 추출하는 것은 속도적인 측면이나 정확도 측면에서 구현에 많은 어려움을 겪고 있는 것이 현실이다.Since many CCTV cameras are installed in this CCTV system, many people are required to monitor all the images at the same time. Have. Complex video processing techniques such as object detection, tracking, and event detection have been introduced to compensate for these problems, but by processing a vast amount of images in real time, a specific scene or The reality is that extracting only objects has a lot of difficulties in implementation in terms of speed or accuracy.
이러한 기술의 발전 방향에 있어서, 최근 4차 산업혁명이 급속하게 진행됨에 따라, 사물에 통신기능을 탑재하여 네트워크와 결합한 사물인터넷(IoT: Internet of Things)을 CCTV 시스템과 연계하여 이상 상황을 감지하는 다양한 형태의 기술개발이 요구되고 있다.In the direction of development of these technologies, as the 4th industrial revolution is rapidly progressing in recent years, the Internet of Things (IoT), which is equipped with communication functions in objects and combined with networks, is connected to the CCTV system to detect abnormal situations. Various types of technology development are required.
이와 같이 CCTV 시스템과 연계된 사물 인터넷 기술은 농업 분야(스마트팜), 제조 분야(스마트 팩토리), 환경 분야, 의료 분야(원격 의료), 생활 분야(스마트 홈)과 같은 다양한 산업에서 응용될 수 있는데, 일 예로, 농업 분야의 스마트팜에서는 작물의 생장에 문제가 발생한 경우 CCTV를 통해 육안으로 확인하고, 이와 동시에 IoT 센서(단말) 마다 측정된 값을 별도로 확인하여, 수작업으로 동기를 맞춰서 원인을 파악하고 있다.As such, the IoT technology linked with the CCTV system can be applied in various industries such as agriculture (smart farm), manufacturing (smart factory), environment, medical field (telemedicine), and living field (smart home). , for example, in smart farms in the agricultural field, if there is a problem with the growth of crops, visually check through CCTV, and at the same time, separately check the measured value for each IoT sensor (terminal), and manually synchronize and identify the cause are doing
하지만, IoT 센서의 종류나 개수가 늘어나게 되면서, 정보 확인에 소요되는 시간이 기하급수적으로 증가하고 있으며, 특히 측정된 센서 데이터와 영상 데이터간의 동기화 오류가 발생할 수 있는 근본적인 문제점을 가지고 있다.However, as the type or number of IoT sensors increases, the time required for information confirmation increases exponentially, and in particular, there is a fundamental problem in that a synchronization error between measured sensor data and image data may occur.
또한, 제조 분야의 스마트 팩토리에서도 빅데이터 기반의 인공지능 기술과 결합하여 진화를 거듭하고 있지만, CCTV와 IoT 단말이 설치된 환경에서 문제가 발생하였을 경우, CCTV는 타임레코드 기반 수작업으로 조회하고, 이와 별도로 IoT 단말의 측정된 값을 조회하여 일일이 맞춰가면서 원인을 찾아야만 하는 기술적인 한계를 가지고 있다. In addition, smart factories in the manufacturing field are evolving by combining with big data-based artificial intelligence technology, but if a problem occurs in the environment where CCTV and IoT terminals are installed, CCTV is manually inquired based on time record, and separately There is a technical limitation in that you have to find the cause by inquiring the measured values of the IoT terminals and matching them one by one.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 문제점을 해결하기 위한 것으로서, 별도로 구성된 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합정보를 저장하고, 조회할 수 있도록 하는데 그 목적이 있다.Accordingly, an object of the present invention is to solve the problems of the prior art as described above, and to synchronize separately configured IoT-based sensor information and image information to store and inquire integrated information.
또한, 본 발명은 통합정보에서 센서정보를 기준으로 해당되는 영상정보를 추출하거나, 영상정보를 기준으로 해당되는 센서정보를 추출할 수 있도록 하는데 다른 목적이 있다.Another object of the present invention is to extract corresponding image information from integrated information based on sensor information or to extract corresponding sensor information based on image information.
또한, 본 발명은 센서정보 또는 영상정보에서 이벤트 발생 시, 관리자에게 별도의 확인 메시지를 제공할 수 있는데 또 다른 목적이 있다.In addition, another object of the present invention is to provide a separate confirmation message to the manager when an event occurs in sensor information or image information.
또한, 본 발명은 센서정보의 다양한 인터페이스(예를 들면, 시계열 그래프)를 제공하고, 이를 이용하여 편리한 동기화된 영상정보를 조회하는데 또 다른 목적이 있다.In addition, another object of the present invention is to provide various interfaces (eg, time series graph) of sensor information, and to search for convenient synchronized image information using this.
본 발명의 상기 목적은, 통신망 상에서 정보를 동기화하여 통합관리하기 위한 시스템으로서, 영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 영상정보 수집부; 상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 센서정보 수집부; 상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 통합정보 생성부; 생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 정보 추출부; 및 상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 정보 제공부를 포함하는 것을 특징으로 하는 시스템에 의해 달성된다.The above object of the present invention is to provide a system for integrated management by synchronizing information on a communication network, comprising: an image information collecting unit for collecting image information that is captured and transmitted by an image capturing device; a sensor information collecting unit that collects sensor information that is measured and transmitted by one or more sensor terminal devices corresponding to the image capturing device; an integrated information generating unit for generating integrated information by synchronizing the image information and the sensor information; an information extraction unit for extracting image information corresponding to an event from the generated integrated information based on the sensor information, or for extracting sensor information corresponding to an event from the generated integrated information based on the image information; and an information providing unit for transmitting the integrated information to the manager terminal device in real time, and transmitting a confirmation message to the manager terminal device according to the event.
또한, 본 발명의 상기 목적은, 통신망 상에서 정보를 동기화하여 통합관리하기 위한 방법으로서, 영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 단계; 상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 단계; 상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 단계; 생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 단계; 및 상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 단계를 포함하는 것을 특징으로 하는 방법.에 의해서도 달성된다.In addition, the above object of the present invention is a method for synchronizing and integrated management of information on a communication network, the method comprising: collecting image information that is captured and transmitted by an image capturing device; collecting sensor information that is measured and transmitted by one or more sensor terminal devices corresponding to the image capturing device; generating integrated information by synchronizing the image information and the sensor information; extracting image information corresponding to an event from the generated integrated information based on the sensor information, or extracting sensor information corresponding to an event from the generated integrated information based on the image information; and transmitting the integrated information to the manager terminal device in real time, and according to the event, transmitting a confirmation message to the manager terminal device.
이때, 상기 이벤트는, 상기 관리자 단말장치에 의해 설정된 기준이거나 상기 관리자 단말장치에 의해 선택된 영역이며, 상기 설정된 기준은 상기 센서 단말장치에서 측정되는 측정값 기준이거나, 상기 영상촬영 장치에서 촬영되는 객체인식 기준이고, 상기 선택된 영역은 상기 센서정보의 시계열 그래프 상에서 상기 관리자 단말장치에 의해 선택된 시간 영역이거나, 상기 영상정보에서 상기 관리자 단말장치에 의해 선택된 객체 영역일 수 있다.In this case, the event is a reference set by the manager terminal device or an area selected by the manager terminal device, and the set standard is a measurement value standard measured by the sensor terminal device, or object recognition captured by the image capturing device reference, and the selected area may be a time area selected by the manager terminal device on the time series graph of the sensor information or an object area selected by the manager terminal device in the image information.
또한, 상기 정보 추출부는, 상기 센서 단말장치에서 측정되는 측정값과 상기 영상촬영 장치에서 촬영되는 객체인식을 서로 비교하여 이상 유무를 판단할 수 있다.In addition, the information extractor may determine whether there is an abnormality by comparing the measured value measured by the sensor terminal device with the object recognition photographed by the image capturing device.
본 발명에 의하면, 별도로 구성되는 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합정보를 저장하고 조회할 수 있어, 수작업으로 영상정보와 센서의 측정값을 조회하여 매칭하는 번거로움과, 이에 따른 동기화 오류를 방지할 수 있다.According to the present invention, it is possible to store and inquire integrated information by synchronizing separately configured IoT-based sensor information and image information. Synchronization errors can be avoided.
또한, 본 발명에 의하면, 통합정보에서 센서정보를 기준으로 해당되는 영상정보를 추출하거나, 영상정보를 기준으로 해당되는 센서정보를 추출할 수 있어, 보다 정확하고도 편리하게 관리자가 원하는 정보를 추출할 수 있으며, 일부 정보의 손실이나 시스템 고장을 여부를 확인할 수도 있다.In addition, according to the present invention, it is possible to extract the corresponding image information based on the sensor information from the integrated information or to extract the corresponding sensor information based on the image information, so that the information desired by the administrator can be extracted more accurately and conveniently. You can also check whether there is a loss of some information or a system failure.
또한, 본 발명에 의하면, 센서정보 또는 영상정보에서 이벤트 발생 시, 관리자에게 별도의 확인할 수 있는 메시지를 제공하여 이상상황에 대하여 신속하게 대응할 수 있다.In addition, according to the present invention, when an event occurs in sensor information or image information, a separate confirmation message is provided to the manager to quickly respond to an abnormal situation.
또한, 본 발명에 의하면, 센서정보에 대한 다양한 인터페이스(예를 들면, 시계열 그래프)를 제공하고, 이를 이용하여 편리하게 동기화된 영상정보를 조회할 수 있다.In addition, according to the present invention, various interfaces (eg, time series graphs) for sensor information are provided, and synchronized image information can be conveniently searched using this.
도 1은 본 발명의 일 실시예에 따른 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 전체 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 통합관리시스템(200)의 내부 구성을 상세하게 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 일례를 나타내는 인터페이스 화면이다.
도 4는 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 다른 일례를 나타내는 인터페이스 화면이다.
도 5는 본 발명의 일 실시예에 따른 이벤트 발생 시, 관리자에게 별도의 확인 메시지를 제공하는 일례를 나타내는 인터페이스 화면이다.1 is a diagram showing the configuration of an entire system for synchronizing and integrated management of IoT-based sensor information and image information according to an embodiment of the present invention.
2 is a diagram illustrating in detail the internal configuration of the
3 is an interface screen showing an example of extracting image information corresponding to an event based on sensor information from integrated information according to an embodiment of the present invention.
4 is an interface screen showing another example of extracting image information corresponding to an event based on sensor information from integrated information according to an embodiment of the present invention.
5 is an interface screen illustrating an example of providing a separate confirmation message to an administrator when an event occurs according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조, 특성 및 기능은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭하며, 그 형태는 편의를 위하여 과장되어 표현될 수도 있다. 이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0014] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0016] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, characteristics, and functions described herein may be implemented in other embodiments without departing from the spirit and scope of the invention with respect to one embodiment. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed. In the drawings, like reference numerals refer to the same or similar functions in various aspects, and the form may be exaggerated for convenience. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present invention pertains can easily practice the present invention.
[본 발명의 실시 예][Embodiment of the present invention]
전체 시스템의 구성Whole system configuration
도 1은 본 발명의 일 실시예에 따른 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 전체 시스템의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of an entire system for synchronizing and integrated management of IoT-based sensor information and image information according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 통합관리시스템(200), 영상 촬영장치(300), 센서 단말장치(400), 관리자 단말장치(500) 및 운영서버(600)를 포함하여 구성될 수 있다.Referring to FIG. 1 , the entire system according to an embodiment of the present invention includes a
먼저, 본 발명의 일 실시예에 따른 통신망(100)은, 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행할 수 있는 네트워크 망으로, 유선 및/또는 무선과 같은 그 통신 양태를 가리지 않고 구성될 수 있다.First, the
예를 들면, 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network), 종합정보통신망(ISDN: Integrated Services Digital Network), 무선랜(wireless LAN), 이동통신망(mobile communication network), 와이파이(Wireless Fidelity), 블루투스(Bluetooth) 또는 지그비(ZigBee)등 중에서 어느 하나이거나, 이들의 조합으로 연계되어 구성될 수 있는 다양한 형태의 유/무선통신망이다. 또한, 이러한 통신망(100)은 일정한 장소와 범위만 구축된 자가망과 연계될 수도 있다.For example, local area network (LAN), metropolitan area network (MAN), wide area network (WAN), integrated services digital network (ISDN), wireless LAN LAN), mobile communication network, Wi-Fi (Wireless Fidelity), Bluetooth (Bluetooth) or ZigBee (ZigBee), etc., or a combination thereof, it is a wired / wireless communication network of various types that can be connected and configured. . In addition, such a
다음으로, 본 발명의 일 실시예에 따른 통합관리시스템(200)은 하나 또는 다수의 영상 촬영장치(300)에서 촬영된 영상정보 및 영상촬영 장치(300)와 대응되는 하나 또는 다수의 센서 단말장치(400)에서 측정되는 센서정보를 각각 수집하고, 이를 동기화하여 통합정보를 생성하고, 이를 기반으로 정보(영상정보, 센서정보)를 추출하는 기능을 수행하는 시스템일 수 있다.Next, the
또한, 통합관리시스템(200)은 동기화된 상기 통합정보에서 상기 센서정보를 기준으로, 해당되는 영상정보를 분석하여 추출하는 기능을 수행할 수 있다. 이때, 상기 센서정보는 관리자 단말장치(500)에 의해 설정된 기준[예를 들면, 온도, 습도, 가스농도, 진동 등에 관한 측정값(기준값)] 의해, 해당되는 영상정보를 추출하는 방식 또는 시계열의 그래프 상에서 관리자 단말장치(500)에 의해 선택된 영역(예를 들면, 특정 시간영역 및/또는 특정 측정값 영역)에서 해당되는 영상정보를 추출하는 방식이거나 이들을 조합한 방식일 수 있다. 이와 같이, 관리자 단말장치(500)에 의해 설정된 기준 및/또는 선택된 영역에 해당되는 경우는, 본 발명에서는 이벤트가 발생한 경우를 의미할 수 있다.In addition, the
또한, 통합관리시스템(200)은 동기화된 상기 통합정보에서 영상정보를 기준으로, 해당되는 센서정보를 분석하여 추출하는 기능을 수행할 수도 있다. 이때, 상기 영상정보는 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관해 영상 객체인식 기준)에 의해, 해당되는 센서정보를 추출하는 방식 또는 영상정보 상에서 관리자 단말장치(500)에 의해 선택된 영역(객체영역, 예를 들면, 특정 개체의 색상, 형상, 위치, 크기 영역)에서 해당되는 센서정보를 추출하는 방식이거나 이들을 조합한 방식일 수도 있다. 이와 같이, 관리자 단말장치(500)에 의해 설정된 기준 및/또는 선택된 영역에 해당되는 경우는, 본 발명에서는 이벤트가 발생한 경우를 의미할 수 있다.In addition, the
이러한 영상 객체인식기술은 영상의 프레임마다 객체(특정 사람, 사물 등)의 색상정보, 형상정보, 위치정보, 크기정보 등의 객체특성을 추출하여 처리할 수 있는 기술인데, 이미 자율주행기술 또는 카메라 영상인식기술 분야에서 공지된 기술이므로 본 발명에서는 상세한 설명을 생략한다.This image object recognition technology is a technology that can extract and process object characteristics such as color information, shape information, location information, and size information of an object (a specific person, object, etc.) for each frame of an image. Since it is a known technique in the field of image recognition technology, a detailed description thereof will be omitted in the present invention.
또한, 통합관리시스템(200)은 동기화된 상기 통합정보에서 영상정보가 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관해 영상인식 기준)에 해당되는 경우, 이에 대응되는 센서정보를 추출하여 비교하는 기능을 수행할 수도 있다. 예를 들면, 영상정보에서 농장의 작물인 개체의 색상이 설정된 녹색이 아닌 노란색으로 인식될 경우, 해당 영역(시간)에 대응되는 센서정보(예를 들면, 온도, 습도, 조도, CO2 등)를 추출하여, 해당 영상정보와 해당 센서정보를 비교할 수 있다. 비교결과 센서정보의 변화(설정된 기준 범위 밖으로의 변화)가 없을 경우, 센서 단말장치(400)의 고장을 의심할 수 있고, 이를 근거로 해당 센서를 점검하는 과정을 수행할 수 있다.In addition, the
또한, 통합관리시스템(200)은 이상에서 설명된 바와 같이 영상정보와 센서정보에서 이벤트가 발생할 경우, 관리자 단말장치(500)로 확인 메시지를 제공하는 기능을 수행 할 수 있는데, 이러한 본 발명의 일 실시예에 따른 통합관리시스템(200)은 도 2를 참조한 이하의 상세한 설명에 의해 구체적으로 이해될 수 있을 것이다.In addition, the
다음으로, 본 발명의 일 실시예에 따른 영상 촬영장치(300)는, 광각 렌즈를 구비하여 대상물을 촬영하고, 촬영된 영상을 디지털 프레임 변환하여 영상정보로 전송하는 기능을 수행할 수 있는 영상 장치일 수 있다.Next, the
보다 구체적으로, 영상 촬영장치(300)는 사람, 사물, 환경 등의 대상물을 촬영하는 광학 렌즈를 구비하는 카메라 장치로, 촬영된 영상은 전송을 위해 디지털 압축하는 인코딩 과정을 수행할 수 있다. 또한 보안성을 강화하기 위해 암호화하여 전송할 수도 있다. 이러한 영상 촬영장치(300)는 이후 설명되는 센서 단말장치(400)와 특정 장소에 대응되도록 설치되어 통합관리시스템(200)에 의해 연동될 수 있는데, 예를 들면, 농업 분야(스마트팜, 예를 들면, 종묘의 발아환경과 영상), 환경 분야(예를 들면, 미세 먼지와 영상), 제조 분야(스마트 팩토리, 예를 들면, 공정 불량과 영상), 의료 분야(원격 의료, 예를 들면, 환자의 바이오 정보와 영상), 생활 분야(스마트 홈, 예를 들면, 화재감시, 가전제품 동작과 영상) 등에 설치되어, 본 발명에 의한 사물인터넷 기반의 센서정보와 상기 영상정보를 동기화하여 통합관리 할 수 있다.More specifically, the
한편, 영상 촬영장치(300)로는 일반적인 CCTV용 카메라를 사용할 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 공지된 다양한 형태의 카메라를 제한 없이 채택하여 사용할 수도 있을 것이다.On the other hand, a general CCTV camera may be used as the
다음으로, 본 발명의 일 실시예에 따른 센서 단말장치(400)는, 물리적인 양이나 변화를 감지하여 전기적인 신호로 변환(측정)하여 전송하는 기능을 수행하는 모듈로, 영상촬영 장치(300)와 대응되도록 위치하며 전기적인 신호의 측정값인 센서정보를 통합관리시스템(200)으로 전송하는 기능을 수행할 수 있다.Next, the
보다 구체적으로, 특정을 물리적인 조건(온도, 습도, 대기, 진동, 빛, 소리 등)을 검출하기 위하여 사용할 수 있는 센서 모듈로 구성될 수 있는데, 이러한 센서로는, 온도 센서, 습도 센서, 미세먼지 검출 센서, 가스농도 검출 센서, 진동 센서, 조도센서, 음향센서 등을 포함하는 것 중에서 어느 하나 이상일 수 있다.More specifically, it may be composed of a sensor module that can be used to detect a specific physical condition (temperature, humidity, atmosphere, vibration, light, sound, etc.), such as a temperature sensor, a humidity sensor, a micro It may be any one or more of those including a dust detection sensor, a gas concentration detection sensor, a vibration sensor, an illuminance sensor, an acoustic sensor, and the like.
이러한 센서 단말장치(400)는 앞서 설명된 영상 촬영장치(300)와 특정 장소(위치)에 대응되도록 하나 또는 다수개가 설치(예를 들면, 영상 촬영장치 1대 당 센서 단말장치 4대)되어, 본 발명에 의한 사물인터넷 기반의 센서정보와 영상정보를 동기화하여 통합관리하기 위한 시스템을 구현할 수 있다. 이때, 센서 단말장치(400)는 설정된 기준(측정값)에 따라, 이벤트 발생 여부를 판단하고, 설정된 기준(측정값)을 만족할 경우 이벤트가 발생한 것으로 판단하여, 센서정보에서 이벤트와 관련된 정보를 추출하여 통합관리시스템(200)으로 전송할 수 있다.One or more of these
다음으로, 본 발명의 일 실시예에 따른 관리자 단말장치(500)는, 통합관리시스템(200)으로부터 제공되는 본 발명에 의한 영상정보, 센서정보 및/또는 이들을 동기화한 통합정보를 전송받고, 이와 관련된 정보[예를 들면, 설정된 기준(측정값) 및/또는 선택된 영역 등]를 통합관리시스템(200)으로 전송하는 기능을 수행할 수 있는 디지털 기기일 수 있다.Next, the
보다 구체적으로, 관리자 단말장치(500)는, 동기화된 통합정보에서 센서정보 또는 영상정보를 분석하여 추출할 수 있도록, 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 온도, 습도, 가스농도, 진동 등에 관한 측정값) 또는 다른 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관해 영상 객체인식 기준)을 통합관리시스템(200)에 제공할 수 있다.More specifically, the
또한, 관리자 단말장치(500)는, 시계열의 그래프 상에서 선택된 영역(예를 들면, 특정 시간영역 및/또는 특정 기준값 영역) 또는 다른 선택된 영역(예를 들면, 특정 개체의 색상, 형상, 위치, 크기 영역)을 통합관리시스템(200)에 제공할 수도 있다. 이러한 관리자 단말장치(500)는 영상정보, 센서정보 및/또는 통합정보를 제공받고, 이벤트 정보를 설정(선택)할 수 있는 전용 웹(Web) 및/또는 앱(App) 프로그램이 통합관리시스템(200)과 연동되도록 구비(설치)되어 있을 수 있다.In addition, the
이러한, 본 발명의 실시 예에 따른 관리자 단말장치(500)는 정보통신기기, 멀티미디어 단말장치, 유선 단말장치, 무선 단말장치 및 IP(Internet Protocol) 단말장치 등의 다양한 공지된 디지털 기기가 제한 없이 채택될 수 있다. 구체적으로, 단말장치는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet PC), IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, 디지털 사이니지 장치 등과 같이 메모리 수단을 구비하고 마이크로프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기로, 정보를 입력할 수 있는 키보드, 마우스 등의 입력수단을 구비하면서, 유/무선의 통신기능을 포함하고 있다면 얼마든지 본 발명에 따른 단말장치로서 채택될 수 있을 것이다.As such, the
또한, 이러한 관리자 단말장치(500)에는 상기 영상정보, 센서정보 및/또는 통합정보를 포함하는 정보 및 그 처리결과 등에 대한 정보를 표시할 수 있는 표시수단을 구비할 수 있다. 예를 들면, 전용 웹(Web) 및/또는 앱(App) 등을 통해 시각적으로 표현되는 정보들을 화면에 표시할 수 있다. 여기서, 표시수단은 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있다. 이때, 표시수단에 터치스크린(touch screen) 형태가 포함되어 구성될 수도 있어, 입력수단의 기능 중 일부 또는 전부를 수행할 수도 있다.In addition, the
마지막으로, 본 발명의 일 실시예에 따른 운영서버(600)는 통합관리시스템(200), 영상 촬영장치(300), 센서 단말장치(400) 및/또는 관리자 단말장치(500)와 통신하는 네트워크의 운영서버 기능을 수행할 수 있다.Finally, the
예를 들어, 운영서버(600)는 CCTV 네트워크의 운영서버일 수 있는데, 이때, 운영서버(600)는 네트워크망의 영상저장 장치인 NVR(Network Video Recorder), 중앙관제시스템인 CMS(central monitoring system), 영상감시시스템인 VMS(Video Management System)를 포함하여 구성될 수 있다. 특히, 이러한 운영서버(600)는 본 발명에 의한 통합관리시스템(200)와 연동되어 영상정보, 센서정보 및/또는 통합정보를 다양하게 활용할 수 있다.For example, the
한편, 본 발명의 일 실시예를 나타내는 도 1에서는 통합관리시스템(200)과 운영서버(600)가 별개로 구성되어 있는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 통합관리시스템(200)을 운영서버(600)에 포함되도록 구성할 수 있음은 자명할 것이다.On the other hand, although it is shown that the
통합관리시스템(200)의 구성Configuration of the
이하의 상세한 설명에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 통합관리시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.In the following detailed description, the internal configuration of the
도 2는 본 발명의 일 실시예에 따른 통합관리시스템(200)의 내부 구성을 상세하게 도시한 도면이다.2 is a diagram illustrating in detail the internal configuration of the
도 2를 참조하면, 본 발명의 일 실시예에 따른 통합관리시스템(200)은, 영상정보 수집부(210), 센서정보 수집부(220), 통합정보 생성부(230), 정보 추출부(240), 정보 제공부(250), 데이터베이스(260), 통신부(270) 및 제어부(280)를 포함하여 구성될 수 있다.Referring to FIG. 2 , the
이러한 본 발명의 일 실시예에 따르면, 영상정보 수집부(210), 센서정보 수집부(220), 통합정보 생성부(230), 정보 추출부(240), 정보 제공부(250), 데이터베이스(260), 통신부(270) 및 제어부(280)는 그 중 적어도 일부가 영상 촬영장치(300), 센서 단말장치(400), 관리자 단말장치(500) 및/또는 운영서버(600)와 데이터를 송수신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 통합관리시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 통합관리시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명이 이에 한정되는 것은 아니다.According to this embodiment of the present invention, the image
먼저, 본 발명의 일 실시예에 따른 영상정보 수집부(210)는, 영상 촬영장치(300)에서 촬영하여 전송되는 영상정보를 수집하고, 수집된 영상정보를 모니터링 할 수 있도록 이후 설명되는 정보 제공부(250)로 제공하는 기능을 수행할 수 있다. 이러한 영상정보 수집부(210)는 전송된 영상정보를 디코딩하여 모니터링 할 수 있도록 제공하는 기능을 수행할 수 있다.First, the image
다음으로, 본 발명의 일 실시예에 따른 센서정보 수집부(220)는, 센서 단말장치(400)에서 측정된 측정값인 센서정보를 수집하고, 수집된 센서정보를 모니터링 할 수 있도록 이후 설명되는 정보 제공부(250)로 제공하는 기능을 수행할 수 있다. 이러한 센서정보 수집부(220)는 상기 센서정보에 포함된 측정값을 별도로 저장 관리할 수 있으며, 측정값을 분석하여 모니터링 할 수 있도록 제공하는 기능을 수행할 수도 있다.Next, the sensor
다음으로, 본 발명의 일 실시예에 따른 통합정보 생성부(230)는, 수집된 상기 센서정보과 상기 영상정보를 동기화하여 통합정보를 생성하는 기능을 수행할 수 있다.Next, the integrated
보다 구체적으로, 통합정보 생성부(230)는 영상정보 수집부(210)에서 제공되는 영상정보 및 센서정보 수집부(220)에서 제공되는 센서정보를 서로 동기화하여 통합정보를 생성하고 저장하는 기능을 수행할 수 있다. 예를 들면, 농업 분야(스마트팜, 예를 들면, 종묘의 발아환경과 영상), 환경 분야(예를 들면, 미세 먼지와 영상), 제조 분야(스마트 팩토리, 예를 들면, 공정 불량과 영상), 의료 분야(원격 의료, 예를 들면, 환자의 바이오 정보와 영상), 생활 분야(스마트 홈, 예를 들면, 화재감시, 가전제품 동작과 영상) 등에 설치된 본 발명에 의한 사물인터넷 기반의 상기 센서정보와 상기 영상정보를 서로 동기화하여 통합정보 생성할 수 있다.More specifically, the integrated
다음으로, 본 발명의 일 실시예에 따른 정보 추출부(240), 동기화된 상기 통합정보에서 센서정보를 기준으로, 해당되는 영상정보를 분석하여 추출하는 기능을 수행할 수 있다. 또한, 정보 추출부(240)는 동기화된 상기 통합정보에서 영상정보를 기준으로, 해당되는 센서정보를 분석하여 추출하는 기능을 수행할 수도 있다. Next, the
보다 구체적으로, 정보 추출부(240)는 상기 센서정보를 기준으로, 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 온도, 습도, 가스농도, 진동 등에 관하여 감지되어 측정된 측정값)에 의해, 해당되는 영상정보를 추출하는 방식 또는 시계열의 그래프 상에서 관리자 단말장치(500)에 의해 선택된 영역(예를 들면, 특정 시간영역 및/또는 특정 기준값 영역)에서 해당되는 영상정보를 추출하는 방식이거나 이들을 조합한 방식일 수 있다. 이와 같이, 관리자 단말장치(500)에 의해 설정된 기준 및/또는 선택된 영역에 해당되는 경우는, 본 발명에서는 이벤트가 발생한 경우를 의미할 수 있다. 이러한 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 과정은 도 3 및 4를 참조한 이하의 상세한 설명에 의해 명확하게 이해될 수 있을 것이다.More specifically, the
또한, 정보 추출부(240)는 상기 영상정보를 기준으로, 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관한 영상 객체인식 기준)에 의해, 해당되는 센서정보를 추출하는 방식 또는 영상정보 상에서 관리자 단말장치(500)에 의해 선택된 영역(객체영역, 예를 들면, 특정 개체의 색상, 형상, 위치, 크기 영역)에서 해당되는 센서정보를 추출하는 방식이거나 이들을 조합한 방식일 수도 있다. 이와 같이, 관리자 단말장치(500)에 의해 설정된 기준 및/또는 선택된 영역에 해당되는 경우는, 본 발명에서는 이벤트가 발생한 경우를 의미할 수 있다.In addition, the
또한, 정보 추출부(240)는 동기화된 상기 통합정보에서 영상정보가 관리자 단말장치(500)에 의해 설정된 기준(예를 들면, 객체의 색상, 형상, 위치, 크기 등에 관해 영상인식 기준)에 해당되는 경우, 이에 대응되는 센서정보를 추출하여 비교하는 기능을 수행할 수도 있다. 즉, 센서 단말장치(400)에서 측정된 측정값과 영상촬영 장치(300)에서 촬영된 객체인식을 서로 비교하여 이상 유무를 판단할 수 있는데, 예를 들면, 영상정보에서 농장의 작물인 개체의 색상(객체인식)이 설정된 녹색이 아닌 노란색으로 인식될 경우, 해당 영역(시간)에 대응되는 센서정보(예를 들면, 온도, 습도, 조도, CO2 등의 측정값)를 추출하여, 해당 영상정보와 해당 센서정보를 비교할 수 있다. 비교결과 센서정보의 변화(설정된 기준 범위 밖으로의 변화)가 없을 경우, 센서 단말장치(400)의 고장을 의심할 수 있고, 이를 근거로 관리자는 해당 센서를 점검하는 과정을 수행할 수 있다.In addition, the
다음으로, 본 발명의 일 실시예에 따른 정보 제공부(250)는 생성된 상기 통합정보를 관리자 단말장치(500)로 실시간 제공하는 기능을 수행할 수 있다. 또한, 추출된 상기 영상정보 또는 센서정보 중에서 이벤트가 발생할 경우, 관리자 단말장치(500)로 확인 메시지를 제공하는 기능을 수행 할 수 있는데, 이러한 본 발명의 일 실시예에 따른 이벤트에 따라 확인 메시지를 제공하는 방법은 도 5를 참조한 이하의 상세한 설명에 의해 구체적으로 이해될 수 있을 것이다.Next, the
다음으로, 본 발명의 일 실시예에 따른 데이터베이스(260)는, 영상정보, 센서정보, 통합정보 및/또는 관련정보를 저장할 수 있는 저장장치일 수 있다.Next, the
한편, 비록 도 2에서 데이터베이스(260)는 통합관리시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(260)는 통합관리시스템(200)과 별개로 구성하거나 운영서버(600)에 포함되도록 구성할 수도 있다. 이러한, 데이터베이스(260)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스(260)에 포함될 수 있다.On the other hand, although the
다음으로, 본 발명의 일 실시예에 따른 통신부(270)는, 통합관리시스템(200)이 영상 촬영장치(300), 센서 단말장치(400), 관리자 단말장치(500) 및/또는 운영서버(600) 등과 같은 외부 장치와 통신할 수 있도록 하는 기능을 수행할 수 있다.Next, in the
마지막으로, 본 발명의 일 실시예에 따른 제어부(280)는, 영상정보 수집부(210), 센서정보 수집부(220), 통합정보 생성부(230), 정보 추출부(240), 정보 제공부(250), 데이터베이스(260) 및 통신부(270)간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(280)는 외부로부터의, 또는 통합관리시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 영상정보 수집부(210), 센서정보 수집부(220), 통합정보 생성부(230), 정보 추출부(240), 정보 제공부(250), 데이터베이스(260) 및 통신부(270)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the
이상에서 설명된 본 발명에 따른 통합관리시스템(200)의 보다 구체적인 구성에 대한 이해를 돕기 위해, 이하의 상세한 설명에서는 본 발명에 따른 통합정보를 조회하고 분석하는 방법에 대하여, 일례를 들어 설명한다.In order to help the understanding of a more specific configuration of the
통합정보 조회 및 분석Integrated information inquiry and analysis
이하의 상세한 설명에서는, 제품을 생산하는 제조 분야에서 상술된 본 발명에 의한 통합관리시스템(200)으로 스마트 팩토리(Smart Factory)를 구현하여, 관리자 단말장치(500)를 통해 표시되는 인터페이스 화면으로 일례로 설명한다. 이는 설명의 편의를 위해 가장 대표적인 활용과정을 설명한 것으로, 본 발명이 이에 한정되는 것은 아니며, 농업 분야(스마트팜, 예를 들면, 종묘의 발아환경과 영상), 환경 분야(예를 들면, 미세 먼지와 영상), 의료 분야(원격 의료, 예를 들면, 환자의 바이오 정보와 영상), 생활 분야(스마트 홈, 예를 들면, 화재감시, 가전제품 동작과 영상) 등의 전반에 걸쳐 적용될 수 있다.In the following detailed description, a smart factory is implemented with the
도 3은 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 일례를 나타내는 인터페이스 화면이다.3 is an interface screen showing an example of extracting image information corresponding to an event based on sensor information from integrated information according to an embodiment of the present invention.
도 3을 참조하면, 관리자 단말장치(500)를 통해 표시되는 인터페이스 화면의 좌측 상단의 메뉴부(S), 우측 상단의 센서정보(측정값)를 보여주는 그래프부(G), 좌측 하단에 영상정보의 특성을 보여주는 영상특성부(P) 및 우측 하단에 통합정보를 실시간으로 보여주는 제1 화면부(V1) 및 이벤트에 해당되는 통합정보를 보여주는 제2 화면부(V2)로 구성될 수 있다.Referring to FIG. 3 , a menu unit (S) at the upper left of the interface screen displayed through the
이러한 인터페이스 화면에서는 제품을 생산하는 공장 내부에 사물인터넷 기반의 센서정보를 측정하는 센서 단말장치(400)가 일례로, 2대 설치(미도시됨)될 수 있으며, 이에 대응되는 위치에 영상장치(300)가 1대 설치(미도시됨)되어, 센서정보와 영상정보를 각각 수집하여 디스플레이 할 수 있다.In this interface screen, for example, two
이때, 센서 단말장치(400)는 일례로 가스농도 검출 센서, 진동 센서일 수 있는데, 공장 내부에 제품 생산 시 발생하는 가스 농도의 변화를 감지하여 공정의 이상 유무에 대한 정보를 확인할 수 있으며, 비정상정인 충격(진동)을 감지하여 설비 기계의 고장여부를 확인할 수 있는 기능을 수행할 수 있다.At this time, the
먼저, 메뉴부(S)는 상태메뉴(실시간 CCTV, 영상분석)와 제어메뉴(영상녹화, 실시간 보기/숨기기, 영상화면 캡처)를 포함하여, 관리자의 선택에 따른 해당 정보를 확인할 수 있는 기능을 제공하는 인터페이스부이다.First, the menu unit (S) includes a status menu (real-time CCTV, video analysis) and a control menu (video recording, real-time view/hide, video screen capture), including a function to check the corresponding information according to the administrator's selection. interface provided.
이어서, 영상특성부(P)는 영상의 재생, 정지, 재생 속도 등을 조정할 수 있는 기능을 제공하는 인터페이스부이다.Next, the image characteristic unit (P) is an interface unit that provides a function to adjust the playback, stop, and playback speed of the image.
이어서, 그래프부(G)는 센서정보(측정값)를 보여주는 화면으로, 상기 가스농도 검출 센서(센서 단말장치)와 진동 센서에서 측정된 가스 농도(CO2 ppm 단위)와 진동량(g 단위)를 시계열 그래프로 도시하여 디스플레이 할 수 있다.Then, the graph part G is a screen showing sensor information (measured value), and the gas concentration (CO2 ppm unit) and the vibration amount (g unit) measured by the gas concentration detection sensor (sensor terminal device) and the vibration sensor are displayed. It can be displayed as a time series graph.
이어서, 제1 화면부(V1)는 상기와 같은 영상정보와 센서정보를 동기화하여 생성한 통합정보를 실시간으로 보여주는 디스플레이 화면이다.Next, the first screen unit V1 is a display screen that shows the integrated information generated by synchronizing the image information and the sensor information as described above in real time.
이어서, 관리자에 의해 그래프부(G)상에서 선택된 센서정보의 영역(10)이 이벤트로 처리되어‘장소: 공장1, 시간: 2020-05-07, 20:05:03, 센서정보: 가스농도(CO2 500ppm), 진동량(2g)’관련정보를 추출할 수 있으며, 이와 동기화된 영상정보도 함께 제2 화면부(V2)에 디스플레이 될 수 있다. 따라서, 관리자에 의해 선택된 영역(시간영역: 10)의 센서정보(가스농도, 진동량)가 현재보다 높았다는 것[가스농도(CO2 450 -> 500ppm), 충격량(1.5 -> 2g)]을 편리하게 확인할 수 있다.Then, the
또한, 도시되지는 않았지만, 관리자에 의해 설정된 기준(가스농도, 진동 기준값)에 의해, 자동으로 이벤트가 발생하여 센서정보를 추출할 수 있으며, 이와 동기화된 영상정보도 함께 제2 화면부(V2)에 디스플레이 될 수 있다.In addition, although not shown, an event can be automatically generated and sensor information can be extracted according to the criteria (gas concentration, vibration reference value) set by the administrator, and the synchronized image information is also included in the second screen unit (V2) can be displayed on
이와 같이, ICT(Information and Communication Technology) 기술을 활용한 스마트 팩토리 기술을 통해 설계 및 개발, 제조 등의 제품생산 과정에서 공장내 환경, 설비와 기계에 사물인터넷(IoT)을 설치하여 공정 데이터를 실시간으로 수집하고, 이를 분석하여 생산성 및 품질을 향상시킬 수 있는 지능형 생산 공장을 구현할 수 있다.In this way, through smart factory technology using ICT (Information and Communication Technology) technology, the Internet of Things (IoT) is installed in the factory environment, facilities and machines in the process of product production such as design, development, and manufacturing to provide real-time process data. It is possible to implement an intelligent production factory that can improve productivity and quality by collecting data and analyzing it.
도 4는 본 발명의 일 실시예에 따른 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 다른 일례를 나타내는 인터페이스 화면이다.4 is an interface screen showing another example of extracting image information corresponding to an event based on sensor information from integrated information according to an embodiment of the present invention.
도 4를 참조하면, 상술된 도 3과 동일하게 관리자 단말장치(500)를 통해 표시되는 인터페이스 화면에서 주변환경 정보를 센서정보와 영상정보로 각각 수집하여 디스플레이 할 수 있다. 사물인터넷 기반의 센서정보를 측정하는 센서 단말장치(400)가 일례로, 4대 설치(미도시됨: 온도 센서, 습도 센서, 조도 센서, 가스농도 검출 센서)될 수 있으며, 이에 대응되는 위치에 영상장치(300)가 1대 설치(미도시됨)될 수 있는데, 그래프부(G)는 센서정보(측정값) 중 온도와 습도를 보여주는 화면으로, 시계열 그래프로 도시하여 디스플레이 할 수 있다. 이어서, 제1 화면부(V1)는 상기와 같은 영상정보와 센서정보를 동기화하여 생성한 통합정보를 실시간으로 보여주는 디스플레이 화면이다.Referring to FIG. 4 , the surrounding environment information may be collected as sensor information and image information, respectively, and displayed on the interface screen displayed through the
이어서, 관리자에 의해 그래프부(G) 상에서 선택된 센서정보의 영역(시간영역, 10)이 이벤트로 처리되어‘장소: 환경1, 시간: 2020-08-12, 17:08:48, 온도: 24.7도, 습도: 58.8%, 조도: 1953.0Lx, CO2: 1003ppm’관련정보를 추출할 수 있으며, 이와 동기화된 영상정보도 함께 제2 화면부(V2)에 디스플레이 될 수 있다. 이러한 인터페이스 화면의 다른 구성의 설명은, 도 3을 참조하여 상술된 상세한 설명과 중복을 피하기 위하여 생략한다.Then, the area (time area, 10) of the sensor information selected by the administrator on the graph unit G is processed as an event, so that 'Place:
실시간 조회 및 이벤트 알림Real-time inquiry and event notification
이하의 상세한 설명에서는, 작물(버섯)을 재배하는 농장에서 본 발명에 의한 통합관리시스템(200)을 통해 스마트팜(smart farm)을 구현하여, 이벤트 발생 시, 관리자 단말장치(500)를 통해 표시되는 인터페이스 화면으로 일례로 설명한다.In the following detailed description, a smart farm is implemented through the
이는 설명의 편의를 위해 가장 대표적인 활용과정을 설명한 것으로, 본 발명이 이에 한정되는 것은 아니며, 환경 분야(예를 들면, 미세 먼지와 영상), 제조 분야(스마트 팩토리, 예를 들면, 공정 불량과 영상), 의료 분야(원격 의료, 예를 들면, 환자의 바이오 정보와 영상), 생활 분야(스마트 홈, 예를 들면, 화재감시, 가전제품 동작과 영상) 등의 전반에 걸쳐 적용될 수 있다.This is a description of the most representative application process for convenience of explanation, and the present invention is not limited thereto, and the environment field (eg, fine dust and images), the manufacturing field (smart factory, for example, process defects and images) ), medical field (telemedicine, eg, patient bio-information and images), and life field (smart home, eg, fire monitoring, operation and imaging of home appliances), and the like.
도 5는 본 발명의 일 실시예에 따른 이벤트 발생 시, 관리자에게 별도의 확인 메시지를 제공하는 일례를 나타내는 인터페이스 화면이다.5 is an interface screen illustrating an example of providing a separate confirmation message to an administrator when an event occurs according to an embodiment of the present invention.
도 5를 참조하면, 작물(버섯)을 재배하는 농장 내부에 사물인터넷 기반의 센서정보를 측정하는 센서 단말장치(400)가 일례로, 4대 설치(미도시됨)될 수 있으며, 이에 대응되는 위치에 영상장치(300)가 1대 설치(미도시됨)되어, 센서정보와 영상정보를 각각 수집할 수 있다.Referring to FIG. 5 , for example, four
이어서, 본 발명에 의한 통합관리시스템(200)를 통해 센서정보과 영상정보가 동기화되어 통합정보를 생성할 수 있는데, 화면(A)와 같이 관리자 단말장치(500)는 통합관리시스템(200)으로부터 실시간으로 통합정보를 제공받아 디스플레이하여 모니터링 할 수 있다.Then, through the
이어서, 화면(B)와 같이, 관리자에 의해 설정된 기준(온도 17도, 습도 70%의 측정값)에 의해, 자동으로 이벤트가 발생하면, 확인 메시지(예를 들면, 문자 또는 알림)가 수신되고, 수신된 메시지에는‘1. 시간정보, 발생일: 2019.03.02, 발생시간: 19:50:03, 2. 장소정보, 주소: OOO, 제1 농장 1구역, 3. 이벤트 정보, 온도 16.5도, 습도 75.6%’가 포함되어 있어, 설정된 습도 기준값인 70% 이상일 경우에 해당하여 이벤트가 수신되었고, 관리자는 작물(버섯)을 재배하는 농장의 이벤트가 발생한 시간의 해당 영상정보(또는 통합정보)를 ‘영상 확인하기’버튼을 선택하여 제공받을 수 있다.Then, as shown in the screen (B), if an event occurs automatically according to the criteria set by the administrator (measured value of temperature of 17 degrees and humidity of 70%), a confirmation message (eg, text or notification) is received and , in the received message'1. Time information, date of occurrence: 2019.03.02, time of occurrence: 19:50:03, 2. location information, address: OOO,
또한, 도시되지는 않았지만 기존에는 작물에 관수할 때 직접 밸브를 열고 모터를 작동해야 했다면, 스마트 팜에서는 상술된 온도, 습도의 센서정보를 이용하여 전자밸브가 설정값(측정값)에 맞춰 자동으로 관수할 수 있도록 제어할 수 있다.In addition, although not shown, in the past, when watering crops, it was necessary to directly open the valve and operate the motor. In Smart Farm, the solenoid valve automatically adjusts to the set value (measured value) using the sensor information of temperature and humidity described above. It can be controlled to irrigate.
이와 같이 본 발명에 의한 통합관리시스템(200)을 통해 작물(버섯)을 재배하는 농장을 스마트팜(smart farm)을 구현하면, 생육 단계별 정밀한 관리와 예측 등이 가능하여 수확량, 품질 등을 향상시켜 수익성을 높일 수 있다. 또한, 노동력과 에너지를 효율적으로 관리함으로써 생산비를 절감할 수 있다.As described above, if a farm that grows crops (mushrooms) is implemented as a smart farm through the
또한, ICT(Information and Communication Technology) 기술을 활용한 스마트팜 기술을 통해 사물인터넷(IoT)을 기반으로 환경 정보(온도, 습도, 이산화탄소, 빛, 토양 등)와 생육 정보에 대한 정확한 데이터를 수집하여, 스마트 농장, 스마트 온실, 스마트 축사, 스마트 양식장 등의 전 분야에 활용할 수 있을 것이다.In addition, it collects accurate data on environmental information (temperature, humidity, carbon dioxide, light, soil, etc.) and growth information based on the Internet of Things (IoT) through smart farm technology using ICT (Information and Communication Technology) technology. , smart farms, smart greenhouses, smart livestock houses, smart farms, etc.
이상 설명된 본 발명에 따른 실시 예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of the computer-readable recording medium include a hard disk, a magnetic medium such as a floppy disk and a magnetic tape, an optical recording medium such as a CD-ROM, a DVD, and a magneto-optical medium such as a floppy disk. media), and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.
또한, 본 발명의 상세한 설명에서는 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시 예들에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해지는 것은 아니며, 후술하는 특허청구범위뿐만 아니라 그 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.In addition, in the detailed description of the present invention, specific matters such as specific components and limited embodiments and drawings have been described, but these are only provided to help a more general understanding of the present invention, and the present invention is limited to the above embodiments. It is not, and those of ordinary skill in the art to which the present invention pertains can devise various modifications and variations from these descriptions. Accordingly, the spirit of the present invention is not limited to the above-described embodiments, and not only the claims described below but also all modifications equivalently or equivalently to the claims are within the scope of the spirit of the present invention. will do it
100: 통신망
200: 통합관리시스템
210: 영상정보 수집부
220: 센서정보 수집부
230: 통합정보 생성부
240: 정보 추출부
250: 정보 제공부
260: 데이터베이스
270: 통신부
280: 제어부
300: 영상 촬영장치
400: 센서 단말장치
500: 관리자 단말장치
600: 운영서버100: communication network
200: integrated management system
210: image information collection unit
220: sensor information collection unit
230: integrated information generation unit
240: information extraction unit
250: information provider
260: database
270: communication department
280: control unit
300: video recording device
400: sensor terminal device
500: administrator terminal device
600: operation server
Claims (5)
영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 영상정보 수집부;
상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 센서정보 수집부;
상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 통합정보 생성부;
생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 정보 추출부; 및
상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 정보 제공부
를 포함하고,
상기 이벤트는,
상기 관리자 단말장치에 의해 설정된 기준이거나 상기 관리자 단말장치에 의해 선택된 영역이며,
상기 설정된 기준은, 상기 센서 단말장치에서 측정되는 측정값 기준이거나, 상기 영상촬영 장치에서 촬영되는 객체인식 기준이고,
상기 선택된 영역은, 상기 센서정보의 시계열 그래프 상에서 상기 관리자 단말장치에 의해 선택된 시간영역이거나, 상기 영상정보에서 상기 관리자 단말장치에 의해 선택된 객체영역이며,
상기 정보 추출부는,
상기 센서 단말장치에서 측정되는 측정값과 상기 영상촬영 장치에서 촬영되는 객체인식을 서로 비교하여 이상 유무를 판단하고, 상기 동기화된 통합정보에서 센서정보를 기준으로, 해당되는 영상정보를 분석하여 추출하며, 상기 동기화된 통합정보에서 영상정보가 상기 관리자 단말장치에 의해 설정된 기준(객체의 색상, 형상, 위치, 크기에 관해 영상인식 기준)에 해당되는 경우, 이에 대응되는 센서정보를 추출하여 영상정보와 비교하고,
상기 관리자 단말장치는, 시계열의 그래프 상에서 선택된 영역(특정 시간영역 또는 특정 기준값 영역) 또는 다른 선택된 영역(특정 개체의 색상, 형상, 위치, 크기 영역)을 시스템에 제공하고, 영상정보, 센서정보 또는 통합정보를 제공받으며, 이벤트 정보를 설정(선택)할 수 있는 전용 웹(Web) 또는 앱(App) 프로그램이 시스템과 연동되도록 구비(설치)되어 있고,
상기 관리자 단말장치는 통합정보에서 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하는 인터페이스 화면을 포함하고, 상기 인터페이스 화면은 메뉴부(S), 센서정보(측정값)를 보여주는 그래프부(G), 영상정보의 특성을 보여주는 영상특성부(P), 통합정보를 실시간으로 보여주는 제1 화면부(V1), 및 이벤트에 해당되는 통합정보를 보여주는 제2 화면부(V2)로 구성되되, 상기 메뉴부(S)는 상태메뉴(실시간 CCTV, 영상분석)와 제어메뉴(영상녹화, 실시간 보기/숨기기, 영상화면 캡처)를 포함하여, 관리자의 선택에 따른 해당 정보를 확인할 수 있는 기능을 제공하고, 상기 영상특성부(P)는 영상의 재생, 정지, 재생 속도를 조정할 수 있는 기능을 제공하며, 상기 그래프부(G)는 센서정보(측정값)를 보여주는 화면으로, 가스농도 검출 센서(센서 단말장치)와 진동 센서에서 측정된 가스 농도(CO2 ppm 단위)와 진동량(g 단위)를 시계열 그래프로 도시하여 디스플레이하고, 상기 제1 화면부(V1)는 영상정보와 센서정보를 동기화하여 생성한 통합정보를 실시간으로 보여주며, 상기 제2 화면부(V2)는 관리자에 의해 그래프부(G)상에서 선택된 센서정보의 영역이 이벤트로 처리되어 장소, 시간, 센서정보(가스농도, 진동량)를 추출하여, 이와 동기화된 영상정보를 함께 디스플레이하고, 관리자에 의해 설정된 기준(가스농도, 진동 기준값)에 의해, 자동으로 이벤트가 발생하여 센서정보를 추출하고, 이와 동기화된 영상정보를 함께 디스플레이하는 것을 특징으로 하는 시스템.
As a system for integrated management by synchronizing information on a communication network,
an image information collection unit for collecting image information, which is captured and transmitted by an image photographing device;
a sensor information collecting unit that collects sensor information that is measured and transmitted by one or more sensor terminal devices corresponding to the image capturing device;
an integrated information generating unit for generating integrated information by synchronizing the image information and the sensor information;
an information extraction unit for extracting image information corresponding to an event from the generated integrated information based on the sensor information, or for extracting sensor information corresponding to an event from the generated integrated information based on the image information; and
An information providing unit that transmits the integrated information to the manager terminal device in real time, and transmits a confirmation message to the manager terminal device according to the event
including,
The event is
It is a criterion set by the manager terminal device or an area selected by the manager terminal device,
The set standard is a measurement value standard measured by the sensor terminal device, or an object recognition standard photographed by the image capturing device,
The selected area is a time area selected by the manager terminal device on the time series graph of the sensor information, or an object area selected by the manager terminal device in the image information,
The information extraction unit,
It is determined whether there is an abnormality by comparing the measured value measured by the sensor terminal device with the object recognition photographed by the image capturing device, and the corresponding image information is analyzed and extracted from the synchronized integrated information based on the sensor information, , when the image information in the synchronized integrated information corresponds to the criteria set by the manager terminal device (image recognition criteria with respect to the color, shape, location, and size of an object), the corresponding sensor information is extracted and the image information and compare,
The manager terminal device provides a selected area (a specific time area or a specific reference value area) or another selected area (a color, shape, location, size area of a specific object) on the graph of the time series to the system, and provides image information, sensor information or A dedicated web or app program that can receive integrated information and set (select) event information is provided (installed) to work with the system,
The manager terminal device includes an interface screen for extracting image information corresponding to an event based on the sensor information from the integrated information, and the interface screen includes a menu unit (S) and a graph unit (S) showing sensor information (measured values) G), an image characteristic unit (P) showing characteristics of image information, a first screen unit (V1) showing integrated information in real time, and a second screen unit (V2) showing integrated information corresponding to an event, The menu unit (S) includes a status menu (real-time CCTV, video analysis) and a control menu (video recording, real-time view/hide, video screen capture), and provides a function to check the corresponding information according to the administrator's selection And, the image characteristic unit (P) provides a function to adjust the playback, stop, and playback speed of the image, and the graph part (G) is a screen showing sensor information (measured value), a gas concentration detection sensor ( The sensor terminal device) and the vibration sensor show and display the gas concentration (CO2 ppm unit) and the vibration amount (g unit) as a time series graph, and the first screen unit V1 synchronizes the image information and the sensor information. The generated integrated information is displayed in real time, and the second screen unit V2 displays the area of the sensor information selected on the graph unit G by the administrator as an event, so that the location, time, and sensor information (gas concentration, vibration amount) are processed as events. ) to extract and display synchronized image information, and automatically generate an event based on the standard (gas concentration, vibration reference value) set by the administrator to extract sensor information, and display the synchronized image information together A system characterized in that
영상촬영 장치에서 촬영되어 전송되는, 영상정보를 수집하는 단계;
상기 영상촬영 장치와 대응되는 하나 또는 다수의 센서 단말장치에서 측정되어 전송되는, 센서정보를 수집하는 단계;
상기 영상정보 및 상기 센서정보를 동기화하여 통합정보를 생성하는 단계;
생성된 상기 통합정보에서 상기 센서정보를 기준으로, 이벤트에 해당되는 영상정보를 추출하거나, 생성된 상기 통합정보에서 상기 영상정보를 기준으로, 이벤트에 해당되는 센서정보를 추출하는 단계; 및
상기 통합정보를 관리자 단말장치로 실시간 전송하며, 상기 이벤트에 따라, 상기 관리자 단말장치로 확인 메시지를 전송하는 단계
를 포함하고,
상기 이벤트는,
상기 관리자 단말장치에 의해 설정된 기준이거나 상기 관리자 단말장치에 의해 선택된 영역이며,
상기 설정된 기준은 상기 센서 단말장치에서 측정되는 측정값 기준이거나, 상기 영상촬영 장치에서 촬영되는 객체인식 기준이고,
상기 선택된 영역은, 상기 센서정보의 시계열 그래프 상에서 상기 관리자 단말장치에 의해 선택된 시간영역이거나, 상기 영상정보에서 상기 관리자 단말장치에 의해 선택된 객체영역인 것을 특징으로 하는 방법.A method for integrated management by synchronizing information on a communication network using the system according to claim 1,
collecting image information that is captured and transmitted by an image photographing device;
collecting sensor information that is measured and transmitted by one or more sensor terminal devices corresponding to the image capturing device;
generating integrated information by synchronizing the image information and the sensor information;
extracting image information corresponding to an event from the generated integrated information based on the sensor information, or extracting sensor information corresponding to an event from the generated integrated information based on the image information; and
transmitting the integrated information to the manager terminal device in real time, and according to the event, transmitting a confirmation message to the manager terminal device
including,
The event is
It is a criterion set by the manager terminal device or an area selected by the manager terminal device,
The set standard is a measurement value standard measured by the sensor terminal device, or an object recognition standard photographed by the image capturing device,
The selected area is a time area selected by the manager terminal device on the time series graph of the sensor information, or an object area selected by the manager terminal device in the image information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200109671A KR102423255B1 (en) | 2020-08-28 | 2020-08-28 | System and method for integrated management synchronizing sensor information and video information based on the internet of things |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200109671A KR102423255B1 (en) | 2020-08-28 | 2020-08-28 | System and method for integrated management synchronizing sensor information and video information based on the internet of things |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220028547A KR20220028547A (en) | 2022-03-08 |
| KR102423255B1 true KR102423255B1 (en) | 2022-07-20 |
Family
ID=80813534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200109671A KR102423255B1 (en) | 2020-08-28 | 2020-08-28 | System and method for integrated management synchronizing sensor information and video information based on the internet of things |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102423255B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102487031B1 (en) * | 2022-04-29 | 2023-01-10 | (주)하이브시스템 | Video transmission apparatus capable of event management |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101470316B1 (en) | 2014-08-11 | 2014-12-09 | (주)엔토스정보통신 | Closed-circuit television system of sensing risk according to the characteristic of sensing area and method thereof |
| KR102028147B1 (en) * | 2018-10-12 | 2019-10-04 | (주)파슨텍 | Integrated control system, video analysis device and local control server for controlling event |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101515166B1 (en) * | 2013-09-26 | 2015-05-04 | 사단법인 한국지능형교통체계협회 | A Parking Event Detection System Based on Object Recognition |
| KR101558419B1 (en) | 2015-06-11 | 2015-10-07 | (주)프로브디지털 | Image processing unit and contolling methods using plural cameras |
| KR101953744B1 (en) * | 2017-05-17 | 2019-03-04 | 주식회사 에스더블유엠 | vehicle driving information management device, server and vehicle driving information management method |
| KR102159786B1 (en) * | 2018-09-17 | 2020-09-24 | 김명호 | System for Serarching Using Intelligent Analyzing Video |
-
2020
- 2020-08-28 KR KR1020200109671A patent/KR102423255B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101470316B1 (en) | 2014-08-11 | 2014-12-09 | (주)엔토스정보통신 | Closed-circuit television system of sensing risk according to the characteristic of sensing area and method thereof |
| KR102028147B1 (en) * | 2018-10-12 | 2019-10-04 | (주)파슨텍 | Integrated control system, video analysis device and local control server for controlling event |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220028547A (en) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10812761B2 (en) | Complex hardware-based system for video surveillance tracking | |
| JP7417587B2 (en) | Systems and methods for analyzing and displaying acoustic data | |
| US9342594B2 (en) | Indexing and searching according to attributes of a person | |
| US7840515B2 (en) | System architecture and process for automating intelligent surveillance center operations | |
| US20100201815A1 (en) | Systems and methods for video monitoring | |
| US20220181020A1 (en) | System and method for remote patient monitoring | |
| CN105933664A (en) | System and method for synchronously displaying environment information in video | |
| WO2017057780A1 (en) | Data collection device, method, and program for display panel or control panel | |
| CN101375599A (en) | Method and system for performing video flashlight | |
| KR20190143680A (en) | System for real-time monitoring groth state of crop in green house based on internet of things | |
| CN106464836A (en) | Smart shift selection in a cloud video service | |
| KR102423255B1 (en) | System and method for integrated management synchronizing sensor information and video information based on the internet of things | |
| KR101545615B1 (en) | Growth Process Monitoring System for Wild Plants | |
| CN106303457A (en) | Continuous remote mobile video monitoring method based on wireless location technology and system | |
| US20230024701A1 (en) | Thermal imaging asset inspection systems and methods | |
| KR20160093253A (en) | Video based abnormal flow detection method and system | |
| US9111237B2 (en) | Evaluating an effectiveness of a monitoring system | |
| KR101060414B1 (en) | Monitoring system and mathod for the same | |
| US20200204792A1 (en) | Method for carrying out a health check of cameras and a camera system | |
| KR101169631B1 (en) | Video analysis camera, video analysis system having detection interface and detecting adjustment method of the same | |
| US20140325574A1 (en) | Perceptors and methods pertaining thereto | |
| CN108076312A (en) | Demographics monitoring identifying system based on depth camera | |
| WO2023022207A1 (en) | Management system | |
| KR102479412B1 (en) | Measurement of polygonal area Industrial thermal imaging camera | |
| CN108846362A (en) | A kind of corps diseases identifying system and method based on big data Cloud Server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |