KR102637691B1 - 영상 기반 설비 모니터링 장치 및 방법 - Google Patents

영상 기반 설비 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102637691B1
KR102637691B1 KR1020190136600A KR20190136600A KR102637691B1 KR 102637691 B1 KR102637691 B1 KR 102637691B1 KR 1020190136600 A KR1020190136600 A KR 1020190136600A KR 20190136600 A KR20190136600 A KR 20190136600A KR 102637691 B1 KR102637691 B1 KR 102637691B1
Authority
KR
South Korea
Prior art keywords
real
time captured
change
captured image
facility
Prior art date
Application number
KR1020190136600A
Other languages
English (en)
Other versions
KR20210051392A (ko
Inventor
임용기
윤성환
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020190136600A priority Critical patent/KR102637691B1/ko
Publication of KR20210051392A publication Critical patent/KR20210051392A/ko
Application granted granted Critical
Publication of KR102637691B1 publication Critical patent/KR102637691B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

건물 내 설비 관제 상황판의 실시간 촬영 영상을 기반으로 원격지에서 설비를 모니터링할 수 있도록 하는 장치 및 방법이 개시된다. 일 실시예에 따른 영상 기반으로 설비를 원격지에서 모니터링하는 장치는, 설비 관제 상황판을 촬영하는 카메라로부터 실시간 촬영 영상을 수신하는 영상 수신부; 상기 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출하는 위치 추출부; 상기 설비 객체의 픽셀 위치 및 제어 명령을 매핑한 매핑 정보를 저장하는 매핑부; 및 상기 실시간 촬영 영상에서 선택된 픽셀 위치에 대응하는 제어 명령을 상기 매핑 정보에서 추출하여 설비 제어를 위한 로컬 서버로 전송하는 제어부를 포함한다.

Description

영상 기반 설비 모니터링 장치 및 방법{APPARATUS AND METHOD FOR MONITORING FACILITY BASED ON IMAGE}
본 발명은 영상 기반 설비 모니터링 장치 및 방법에 관한 것으로, 보다 구체적으로 로컬의 설비 관제 상황판의 실시간 촬영한 영상을 기반으로 원격지에서 설비를 모니터링할 수 있도록 하는 장치 및 방법에 관한 것이다.
최근 건물의 설비가 현대화됨에 따라 건물 내에 설치된 전력, 조명, 공조, 방재 및 방범 등의 설비들을 자동으로 제어하는 자동 모니터링 시스템이 확대되고 있다. 즉, 설비들을 전체적으로 통합하여 관리할 수 있는 설비 모니터링 시스템의 개발이 활발하게 진행되고 있다. 그러나 이러한 설비 모니터링 시스템은 신축 건물에 주로 설치되고, 구축 건물에는 아직까지 현대화된 설비 모니터링 시스템이 설치되지 못하고 있다. 구축 건물의 경우, 건물 내의 관제실에 관제 상황판을 설치하여 관제자가 관제 상황판을 통해 통해 건물 내 각종 설비들의 상태를 모니터링하도록 한다. 따라서, 건물 내에는 상시 관제자가 상주해야 하는 문제점이 있다. 따라서, 구축 건물에 대해서도 원격지에서 건물의 설비 상태를 모니터링할 수 있는 시스템을 개발할 필요가 있는데, 이 경우 건물의 설비들을 전부 원격지의 서버와 연동시켜야 하므로, 원격지의 서버를 건물 상태에 맞게 전부 재개발해야 하고, 건물의 설비들도 새로 구축해야 하는 문제점이 있다. 따라서 건물의 기존 설비 모니터링 시스템을 최대한 유지한 상태에서 원격지에서 건물의 각종 설비들의 상태를 모니터링할 수 있는 시스템 개발이 필요하다.
본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로, 건물 내 설비 관제 상황판의 실시간 촬영 영상을 기반으로 원격지에서 설비를 모니터링할 수 있도록 하는 장치 및 방법을 제공하는 데 그 목적이 있다.
일 실시예에 따른 영상 기반으로 설비를 원격지에서 모니터링하는 장치는, 설비 관제 상황판을 촬영하는 카메라로부터 실시간 촬영 영상을 수신하는 영상 수신부; 상기 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출하는 위치 추출부; 상기 설비 객체의 픽셀 위치 및 제어 명령을 매핑한 매핑 정보를 저장하는 매핑부; 및 상기 실시간 촬영 영상에서 선택된 픽셀 위치에 대응하는 제어 명령을 상기 매핑 정보에서 추출하여 설비 제어를 위한 로컬 서버로 전송하는 제어부를 포함한다.
상기 위치 추출부는, 일정한 시간 동안 상기 실시간 촬영 영상의 변화 패턴을 분석하여 설비 객체를 식별하고 그 식별한 설비 객체의 픽셀 위치를 추출할 수 있다.
상기 매핑부는, 상기 식별한 설비 객체에 대한 제어 명령을 사용자로부터 입력받을 수 있다.
상기 위치 추출부는, 상기 실시간 촬영 영상에서 사용자에 의해 선택된 영역의 픽셀 위치를 상기 설비 객체의 픽셀 위치로 추출할 수 있다.
상기 매핑부는, 상기 매핑 정보에 상기 설비 객체의 패턴별 이벤트를 더 매핑하여 저장하고, 상기 제어부는, 상기 실시간 촬영 영상에서 상기 픽셀 위치의 영상 패턴이 변경되면 변경 후 패턴에 대응하는 이벤트를 상기 매핑 정보에서 추출하여 사용자에게 알릴 수 있다.
상기 패턴은, 색상의 변화, 점등 개수의 변화, 점등 위치의 변화, 및 텍스트의 변화를 포함할 수 있다.
상기 텍스트의 변화에 대한 이벤트는, 한계값을 포함하고, 상기 제어부는, 상기 실시간 촬영 영상에서 상기 픽셀 위치의 텍스트 값이 상기 한계값을 이탈할 경우, 사용자에게 알릴 수 있다.
상기 모니터링 장치는, 상기 로컬 서버로부터 상기 설비 객체에 대응하는 실제 객체의 상태 데이터를 수신하는 설비 데이터 수신부를 더 포함하고, 상기 제어부는, 상기 실시간 촬영 영상에서의 상기 픽셀 위치의 영상 패턴 변화와 상기 상태 데이터를 참조하여 이상 징후를 판단할 수 있다.
일 실시예에 따른 모니터링 장치가 영상 기반으로 원격지에서 설비를 모니터링하는 방법은, 설비 관제 상황판을 촬영하는 카메라로부터 실시간 촬영 영상을 수신하는 단계; 상기 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출하는 단계; 상기 설비 객체의 픽셀 위치 및 제어 명령을 매핑한 매핑 정보를 저장하는 단계; 및 상기 실시간 촬영 영상에서 선택된 픽셀 위치에 대응하는 제어 명령을 상기 매핑 정보에서 추출하여 설비 제어를 위한 로컬 서버로 전송하는 단계를 포함한다.
상기 추출하는 단계는, 일정한 시간 동안 상기 실시간 촬영 영상의 변화 패턴을 분석하여 설비 객체를 식별하고 그 식별한 설비 객체의 픽셀 위치를 추출할 수 있다.
상기 저장하는 단계는, 상기 식별한 설비 객체에 대한 제어 명령을 사용자로부터 입력받을 수 있다.
상기 추출하는 단계는, 상기 실시간 촬영 영상에서 사용자에 의해 선택된 영역의 픽셀 위치를 상기 설비 객체의 픽셀 위치로 추출할 수 있다.
상기 저장하는 단계는, 상기 매핑 정보에 상기 설비 객체의 패턴별 이벤트를 더 매핑하여 저장하고, 상기 방법은, 상기 실시간 촬영 영상에서 상기 픽셀 위치의 영상 패턴이 변경되면 변경 후 패턴에 대응하는 이벤트를 상기 매핑 정보에서 추출하여 사용자에게 알리는 단계를 더 포함할 수 있다.
상기 패턴은, 색상의 변화, 점등 개수의 변화, 점등 위치의 변화, 및 텍스트의 변화를 포함할 수 있다.
상기 텍스트의 변화에 대한 이벤트는, 한계값을 포함하고, 상기 알리는 단계는, 상기 실시간 촬영 영상에서 상기 픽셀 위치의 텍스트 값이 상기 한계값을 이탈할 경우, 사용자에게 알리는 단계를 포함할 수 있다.
상기 방법은, 상기 로컬 서버로부터 상기 설비 객체에 대응하는 실제 객체의 상태 데이터를 수신하는 단계; 및 상기 실시간 촬영 영상에서의 상기 픽셀 위치의 영상 패턴 변화와 상기 상태 데이터를 참조하여 이상 징후를 판단하는 단계를 더 포함할 수 있다.
일 실시예에 따르면, 원격지에서 건물 등의 설비를 모니터링하는 장비를 전부 새로 구축할 필요 없이, 실시간 촬영 영상 분석을 통해 원격 모니터링 서비스를 제공할 수 있어 비용 등을 절약할 수 있다.
일 실시예에 따르면, 사용자가 실시간 촬영 영상에서 모니터링을 원하는 설비 객체를 직접 설정할 수 있어 사용자 맞춤형의 원격 모니터링이 가능하다.
일 실시예에 따르면, 실시간 촬영 영상에서 영상 변화를 분석하여 설비 객체를 자동으로 식별함으로써 원격 모니터링 설정의 사용자 편의성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 기반으로 설비를 원격 모니터링하는 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 픽셀 위치를 기준으로 한 설비 객체의 매핑 정보를 나타낸 도면이다.
도 3은 본 발명의 다른 실시예에 따른 픽셀 위치를 기준으로 한 설비 객체의 매핑 정보를 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 영상 기반으로 설비를 원격 모니터링하는 시스템의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 기반의 설비 모니터링 방법을 설명하는 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 기반의 설비 모니터링 방법을 설명하는 흐름도이다.
이하, 첨부된 도면을 참조하여, 본 발명에 대하여 보다 구체적으로 설명하기로 한다. 이하의 설명에서 본 발명에 대한 이해를 명확히 하기 위하여, 본 발명의 특징에 대한 공지의 기술에 대한 설명은 생략하기로 한다. 이하의 실시 예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아님은 당연할 것이다. 따라서, 본 발명과 동일한 기능을 수행하는 균등한 발명 역시 본 발명의 권리 범위에 속할 것이다. 이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 기반으로 설비를 원격 모니터링하는 시스템의 구성을 나타낸 도면이다. 도 1을 참조하면, 본 실시예에 따른 시스템은, 설비(110), 로컬 서버(120), 설비 관제 상황판(130), 카메라(140) 및 모니터링 장치(150)를 포함한다.
설비(110)는, 건물 등에 설치되는 공조 설비, 냉난방 설비 등으로서, 설비(110)는, 로컬 서버(120)의 제어 명령에 따라 동작할 수 있고, 상태 정보를 로컬 서버(120) 또는 설비 관제 상황판(130)으로 전송할 수 있다. 본 실시예에서는 하나의 설비(110)만을 도시하였으나 적어도 하나 이상의 설비(110)를 포함할 수 있다.
로컬 서버(120)는, 건물 내 설치되어, 상기 설비(110)로부터 설비(110)의 상태 정보를 수신하여 설비 관제 상황판(130)에 상태 정보를 출력할 수 있고, 또한 설비 관제 상황판(130)으로부터 설비(110)의 제어 명령을 수신하여 설비(110)로 전송할 수 있다. 또한, 로컬 서버(120)는, 원격지에 위치하는 모니터링 장치(150)로부터 설비(110)의 제어 명령을 수신하여 설비(110)로 전송할 수 있다. 로컬 서버(120)는 건물 내 전용 통신망이나 공중 통신망을 통해 설비(110)와 통신할 수 있다.
설비 관제 상황판(130)은, 설비(110) 또는 로컬 서버(120)와 통신하여 설비(110)의 상태 정보를 수신하여 외부로 표출하고, 또한 사용자로부터 입력되는 신호에 따라 설비(110) 또는 로컬 서버(120)로 제어 명령을 전송할 수 있다. 설비 관제 상황판(130)은 컴퓨터의 관제 화면일 수 있고, 또는 물리적인 패널일 수도 있다. 설비 관제 상황판(130)은 건물 내 전용 통신망 또는 공중 통신망을 통해 설비(110) 또는 로컬 서버(120)와 통신할 수 있다.
카메라(140)는 고정된 위치에 설치되어 상기 설비 관제 상황판(130)을 실시간 촬영하고, 촬영 영상을 통신망을 통해 모니터링 장치(150)로 전송한다. 카메라(140)는 고정된 위치에서 고정된 화각으로 설비 관제 상황판(130)을 촬영한다. 바람직하게, 카메라(140)는 설비 관제 상황판(130)의 전체 모습을 촬영한다.
모니터링 장치(150)는 상기 카메라(140)로부터 상기 설비 관제 상황판(130)의 실시간 촬영 영상을 수신하고, 수신된 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출한 후 픽셀 위치를 기준으로 설비의 고유 식별정보, 설비의 영상 패턴, 이벤트, 제어 명령 및 설명 정보를 매핑한 매핑 정보를 생성하여 메모리에 저장한다. 모니터링 장치(150)는, 상기 실시간 촬영 영상에서 설비 객체의 영상 패턴의 변화가 발생하면 상기 매핑 정보에서 해당 설비 객체에 대응하는 이벤트, 제어 명령 등을 추출하여 사용자에게 이벤트를 알리고 제어 명령을 로컬 서버(120)로 전송할 수 있다. 모니터링 장치(150)는 바람직하게 5G 통신망을 통해 로컬 서버(120)와 통신할 수 있으나 반드시 여기에 제한되는 것은 아니며 공지된 통신망 또는 차세대 통신망을 통해 로컬 서버(120)와 통신할 수 있다.
도 1을 참조하면, 모니터링 장치(150)는, 제어부(151), 매핑부(152), 위치 추출부(153) 및 영상 수신부(154)를 포함한다. 모니터링 장치(150)는, 메모리, 메모리 제어기, 하나 이상의 프로세서(CPU), 주변 인터페이스, 입출력(I/O) 서브시스템, 디스플레이 장치, 입력 장치 및 통신 회로를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리, 또는 다른 불휘발성 반도체 메모리 장치를 포함할 수 있다. 프로세서 및 주변 인터페이스와 같은 다른 구성요소에 의한 메모리로의 액세스는 메모리 제어기에 의하여 제어될 수 있다. 메모리는 각종 정보와 프로그램 명령어를 저장할 수 있고, 프로그램은 프로세서에 의해 실행된다. 주변 인터페이스는 입출력 주변 장치를 프로세서 및 메모리와 연결한다. 하나 이상의 프로세서는 다양한 소프트웨어 프로그램 및/또는 메모리에 저장되어 있는 명령어 세트를 실행하여 시스템을 위한 여러 기능을 수행하고 데이터를 처리한다. I/O 서브시스템은 디스플레이 장치, 입력 장치와 같은 입출력 주변장치와 주변 인터페이스 사이에 인터페이스를 제공한다. 통신 회로는 외부 포트를 통한 통신 또는 RF 신호에 의한 통신을 수행한다. 통신 회로는 전기 신호를 RF 신호로 또는 그 반대로 변환하며 이 RF 신호를 통하여 통신 네트워크, 다른 이동형 게이트웨이 장치 및 통신 장치와 통신할 수 있다. 제어부(151), 매핑부(152), 위치 추출부(153) 및 영상 수신부(154)는 프로그램으로 구현되어 메모리에 저장되어 프로세서에 의해 실행될 수 있고, 또는 소프트웨어 및 하드웨어의 조합으로 구현되어 동작을 수행할 수 있다.
영상 수신부(154)는, 카메라(140)로부터 설비 관제 상황판(130)에 대한 실시간 촬영 영상을 수신한다.
위치 추출부(153)는, 상기 영상 수신부(154)에서 수신된 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출한다. 위치 추출부(153)는, 사용자의 입력에 따라 또는 자동으로 상기 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출할 수 있다. 여기서 픽셀 위치는 각 픽셀의 좌표를 의미할 수 있다. 예를 들어, 실시간 촬영 영상에서 좌측 하단 꼭지점을 (O, O)으로 하는 X-Y 좌표계에서 인접한 각 픽셀의 좌표는 1만큼씩 차이를 두어 좌표를 정의할 수 있다.
위치 추출부(153)는, 디스플레이 장치에 출력되는 실시간 촬영 영상에서 사용자가 특정 영역을 마우스 또는 터치 입력으로 설정할 경우 그 설정된 특정 영역의 픽셀 위치를 설비 객체의 픽셀 위치로서 추출한다. 사용자는 마우스 또는 터치 입력으로 특정 영역을 드래그하는 방식으로 설정할 수 있다.
위치 추출부(153)는, 디스플레이 장치에 출력되는 실시간 촬영 영상을 소정의 기간 동안(예컨대, 일주일) 분석하여 영상 패턴에서 변화가 발생하는 영역의 픽셀 위치를 설비 객체의 픽셀 위치로서 추출한다. 예를 들어, 색상이 변경되는 영역, 또는 빛이 점등하는 개수가 일정한 패턴으로 변화하는 영역, 빛이 점등하는 위치가 일정한 패턴으로 변화하는 영역, 또는 텍스트가 변화하는 영역을 설비 객체로 판단하고 그 설비 객체의 영역의 픽셀 위치를 추출할 수 있다.
매핑부(152)는, 상기 위치 추출부(153)에서 추출된 설비 객체의 픽셀 위치에 해당 설비 객체에 대한 정보를 매핑한 매핑 정보를 생성하여 메모리에 저장한다. 보다 구체적으로, 매핑부(152)는, 상기 추출된 설비 객체의 픽셀 위치에, 해당 설비 객체의 고유 식별정보(ID), 패턴, 이벤트, 제어 명령 및 설명을 매핑할 수 있다. 매핑부(152)는, 이러한 설비 객체에 대한 정보를 사용자로부터 입력받을 수 있다. 바람직하게, 매핑부(152)는, 메모리에 저장된 설비 관련 데이터에서 설비 객체에 대한 리스트를 팝업으로 표시하고 이 중에서 사용자로부터 선택받거나 또는 사용자로부터 입력된 키워드에 대응하는 검색 결과를 제공할 수 있다.
매핑부(152)는 상기 위치 추출부(153)에서 추출된 설비 객체의 픽셀 위치에 해당 설비 객체에 대응하는 물리적인 객체를 중첩하여 표시할 수 있다. 바람직하게는, 매핑부(152)는 매핑 정보에 제어 명령이 기록되는 설비 객체에 대해서만 물리적인 객체를 해당 픽셀 위치에 중첩하여 표시함으로써 사용자가 물리적인 객체를 선택하여 대응하는 실제 설비에 대해 제어할 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 픽셀 위치를 기준으로 한 설비 객체의 매핑 정보를 나타낸 도면이다. 도 2를 참조하면, 픽셀 위치(210)는, 실시간 촬영 영상에서 설비 객체가 위치하는 영역의 좌표값이고, 고유 ID(220)는, 설비 객체의 고유 식별정보이며, 패턴(230)은, 실시간 촬영 영상에서 설비 객체의 변화 패턴을 의미하고, 이벤트(240)는 특정 패턴 발생시 사용자에게 알람을 제공하는 조건을 의미하며, 제어 명령(250)은 설비 객체에 대한 제어 명령을 의미하고, 설명(260)은 설비 객체에 관한 간단한 설명이다. 예를 들어, (172~180, 830~852) 픽셀 좌표 영역에 위치하는 설비 객체는 공조기의 ON/OFF에 관한 객체로서 ID는 공조기_1이고 설비 관제 상황판(130)에서 상태에 따라 색상이 변경되며 상태 색상이 빨간색일 때 사용자에게 알람이 제공된다. 다른 예로, (66~70, 800~830) 픽셀 좌표 영역에 위치하는 설비 객체는 냉난방기 ON/OFF 버튼 객체로서 상태 색상이 노란색이면 사용자에게 알람이 제공되고 사용자가 실시간 촬영 영상에서 해당 설비 객체를 선택(예, 클릭)하면 제어 명령(250) 필드의 제어 명령(온 또는 오프 명령)을 로컬 서버(120)로 전송한다.
도 3은 본 발명의 다른 실시예에 따른 픽셀 위치를 기준으로 한 설비 객체의 매핑 정보를 나타낸 도면으로, 픽셀 위치, 패턴 그리고 설명만을 도시하지만 도 2를 참조하여 설명한 다른 필드도 포함한다. 앞서 설명한 바와 같이, 위치 추출부(153)는, 디스플레이 장치에 출력되는 실시간 촬영 영상을 소정의 기간 동안(예컨대, 일주일) 분석하여 영상 패턴에서 변화가 발생하는 영역의 픽셀 위치를 설비 객체의 픽셀 위치로서 추출한다. 도 3을 참조하면, 영역 #1의 경우, 하나의 LED가 점등하는데, 위치 추출부(153)는 해당 LED의 영역을 설비 객체로 판단한다. 또한 영역 #2의 경우, 위치 추출부(153)는, 4개의 점등하는 LED 그룹의 영역을 하나의 설비 객체로서 픽셀 위치를 추출하고, 영역 #3의 경우, 3개의 점등하는 LED 그룹의 영역을 하나의 설비 객체로서 픽셀 위치를 추출한다.
제어부(151)는, 화면에 표시되는 설비 관제 상황판(130)에 대한 실시간 촬영 영상에서 사용자에 의해 특정 픽셀 위치가 선택되면, 예를 들어 특정 픽셀 위치에 중첩되어 있는 물리적인 객체를 클릭되면, 해당 픽셀 위치에 대응하는 제어 명령을 상기 매핑 정보에서 추출하여 로컬 서버(120)로 전송한다. 또한 제어부(151)는, 실시간 촬영 영상을 분석하여 특정 설비 객체의 패턴이 변화되면 해당 설비 객체의 이벤트를 매핑 정보에서 확인하여 사용자에게 알람을 제공한다. 여기서 알람은 실시간 촬영 영상의 설비 객체 위에 아이콘을 표시하거나 또는 지정된 연락처로 메시지를 전송하는 등의 형태를 포함할 수 있다. 이때, 제어부(151)는, 패턴의 변화가 텍스트의 변화이고 해당 텍스트의 변화에 대한 이벤트가 한계값을 포함하며 텍스트가 한계값을 벗어난 경우 사용자에게 알람을 제공한다.
도 4는 본 발명의 다른 실시예에 따른 영상 기반으로 설비를 원격 모니터링하는 시스템의 구성을 나타낸 도면이다. 도 4를 참조한 실시예에서 도 1과 동일한 참조부호의 구성요소는 도 1을 참조하여 설명한 기능 및 동작을 모두 포함한다. 도 4를 참조한 실시예에서, 모니터링 장치(410)는 설비 데이터 수신부(411)를 더 포함한다.
설비 데이터 수신부(411)는 로컬 서버(120)와 통신하여 로컬 서버(120)로부터 설비(110)의 고유 식별정보를 포함하는 상태 정보를 수신한다. 상태 정보는 예를 들어, 온도 등의 텍스트, 온/오프 정보, 점등 위치/개수 등을 포함할 수 있다.
제어부(151)는, 상기 설비 데이터 수신부(411)에서 수신하는 설비(110)의 상태 정보에 포함된 고유 식별정보를 이용하여 매핑 정보에서 설비 객체의 픽셀 위치를 확인할 수 있다. 제어부(151)는 상기 실시간 촬영 영상에서 상기 확인된 픽셀 위치의 영상 패턴을 분석하고, 영상 패턴 변화와 상기 수신된 상태 정보를 참조하여 해당 설비(110)의 이상 징후를 판단할 수 있다. 바람직하게, 제어부(151)는, 영상 패턴 변화로부터 인식된 설비 객체의 상태 정보와 상기 설비 데이터 수신부(411)에서 상태 정보가 일치하지 않으면 이상 징후라고 판단할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 기반의 설비 모니터링 방법을 설명하는 흐름도이다.
도 5를 참조하면, 단계 S501에서, 모니터링 장치(150)는, 카메라(140)로부터 설비 관제 상황판(130)에 대한 실시간 촬영 영상을 수신한다.
단계 S502에서, 모니터링 장치(150)는, 상기 수신된 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출한다. 모니터링 장치(150)는, 사용자의 입력에 따라 또는 자동으로 상기 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출할 수 있다. 여기서 픽셀 위치는 각 픽셀의 좌표를 의미할 수 있다. 예를 들어, 실시간 촬영 영상에서 좌측 하단 꼭지점을 (O, O)으로 하는 X-Y 좌표계에서 인접한 각 픽셀의 좌표는 1만큼씩 차이를 두어 좌표를 정의할 수 있다. 모니터링 장치(150)는, 디스플레이 장치에 출력되는 실시간 촬영 영상에서 사용자가 특정 영역을 마우스 또는 터치 입력으로 설정할 경우 그 설정된 특정 영역의 픽셀 위치를 설비 객체의 픽셀 위치로서 추출한다. 사용자는 마우스 또는 터치 입력으로 특정 영역을 드래그하는 방식으로 설정할 수 있다. 또는, 모니터링 장치(150)는, 디스플레이 장치에 출력되는 실시간 촬영 영상을 소정의 기간 동안(예컨대, 일주일) 분석하여 영상 패턴에서 변화가 발생하는 영역의 픽셀 위치를 설비 객체의 픽셀 위치로서 추출한다. 예를 들어, 색상이 변경되는 영역, 또는 빛이 점등하는 개수가 일정한 패턴으로 변화하는 영역, 빛이 점등하는 위치가 일정한 패턴으로 변화하는 영역, 또는 텍스트가 변화하는 영역을 설비 객체로 판단하고 그 설비 객체의 영역의 픽셀 위치를 추출할 수 있다.
단계 S503에서, 모니터링 장치(150)는, 상기 추출된 설비 객체의 픽셀 위치에 해당 설비 객체에 대한 정보를 매핑한 매핑 정보를 생성하여 메모리에 저장한다. 보다 구체적으로, 모니터링 장치(150)는, 상기 추출된 설비 객체의 픽셀 위치에, 해당 설비 객체의 고유 식별정보(ID), 패턴, 이벤트, 제어 명령 및 설명을 매핑할 수 있다. 모니터링 장치(150)는, 이러한 설비 객체에 대한 정보를 사용자로부터 입력받을 수 있다. 바람직하게, 모니터링 장치(150)는, 메모리에 저장된 설비 관련 데이터에서 설비 객체에 대한 리스트를 팝업으로 표시하고 이 중에서 사용자로부터 선택받거나 또는 사용자로부터 입력된 키워드에 대응하는 검색 결과를 제공할 수 있다.
단계 S504에서, 모니터링 장치(150)는, 실시간 촬영 영상에서 사용자로부터 특정 픽셀 위치의 선택 입력을 수신한다. 모니터링 장치(150)는, 실시간 촬영 영상에서 설비 객체의 픽셀 위치에 해당 설비 객체에 대응하는 물리적인 객체를 중첩하여 표시할 수 있고, 사용자로부터 해당 물리적인 객체에 대한 선택 입력을 수신할 수 있다.
단계 S505에서, 모니터링 장치(150)는, 상기 선택 입력에 대응하는 픽셀 위치의 제어 명령을 매핑 정보에서 추출하고 추출된 제어 명령을 로컬 서버(120)로 전송한다. 따라서 로컬 서버(120)는 제어 명령에 따라 설비(110)를 제어한다.
도 6은 본 발명의 다른 실시예에 따른 영상 기반의 설비 모니터링 방법을 설명하는 흐름도이다.
도 6을 참조하면, 단계 S601에서, 모니터링 장치(150)는, 카메라(140)로부터 설비 관제 상황판(130)에 대한 실시간 촬영 영상을 수신한다.
단계 S602에서, 모니터링 장치(150)는, 상기 수신된 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출한다. 모니터링 장치(150)는, 사용자의 입력에 따라 또는 자동으로 상기 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출할 수 있다. 여기서 픽셀 위치는 각 픽셀의 좌표를 의미할 수 있다. 예를 들어, 실시간 촬영 영상에서 좌측 하단 꼭지점을 (O, O)으로 하는 X-Y 좌표계에서 인접한 각 픽셀의 좌표는 1만큼씩 차이를 두어 좌표를 정의할 수 있다. 모니터링 장치(150)는, 디스플레이 장치에 출력되는 실시간 촬영 영상에서 사용자가 특정 영역을 마우스 또는 터치 입력으로 설정할 경우 그 설정된 특정 영역의 픽셀 위치를 설비 객체의 픽셀 위치로서 추출한다. 사용자는 마우스 또는 터치 입력으로 특정 영역을 드래그하는 방식으로 설정할 수 있다. 또는, 모니터링 장치(150)는, 디스플레이 장치에 출력되는 실시간 촬영 영상을 소정의 기간 동안(예컨대, 일주일) 분석하여 영상 패턴에서 변화가 발생하는 영역의 픽셀 위치를 설비 객체의 픽셀 위치로서 추출한다. 예를 들어, 색상이 변경되는 영역, 또는 빛이 점등하는 개수가 일정한 패턴으로 변화하는 영역, 빛이 점등하는 위치가 일정한 패턴으로 변화하는 영역, 또는 텍스트가 변화하는 영역을 설비 객체로 판단하고 그 설비 객체의 영역의 픽셀 위치를 추출할 수 있다.
단계 S603에서, 모니터링 장치(150)는, 상기 추출된 설비 객체의 픽셀 위치에 해당 설비 객체에 대한 정보를 매핑한 매핑 정보를 생성하여 메모리에 저장한다. 보다 구체적으로, 모니터링 장치(150)는, 상기 추출된 설비 객체의 픽셀 위치에, 해당 설비 객체의 고유 식별정보(ID), 패턴, 이벤트, 제어 명령 및 설명을 매핑할 수 있다. 모니터링 장치(150)는, 이러한 설비 객체에 대한 정보를 사용자로부터 입력받을 수 있다. 바람직하게, 모니터링 장치(150)는, 메모리에 저장된 설비 관련 데이터에서 설비 객체에 대한 리스트를 팝업으로 표시하고 이 중에서 사용자로부터 선택받거나 또는 사용자로부터 입력된 키워드에 대응하는 검색 결과를 제공할 수 있다.
단계 S604에서, 모니터링 장치(150)는, 실시간 촬영 영상에서 특정 설비 객체에 대응하는 픽셀 위치의 영상 패턴이 변경되는지 확인한다. 영상 패턴의 변경은 예를 들어 색상의 변경, 점등 위치의 변경, 점등 개수의 변경, 텍스트의 변경 등을 포함할 수 있다.
영상 패턴의 변경이 확인되면, 단계 S605에서, 모니터링 장치(150)는, 해당 설비 객체의 이벤트를 매핑 정보에서 추출하고 사용자에게 알람을 제공한다. 여기서 알람은 실시간 촬영 영상의 설비 객체 위에 아이콘을 표시하거나 또는 지정된 연락처로 메시지를 전송하는 등의 형태를 포함할 수 있다. 이때, 제어부(151)는, 패턴의 변화가 텍스트의 변화이고 해당 텍스트의 변화에 대한 이벤트가 한계값을 포함하며 텍스트가 한계값을 벗어난 경우 사용자에게 알람을 제공한다.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 안 된다. 또한, 본 명세서에서 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서에서 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로, 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 프로그램 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(시디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
110 : 설비
120 : 로컬 서버
130 : 설비 관제 상황판
140 : 카메라
150, 410 : 모니터링 장치
151 : 제어부
152 : 매핑부
153 : 위치 추출부
154 : 영상 수신부
411 : 설비 데이터 수신부

Claims (17)

  1. 영상 기반으로 설비를 원격지에서 모니터링하는 장치에 있어서,
    설비 관제 상황판을 촬영하는 카메라로부터 실시간 촬영 영상을 수신하는 영상 수신부;
    상기 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출하되, 일정한 시간 동안 상기 실시간 촬영 영상의 변화 패턴을 분석하여 변화가 발생하는 영역을 설비 객체로 식별하고 그 식별한 설비 객체의 픽셀 위치를 추출하는 위치 추출부;
    상기 설비 객체의 픽셀 위치 및 제어 명령을 매핑한 매핑 정보를 저장하는 매핑부; 및
    상기 실시간 촬영 영상에서 선택된 픽셀 위치에 대응하는 제어 명령을 상기 매핑 정보에서 추출하여 설비 제어를 위한 로컬 서버로 전송하는 제어부를 포함하는 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 매핑부는,
    상기 식별한 설비 객체에 대한 제어 명령을 사용자로부터 입력받는 것을 특징으로 하는 장치.
  4. 제 1 항에 있어서,
    상기 위치 추출부는,
    상기 실시간 촬영 영상에서 사용자에 의해 선택된 영역의 픽셀 위치를 상기 설비 객체의 픽셀 위치로 추출하는 것을 특징으로 하는 장치.
  5. 제 1 항에 있어서,
    상기 매핑부는, 상기 매핑 정보에 상기 설비 객체의 패턴별 이벤트를 더 매핑하여 저장하고,
    상기 제어부는, 상기 실시간 촬영 영상에서 상기 픽셀 위치의 영상 패턴이 변경되면 변경 후 패턴에 대응하는 이벤트를 상기 매핑 정보에서 추출하여 사용자에게 알리는 것을 특징으로 하는 장치.
  6. 제 5 항에 있어서,
    상기 패턴은,
    색상의 변화, 점등 개수의 변화, 점등 위치의 변화, 및 텍스트의 변화를 포함하는 것을 특징으로 하는 장치.
  7. 제 6 항에 있어서,
    상기 텍스트의 변화에 대한 이벤트는, 한계값을 포함하고,
    상기 제어부는, 상기 실시간 촬영 영상에서 상기 픽셀 위치의 텍스트 값이 상기 한계값을 이탈할 경우, 사용자에게 알리는 것을 특징으로 하는 장치.
  8. 제 6 항에 있어서,
    상기 로컬 서버로부터 상기 설비 객체에 대응하는 실제 객체의 상태 데이터를 수신하는 설비 데이터 수신부를 더 포함하고,
    상기 제어부는, 상기 실시간 촬영 영상에서의 상기 픽셀 위치의 영상 패턴 변화와 상기 상태 데이터를 참조하여 이상 징후를 판단하는 것을 특징으로 하는 장치.
  9. 모니터링 장치가 영상 기반으로 원격지에서 설비를 모니터링하는 방법에 있어서,
    설비 관제 상황판을 촬영하는 카메라로부터 실시간 촬영 영상을 수신하는 단계;
    상기 실시간 촬영 영상에서 설비 객체의 픽셀 위치를 추출하되, 일정한 시간 동안 상기 실시간 촬영 영상의 변화 패턴을 분석하여 변화가 발생하는 영역을 설비 객체로 식별하고 그 식별한 설비 객체의 픽셀 위치를 추출하는 단계;
    상기 설비 객체의 픽셀 위치 및 제어 명령을 매핑한 매핑 정보를 저장하는 단계; 및
    상기 실시간 촬영 영상에서 선택된 픽셀 위치에 대응하는 제어 명령을 상기 매핑 정보에서 추출하여 설비 제어를 위한 로컬 서버로 전송하는 단계를 포함하는 방법.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 저장하는 단계는,
    상기 식별한 설비 객체에 대한 제어 명령을 사용자로부터 입력받는 것을 특징으로 하는 방법.
  12. 제 9 항에 있어서,
    상기 추출하는 단계는,
    상기 실시간 촬영 영상에서 사용자에 의해 선택된 영역의 픽셀 위치를 상기 설비 객체의 픽셀 위치로 추출하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제 9 항에 있어서,
    상기 저장하는 단계는, 상기 매핑 정보에 상기 설비 객체의 패턴별 이벤트를 더 매핑하여 저장하고,
    상기 방법은,
    상기 실시간 촬영 영상에서 상기 픽셀 위치의 영상 패턴이 변경되면 변경 후 패턴에 대응하는 이벤트를 상기 매핑 정보에서 추출하여 사용자에게 알리는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 제 13 항에 있어서,
    상기 패턴은,
    색상의 변화, 점등 개수의 변화, 점등 위치의 변화, 및 텍스트의 변화를 포함하는 것을 특징으로 하는 방법.
  15. 제 14 항에 있어서,
    상기 텍스트의 변화에 대한 이벤트는, 한계값을 포함하고,
    상기 알리는 단계는, 상기 실시간 촬영 영상에서 상기 픽셀 위치의 텍스트 값이 상기 한계값을 이탈할 경우, 사용자에게 알리는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제 14 항에 있어서,
    상기 로컬 서버로부터 상기 설비 객체에 대응하는 실제 객체의 상태 데이터를 수신하는 단계; 및
    상기 실시간 촬영 영상에서의 상기 픽셀 위치의 영상 패턴 변화와 상기 상태 데이터를 참조하여 이상 징후를 판단하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 제 9 항, 제 11 항 내지 제 16 항 중 어느 한 항에 따른 방법을 컴퓨터 시스템을 통해 실행하는 컴퓨터 프로그램으로서 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020190136600A 2019-10-30 2019-10-30 영상 기반 설비 모니터링 장치 및 방법 KR102637691B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190136600A KR102637691B1 (ko) 2019-10-30 2019-10-30 영상 기반 설비 모니터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190136600A KR102637691B1 (ko) 2019-10-30 2019-10-30 영상 기반 설비 모니터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210051392A KR20210051392A (ko) 2021-05-10
KR102637691B1 true KR102637691B1 (ko) 2024-02-15

Family

ID=75917524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190136600A KR102637691B1 (ko) 2019-10-30 2019-10-30 영상 기반 설비 모니터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102637691B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330624A (ja) * 1999-05-25 2000-11-30 Mitsubishi Electric Corp プラント監視システム
JP2008059095A (ja) 2006-08-29 2008-03-13 Toshiba Corp 画像ナビゲーション機能を備えた監視制御システム、及びその監視画面の操作方法
JP2010055263A (ja) * 2008-08-27 2010-03-11 Toshiba Corp 監視制御システム
KR101041032B1 (ko) * 2011-01-31 2011-06-13 이에스이 주식회사 웹 캐스팅을 이용한 관제 영상 전송용 중계기 및 이를 이용한 통합 관제 영상 제공 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101835552B1 (ko) * 2016-07-27 2018-03-08 주식회사 바이테크 스마트 팩토리 작업환경 관제시스템
KR101915879B1 (ko) * 2017-02-17 2018-11-06 타이아(주) 무선통신 기반의 제어장치를 이용한 공장설비 모니터링 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000330624A (ja) * 1999-05-25 2000-11-30 Mitsubishi Electric Corp プラント監視システム
JP2008059095A (ja) 2006-08-29 2008-03-13 Toshiba Corp 画像ナビゲーション機能を備えた監視制御システム、及びその監視画面の操作方法
JP2010055263A (ja) * 2008-08-27 2010-03-11 Toshiba Corp 監視制御システム
KR101041032B1 (ko) * 2011-01-31 2011-06-13 이에스이 주식회사 웹 캐스팅을 이용한 관제 영상 전송용 중계기 및 이를 이용한 통합 관제 영상 제공 시스템

Also Published As

Publication number Publication date
KR20210051392A (ko) 2021-05-10

Similar Documents

Publication Publication Date Title
US11095858B2 (en) Systems and methods for managing and displaying video sources
US12033288B2 (en) Smart-home device placement and installation using augmented-reality visualizations
US10192414B2 (en) System and method for overlap detection in surveillance camera network
US10665071B2 (en) System and method for deadzone detection in surveillance camera network
US10764539B2 (en) System and method for using mobile device of zone and correlated motion detection
US7633520B2 (en) Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
US10235574B2 (en) Image-capturing device, recording device, and video output control device
US9477891B2 (en) Surveillance system and method based on accumulated feature of object
CN112835304B (zh) 展厅控制方法及系统、控制终端、后台服务器和中控主机
US20100097471A1 (en) Automated way to effectively handle an alarm event in the security applications
US11671275B2 (en) Method and system of controlling device using real-time indoor image
KR20070041492A (ko) 비디오 플래시 라이트를 수행하기 위한 방법 및 시스템
US10200631B2 (en) Method for configuring a camera
KR102439337B1 (ko) 증강현실 공유 기반 다자참여 원격 협업 시스템 및 그 방법
KR101005568B1 (ko) 지능형 방범 시스템
CN110557603A (zh) 移动目标的监控方法、装置和可读存储介质
KR102637691B1 (ko) 영상 기반 설비 모니터링 장치 및 방법
KR20160042668A (ko) 설비를 제어하기 위한 중앙 제어 장치 및 그것의 운전 방법
TW201528105A (zh) 視訊裝置管理裝置、方法及電腦可讀取媒體
TW201426673A (zh) 移動指揮系統及移動指揮終端系統
CN108170390B (zh) 遥控切换显示的交互方法和系统
KR101410700B1 (ko) 운항정보 표출 단말 모니터링 및 제어 시스템
JP3800097B2 (ja) 設備監視装置
KR20240051767A (ko) 원격 감시 제어가능한 cctv카메라
KR20240051761A (ko) Cctv카메라 원격 감시 제어기능

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant