KR102364898B1 - 영상장치를 활용한 시설 모니터링 시스템 - Google Patents

영상장치를 활용한 시설 모니터링 시스템 Download PDF

Info

Publication number
KR102364898B1
KR102364898B1 KR1020200126872A KR20200126872A KR102364898B1 KR 102364898 B1 KR102364898 B1 KR 102364898B1 KR 1020200126872 A KR1020200126872 A KR 1020200126872A KR 20200126872 A KR20200126872 A KR 20200126872A KR 102364898 B1 KR102364898 B1 KR 102364898B1
Authority
KR
South Korea
Prior art keywords
information
facility
target
image
server
Prior art date
Application number
KR1020200126872A
Other languages
English (en)
Inventor
윤원섭
Original Assignee
윤원섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤원섭 filed Critical 윤원섭
Priority to KR1020200126872A priority Critical patent/KR102364898B1/ko
Application granted granted Critical
Publication of KR102364898B1 publication Critical patent/KR102364898B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 영상장치를 활용한 시설 모니터링 시스템에 관한 것으로, 본 발명은 대상 시설을 촬영하여 대상 이미지를 수집하는 미디어 장치와, 미디어 장치로부터 수집된 대상 이미지를 수신하고 수신한 대상 이미지에 기초하여 대상 시설을 식별하며 식별한 대상 시설에 관한 각종 정보를 생성하는 서버를 포함하고, 미디어 장치는 서버로부터 생성된 각종 정보를 수신하고 수신한 각종 정보를 대상 이미지에 매핑하여 증강현실 이미지를 생성 및 출력한다. 본 발명에 의하면, 증강현실을 이용한 산업 시설에 관한 교육 또는 모니터링이 가능함으로써, 산업 시설에 관한 별도의 교육자 없이도 산업 시설에 관한 교육이 가능하며 비교적 숙련도가 낮은 관리자도 산업 시설을 용이하게 유지, 관리, 보수 가능하도록 하는 효과가 있다.

Description

영상장치를 활용한 시설 모니터링 시스템{Facility monitoring system using augmented reality}
본 발명은 영상장치를 활용한 시설 모니터링 시스템에 관한 것으로, 더욱 상세하게는 미디어 장치를 이용해 산업시설의 각종 기계 시설을 촬영하면 촬영한 기계 시설에 관한 교육 정보, 부품 교체 시기, 정상 작동 여부, 발생한 고장에 관한 대응 방법 등의 각종 정보가 부가된 증강현실 이미지를 생성 및 출력하도록 하여, 증강현실을 이용하여 산업 시설에 관한 교육 또는 모니터링이 가능하도록 하는 영상장치를 활용한 시설 모니터링 시스템에 관한 것이다.
최근 정보 통신 지속적인 기술의 발전으로 실제 현실상의 객체에 실시간으로 가상의 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 현실에 가상의 영상정보를 합성해 제공하는 기술로 현실 공간과 사물에 증강된 디지털 콘텐츠를 내재시킴으로써 사용자에게 더욱 많은 감각과 인지를 활용한 체험 서비스를 제공할 수 있다.
증강현실에 관하여 보다 상세하게 살펴보면 증강현실에서 실제 영상에 가상의 데이터를 표시할 객체를 결정하는 방법으로 실제 영상에 마커(Marker)를 표시한 후 이 마커를 인식하여 마커 상에 가상의 데이터를 표시하는 마커 방식 증강현실과, 실제 영상에 마커를 표시하지 않고 실제 영상에 객체를 직접 인식하여 가상의 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제영상을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시행되지 못하고 있다.
이외에 카메라를 통해 실제 영상을 촬영하지 않고 인간의 눈이 그 너머의 실제 영상을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 투명 디스플레이상에 가상의 데이터를 표시하는 방법이 이론적으로 존재한다.
이러한 증강현실의 기술은 실제 환경과 가상의 3D 콘텐츠로 사용자의 오감을 확장, 공유함으로써 실질적으로 경험하지 못 하는 상황을 간접 체험 가능하게 함으로써 다양한 분야의 효율성을 향상시킬 수 있다는 장점이 있다. 특히, 최근에는 스마트 기기가 제공하는 기능을 통해 좌표상 위치와 움직임을 용이하게 측정할 수 있게 됨에 따라 증강현실 기술이 다양한 용도로 응용되어 다양한 분야로 확산 가능하게 되었다.
하지만, 이와 같은 증강 현실 기술의 장점과 다양한 분야에 대한 활용 가능성에도 불구하고, 국내에서는 증강 현실을 주로 오락적인 용도에 편중하여 사용하고 있다. 이에, 각종 산업시설의 첨단화를 위해 산업기계 및 장비의 교육, 운영, 수리, 유지 관리 등에 증강현실 기술을 적용하여 효율적인 산업기계 및 장비의 교육, 운영 수리, 유지 관리가 이루어지도록 하는 기술의 개발이 요구된다.
대한민국 공개특허 제10-2020-0063615호 대한민국 공개특허 제10-2012-0015802호 대한민국 등록특허 제10-1274556호
본 발명은 위에서 언급한 종래 기술이 가지는 문제점을 해결하기 위한 것으로 본 발명이 이루고자 하는 목적은, 미디어 장치를 이용해 산업시설의 각종 기계 시설을 촬영하면 촬영한 기계 시설에 관한 교육 정보, 부품 교체 시기, 정상 작동 여부, 발생한 고장에 관한 대응 방법 등의 각종 정보가 부가된 증강현실 이미지를 생성 및 출력하도록 하여, 증강현실을 이용하여 산업 시설에 관한 교육 또는 모니터링이 가능하도록 하는 영상장치를 활용한 시설 모니터링 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은, 미디어 장치에서 촬영한 이미지 상의 대상 시설을 서버에서 식별할 때 이미지에 부가된 GPS 정보에 기초하여 대상 시설을 식별하도록 하여, 증강현실 이미지 생성 대상이 되는 대상 시설의 식별을 위한 별도의 식별자 정보 수집, 생성 및 전송 과정을 생략 가능한 영상장치를 활용한 시설 모니터링 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 영상장치를 활용한 시설 모니터링 시스템은, 대상 시설을 촬영하여 대상 이미지를 수집하는 미디어 장치와, 미디어 장치로부터 수집된 대상 이미지를 수신하고 수신한 대상 이미지에 기초하여 대상 시설을 식별하며 식별한 대상 시설에 관한 각종 정보를 생성하는 서버를 포함하고, 미디어 장치는 서버로부터 생성된 각종 정보를 수신하고 수신한 각종 정보를 대상 이미지에 매핑하여 증강현실 이미지를 생성 및 출력한다.
이때, 서버는 식별한 대상 시설에 관한 명칭 정보, 작동 방법 정보, 주의 사항 정보 및 작동 원리 정보 중, 적어도 하나의 교육 정보를 생성하는 교육 정보 생성부를 포함할 수 있다.
또한, 서버는 식별한 대상 시설을 구성하는 부품을 추출하고 추출한 부품에 관한 명칭 정보, 작동 방법 정보, 주의 사항 정보, 작동 원리 정보, 권장 교체 주기 정보 및 최근 교체 시점 정보 중 적어도 하나의 부품 정보를 생성하는 부품 정보 생성부를 포함할 수 있다.
또한, 서버는 생성한 권장 교체 주기 정보 및 최근 교체 시점 정보에 기초하여, 추출한 각각의 부품의 교체 시기 정보를 생성하는 교체 시기 정보 생성부를 더 포함할 수 있다.
또한, 시설 모니터링 시스템은 각각의 대상 시설의 가시광 이미지, 열화상 이미지, 음향 이미지, 부품별 전류값 및 부품별 저항값 중 적어도 하나의 자료를 수집하는 수집 장치를 더 포함하고, 서버는, 식별한 대상 시설을 대상으로 자료를 수집한 수집 장치로부터 수집한 자료를 수신하고 수신한 자료에 기초하여 대상 시설의 작동 상태 정보를 생성하는 작동 상태 정보 생성부를 포함할 수 있다.
또한, 서버는 식별한 대상 시설의 작동 상태가 이상 상태로 판단되는 경우 판단된 이상 상태에 관한 대응 방법 정보를 생성하는 대응 방법 정보 생성부를 더 포함할 수 있다.
또한, 미디어 장치는 대상 이미지를 수집하는 촬영부와, 대상 이미지에 수집 시점에서의 촬영 위치를 감지하고 감지한 촬영 위치를 수집한 대상 이미지에 부가하는 GPS부를 포함하고, 서버는, 수신한 대상 이미지에 포함된 촬영 위치에 기초하여 대상 시설을 식별하는 대상 시설 식별부를 포함할 수 있다.
또한, 대상 시설 식별부는 수신한 대상 이미지에 포함된 대상 시설의 종류를 판단하고 판단된 종류로 등록된 시설 중 촬영 위치와 가장 가깝게 위치한 시설을 대상 시설로 식별할 수 있다.
또한, 대상 시설 식별부는 수신한 대상 이미지에 포함된 촬영 위치에 기초하여 대상 이미지상에 시설의 시설 위치를 판단하며 판단한 시설 위치와 가장 가깝게 위치한 시설을 대상 시설로 식별할 수 있다.
또한, 미디어 장치는 대상 이미지에 수집 시점에서의 촬영 방위각을 감지하고 감지한 촬영 방위각을 수집한 대상 이미지에 부가하는 방위각부를 포함하고, 대상 시설 식별부는 수신한 대상 이미지에 포함된 대상 시설의 종류를 판단하는 종류 판단부와, 대상 이미지상에 시설의 크기와 판단한 대상 시설의 종류가 갖는 실체 크기를 비교하여 촬영 거리를 판단하는 거리 판단부, 그리고 촬영 위치, 촬영 거리 및 촬영 방위각에 기초하여 시설 위치를 산출하는 시설 위치 산출부를 포함할 수 있다.
본 발명에 의하면, 미디어 장치를 통해 대상 시설의 이미지를 수집하여 서버로 전송하면 서버에서 대상 시설을 식별하고 식별한 대상 시설에 관한 교육 정보, 부품 정보, 부품의 교체 시기 정보, 작동 상태 정보, 이상 상태에 관한 대응 방법 정보 중 하나 이상의 정보를 미디어 장치로 전송하고, 서버로부터 정보를 수신한 미디어 장치는 수신한 정보를 수집한 이미지에 매핑하여 증강현실 이미지를 생성 및 출력하여 증강현실을 이용한 산업 시설에 관한 교육 또는 모니터링이 가능함으로써, 산업 시설에 관한 별도의 교육자 없이도 산업 시설에 관한 교육이 가능하며 비교적 숙련도가 낮은 관리자도 산업 시설을 용이하게 유지, 관리, 보수 가능하도록 하는 효과가 있다.
또한, 본 발명은 미디어 장치에서 촬영한 이미지 상의 대상 시설을 서버에서 식별할 때 이미지에 부가된 GPS 정보에 기초하여 대상 시설을 식별하도록 하여, 증강현실 이미지 생성 대상이 되는 대상 시설의 식별을 위한 별도의 식별자 정보 수집, 생성 및 전송 과정을 생략 가능하도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상장치를 활용한 시설 모니터링 시스템을 개념적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 미디어 장치의 기능 블록도이다.
도 3은 본 발명의 일 실시예에 따른 미디어 장치에서 출력되는 정보 선택 화면의 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 미디어 장치에서 출력되는 교육 정보가 매핑된 증강현실 이미지의 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 미디어 장치에서 출력되는 교체 시기 정보가 매핑된 증강현실 이미지의 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 미디어 장치에서 출력되는 작동 상태 정보가 매핑된 증강현실 이미지의 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 서버의 기능 블록도이다.
도 8은 본 발명의 일 실시예에 따른 대상 시설 식별부의 기능 블록도이다.
도 9는 본 발명의 일 실시예에 따른 수집 장치의 기능 블록도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상장치를 활용한 시설 모니터링 시스템을 개념적으로 도시한 도면이다.
도 1을 참조하면 본 실시예에 따른 영상장치를 활용한 시설 모니터링 시스템(이하, '모니터링 시스템'으로 칭한다.)은 미디어 장치(10), 서버(30) 및 수집 장치(50)를 포함하여 구성될 수 있으며, 미디어 장치(10), 서버(30), 및 수집 장치(50)는 네트워크(70)를 통해 서로 간에 통신 연결될 수 있다.
미디어 장치(10)에서 대상 시설을 촬영하여 대상 이미지를 수집하고 수집한 대상 이미지를 네트워크(70)를 통해 서버(30)로 전송하면, 서버(30)는 수신한 대상 이미지에 기초하여 대상 이미지를 식별하며 식별한 대상 시설에 관한 각종 정보를 생성할 수 있다. 여기서, 미디어 장치(10)는 본 실시예에 따른 모니터링 시스템을 위한 전용 어플리케이션이 설치된 스마트 글라스, 스마트폰 등이 적용될 수 있으나 이에 한정하는 것은 아니다.
이때, 서버(30)는 서버(30) 자체에 기저장된 자료에 기초하여 식별한 대상 시설에 관한 각종 정보를 생성할 수 있으며 또한 네트워크(70)를 통해 수집 장치(50)로부터 수신한 자료에 기초하여 식별한 대상 시설에 관한 각종 정보를 생성할 수 있다. 이때 서버(30)에서 생성하는 각종 정보로는 대상 시설의 교육 정보, 부품 정보, 교체 시기 정보, 작동 상태 정보 및 대응 방법 정보 등이 포함될 수 있다. 구체적으로 교육 정보로는 대상 시설의 명칭 정보, 작동 방법 정보, 주의 사항 정보 및 작동 원리 정보 중 적어도 하나의 정보가 포함될 수 있다. 그리고 부품 정보로는 대상 시설을 구성하는 각 부품의 명칭 정보, 작동 방법 정보, 주의 사항 정보, 작동 원리 정보, 권장 교체 주기 정보 및 최근 교체 시점 정보 중 적어도 하나의 정보가 포함될 수 있다. 또한, 교체 시기 정보란 대상 시설을 구성하는 각 부품이 교체되어야 할 시기로 부품의 잔여 수명에 관련된 정보이다. 그리고 작동 상태 정보란 대상 시설 또는 대상 시설을 구성하는 각 부품이 정상적으로 작동하는지 여부와 어떠한 이상이 발생하였는지를 포함하는 정보이며, 대응 방법 정보란 대상 시설 또는 대상 시설을 구성하는 부품에 이상 상태가 감지되었을 때 감지된 이상 상태에 대한 대응 방법에 관한 정보이다.
수집 장치(50)는 각각의 대상 시설 내부 또는 주변에 설치되어 대상 시설의 작동 상태를 알 수 있도록 하는 각종 자료를 수집하며 서버(30)는 수집 장치(50)로부터 수신한 자료에 기초하여 대상 시설의 작동 상태 정보를 생성할 수 있다. 또한, 서버(30)에는 대상 시설의 교육 정보, 부품 정보, 교체 시기 정보 및 대응 방법 정보에 관한 각종 자료가 저장되며 이와 같이 저장된 자료에 기초하여 대상 시설의 대상 시설의 교육 정보, 부품 정보, 교체 시기 정보 및 대응 방법 정보를 생성할 수 있다.
서버(30)는 식별한 대상 시설에 관한 상술한 각종 정보를 생성하여 네트워크(70)를 통해 미디어 장치로 전송한다. 그리고 미디어 장치(10)는 수신한 각종 정보를 대상 시설이 촬영된 대상 이미지에 매핑하여 증강현실 이미지를 생성하며 생성한 증강현실 이미지를 출력할 수 있다. 이때, 출력되는 증강현실 이미지는 촬영한 대상 시설에 각종 정보가 부가되어 대상 시설과 함께 각종 정보가 함께 출력되는 이미지이다.
도 2는 본 발명의 일 실시예에 따른 미디어 장치의 기능 블록도이고, 도 3은 본 발명의 일 실시예에 따른 미디어 장치에서 출력되는 정보 선택 화면의 예를 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 미디어 장치에서 출력되는 교육 정보가 매핑된 증강현실 이미지의 예를 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 미디어 장치에서 출력되는 교체 시기 정보가 매핑된 증강현실 이미지의 예를 도시한 도면이다. 그리고 도 6은 본 발명의 일 실시예에 따른 미디어 장치에서 출력되는 작동 상태 정보가 매핑된 증강현실 이미지의 예를 도시한 도면이다.
도 2를 참조하여 미디어 장치(10)에 관하여 보다 구체적으로 살펴보면, 미디어 장치(10)에는 대상 이미지를 수집하는 촬영부(11)와, 수집한 대상 이미지를 서버(30)에 전송하고 서버(30)로부터 각종 정보를 수신하는 제1 통신부(12)와, 서버(30)로부터 수신한 각종 정보를 수집한 대상 이미지에 매핑하여 증강현실 이미지를 생성하는 매핑부(13), 그리고 증강현실 이미지를 출력하거나 또는 증강현실 이미지 생성시 매핑되는 정보 항목을 사용자가 선택하도록 하기 위한 입출력부(14)를 포함하여 구성될 수 있다.
도 3에 도시된 바와 같이 서버(30)에서 대상 이미지를 식별하면, 입출력부(14)에서는 사용자가 증강현실 이미지를 통해 확인하길 원하는 정보를 선택할 수 있는 선택 화면을 제공할 수 있다. 즉, 매핑부(13)는 사용자가 입출력부(14)를 통해 선택한 정보를 수집한 대상 이미지에 매핑하여 증강현실 이미지를 생성할 수 있다.
이때, 제1 통신부(12)는 서버(30)로부터 각종 정보를 모두 수신하고, 매핑부(13)는 수신한 각종 정보 중 입출력부(14)를 통해 사용자가 선택한 정보를 추출하여 증강현실 이미지를 생성할 수 있으나, 서버(30)가 식별한 대상 시설에 관하여 사용자가 요구하지도 않은 모든 정보를 생성하는 것은 효율적이지 못하며 또한 이와 같이 생성된 모든 정보를 미디어 장치(10)로 전송하는 것은 통신 트래픽을 발생시킬 수 있으므로 바람직하게는, 서버(30)에서 대상 이미지의 식별이 완료되면 각종 정보를 생성하기 전에 미디어 장치(10)에 식별 완료 신호를 전송하고, 미디어 장치(10)는 식별 완료 신호가 수신되면 입출력부(14)를 통해 사용자에게 원하는 정보 항목을 선택하도록 요청하며, 사용자가 정보 항목을 선택하면 제1 통신부(12)는 선택한 정보항목을 서버(30)로 전송하고, 서버(30)는 수신한 정보 항목에 대한 정보를 생성하여 미디어 장치(10)로 전송하며, 매핑부(13)는 서버(30)로부터 수신된 정보에 기초하여 사용자가 선택한 정보를 수집한 대상 이미지에 매핑하여 증강현실 이미지를 생성할 수 있다.
서버(30)와 미디어 장치(10) 간의 신호 또는 정보 송수신 과정을 간소화하기 위해서 더욱 바람직하게는, 미디어 장치(10)는 대상 이미지를 수집하면, 수집한 대상 이미지를 서버(30)로 전송하기 전에 사용자에게 원하는 정보 항목을 선택하도록 할 수 있다. 이 경우 서버(30)는 미디어 장치(10)로부터 대상 이미지를 수신할 때 선택된 정보 항목에 대한 정보를 함께 수신하고 대상 이미지에 기초하여 대상 시설을 식별 후 식별된 대상 시설에 관하여 사용자가 요청한 정보 항목에 대한 정보를 생성하며 생성한 정보를 미디어 장치(10)에 전송할 수 있다. 그리고 미디어 장치의 매핑부(13)는 수신한 정보를 수집한 대상 이미지에 매핑하여 증강현실 이미지를 생성하고 생성한 증강현실 이미지를 입출력부(14)를 통해 출력할 수 있다. 이때 입출력부(14)를 통해 출력되는 증강현실 이미지는 사용자가 선택한 항목에 대한 정보가 부가된 증강현실 이미지이며, 만약 사용자가 대상 시설에 관한 교육 정보를 요청하였다면 도 4에 도시된 바와 같이 입출력부(14)에서는 대상 시설의 교육 정보가 부가된 증강현실 이미지가 출력되고, 사용자가 대상 시설에 관한 교체 주기 정보를 요청하였다면 도 5에 도시된 바와 같이 입출력부(14)에서는 대상 시설의 각 부품에 대한 교체 주기 정보가 부가된 증강현실 이미지가 출력되며, 사용자가 대상 시설에 관한 작동 상태 정보를 요청하였다면 도 6에 도시된 바와 같이 입출력부(14)에서는 대상 시설의 작동 상태 정보가 부가된 증강현실 이미지가 출력될 수 있다.
한편, 다시 도 2를 참조하면 본 실시예에 따른 모니터링 시스템에서 서버(30)가 대상 이미지의 대상 시설을 식별할 때 대상 시설의 식별을 위한 별도의 식별자 정보 수집, 생성 및 전송 과정을 생략하기 위해, 미디어 장치(10)는 GPS부(15) 및 방위각부(16)를 더 포함할 수 있다.
GPS부(15)는 대상 이미지에 수집 시점에서의 촬영 위치를 감지하고 감지한 촬영 위치를 수집한 대상 이미지에 부가하고, 방위각부(16)는 대상 이미지에 수집 시점에서의 촬영 방위각을 감지하고 감지한 촬영 방위각을 수집한 대상 이미지에 부가할 수 있다. 즉, 제1 통신부(12)를 통해 서버(30)로 전송되는 대상 이미지에는 촬영 위치와 촬영 방위각이 부가된 이미지이다. 여기서, 서버(30)에서 촬영 위치와 촬영 방위각이 부가된 대상 이미지를 이용하여 대상 시설을 식별하는 방법에 관한 내용은 도 8을 참조하여 후술하기로 한다.
도 7은 본 발명의 일 실시예에 따른 서버의 기능 블록도이고, 도 8은 본 발명의 일 실시예에 따른 대상 시설 식별부의 기능 블록도이며, 도 9는 본 발명의 일 실시예에 따른 수집 장치의 기능 블록도이다.
상술한 바와 같이 본 실시예에 따른 모니터링 시스템에서 서버(30)는 미디어 장치(10)로부터 수신한 대상 이미지에서 대상 시설을 식별하고 식별한 대상 시설에 관한 각종 정보를 생성하며 생성한 정보를 미디어 장치(10)로 송신한다.
도 7을 참조하면, 이를 위해 본 실시예에 따른 서버(30)는 서버(30)는 제2 통신부(31), 대상 시설 식별부(32), 교육 정보 생성부(33), 부품 정보 생성부(34), 교체 시기 정보 생성부(35), 작동 상태 정보 생성부(36) 및 대응 방법 정보 생성부(37)를 포함할 수 있다.
제2 통신부(31)는 미디어 장치의 제1 통신부(12)로부터 대상 이미지를 수신하고, 생성한 각종 정보를 미디어 장치(10)로 송신하도록 구비될 수 있다. 그리고 제2 통신부(31)에서 대상 이미지를 수신하면 대상 시설 식별부(32)는 대상 이미지상의 대상 시설을 식별할 수 있다.
구체적으로, 제2 통신부(31)로 수신된 대상 이미지에는 대상 시설의 식별자(예를 들면 QR 코드)가 포함될 수 있으며 대상 시설 식별부(32)는 식별자를 이용하여 대상 시설을 식별할 수 있다. 하지만, 이 경우 사용자가 미디어 장치(10)를 이용해 대상 시설을 촬영할 때 식별자를 함께 수집하는 번거로운 과정을 거쳐야 한다. 본 실시예에 따른 대상 시설 식별부(32)는 이와 같이 사용자가 식별자를 수집하는 과정을 거치지 않고도 대상 이미지상의 대상 시설을 식별 가능하도록 하기 위해 대상 이미지에 포함된 촬영 위치 또는 촬영 방위각을 이용하여 대상 시설을 식별할 수 있다.
구체적으로, 대상 시설 식별부(32)는 딥러닝 기술을 이용하여 대상 이미지상에 대상 시설의 종류를 식별할 수 있다. 이때, 해당 종류의 시설이 하나인 경우에는 추가 과정 없이 대상 시설을 식별할 수 있지만 해당 종류의 시설이 대수개인 경우에는 다수개의 시설 중 대상 이미지에 포함된 촬영 위치와 가장 가깝게 위치한 시설을 대상 시설로 식별할 수 있다.
이와 같이 대상 이미지상에 포함된 촬영 위치를 이용하여 대상 시설을 식별하는 경우 비교적 간소화된 과정을 통해 대상 시설을 식별할 수 있다는 장점이 있으나, 반면에 동종의 시설이 모여있고 대상 시설이 대형 시설이어서 촬영 위치가 대상 시설과 비교적 원거리인 경우 정확한 대상 시설의 식별이 이루어지지 않을 수 있다는 문제점이 존재한다. 때문에, 본 실시예에 따른 대상 시설 식별부(32)는 촬영 위치에 기초하여 대상 시설의 위치를 판단한 후 시설 위치에 기초하여 대상 시설을 식별할 수 있다.
도 8을 참조하면, 이를 위해 대상 시설 식별부(32)는 종류 판단부(321), 거리 판단부(322), 시설 위치 산출부(323) 및 대상 시설 판단부(324)를 포함할 수 있다.
종류 판단부(321)는 딥러닝 기술을 이용하여 대상 이미지상에 대상 시설의 종류를 식별할 수 있다. 거리 판단부(322)는 대상 이미지상에 시설의 크기와 대상 시설의 종류가 갖는 실체 크기를 비교하여 촬영 거리를 판단할 수 있다. 그리고 시설 위치 산출부(323)는 대상 이미지에 포함된 촬영 방위각과 촬영 위치, 그리고 판단된 촬영 거리에 기초하여 시설 위치를 산출할 수 있다. 대상 시설 판단부(324)는 판단된 대상 시설의 종류에 해당하는 시설 중 시설 위치 산출부(323)에서 산출된 시설 위치와 가장 근접하게 위치한 시설을 특정하여 대상 시설로 판단할 수 있다.
다시 도 7로 돌아가서, 이와 같은 과정을 통해 대상 시설이 식별되면 교육 정보 생성부(33)는 식별된 대상 시설에 관한 기저장된 교육관련 정보를 추출하여 교육 정보를 생성할 수 있다. 부품 정보 생성부(34)는 기저장된 데이터에 기초하여 식별된 대상 시설을 구성하는 부품을 추출하고 추출한 부품에 관한 기저장된 부품관련 정보를 추출하여 부품 정보를 생성할 수 있다. 교체 시기 정보 생성부(35)는 부품 정보 중 권장 교체 주기 정보 및 최근 교체 시점 정보에 기초하여 추출한 각각의 부품의 교체 시기 정보를 생성할 수 있다.
작동 상태 정보 생성부(36)는 식별한 대상 시설을 대상으로 수집 장치(50)에서 수집한 자료에 기초하여 대상 시설의 작동 상태 정보를 생성할 수 있다. 이때, 수집 장치(50)에서 수집한 자료로는 대상 시설의 가시광 이미지, 열화상 이미지, 음향 이미지, 부품별 전류값 및 부품별 저항값 중 적어도 하나의 자료가 포함될 수 있다. 작동 상태 정보 생성부(36)는 수집 장치(50)에서 수집한 자료가 제2 통신부(31)를 통해 수신되면 수신된 자료에 기초하여 대상 시설의 작동 상태 정보를 생성할 수 있다. 구체적으로, 작동 상태 정보 생성부(36)는 딥 러닝 기술을 이용하여 대상 시설의 가시광 이미지 또는 열화상 이미지 또는 음향 이미지를 통해 작동 상태를 판단할 수 있다. 또한, 작동 상태 정보 생성부(36)는 수신한 부품별 전류값 또는 부품별 저항값이 기설정된 정상범위를 벗어나는 경우 해당 부품에 이상이 발생한 것으로 판단할 수 있다.
대응 방법 정보 생성부(37)는 식별한 대상 시설의 작동 상태가 이상 상태로 판단되는 경우 판단된 이상 상태에 관한 대응 방법을 기저장된 데이터에 기초하여 추출하고 추출한 대응 방법에 관한 대응 방법 정보를 생성할 수 있다.
수집 장치(50)는 본 실시예에 따른 모니터링 시스템에서 모니터링 대상이 되는 시설 또는 시설 주변에 각각 설치될 수 있으며, 수집 장치(50)에서 수집한 자료로는 상살한 바와 같이 대상 시설의 가시광 이미지, 열화상 이미지, 음향 이미지, 부품별 전류값 및 부품별 저항값 중 적어도 하나의 자료가 포함될 수 있다. 도 9를 참조하면, 이를 위해 수집 장치(50)는 제3 통신부(51), 가시광 카메라 모듈(52), 열화상 카메라 모듈(53), 음향 카메라 모듈(54), 전류 측정 모듈(55) 및 저항 측정 모듈(56)을 포함할 수 있다.
가시광 카메라 모듈(52)은 대상 시설의 주변 또는 내부에서 대상 시설의 가시광 이미지를 수집하고, 열화상 카메라 모듈(53)은 대상 시설의 주변 또는 내부에서 대상 시설의 열화상 이미지를 수집하며, 음향 카메라 모듈(54)은 대상 시설의 주변 또는 내부에서 대상 시설의 음향 이미지를 수집할 수 있다. 또한, 전류 측정 모듈(55)은 대상 시설의 각 부품에 개별 연결되어 각 부품의 전류값을 측정하고, 저항 측정 모듈(56)은 대상 시설의 각 부품에 개별 연결되어 각 부품의 저항값을 측정할 수 있다. 이와 같이 측정된 자료는 제3 통신부(51)를 통해 제2 통신부(31)로 전송될 수 있다. 바람직하게, 수집 장치의 각 모듈(52~56)은 대상 시설에 관한 각 자료를 상시 수집할 수 있지만 작동 상태 정보 생성부(36)에서 요청 신호가 발생하고 발생한 요청 신호가 제3 통신부(51)를 통해 수신되는 경우에 작동하여 각 자료를 수집 후 제3 통신부(51)를 통해 제2 통신부(31)로 전송될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 미디어 장치
11: 촬영부
12: 제1 통신부
13: 매핑부
14: 입출력부
15: GPS부
16: 방위각부
30: 서버
31: 제2 통신부
32: 대상 시설 식별부
321: 종류 판단부
322: 거리 판단부
323: 시설 위치 산출부
324: 대상 시설 판단부
33: 교육 정보 생성부
34: 부품 정보 생성부
35: 교체 시기 정보 생성부
36: 작동 상태 정보 생성부
37: 대응 방법 정보 생성부
50: 수집 장치
51: 제3 통신부
52: 가시광 카메라 모듈
53: 열화상 카메라 모듈
54: 음향 카메라 모듈
55: 전류 측정 모듈
56: 저항 측정 모듈

Claims (10)

  1. 대상 시설을 촬영하여 대상 이미지를 수집하는 미디어 장치; 및
    상기 미디어 장치로부터 수집된 상기 대상 이미지를 수신하고 수신한 상기 대상 이미지에 기초하여 상기 대상 시설을 식별하며 식별한 상기 대상 시설에 관한 각종 정보를 생성하는 서버를 포함하고,
    상기 미디어 장치는 상기 서버로부터 생성된 상기 각종 정보를 수신하고 수신한 상기 각종 정보를 상기 대상 이미지에 매핑하여 증강현실 이미지를 생성 및 출력하며,
    상기 미디어 장치는
    상기 대상 이미지를 수집하는 촬영부;
    상기 대상 이미지에 수집 시점에서의 촬영 위치를 감지하고 감지한 상기 촬영 위치를 수집한 상기 대상 이미지에 부가하는 GPS부; 및
    상기 대상 이미지에 수집 시점에서의 촬영 방위각을 감지하고 감지한 상기 촬영 방위각을 수집한 상기 대상 이미지에 부가하는 방위각부를 포함하고,
    상기 서버는, 수신한 상기 대상 이미지에 포함된 상기 촬영 위치에 기초하여 상기 대상 이미지상에 시설의 시설 위치를 판단하며 판단한 상기 시설 위치와 가장 가깝게 위치한 시설을 상기 대상 시설로 식별하는 대상 시설 식별부를 포함하며,
    상기 대상 시설 식별부는
    수신한 상기 대상 이미지에 포함된 대상 시설의 종류를 판단하는 종류 판단부;
    상기 대상 이미지상에 시설의 크기와 판단한 대상 시설의 종류가 갖는 실체 크기를 비교하여 촬영 거리를 판단하는 거리 판단부; 및
    상기 촬영 위치, 상기 촬영 거리 및 상기 촬영 방위각에 기초하여 상기 시설 위치를 산출하는 시설 위치 산출부를 포함하는 것을 특징으로 하는 시설 모니터링 시스템.
  2. 제 1 항에 있어서, 상기 서버는
    식별한 상기 대상 시설에 관한 명칭 정보, 작동 방법 정보, 주의 사항 정보 및 작동 원리 정보 중, 적어도 하나의 교육 정보를 생성하는 교육 정보 생성부를 포함하는 것을 특징으로 하는 시설 모니터링 시스템.
  3. 제 1 항에 있어서, 상기 서버는
    식별한 상기 대상 시설을 구성하는 부품을 추출하고 추출한 상기 부품에 관한 명칭 정보, 작동 방법 정보, 주의 사항 정보, 작동 원리 정보, 권장 교체 주기 정보 및 최근 교체 시점 정보 중 적어도 하나의 부품 정보를 생성하는 부품 정보 생성부를 포함하는 것을 특징으로 하는 시설 모니터링 시스템.
  4. 제 3 항에 있어서, 상기 서버는
    생성한 상기 권장 교체 주기 정보 및 상기 최근 교체 시점 정보에 기초하여, 추출한 각각의 상기 부품의 교체 시기 정보를 생성하는 교체 시기 정보 생성부를 더 포함하는 것을 특징으로 하는 시설 모니터링 시스템.
  5. 제 1 항에 있어서, 상기 시설 모니터링 시스템은
    각각의 상기 대상 시설의 가시광 이미지, 열화상 이미지, 음향 이미지, 부품별 전류값 및 부품별 저항값 중 적어도 하나의 자료를 수집하는 수집 장치를 더 포함하고,
    상기 서버는, 식별한 상기 대상 시설을 대상으로 상기 자료를 수집한 수집 장치로부터 수집한 상기 자료를 수신하고 수신한 상기 자료에 기초하여 상기 대상 시설의 작동 상태 정보를 생성하는 작동 상태 정보 생성부를 포함하는 것을 특징으로 하는 시설 모니터링 시스템.
  6. 제 5 항에 있어서, 상기 서버는
    식별한 상기 대상 시설의 작동 상태가 이상 상태로 판단되는 경우 판단된 상기 이상 상태에 관한 대응 방법 정보를 생성하는 대응 방법 정보 생성부를 더 포함하는 것을 특징으로 하는 시설 모니터링 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020200126872A 2020-09-29 2020-09-29 영상장치를 활용한 시설 모니터링 시스템 KR102364898B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200126872A KR102364898B1 (ko) 2020-09-29 2020-09-29 영상장치를 활용한 시설 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200126872A KR102364898B1 (ko) 2020-09-29 2020-09-29 영상장치를 활용한 시설 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR102364898B1 true KR102364898B1 (ko) 2022-02-18

Family

ID=80494981

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200126872A KR102364898B1 (ko) 2020-09-29 2020-09-29 영상장치를 활용한 시설 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR102364898B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023225498A1 (en) * 2022-05-16 2023-11-23 Verkada Inc. Establishing, documenting, and disclosing information pertinent to privacy in surveilled environments

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015802A (ko) 2010-08-13 2012-02-22 현대자동차주식회사 증강현실을 이용한 차량 부품 관리 시스템 및 그 방법
KR101274556B1 (ko) 2011-08-17 2013-06-17 국방과학연구소 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법
KR20190023906A (ko) * 2017-08-30 2019-03-08 연세대학교 산학협력단 증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체
KR20190066817A (ko) * 2017-12-06 2019-06-14 한국광기술원 증강현실 이미지 생성장치 및 방법
KR20190080244A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20200032596A (ko) * 2018-09-18 2020-03-26 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
KR20200063615A (ko) 2018-11-28 2020-06-05 중앙대학교 산학협력단 Ar 기반의 가로등 유지보수 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015802A (ko) 2010-08-13 2012-02-22 현대자동차주식회사 증강현실을 이용한 차량 부품 관리 시스템 및 그 방법
KR101274556B1 (ko) 2011-08-17 2013-06-17 국방과학연구소 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법
KR20190023906A (ko) * 2017-08-30 2019-03-08 연세대학교 산학협력단 증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체
KR20190066817A (ko) * 2017-12-06 2019-06-14 한국광기술원 증강현실 이미지 생성장치 및 방법
KR20190080244A (ko) * 2017-12-28 2019-07-08 엘에스산전 주식회사 증강 현실 제공 시스템 및 방법
KR20200032596A (ko) * 2018-09-18 2020-03-26 전남대학교산학협력단 증강현실과 가상현실이 통합된 듀얼 리얼리티 환경에서 제조 서비스 정보 제공 방법 및 단말
KR20200063615A (ko) 2018-11-28 2020-06-05 중앙대학교 산학협력단 Ar 기반의 가로등 유지보수 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2019-0023906호(2019.03.08.) 1부*
공개특허공보 제10-2019-0066817호(2019.06.14.) 1부*
공개특허공보 제10-2019-0080244호(2019.07.08.) 1부*
공개특허공보 제10-2020-0032596호(2020.03.26.) 1부*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023225498A1 (en) * 2022-05-16 2023-11-23 Verkada Inc. Establishing, documenting, and disclosing information pertinent to privacy in surveilled environments
US20230379438A1 (en) * 2022-05-16 2023-11-23 Verkada Inc. Establishing, documenting, and disclosing information pertinent to privacy in surveilled environments

Similar Documents

Publication Publication Date Title
US10395116B2 (en) Dynamically created and updated indoor positioning map
US9746913B2 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
JP2015142383A (ja) 両眼光学拡張現実システムの範囲較正
KR102418994B1 (ko) 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법
US9483116B2 (en) Method, device, and system for providing sensory information and sense
CN110717994A (zh) 远程视频交互的实现方法及相关设备
KR20200063684A (ko) 에너지 사용량을 3차원 공간에 렌더링 하여 표시하는 에너지 모니터링 방법 및 이를 이용한 에너지 모니터링 시스템
KR102364898B1 (ko) 영상장치를 활용한 시설 모니터링 시스템
KR101466132B1 (ko) 카메라 통합 관리 시스템 및 그 방법
KR20190080244A (ko) 증강 현실 제공 시스템 및 방법
WO2018128542A1 (en) Method and system for providing information of an animal
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
KR101293924B1 (ko) 촬영된 영상에 위치정보와 환경정보를 부가하는 촬영장치 및 방법
JP2016109361A (ja) 室内環境確認装置、室内環境確認システムおよび室内環境確認方法
KR20190080242A (ko) 증강 현실 제공 시스템 및 방법
KR20160022482A (ko) 원거리 군사 훈련 모니터링 시스템
KR101997770B1 (ko) 증강현실 이미지 생성장치 및 방법
JP7107545B2 (ja) 位置情報管理装置、位置情報管理システム、位置情報管理方法、およびプログラム
JP7036559B2 (ja) 杭位置検査装置及び杭位置検査方法
CN112581630A (zh) 一种用户交互方法和系统
CN105787988B (zh) 一种信息处理方法、服务器及终端设备
JP2016062336A (ja) 動作指示システム、動作指示方法、装着端末、および、動作指示管理サーバ
WO2023074852A1 (ja) 情報処理装置
TWI759764B (zh) 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體
WO2023242917A1 (ja) スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant