KR20190059120A - Facility Inspection System using Augmented Reality based on IoT - Google Patents

Facility Inspection System using Augmented Reality based on IoT Download PDF

Info

Publication number
KR20190059120A
KR20190059120A KR1020170156759A KR20170156759A KR20190059120A KR 20190059120 A KR20190059120 A KR 20190059120A KR 1020170156759 A KR1020170156759 A KR 1020170156759A KR 20170156759 A KR20170156759 A KR 20170156759A KR 20190059120 A KR20190059120 A KR 20190059120A
Authority
KR
South Korea
Prior art keywords
facility
augmented reality
inspection system
smart device
sensor
Prior art date
Application number
KR1020170156759A
Other languages
Korean (ko)
Other versions
KR102028456B1 (en
Inventor
김경수
황구연
신재완
Original Assignee
주식회사 아이엠알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이엠알 filed Critical 주식회사 아이엠알
Priority to KR1020170156759A priority Critical patent/KR102028456B1/en
Publication of KR20190059120A publication Critical patent/KR20190059120A/en
Application granted granted Critical
Publication of KR102028456B1 publication Critical patent/KR102028456B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to an Internet of Things-based augmented reality system, and particularly, to a facility inspection system using the Internet of Things-based augmented reality providing a function to project and display information on the facility and sensor information on a camera image of a smart device based on GPS coordinates of a user. According to the present invention, a facility inspection system provides an augmented reality system comprising: an acquisition unit for measuring a data value for a location of facility, a temperature of an attached sensor, humidity, and fine dust; a communications unit for transferring data between a sensor, an IoT gateway, an IoT server, an augmented reality server, and a smart device; a processing unit in which a sensor, an IoT server and a sensor responsible for data analysis of an object, and a reality server for processing data necessary for linking object information and implementing augmented reality contents are located; and a display unit for outputting information on the processing unit to a smart device.

Description

사물인터넷 기반의 증강현실을 이용한 시설물 점검 시스템{Facility Inspection System using Augmented Reality based on IoT}{Facility Inspection System using augmented reality based on IoT}

본 발명은 사물인터넷기반의 증강현실 시스템에 관한 것으로, 구체적으로는 사용자의 GPS 좌표를 기준으로 시설물에 대한 정보와 센서 정보를 스마트기기의 카메라 영상위에 투영하여 표시할 수 있는 기능을 제공하는 사물인터넷 기반의 증강현실을 이용한 시설물 점검 시스템에 관한 것이다. The present invention relates to an object-based Internet augmented reality system, and more particularly, to an object augmented reality system for providing a function of projecting and displaying facility information and sensor information on a camera image of a smart device based on a GPS coordinate of a user, Based augmented reality system.

일반적으로 증강현실(Augmented Reality, AR)은 가상현실(Virtual Reality, VR)의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다. 예컨대, 휴대기기를 통해 시설물에서 얻은 센서 데이터를 증강현실 서버에 관련 업무처리에 대한 일체의 내용을 파악할 수 있으며, 시설물에 대한 정보를 제공한다. In general, Augmented Reality (AR) is a field of Virtual Reality (VR), which is a computer graphics technique that combines virtual objects or information into a real environment to make it look like objects in the original environment. For example, sensor data obtained from a facility through a portable device can be grasped as a whole with respect to the related business process to the augmented reality server, and information on facilities can be provided.

또한, 사물 인터넷(Internet of Things, IoT)은 각종 사물에 대한 센서와 통신기능을 내장하여 인터넷에 연결하는 기술을 말한다. 인터넷으로 연결된 사물들이 데이터를 송수신하여 사용자가 지정한 업무나 필요한 데이터를 제공할 수 있다. 상기의 기능을 수행하기 위해서 이기종간의 프로토콜을 이용한 통신이 가능해야 한다.The Internet of Things (IoT) is a technology that connects the Internet with sensors and communication functions for various objects. Objects connected to the Internet can send and receive data to provide the user with tasks and data that is specified by the user. In order to perform the above function, communication using a heterogeneous protocol should be possible.

또한, 상기 기술한 시스템에서 이기종간의 데이터 통신을 위해서 LWM2M의 CoAP을 사용한다. LWM2M은 OMA에서 소형장치들을 포함하는 다양한 기기를 지원하기 위해 개발된 사물인터넷 기기 관리 표준 프로토콜이다. 소형 장치를 위한 응용데이터 전달 프로토콜인 CoAP(Constrained Application Protocol)을 기반으로 하여 메시지가 작고 빠르며, 작은 코드크기 및 실행 공간을 요구하기 때문에 다양한 사물인터넷 기기를 지원할 수 있다. CoAP은 CoRE(Constrained RESTful Environments) 워킹 그룹에서 저전력, 저신뢰의 성능을 갖는 네트워크 사물인터넷 장비들이 웹과의 통합을 위해 제정된 표준이다. In addition, in the system described above, CoAP of LWM2M is used for data communication of different types. LWM2M is a standard Internet protocol management standard developed by OMA to support various devices including small devices. It is based on the Constrained Application Protocol (CoAP), which is an application data transfer protocol for small devices, and can support various objects Internet devices because the message is small, fast, requires small code size and execution space. CoAP is a standard established by the CoR (Constrained RESTful Environments) working group for low-power, low-reliability network objects Internet devices to integrate with the Web.

종래 국내 등록특허공보 등록번호 10-1409964의 배경기술에는 "모바일 증강 현실(Augmented Reality) 시스템은 적어도 하나 이상의 모바일 단말기를 이용하여 실제 현실 화면에 가상 이미지를 처리하여 증강된 현실을 보여주는 서비스를 제공하는 시스템으로서, 실제의 물체로부터 촬영된 이미지에 가상의 현실을 추가하고자 하는 경우에 사용되는 기술이며, 최근 많은 발전을 거듭하고 있다."는 것이 개시되어 있다.Background Art [0002] In the background art of Korean Patent Registration No. 10-1409964, a mobile Augmented Reality system provides a service for displaying augmented reality by processing a virtual image on a real screen using at least one mobile terminal System, which is a technique used when a virtual reality is to be added to an image photographed from an actual object, and has been in recent years a lot of progress. "

본 발명이 이루고자 하는 기술적 과제는 사물인터넷 기반의 시설물 관리를 용이하게 할 수 있는 증강현실 시스템을 제공하는데 있다. SUMMARY OF THE INVENTION It is an object of the present invention to provide an augmented reality system capable of facilitating the management of facilities based on the Internet.

또한, 사용자 GPS 정보와 시설물 정보를 합성하여 현재 사용자 주변의 시설물 및 상태 정보 표시 기능을 제공하는데 있다.In addition, the present invention is to provide a facility for displaying facility information and state information around a current user by combining user GPS information and facility information.

본 발명의 실시예에 따르면, 시설물의 위치 및 부착된 센서의 온도, 습도, 미세먼지에 대한 데이터 값을 측정하는 취득부; 센서, IoT 게이트웨이, IoT 서버, 증강현실 서버, 스마트 기기 간 데이터 전송을 하는 통신부; 센서 정보의 연계 및 증강현실 콘텐츠를 구현하는 증강현실 서버 처리부; 상기 처리부에서 구현된 시설물의 정보를 스마트기기에 출력하는 표시부를 포함하는 증강현실 시스템을 제공한다. According to an embodiment of the present invention, an acquisition unit for measuring a location of a facility and data values of temperature, humidity, and fine dust of an attached sensor; A communication unit for transmitting data between the sensor, the IoT gateway, the IoT server, the augmented reality server, and the smart device; An augmented reality server processing unit for associating sensor information and implementing augmented reality contents; And a display unit for outputting the information of the facility implemented in the processing unit to the smart device.

상기 통신부는 좌표, 속성, 센서 등 시설물의 고유정보를 IoT 서버와 증강현실 서버, 스마트기기 간에 연동할 수 있는 연동모듈을 제공한다. The communication unit provides an interworking module capable of interworking between the IoT server, the augmented reality server, and the smart device, such as coordinate, attribute, sensor, and the like.

상기 처리부는 수신된 시설물의 고유정보를 수집 및 저장하는 IoT 서버와 증강현실 콘텐츠 구현에 필요한 정보를 갖는 증강현실 서버를 가리킨다. The processing unit refers to an IOT server for collecting and storing unique information of the received facility and an augmented reality server having information necessary for implementing the augmented reality contents.

상기 처리부는 2D 좌표계를 스마트기기의 증강현실 화면에 투영하여 표시하는 기능을 제공하도록 3D 좌표계로 변환하는 작업을 선행한다. 이후, 3D 좌표계를 증강현실의 공간좌표계와 매칭하여 화면에 투영한다. 또한, 지상이 아닌 지하에 매설된 시설물인 경우 3D 공간좌표를 수신하여 화면에 깊이로 표시하는 기능을 제공한다.The processing unit precedes the operation of converting the 2D coordinate system into a 3D coordinate system to provide a function of projecting and displaying the 2D coordinate system on the augmented reality screen of the smart device. Then, the 3D coordinate system is matched with the spatial coordinate system of the augmented reality and is projected on the screen. In addition, if the facility is buried in the ground rather than on the ground, it provides the function to receive the 3D space coordinates and to display it in depth on the screen.

상기 표시부는 증강현실 데이터의 시각화와 시설물 조회, 점검이력 등록 및 전송의 기능을 담당한다. IoT 서버와 증강현실 서버로부터 수신된 정보를 화면에 표시하는 기능을 제공하며, 서비스가 구축된 스마트기기의 GPS 좌표를 지속적으로 수집하여 현재 좌표를 기준으로 사용자가 설정한 반경 내에 있는 시설물 데이터베이스로부터 조회한다. 조회된 시설물 정보는 시각화하여 구분할 수 있는 심볼을 가지고 화면에 표출한다.The display unit is responsible for visualization of the augmented reality data, facility inquiry, and registration and transfer of the inspection history. Provides the function to display the information received from the IOT server and augmented reality server on the screen. It continuously collects the GPS coordinates of the smart device in which the service is built, searches from the facilities database within the radius set by the user based on the current coordinates do. The displayed facility information is visualized and displayed on the screen with a symbol that can be distinguished.

본 발명의 실시예들에 따르면, 사용자 GPS 좌표를 기준으로 사물인터넷 기반의 시설물에 대한 정보, 센서 측정 정보를 스마트기기에서 증강현실이 적용된 화면으로 확인할 수 있으며 이를 통해 관리, 감독 기능을 제공하는 효과가 있다. According to the embodiments of the present invention, it is possible to confirm information on a facility based on a user's GPS and sensor measurement information on a screen to which augmented reality is applied in a smart device, .

도 1은 본 발명의 일 실시예에 따른 사물인터넷 기반의 증강현실을 이용한 시설물 점검 시스템의 흐름도,
도 2는 본 발명의 일 실시예에 따른 사물인터넷 기반의 증강현실을 이용한 시설물 점검 시스템의 블록도,
도 3은 본 발명의 일 실시예에 따른 공간데이터 좌표변환 모듈구성의 개념도,
도 4 내지 도 7은 본 발명의 실시예에 따른 사물인터넷 기반의 증강현실을 이용한 시설물 점검 시스템의 동작을 설명하기 위한 실행예를 도시한 도면이다.
FIG. 1 is a flowchart of a system for inspecting a facility using an object-based augmented reality according to an embodiment of the present invention;
FIG. 2 is a block diagram of a facility inspection system using an object-based augmented reality according to an embodiment of the present invention;
FIG. 3 is a conceptual diagram of a spatial data coordinate transformation module according to an embodiment of the present invention. FIG.
FIGS. 4 to 7 illustrate an operation of the facility inspection system using the object Internet-based augmented reality according to the embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated and described in the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms including ordinal, such as second, first, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the second component may be referred to as a first component, and similarly, the first component may also be referred to as a second component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

본 발명의 실시예에 따르면, 시설물의 위치 및 부착된 센서의 온도, 습도, 미세먼지에 대한 데이터 값을 측정하는 취득부(2000); 센서, IoT 게이트웨이, IoT 서버, 증강현실 서버, 스마트 기기 간 데이터 전송을 하는 통신부(3000); 센서, 사물의 데이터 분석을 담당하는 IoT 서버(4100)와 센서, 사물 정보의 연계 및 증강현실 콘텐츠 구현에 필요한 데이터를 처리하는 증강현실 서버(4200)가 위치한 처리부(4000); 상기 처리부의 정보를 스마트기기 어플리케이션(5100)에 출력하는 표시부(5000)를 포함하는 증강현실 시스템을 제공한다. According to an embodiment of the present invention, an acquisition unit 2000 for measuring a location of a facility and data values of temperature, humidity, and fine dust of an attached sensor; A communication unit 3000 for transmitting data between the sensor, the IoT gateway, the IoT server, the augmented reality server, and the smart device; A processing unit 4000 in which an augmented reality server 4200 for processing data necessary for realizing an augmented reality contents, and an IoT server 4100 for analyzing data of a sensor and an object, And a display unit (5000) for outputting the information of the processing unit to the smart device application (5100).

상기 취득부(2000)는 시설물의 GPS(2110), 온도(2120), 습도(2130), 미세먼지(2140)에 대한 정보를 취득하여 IoT 게이트웨이(3100)로 전송하는 기능을 제공한다.The acquisition unit 2000 acquires information about GPS 2110, temperature 2120, humidity 2130 and fine dust 2140 of the facility and provides the function to transfer the information to the IoT gateway 3100.

상기 통신부(3000)의 통신 프로토콜은 국제인터넷 표준화기구(IETF)의 IoT 기술 규격인 RFC7252(CoAP)로 이루어지며 CoAP(1100) 메시지를 송수신할 수 있는 연계기능을 제공한다. 또한, 메시지 관리 기능과 네트워크 트래픽을 감소시키기 위한 오버헤드 제거 기능을 제공한다. The communication protocol of the communication unit 3000 is composed of RFC7252 (CoAP), which is the IoT technical standard of the International Internet Standardization Organization (IETF), and provides a linking function for transmitting and receiving the CoAP 1100 message. It also provides message management and overhead elimination to reduce network traffic.

상기 게이트웨이(3100)는 저전력, 장거리 통신이 가능한 LoRa(Long Range, 3130), NB-IoT(NarrowBand-IoT, 3140) 또는 Wi-SUN(Wireless Smart Utility Network, 3150) 통신 모듈을 이용해 데이터 무선 전송을 할 수 있다.The gateway 3100 transmits data wirelessly using LoRa (Long Range) 3130, NB-IoT (Narrowband-IoT) 3140 or Wi-SUN (Wireless Smart Utility Network) communication module capable of low power and long distance communication can do.

상기 IoT 서버(4100)는 전송된 시설물의 GPS(2110), 온도(2120), 습도(2130), 미세먼지(2140)에 대한 정보를 수집 및 저장하는 기능을 제공한다.The IoT server 4100 provides a function of collecting and storing information on the GPS 2110, temperature 2120, humidity 2130, and fine dust 2140 of the transmitted facility.

상기 증강현실 서버(4200)는 스마트기기 내의 3축 방위센서를 이용하여 지속적인 방위 값을 수신한다. 또한, 현재 방위 값을 확인할 수 있도록 현재 방위를 스마트기기 화면에 표출하는 방위센서 수신 기능을 갖는다. The augmented reality server 4200 receives a continuous azimuth value using a three-axis azimuth sensor in the smart device. It also has an orientation sensor reception function that displays the current orientation on the smart device screen so that the current orientation value can be confirmed.

상기 증강현실 서버(4200)는 스마트기기가 향하는 방향, 스마트기기의 기울기, 시설물과 스마트기기간 거리, 변환된 GPS 공간데이터 등 스마트기기에 내장된 센서를 바탕으로 화면 내에 비춰지는 시설물의 정보를 실시간으로 갱신한다.The augmented reality server 4200 can display the information of facilities displayed on the screen in real time based on the direction of the smart device, the slope of the smart device, the distance between the facility and the smart device, and the converted GPS spatial data, Update.

상기 증강현실 서버(4200)는 2D 좌표계를 스마트기기의 증강현실 화면에 투영하여 표시하는 기능을 제공하도록 3D 좌표계로 변환하는 작업을 선행한다. 이후, 3D 좌표계를 증강현실의 공간좌표계와 매칭하여 화면에 투영한다. 또한, 지상이 아닌 지하에 매설된 시설물인 경우 3D 공간좌표를 수신하여 화면에 깊이로 표시하는 기능을 제공한다.The augmented reality server 4200 precedes the operation of converting the 2D coordinate system into a 3D coordinate system to provide a function of projecting and displaying the 2D coordinate system on the augmented reality screen of the smart device. Then, the 3D coordinate system is matched with the spatial coordinate system of the augmented reality and is projected on the screen. In addition, if the facility is buried in the ground rather than on the ground, it provides the function to receive the 3D space coordinates and to display it in depth on the screen.

상기 표시부(5000)는 수신한 사용자의 위치 정보를 화면에 표시하는 기능과 현재 화면이 지도인 경우, 현재 위치를 지도상에 표시하는 기능을 제공한다. The display unit 5000 provides a function of displaying the received location information of the user on the screen and a function of displaying the current location on a map when the current screen is a map.

상기 표시부(5000)는 증강현실 데이터의 시각화와 시설물 조회, 점검이력 등록 및 전송의 기능을 담당한다. IoT 서버와 증강현실 서버로부터 수신된 정보를 화면에 표시하는 기능을 제공하며, 서비스가 구축된 스마트기기의 GPS 좌표를 지속적으로 수집하여 현재 좌표를 기준으로 사용자가 설정한 반경 내에 있는 시설물 데이터베이스로부터 조회한다. 조회된 시설물 정보는 시각화하여 구분할 수 있는 심볼을 가지고 화면에 표출한다.The display unit 5000 is responsible for visualization of the augmented reality data, facility inquiry, and registration and transmission of the inspection history. Provides the function to display the information received from the IOT server and augmented reality server on the screen. It continuously collects the GPS coordinates of the smart device in which the service is built, searches from the facilities database within the radius set by the user based on the current coordinates do. The displayed facility information is visualized and displayed on the screen with a symbol that can be distinguished.

본 발명의 실시예들에 따르면, 사용자 GPS 좌표를 기준으로 사물인터넷 기반의 시설물에 대한 정보, 취득된 측정 정보를 스마트기기에서 증강현실이 적용된 화면으로 확인할 수 있으며 이를 통해 관리, 감독 기능을 제공한다. According to the embodiments of the present invention, information on a facility-based facility based on user GPS coordinates and acquired measurement information can be confirmed on a screen to which augmented reality is applied in a smart device, thereby providing management and supervision functions .

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

1000: LWM2M 1100: CoAP
2000: 취득부 2100: 센서
2110: GPS 2120: 온도
2130: 습도 2140: 미세먼지
3000: 통신부 3100: 게이트웨이
3110: 블루투스 3120: Wi-Fi
3130: LoRa 3140: NB-IoT
3150: Wi-SUN 4000: 처리부
4100: IoT 서버 4200: 증강현실 서버
5000: 표시부 5100: 스마트기기 어플리케이션
1000: LWM2M 1100: CoAP
2000: acquiring unit 2100: sensor
2110: GPS 2120: Temperature
2130: Humidity 2140: Fine dust
3000: communication unit 3100: gateway
3110: Bluetooth 3120: Wi-Fi
3130: LoRa 3140: NB-IoT
3150: Wi-SUN 4000:
4100: IoT server 4200: Augmented Reality Server
5000: Display unit 5100: Smart device application

Claims (7)

시설물의 위치 및 부착된 센서의 온도, 습도, 미세먼지에 대한 데이터 값을 측정하는 취득부;
센서, IoT 게이트웨이, IoT 서버, 증강현실 서버, 스마트 기기 간 데이터 전송을 하는 통신부;
센서, 사물의 데이터 분석을 담당하는 IoT 서버와 센서, 사물 정보의 연계 및 증강현실 콘텐츠 구현에 필요한 데이터를 처리하는 증강현실 서버가 위치한 처리부;
상기 처리부의 정보를 스마트기기에 출력하는 표시부를 포함하는 시설물 점검 시스템.
An acquisition unit for measuring a position of the facility and a data value of temperature, humidity, and fine dust of the attached sensor;
A communication unit for transmitting data between the sensor, the IoT gateway, the IoT server, the augmented reality server, and the smart device;
Sensor, and an IoT server for analyzing data of objects, a sensor, a processing unit in which an augmented reality server for processing data necessary for realizing contents of augmented reality contents is connected;
And a display unit for outputting information of the processing unit to a smart device.
제 1 항에 있어서,
상기 시설물 점검 시스템은 사물인터넷과 증강현실이 결합된 것을 특징으로 하는 시설물 점검 시스템.
The method according to claim 1,
The facility inspection system is characterized by a combination of the Internet of objects and augmented reality.
제 1 항에 있어서,
상기 시설물 점검 시스템은 시설물의 GPS, 온도, 습도, 미세먼지에 대한 정보를 취득하는 것을 특징으로 하는 시설물 점검 시스템.
The method according to claim 1,
Wherein the facility inspection system obtains information on GPS, temperature, humidity, and fine dust of the facility.
제 1 항에 있어서,
상기 시설물 점검 시스템은 국제인터넷 표준화기구(IETF)의 IoT 기술 규격인 RFC7252(CoAP)로 이루어지며 CoAP 메시지를 송수신하는 것을 특징으로 하는 시설물 점검 시스템.
The method according to claim 1,
The facility inspection system is made up of RFC7252 (CoAP) IoT technical specification of International Internet Standardization Organization (IETF) and transmits and receives CoAP messages.
제 1 항에 있어서,
상기 시설물 점검 시스템은 스마트기기가 향하는 방향, 스마트기기의 기울기, 시설물과 스마트기기간 거리, 변환된 GPS 공간데이터 등 스마트기기에 내장된 센서를 바탕으로 화면 내에 비춰지는 시설물의 정보를 실시간으로 갱신하는 것을 특징으로 하는 시설물 점검 시스템.
The method according to claim 1,
The facility inspection system updates real-time information of the facilities displayed on the screen based on the direction of the smart device, the inclination of the smart device, the distance between the facility and the smart device, and the converted GPS spatial data, Facility inspection system that features.
제 1 항에 있어서,
상기 시설물 점검 시스템은 지상이 아닌 지하에 매설된 시설물인 경우 3D 공간좌표를 수신하여 화면에 깊이로 표시하는 기능을 제공하는 것을 특징으로 하는 시설물 점검 시스템.
The method according to claim 1,
Wherein the facility inspection system provides a function of receiving the 3D space coordinates and displaying the 3D space coordinates on the screen when the facilities are embedded in the underground rather than the ground.
제 1 항에 있어서,
상기 시설물 점검 시스템은 조회된 시설물 정보를 시각화하여 구분할 수 있는 심볼을 가지고 화면에 표출하는 것을 특징으로 하는 시설물 점검 시스템.
The method according to claim 1,
Wherein the facility inspection system displays visual information on the displayed facility information with a symbol that can be distinguished.
KR1020170156759A 2017-11-22 2017-11-22 Facility Inspection System using Augmented Reality based on IoT KR102028456B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170156759A KR102028456B1 (en) 2017-11-22 2017-11-22 Facility Inspection System using Augmented Reality based on IoT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170156759A KR102028456B1 (en) 2017-11-22 2017-11-22 Facility Inspection System using Augmented Reality based on IoT

Publications (2)

Publication Number Publication Date
KR20190059120A true KR20190059120A (en) 2019-05-30
KR102028456B1 KR102028456B1 (en) 2019-10-04

Family

ID=66675774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170156759A KR102028456B1 (en) 2017-11-22 2017-11-22 Facility Inspection System using Augmented Reality based on IoT

Country Status (1)

Country Link
KR (1) KR102028456B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782138A (en) * 2019-10-10 2020-02-11 福建京力信息科技有限公司 Engineering quality general illness treatment platform based on mobile internet AR technology
CN111182493A (en) * 2020-01-09 2020-05-19 浙江中新电力工程建设有限公司自动化分公司 Intelligent sensor based on ubiquitous power internet of things
KR102086451B1 (en) * 2019-09-06 2020-05-29 주식회사 글로벌제조혁신네트웍 Smart Factory remote collaboration CMS system in augmented reality and Drive method of the Same
KR102206832B1 (en) * 2020-09-08 2021-01-25 주식회사 스탠스 Integrated management system for controlling facility
KR20220154870A (en) * 2021-05-14 2022-11-22 대진기술정보 (주) Information providing method of underground pipe facilities
KR20230055453A (en) * 2021-10-18 2023-04-26 서울과학기술대학교 산학협력단 Apparatus for inspecting construction site safety based on augmented reality
CN116466779A (en) * 2023-04-25 2023-07-21 广州威德玛环境仪器有限公司 Remote control system of constant temperature and humidity test box based on Internet of things

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130092061A (en) * 2012-02-10 2013-08-20 주식회사 삼천리엔바이오 The apparatus and method of direct monitoring application moudule with smartphone
KR20160071605A (en) * 2014-12-12 2016-06-22 조선남 Monitoring system for pipe information using augmented reality
KR20160124365A (en) * 2015-04-17 2016-10-27 서울과학기술대학교 산학협력단 SYSTEM AND METHOD FOR DISPLAYING MULTIMEDIA DATA AND META DATA USING IoT BASED CAMERA
KR20170068852A (en) * 2015-12-10 2017-06-20 주식회사 아모텍 internet of things device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130092061A (en) * 2012-02-10 2013-08-20 주식회사 삼천리엔바이오 The apparatus and method of direct monitoring application moudule with smartphone
KR20160071605A (en) * 2014-12-12 2016-06-22 조선남 Monitoring system for pipe information using augmented reality
KR20160124365A (en) * 2015-04-17 2016-10-27 서울과학기술대학교 산학협력단 SYSTEM AND METHOD FOR DISPLAYING MULTIMEDIA DATA AND META DATA USING IoT BASED CAMERA
KR20170068852A (en) * 2015-12-10 2017-06-20 주식회사 아모텍 internet of things device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102086451B1 (en) * 2019-09-06 2020-05-29 주식회사 글로벌제조혁신네트웍 Smart Factory remote collaboration CMS system in augmented reality and Drive method of the Same
CN110782138A (en) * 2019-10-10 2020-02-11 福建京力信息科技有限公司 Engineering quality general illness treatment platform based on mobile internet AR technology
CN111182493A (en) * 2020-01-09 2020-05-19 浙江中新电力工程建设有限公司自动化分公司 Intelligent sensor based on ubiquitous power internet of things
CN111182493B (en) * 2020-01-09 2022-03-15 浙江中新电力工程建设有限公司自动化分公司 Intelligent sensor based on ubiquitous power internet of things
KR102206832B1 (en) * 2020-09-08 2021-01-25 주식회사 스탠스 Integrated management system for controlling facility
KR20220154870A (en) * 2021-05-14 2022-11-22 대진기술정보 (주) Information providing method of underground pipe facilities
KR20230055453A (en) * 2021-10-18 2023-04-26 서울과학기술대학교 산학협력단 Apparatus for inspecting construction site safety based on augmented reality
CN116466779A (en) * 2023-04-25 2023-07-21 广州威德玛环境仪器有限公司 Remote control system of constant temperature and humidity test box based on Internet of things

Also Published As

Publication number Publication date
KR102028456B1 (en) 2019-10-04

Similar Documents

Publication Publication Date Title
KR102028456B1 (en) Facility Inspection System using Augmented Reality based on IoT
KR101570195B1 (en) Logo detection for indoor positioning
US9448298B2 (en) Techniques for faster time-to-first-fix
US9906921B2 (en) Updating points of interest for positioning
US11243288B2 (en) Location error radius determination
US20120270573A1 (en) Positioning system and method for single and multilevel structures
WO2013191970A1 (en) Collaborative navigation techniques for mobile devices
KR20210057208A (en) Systems and methods for using three-dimensional location information to improve location services
KR101413011B1 (en) Augmented Reality System based on Location Coordinates and Augmented Reality Image Providing Method thereof
KR102097416B1 (en) An augmented reality representation method for managing underground pipeline data with vertical drop and the recording medium thereof
JP7126112B2 (en) Communication system, display method and program
CN103107938A (en) Information interactive method, server and terminal
US20230334850A1 (en) Map data co-registration and localization system and method
KR20200002219A (en) Indoor navigation apparatus and method
CN107205219A (en) Method and apparatus for positioning
JP6743080B2 (en) Display control system and display control method
JP6938904B2 (en) Transmission control program, transmission control method and information processing device
Blankenbach et al. Building information systems based on precise indoor positioning
CN110969704B (en) Mark generation tracking method and device based on AR guide
CN112785700A (en) Virtual object display method, global map updating method and device
JP2014075714A (en) Positioning method, positioning system, and program thereof
KR20130068463A (en) System for providing history information using location based information service and the method
KR100776821B1 (en) Method for representing location information with local geographical code and Apparatus thereof
van de Laar et al. Location Awareness in HealthCare
Beníček In-door localization and navigation for Android platform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right