KR102538056B1 - Building management system using augmented reality - Google Patents

Building management system using augmented reality Download PDF

Info

Publication number
KR102538056B1
KR102538056B1 KR1020210178303A KR20210178303A KR102538056B1 KR 102538056 B1 KR102538056 B1 KR 102538056B1 KR 1020210178303 A KR1020210178303 A KR 1020210178303A KR 20210178303 A KR20210178303 A KR 20210178303A KR 102538056 B1 KR102538056 B1 KR 102538056B1
Authority
KR
South Korea
Prior art keywords
image
building
augmented
information
worker
Prior art date
Application number
KR1020210178303A
Other languages
Korean (ko)
Inventor
박관용
박성빈
김정윤
Original Assignee
주식회사 넥스텝스튜디오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스텝스튜디오 filed Critical 주식회사 넥스텝스튜디오
Priority to KR1020210178303A priority Critical patent/KR102538056B1/en
Application granted granted Critical
Publication of KR102538056B1 publication Critical patent/KR102538056B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a building management system using augmented reality. The building management system comprises: a display module worn or carried by a worker and displaying, to the worker, an augmented image for managing a building; a photographing module provided on the worker or the display module to photograph the building in a range corresponding to the field of view of the worker; and an image generation module receiving management information from a management server in which the management information for the building is stored, generating the augmented image by augmenting the management information on an actual image captured by the photographing module, and providing the generated augmented image to the display module. Therefore, the building management system can provide the management information for the building to the worker by using augmented reality so that the worker can more easily identify the condition of the building.

Description

증강현실을 이용한 건물 관리 시스템{Building management system using augmented reality}Building management system using augmented reality}

본 발명은 증강현실을 이용한 건물 관리 시스템에 관한 것으로서, 더욱 상세하게는 관리대상 건축물에 대한 정보를 증강현실을 통해 작업자에게 제공할 수 있는 증강현실을 이용한 건물 관리 시스템에 관한 것이다. The present invention relates to a building management system using augmented reality, and more particularly, to a building management system using augmented reality capable of providing information on a building to be managed to a worker through augmented reality.

건물을 관리하는 관리자는 건물내의 구조 부분에 대한 정보, 건물 내 설치된 설비에 대한 정보 등를 관리할 필요가 있다. 일반적으로, 건물에 대한 정보는 인쇄된 형태로 관리자가 오프 라인 상에서 보관하는 경우가 대부분이기 때문에 분실의 우려가 있고, 여러 관리 항목들이 산발적으로 관리되기 때문에 열람이 용이하지 않은 문제가 있다. A manager who manages a building needs to manage information about structural parts in the building and information about equipment installed in the building. In general, there is a risk of loss because information on buildings is stored offline by managers in most cases in a printed form, and it is not easy to browse because various management items are sporadically managed.

또한, 해당 정보는 문자 또는 이미지로 이루어져 있어 관리자가 직관적으로 건축물 내의 상태를 파악하는데 어려움이 있다. In addition, since the information consists of text or images, it is difficult for managers to intuitively grasp the state of the building.

등록특허공보 제10-1233689호: 웹 기반 통합건물관리 시스템Registered Patent Publication No. 10-1233689: Web-based integrated building management system

본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 작업자가 건축물의 상태를 보다 직관적으로 파악할 수 있도록 증강현실을 이용하여 관리 정보를 작업자에게 제공할 수 있는 증강현실을 이용한 건물 관리 시스템을 제공하는데 그 목적이 있다. The present invention was invented to improve the above problems, and provides a building management system using augmented reality that can provide management information to workers using augmented reality so that workers can more intuitively grasp the state of a building. But it has a purpose.

상기 목적을 달성하기 위한 본 발명에 따른 증강현실을 이용한 건물 관리 시스템은 작업자가 착용하거나 소지하는 것으로서, 상기 작업자에게 건축물을 관리하기 위한 증강 영상을 디스플레이하는 디스플레이 모듈과, 상기 작업자의 시야에 대응되는 범위의 상기 건축물을 촬영할 수 있도록 상기 작업자 또는 디스플레이 모듈에 마련되는 촬영모듈과, 상기 건축물에 대한 관리 정보가 저장된 관리서버로부터 해당 관리정보를 제공받아 상기 촬영모듈에서 촬영된 실사영상에 상기 관리정보를 증강시켜 상기 증강 영상을 생성하고, 생성된 상기 증강 영상을 상기 디스플레이 모듈에 제공하는 영상 생성 모듈을 구비한다. A building management system using augmented reality according to the present invention for achieving the above object is worn or carried by a worker, and includes a display module for displaying an augmented image for managing a building to the worker, and a display module corresponding to the operator's field of view. A photographing module provided in the operator or display module so as to photograph the building within the range, and the management information received from a management server storing management information about the building, and the management information is displayed in a live-action image captured by the photographing module. and an image generating module configured to generate the augmented image by augmenting and providing the generated augmented image to the display module.

상기 관리정보는 상기 건축물을 이루는 구조 부분 또는 해당 건축물에 설치된 설비에 대한 정보가 포함되고, 상기 영상 생성 모듈은 상기 실사영상에서 해당 관리정보에 포함된 구조 부분 또는 설비에 대응되는 영역에, 상기 관리정보를 증강시켜 상기 증강 영상을 생성한다. The management information includes information on structural parts constituting the building or facilities installed in the building, and the image generating module is located in a region corresponding to the structural parts or facilities included in the corresponding management information in the live-action image. The augmented image is generated by augmenting the information.

또한, 본 발명에 따른 증강현실을 이용한 건물 관리 시스템은 상기 작업자 또는 디스플레이 모듈에 마련되어 상기 건축물에 대한 상기 작업자의 위치 또는 시선 방향을 감지하는 감지센서부를 더 구비하고, 상기 영상 생성 모듈은 상기 실사영상에서 상기 건축물의 일측에 마련된 식별마커를 식별하고, 상기 감지센서에서 제공되는 감지 정보를 토대로 상기 식별마커의 위치를 기준으로 상기 실사영상에서의 상기 관리정보에 포함된 구조 부분 또는 설비에 대응되는 영역을 식별한다. In addition, the building management system using augmented reality according to the present invention further includes a detection sensor unit provided in the operator or display module to detect the operator's position or gaze direction with respect to the building, and the image generating module is provided with the live action image. identifies an identification marker provided on one side of the building, and based on the location of the identification marker based on the detection information provided by the detection sensor, an area corresponding to a structural part or facility included in the management information in the live action image identify

상기 영상 생성 모듈은 상기 증강 영상에 구조 표시 아이콘을 표시하고, 상기 작업자가 해당 구조 표시 아이콘을 선택할 경우, 상기 관리정보에 포함된 구조 부분의 위치에 대응되는 상기 실사영상의 영역에, 해당 구조 부분의 형상에 대응되는 구조 오브젝트가 증강되도록 상기 증강 영상을 생성할 수 있다. The image generation module displays a structure display icon on the augmented image, and when the operator selects the corresponding structure display icon, the corresponding structure part in the area of the live action image corresponding to the position of the structure part included in the management information. The augmented image may be generated so that a structure object corresponding to the shape of is augmented.

상기 영상 생성 모듈은 상기 증강 영상에 설비 표시 아이콘을 표시하고, 상기 작업자가 해당 설비 표시 아이콘을 선택할 경우, 상기 관리정보에 포함된 설비의 위치에 대응되는 상기 실사영상의 영역에, 해당 설비의 형상에 대응되는 설비 오브젝트가 증강되도록 상기 증강 영상을 생성할 수 있다. The image generation module displays a facility display icon on the augmented image, and when the operator selects the facility display icon, the shape of the facility is displayed in the region of the live-action image corresponding to the location of the facility included in the management information. The augmented image may be generated so that a facility object corresponding to is augmented.

상기 관리정보는 상기 건축물을 이루는 구조 부분에 대한 형상 이미지 및 도면기호가 포함된 2차원 도면을 더 포함하고, 상기 영상 생성 모듈은 상기 실사영상에서, 상기 구조 부분의 위치에 대응되는 상기 건축물의 바닥 영역에, 해당 구조 부분에 대응되는 상기 2차원 도면의 형상 이미지 및 도면 기호를 표시할 수 있다. The management information further includes a two-dimensional drawing including a shape image and drawing symbols of structural parts constituting the building, and the image generating module determines the floor of the building corresponding to the position of the structural part in the live-action image. In the area, a shape image and a drawing symbol of the 2D drawing corresponding to the corresponding structural part may be displayed.

상기 관리정보는 상기 건축물을 이루는 구조 부분에 대한 형상 이미지 및 도면기호가 포함된 2차원 도면을 더 포함하고, 상기 영상 생성 모듈은 상기 증강 영상에 키맵 표시 아이콘을 표시하고, 상기 작업자가 해당 키맵 표시 아이콘을 선택할 경우, 상기 2차원 도면에, 상기 식별마커에 대응되는 위치 및 상기 작업자의 현재 위치를 각각 표시하여 키맵 정보를 생성하며, 생성된 키맵 정보를 상기 증강 영상에 표시할 수 있다. The management information further includes a two-dimensional drawing including shape images and drawing symbols of structural parts constituting the building, and the image generation module displays a key map display icon on the augmented image, and the operator displays the corresponding key map. When an icon is selected, a location corresponding to the identification marker and a current location of the operator are displayed on the 2D drawing to generate keymap information, and the generated keymap information can be displayed on the augmented image.

상기 관리정보는 상기 건축물의 관리를 위한 추가 정보에 대한 이미지, 영상 또는 텍스트가 포함된 부가 데이터를 더 포함하고, 상기 영상 생성 모듈은 상기 작업자로부터 해당 부가 데이터에 대한 열람 명령이 입력되면, 상기 증강영상에 해당 부가 데이터를 표시하는 정보 표시창을 증강할 수 있다. The management information further includes additional data including an image, video, or text for additional information for managing the building, and the image generating module, when a command to view the additional data is input from the worker, the augmentation module An information display window displaying corresponding additional data in an image may be augmented.

상기 영상 생성 모듈은 상기 작업자로부터 기록 요청 명령이 입력되면, 상기 촬영모듈에서 촬영된 영상을 토대로 기록 데이터를 생성하여 상기 관리서버에 전송하고, 상기 작업자로부터 메모 정보가 입력되면, 해당 메모 정보를 상기 관리서버에 전송할 수 있다. When a recording request command is input from the worker, the image generating module generates record data based on the image captured by the photographing module and transmits the recorded data to the management server, and when memo information is input from the worker, the corresponding memo information is stored in the image generating module. can be sent to the management server.

본 발명에 따른 증강현실을 이용한 건물 관리 시스템은 증강현실을 이용하여 건축물에 대한 관리 정보를 작업자에게 제공할 수 있으므로 작업자가 보다 용이하게 건축물의 상태를 파악할 수 있다는 장점이 있다. The building management system using augmented reality according to the present invention has an advantage in that the worker can more easily grasp the state of the building because management information on the building can be provided to the operator using the augmented reality.

도 1은 본 발명에 따른 증강현실을 이용한 건물 관리 시스템에 대한 개념도이고,
도 2는 도 1의 증강현실을 이용한 건물 관리 시스템에 대한 블럭도이고,
도 3 내지 도 9는 도 1의 증강현실을 이용한 건물 관리 시스템이 제공하는 증강영상에 대한 예시도이다. 1 is a conceptual diagram of a building management system using augmented reality according to the present invention;
Figure 2 is a block diagram of the building management system using the augmented reality of Figure 1,
3 to 9 are exemplary views of augmented images provided by the building management system using augmented reality of FIG. 1 .

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 증강현실을 이용한 건물 관리 시스템에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다. Hereinafter, a building management system using augmented reality according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. Since the present invention can have various changes and various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific form disclosed, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure. In the accompanying drawings, the dimensions of the structures are shown enlarged than the actual for clarity of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that it does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

도 1 및 도 2에는 본 발명에 따른 증강현실을 이용한 건물 관리 시스템(100)이 도시되어 있다. 1 and 2 show a building management system 100 using augmented reality according to the present invention.

도면을 참조하면, 상기 증강현실을 이용한 건물 관리 시스템(100)은 작업자가 착용하는 것으로서, 상기 작업자에게 건축물을 관리하기 위한 증강 영상을 디스플레이하는 디스플레이 모듈(110)과, 상기 작업자의 시야에 대응되는 범위의 상기 건축물을 촬영할 수 있도록 상기 디스플레이 모듈(110)에 마련되는 촬영모듈(120)과, 상기 디스플레이 모듈(110)에 마련되어 상기 건축물에 대한 상기 작업자의 위치 또는 시선 방향을 감지하는 감지센서부(130)와, 상기 건축물에 대한 관리 정보가 저장된 관리서버로부터 해당 관리정보를 제공받아 상기 촬영모듈(120)에서 촬영된 실사영상에 상기 관리정보를 증강시켜 상기 증강 영상을 생성하고, 생성된 상기 증강 영상을 상기 디스플레이 모듈(110)에 제공하는 영상 생성 모듈(140)을 구비한다. Referring to the drawings, the building management system 100 using the augmented reality is worn by a worker, and includes a display module 110 displaying an augmented image for managing a building to the worker, and a display module corresponding to the operator's field of view. A photographing module 120 provided in the display module 110 so as to photograph the building in the range, and a detection sensor unit provided in the display module 110 to detect the position or gaze direction of the worker with respect to the building ( 130), and receiving the corresponding management information from the management server where management information about the building is stored, augmenting the management information to the live action image captured by the photographing module 120 to generate the augmented image, and generating the augmented image. An image generating module 140 providing an image to the display module 110 is provided.

여기서, 관리정보는 건축물을 이루는 구조 부분에 대한 정보, 건축물에 설치된 설비에 대한 정보, 상기 건축물을 이루는 구조 부분에 대한 형상 이미지 및 도면기호가 포함된 2차원 도면, 상기 건축물의 관리를 위한 추가 정보에 대한 이미지, 영상 또는 텍스트가 포함된 부가 데이터 등이 포함된다. 상기 구조 부분은 건축물의 천장 부분, 벽체 부분, 기둥 부분, 바닥 부분 등이 적용되고, 상기 설비에는 전기 배선, 급수 배관, 소화시설 등이 포함된다. 또한, 건축물을 이루는 구조 부분에 대한 정보 및 건축물에 설치된 설비에 대한 정보에는 구조부분 및 설비에 대해 3D 모델링된 입체 도면이 포함된다. 해당 관리정보는 관리대상 건축물에 따라 관리서버에 저장되며, 관리자에 의해 저장된다. Here, the management information includes information on structural parts constituting the building, information on facilities installed in the building, a two-dimensional drawing including shape images and drawing symbols of the structural parts constituting the building, and additional information for managing the building. It includes additional data including images, videos, or text for The structural part is applied to a ceiling part, a wall part, a pillar part, a floor part, etc. of a building, and the facilities include electric wiring, water supply piping, fire extinguishing facilities, and the like. In addition, the information on the structural parts constituting the building and the information on the facilities installed in the building include three-dimensional drawings obtained by 3D modeling of the structural parts and facilities. Corresponding management information is stored in the management server according to the building to be managed and stored by the manager.

상기 디스플레이 모듈(110)은 작업자의 머리에 착용하는 본체(111)와, 본체(111)에 설치되며, 피검사자에게 상기 증강영상을 디스플레이하는 디스플레이 패널(112)과, 본체(111)에 설치되어 영상생성 모듈과 통신하는 통신부(미도시)를 구비한다. The display module 110 includes a main body 111 worn on a worker's head, a display panel 112 installed on the main body 111, and displaying the augmented image to a subject, and installed on the main body 111 to display an image. A communication unit (not shown) communicating with the generation module is provided.

본체(111)는 작업자의 머리가 인입될 수 있도록 상하방향으로 중공이 형성되며, 내측면에는 소정의 쿠션감을 제공하는 쿠션부재(미도시)가 설치되어 있다. 디스플레이 패널(112)은 본체(111)의 전방부에 설치되는 것으로서, 작업자가 본체(111)를 착용시 작업자의 눈의 전방에 위치되도록 배치되어 작업자의 시야에 증강영상을 출력한다. 통신부는 유선 또는 무선 통신망을 이용하여 영상 생성 모듈(140)로부터 증강영상을 제공받고, 영상 생성 모듈(140)로부터 제공받은 증강영상을 디스플레이 패널(112)로 전달한다. The main body 111 is hollow in the vertical direction so that the operator's head can be inserted, and a cushion member (not shown) is installed on the inner surface to provide a predetermined cushioning feeling. The display panel 112 is installed on the front of the main body 111, and is disposed in front of the operator's eyes when the operator wears the main body 111 to output an augmented image to the operator's field of view. The communication unit receives an augmented image from the image generating module 140 using a wired or wireless communication network, and transmits the augmented image provided from the image generating module 140 to the display panel 112 .

상술된 바와 같이 구성된 상기 디스플레이 모듈(110)은 사용자가 얼굴에 착용하는 헤드 마운티드 디스플레이(Head Mounted Display:HMD)가 적용되는 것이 바람직하다. 또한, 상기 디스플레이 모듈(110)은 이에 한정하는 것이 아니라 작업자가 소지하는 것으로서, 증강현실 영상을 출력할 수 있는 터치스크린이 마련된 태블릿PC와 같은 휴대 단말기가 적용될 수도 있다. The display module 110 configured as described above is preferably a Head Mounted Display (HMD) worn on a face by a user. In addition, the display module 110 is not limited to this, but as possessed by an operator, a portable terminal such as a tablet PC equipped with a touch screen capable of outputting an augmented reality image may be applied.

촬영모듈(120)은 도면에 도시되진 않았지만, 본체(111)에 설치되어 작업자의 시야에 대응되는 범위를 촬영한다. 상기 촬영모듈(120)은 촬영대상을 촬영하기 위해 종래에 일반적으로 사용되는 카메라이므로 상세한 설명은 생략한다. 상기 촬영모듈(120)은 촬영된 실사영상을 통신부를 통해 영상 생성 모듈(140)로 전송한다. 한편,촬영모듈(120)은 도면에 도시되진 않았지만, 작업자의 전방을 촬영하도록 작업자에 착용될 수도 있다. Although not shown in the drawing, the photographing module 120 is installed in the main body 111 and photographs a range corresponding to the field of view of the operator. Since the photographing module 120 is a camera commonly used in the prior art to photograph a photographing subject, a detailed description thereof will be omitted. The photographing module 120 transmits the photographed live action image to the image generating module 140 through a communication unit. On the other hand, although not shown in the drawing, the photographing module 120 may be worn on the worker to photograph the front of the worker.

감지센서부(130)는 도면에 도시되진 않았지만, 디스플레이 모듈(110)의 본체(111)에 설치되어 작업자의 시선 방향을 감지하는 트래킹 센서와, 본체(111)에 설치되어 건축물 내의 작업자 위치 정보를 생성하는 위치감지센서를 구비한다. Although not shown in the drawings, the detection sensor unit 130 includes a tracking sensor installed on the main body 111 of the display module 110 to detect the direction of the operator's gaze, and a tracking sensor installed on the main body 111 to detect operator position information within the building. A position detection sensor is provided.

상기 트래킹 센서는 디스플레이 모듈(110)에 대한 3축 각속도 데이터 및 3축 가속도 데이터를 측정할 수 있는 관성센서가 적용되며, 측정된 값을 토대로 작업자의 머리 움직임을 감지하고, 감지된 머리 움직임 값을 토대로 작업자의 시선 방향에 대한 정보를 산출한다. 해당 트래킹 센서는 산출된 작업자의 시선 방향에 대한 정보를 영상 생성 모듈(140)에 전송한다. The tracking sensor is applied with an inertial sensor capable of measuring 3-axis angular velocity data and 3-axis acceleration data for the display module 110, detects the head movement of the operator based on the measured values, and calculates the detected head movement value. Based on this, information about the direction of the operator's gaze is calculated. The tracking sensor transmits information about the calculated gaze direction of the worker to the image generating module 140 .

위치감지센서는 디스플레이 모듈(110)에 설치되는 것으로서, GPS 모듈과 같이 작업자의 위치 정보를 생성하는 위치 감지 수단이 적용된다. 해당 위치감지센서는 생성된 위치정보를 영상 생성 모듈(140)에 전송한다. 한편, 감지센서부(130)는 이에 한정하는 것이 아니라 건축물에 대한 작업자의 위치 또는 시선 방향을 감지할 수 있는 감지수단이면 무엇이든 적용가능하다. The position sensor is installed in the display module 110, and a position detection means for generating position information of a worker, such as a GPS module, is applied. The location sensor transmits the generated location information to the image generating module 140 . On the other hand, the detection sensor unit 130 is not limited thereto, but any detection means capable of detecting the location or gaze direction of the operator with respect to the building can be applied.

상기 영상 생성 모듈(140)은 무선 통신망을 통해 관리서버에 접속할 수 있으며, 관리서버에 접속시 작업자에게 인증정보를 요청하는 메세지 창을 디스플레이 모듈(110)을 통해 표시한다. 이때, 작업자는 키보드 또는 터치스크린과 같은 입력수단(미도시)을 통해 해당 인증정보를 영상 생성 모듈(140)에 입력하면, 해당 영상 생성 모듈(140)은 입력된 인증정보가 기등록된 사용자 인증정보와 비교하여 해당 작업자가 사용자로 등록된 경우, 관리서버에 대한 접속상태를 유지하고, 해당 작업자가 사용자로 미등록된 경우, 관리서버에 대한 접속을 해제한다. 여기서, 인증정보는 아이디 및 비밀번호가 적용된다. The image generating module 140 can access the management server through a wireless communication network, and displays a message window requesting authentication information to the operator through the display module 110 when accessing the management server. At this time, when the operator inputs the corresponding authentication information to the image generating module 140 through an input means (not shown) such as a keyboard or a touch screen, the image generating module 140 authenticates the user whose input authentication information is already registered. Compared with the information, if the worker is registered as a user, the connection state to the management server is maintained, and if the worker is not registered as a user, the connection to the management server is released. Here, ID and password are applied to authentication information.

영상 생성 모듈(140)은 해당 작업자가 기등록된 사용자일 경우, 관리서버에 저장된 관리정보들에 대한 리스트를 디스플레이 모듈(110)을 통해 표시한다. 이때, 작업자는 해당 리스트에 포함된 관리정보 중 관리하고자 하는 건축물에 해당하는 관리정보를 상기 입력수단을 통해 선택할 수 있다. 여기서, 영상 생성 모듈(140)은 해당 리스트에 포함된 관리정보들 중 작업자에 의해 선택된 관리정보를 관리서버로부터 전송받는다. The image generating module 140 displays a list of management information stored in the management server through the display module 110 when the corresponding worker is a pre-registered user. At this time, the operator can select management information corresponding to a building to be managed from management information included in the corresponding list through the input means. Here, the image generating module 140 receives the management information selected by the operator from the management information included in the corresponding list from the management server.

여기서, 상기 영상 생성 모듈(140)은 상기 실사영상에서 해당 관리정보에 포함된 구조 부분 또는 설비에 대응되는 영역에, 상기 관리정보를 증강시켜 상기 증강 영상을 생성한다. 이때, 영상 생성 모듈(140)은 상기 실사영상에서 상기 건축물의 일측에 마련된 식별마커를 식별하고, 상기 감지센서에서 제공되는 감지 정보를 토대로 상기 식별마커의 위치를 기준으로 상기 실사영상에서의 상기 관리정보에 포함된 구조 부분 또는 설비에 대응되는 영역을 식별하여 증강영상을 생성한다. Here, the image generating module 140 generates the augmented image by augmenting the management information in a region corresponding to a structural part or facility included in the corresponding management information in the live action image. At this time, the image generating module 140 identifies an identification marker provided on one side of the building in the live action image, and the management in the live action image based on the position of the identification marker based on the detection information provided from the detection sensor. An augmented image is created by identifying a region corresponding to a structural part or facility included in the information.

영상 생성 모듈(140)은 도 3에 도시된 바와 같이 증강영상에, 관리정보를 선택적으로 표시하거나 표시 상태를 해제할 수 있는 다수의 선택 아이콘(11)이 포함되어 있다. 상기 선택 아이콘(11)들 중 작업자가 '건축' 아이콘을 선택할 경우, 영상 생성 모듈(140)은 도 4에 도시된 바와 같이 다수의 구조 표시 아이콘(12)을 증강영상에 표시한다. 여기서, 영상 생성 모듈(140)은 실사 영상에서, 작업자의 손가락을 인식하고, 해당 손가락이 아이콘들 중 어느 하나에 기설정된 시간동안 머무를 경우, 해당 아이콘을 작업자가 선택한 것으로 판별할 수 있다. As shown in FIG. 3 , the image generation module 140 includes a plurality of selection icons 11 capable of selectively displaying management information or canceling the display state in the augmented image. When the worker selects the 'construction' icon among the selection icons 11, the image generation module 140 displays a plurality of structure display icons 12 on the augmented image as shown in FIG. Here, the image generation module 140 recognizes the operator's finger in the live action image, and when the corresponding finger stays on any one of the icons for a predetermined time, it may be determined that the corresponding icon has been selected by the operator.

해당 구조 표시 아이콘(12)들은 각각 건축물을 이루는 구조 부분 즉, 천장, 벽체, 기둥, 바닥에 대응된다. 여기서, 영상 생성 모듈(140)은 상기 작업자가 해당 구조 표시 아이콘(12)들 어느 하나를 선택할 경우, 상기 관리정보에 포함된 구조 부분들 중 선택된 구조 표시 아이콘(12)에 대응되는 구조 부분의 위치에 대응되는 상기 실사영상의 영역에, 해당 구조 부분의 형상에 대응되는 구조 오브젝트가 증강되도록 상기 증강 영상을 생성한다. Corresponding structure display icons 12 correspond to structural parts constituting a building, that is, a ceiling, a wall, a column, and a floor. Here, the image generation module 140 determines the position of the structure part corresponding to the selected structure display icon 12 among the structure parts included in the management information when the worker selects one of the corresponding structure display icons 12 . The augmented image is generated so that a structure object corresponding to a shape of a corresponding structure part is augmented in an area of the real image corresponding to .

일예로, 작업자가 '바닥'의 구조 표시 아이콘(12)을 선택할 경우, 실사영상에서, 바닥 부분에 대응되는 영역에, 바닥에 대응되는 구조 오브젝트를 증강시킨다. 여기서, 구조 오브젝트는 실사 영상에서 바닥 부분을 덮을 수 있도록 형성되며, 실제 바닥과 상이한 색상 또는 디자인으로 형성될 수 있다. 여기서, 구조 오브젝트는 작업자가 구조 부분의 실제 형상을 인지할 수 있도록 소정의 투명도를 갖도록 형성되는 것이 바람직하다. For example, when the operator selects the 'floor' structure display icon 12, a structure object corresponding to the floor is augmented in a region corresponding to the floor in the live action image. Here, the structure object is formed to cover the floor portion in the real image, and may be formed in a color or design different from that of the actual floor. Here, the structure object is preferably formed to have a predetermined transparency so that a worker can recognize the actual shape of the structure part.

한편, 증강영상에 표시된 선택 아이콘(11)들 중 '설비' 아이콘을 선택할 경우, 영상 생성 모듈(140)은 도 5에 도시된 바와 같이 다수의 설비 표시 아이콘(13)을 증강영상에 표시한다. 해당 설비 표시 아이콘(13)들은 각각 건축물에 설치되는 설비 즉, 소화설비, 자동화재탐지설비, 유도등설비, 환기덕트, 냉방배관에 대응된다. 여기서, 영상 생성 모듈(140)은 상기 작업자가 해당 설비 표시 아이콘(13)들 중 어느 하나를 선택할 경우, 관리정보에 포함된 설비들 중 선택된 설비 표시 아이콘(13)에 대응되는 설비의 위치에 대응되는 상기 실사영상의 영역에, 해당 설비의 형상에 대응되는 설비 오브젝트가 증강되도록 상기 증강영상을 생성한다. 여기서, 설비 오브젝트는 작업자가 설비의 실제 형상을 인지할 수 있도록 소정의 투명도를 갖도록 형성되는 것이 바람직하다.On the other hand, when the 'facility' icon is selected among the selection icons 11 displayed on the augmented image, the image generating module 140 displays a plurality of facility display icons 13 on the augmented image as shown in FIG. 5 . Corresponding facility display icons 13 correspond to facilities installed in buildings, that is, fire extinguishing facilities, automatic fire detection facilities, guide lighting facilities, ventilation ducts, and cooling pipes. Here, the image generation module 140 corresponds to the location of the facility corresponding to the selected facility display icon 13 among facilities included in the management information when the worker selects one of the corresponding facility display icons 13. The augmented image is generated so that a facility object corresponding to the shape of the corresponding facility is augmented in an area of the real image that corresponds to the corresponding facility. Here, it is preferable that the facility object is formed to have a predetermined transparency so that a worker can recognize the actual shape of the facility.

일예로, 작업자가 '냉방배관'의 설비 표시 아이콘(13)을 선택할 경우, 실사영상에서, 냉방배관에 대응되는 영역에, 냉방배관에 대응되는 설비 오브젝트를 증강시킨다. 여기서, 설비 오브젝트는 실사 영상에서, 냉방배관 부분을 덮을 수 있도록 형성되며, 실제 냉방배관과 상이한 색상으로 형성될 수 있다. For example, when the operator selects the facility display icon 13 of 'cooling piping', a facility object corresponding to the cooling piping is augmented in a region corresponding to the cooling piping in the live action image. Here, the facility object is formed to cover a portion of the cooling pipe in the real image, and may be formed in a color different from that of the actual cooling pipe.

이때, 작업자가 증강영상에 증강된 설비 오브젝트를 선택할 경우, 영상 생성 모듈(140)은 도 6에 도시된 바와 같이 해당 설비 오브젝트에 대응되는 설비에 대한 정보를 증강영상에 표시한다. At this time, when the operator selects an augmented facility object in the augmented image, the image generating module 140 displays information on the facility corresponding to the facility object in the augmented image as shown in FIG. 6 .

한편, 증강영상에 표시된 선택 아이콘(11)들 중에는 키맵 표시 아이콘(14)이 포함되어 있다. 작업자가 해당 키맵 표시 아이콘(14)을 선택할 경우, 영상 생성 모듈(140)은 도 7에 도시된 바와 같이 상기 관리정보에 포함된 건축물의 2차원 도면에, 상기 식별마커에 대응되는 위치 및 상기 작업자의 현재 위치를 각각 표시하여 키맵 정보를 생성하며, 생성된 키맵 정보를 상기 증강 영상에 표시한다. 키맵 정보에 식별마커의 위치가 표시되어 있으므로 증강영상에 증강된 관리정보에 오류가 발생될 경우, 작업자는 식별마커를 영상 생성 모듈(140)에 재식별시켜 해당 관리정보의 세팅을 재설정할 수 있다. Meanwhile, among the selection icons 11 displayed on the augmented image, a key map display icon 14 is included. When the operator selects the corresponding keymap display icon 14, the image generation module 140 displays the position corresponding to the identification marker and the operator in the 2D drawing of the building included in the management information, as shown in FIG. The current location of each is displayed to generate keymap information, and the generated keymap information is displayed on the augmented image. Since the location of the identification marker is indicated in the keymap information, if an error occurs in the management information augmented in the augmented image, the operator can re-identify the identification marker to the image generating module 140 to reset the settings of the corresponding management information. .

한편, 증강영상에 표시된 선택 아이콘(11)들 중에는 관리정보에 포함된 상기 건축물의 관리를 위한 추가 정보에 대한 이미지, 영상 또는 텍스트가 포함된 부가 데이터를 표시할 수 있는 선택 아이콘(11)이 포함되어 있다. 작업자가 선택 아이콘(11)들 중 '도면' 아이콘을 선택할 경우, 영상 생성 모듈(140)은 부가 데이터 중 도면 데이터를 증강영상에 표시할 수 있다. 또한, 도면에 도시되진 않았지만, 선택 아이콘(11)들 중 부가 데이터 표시 아이콘이 포함되고, 작업자가 해당 부가 데이터 표시 아이콘을 선택하면, 영상 생성 모듈(140)은 관리정보에 포함된 부가 데이터들에 대한 리스트를 표시하고, 해당 리스트의 부가 데이터들 중 어느 하나를 작업자가 선택하며, 선택된 부가 데이터를 증강영상에 표시할 수 있다. On the other hand, among the selection icons 11 displayed on the augmented image, a selection icon 11 capable of displaying additional data including an image, video, or text for additional information for management of the building included in the management information is included. has been When the operator selects the 'drawing' icon from among the selection icons 11, the image generation module 140 may display drawing data among additional data in the augmented image. In addition, although not shown in the drawing, when an additional data display icon is included among the selection icons 11 and the operator selects the corresponding additional data display icon, the image generating module 140 displays the additional data included in the management information. A list of data is displayed, an operator selects any one of the additional data of the corresponding list, and the selected additional data can be displayed on the augmented image.

한편, 영상 생성 모듈(140)은 증강 영상에, 관리정보에 포함된 건축물을 이루는 구조 부분에 대한 형상 이미지 및 도면기호가 포함된 2차원 도면을 표시할 수도 있다. 상기 영상 생성 모듈(140)은 도 8에 도시된 바와 같이 실사영상에서, 상기 구조 부분의 위치에 대응되는 상기 건축물의 바닥 영역에, 해당 구조 부분에 대응되는 상기 2차원 도면의 형상 이미지 및 도면 기호를 표시할 수 있다. 증강영상에 2차원 도면이 표시되어 있으므로 작업자는 2차원 도면의 적용 상태 등을 보다 직관적으로 인지할 수 있다. Meanwhile, the image generation module 140 may display a 2D diagram including shape images and drawing symbols of structural parts constituting a building included in the management information in the augmented image. As shown in FIG. 8 , the image generation module 140, in a real image, displays the shape image and drawing symbol of the 2D drawing corresponding to the corresponding structural part in the floor area of the building corresponding to the location of the structural part. can be displayed. Since the 2D drawing is displayed on the augmented image, the operator can more intuitively recognize the applied state of the 2D drawing.

또한, 증강영상에 표시된 선택 아이콘(11)들 중 작업자가 기록 요청 명령을 입력할 수 있는 '사진촬영' 아이콘이 포함되어 있다. 작업자는 해당 '사진촬영' 아이콘을 선택하여 영상 생성 모듈(140)에 기록 요청 명령을 입력할 수 있다. 영상 생성 모듈(140)은 상기 작업자로부터 기록 요청 명령이 입력되면, 상기 촬영모듈(120)에서 촬영된 영상을 토대로 기록 데이터를 생성하여 상기 관리서버에 전송한다. 이때, 기록 데이터는 사진 또는 동영상의 형태로 생성되며, 증강영상의 일부분이 포함될 수도 있다. In addition, among the selection icons 11 displayed on the augmented image, a 'take a picture' icon through which the operator can input a recording request command is included. A worker may input a recording request command to the image generation module 140 by selecting the 'take a picture' icon. When a record request command is input from the operator, the image generating module 140 generates record data based on the image captured by the photographing module 120 and transmits the generated record data to the management server. At this time, the recorded data is generated in the form of a picture or video, and may include a part of an augmented image.

한편, 도면에 도시되진 않았지만, 증강영상에 표시된 선택 아이콘(11)들 중 작업자가 메모 정보를 입력하기 위한 '메모' 아이콘이 포함될 수 있다. 작업자는 해당 '메모'아이콘을 선택한 다음, 영상 생성 모듈(140)에 연결된 입력수단을 통해 메모 정보를 입력할 수 있다. 영상 생성 모듈(140)은 입력된 메모 정보를 증강영상에 표시한 다음, 관리서버에 전송할 수 있다. 여기서, 입력수단은 키보드 또는 터치스크린 등과 같이 텍스트 정보를 입력할 수 있는 입력수단이 적용될 수 있다. 또한, 영상 생성 모듈(140)은 작업자가 '메모'아이콘을 선택할 경우, 메모 정보를 입력할 수 있도록 키보드 자판에 대응되는 자판 아이콘을 증강영상에 표시하고, 해당 자판 아이콘에 대한 선택 정보를 토대로 메모 정보를 생성할 수도 있다. Meanwhile, although not shown in the drawing, among the selection icons 11 displayed on the augmented image, a 'memo' icon for the operator to input memo information may be included. After selecting the corresponding 'memo' icon, the operator may input memo information through an input means connected to the image generating module 140 . The image generating module 140 may display the input memo information on the augmented image and then transmit it to the management server. Here, as the input means, an input means capable of inputting text information, such as a keyboard or a touch screen, may be applied. In addition, when the operator selects the 'memo' icon, the image generation module 140 displays a keyboard icon corresponding to the keyboard keyboard on the augmented image so that memo information can be input, and the memo is written based on the selection information on the keyboard icon. information can also be generated.

한편, 작업자는 증강 영상에 표시된 관리 정보 즉, 구조 오브젝트 또는 설비 오브젝트의 위치를 변경할 수도 있다. 작업자가 증강영상에 표시된 선택 아이콘(11)들 중 '좌표조정'아이콘을 선택하면, 영상 생성 모듈(140)은 도 9에 도시된 바와 같이 좌표 조정을 위한 메뉴창을 증강영상을 표시한다. 작업자는 메뉴창에 표시된 x축 이동값, y축 이동값, z축 이동값, 회전값의 정보 입력 창에, 수치를 선택할 수 있다. 영상 생성 모듈(140)은 메뉴창에 입력된 수치에 대응되게 증강영상에, 구조 오브젝트 또는 설비 오브젝트의 위치를 변경할 수 있다. Meanwhile, the operator may change the location of management information displayed on the augmented image, that is, a structure object or a facility object. When the operator selects the 'coordinate adjustment' icon from among the selection icons 11 displayed on the augmented image, the image generating module 140 displays a menu window for coordinate adjustment in the augmented image as shown in FIG. 9 . The operator can select numerical values in the information input window of the x-axis movement value, y-axis movement value, z-axis movement value, and rotation value displayed on the menu window. The image generation module 140 may change the position of a structure object or facility object in the augmented image to correspond to the numerical value input in the menu window.

또한, 증강영상에 표시된 선택 아이콘(11)들 중 '컬러모드' 아이콘을 작업자가 선택하면, 영상 생성 모듈(140)은 증강영상에 표시된 구조 오브젝트 또는 설비 오브젝트의 색상을 변경할 수 있다. 여기서, 영상 생성 모듈(140)은 해당 구조 오브젝트 또는 설비 오브젝트의 색상을 무작위로 변경하거나 작업자에 의해 선택된 색상으로 변경할 수도 있다. In addition, when an operator selects a 'color mode' icon among the selection icons 11 displayed on the augmented image, the image generating module 140 may change the color of the structure object or facility object displayed on the augmented image. Here, the image generation module 140 may randomly change the color of the corresponding structure object or facility object or change it to a color selected by a worker.

상술된 바와 같이 구성된 본 발명에 따른 증강현실을 이용한 건물 관리 시스템(100)은 증강현실을 이용하여 건축물에 대한 관리 정보를 작업자에게 제공할 수 있으므로 작업자가 보다 용이하게 건축물의 상태를 파악할 수 있다는 장점이 있다. The building management system 100 using augmented reality according to the present invention configured as described above can provide management information on a building to a worker using augmented reality, so the worker can more easily grasp the state of the building. there is

한편, 도면에 도시되진 않았지만, 영상 생성 모듈(140)은 실사영상에서, 사람 인식 알고리즘을 이용하여 작업자 외의 보행자를 인식하고, 인식된 사람이 구조 오브젝트 또는 설비 오브젝트와 중첩될 경우, 작업자가 해당 보행자를 인지할 수 있도록 표시할 수 있다. 여기서, 사람 인식 알고리즘은 영상에서 사람을 인식하기 위해 종래에 일반적으로 사용되는 영상 인식 알고리즘이 적용되므로 상세한 설명은 생략한다. On the other hand, although not shown in the drawing, the image generation module 140 recognizes a pedestrian other than a worker in a real image by using a person recognition algorithm, and when the recognized person overlaps with a structure object or facility object, the worker recognizes the pedestrian can be marked for recognition. Here, the human recognition algorithm is a conventionally used image recognition algorithm for recognizing a person in an image, so a detailed description thereof will be omitted.

일예로, 영상 생성 모듈(140)은 증강영상에서, 보행자와 중첩된 구조 오브젝트 또는 설비 오브젝트의 색상을 기설정된 경고색으로 변경할 수 있다. 여기서, 경고색은 빨간색 또는 검은색 등이 적용될 수 있다. 작업자는 증강영상 내의 구조 오브젝트 또는 설비 오브젝트가 경고색으로 변색되면, 주위에 사람이 있는 것으로 판단하여 주의할 수 있다. For example, the image generation module 140 may change the color of a structure object or a facility object overlapping a pedestrian in the augmented image to a preset warning color. Here, red or black may be applied as the warning color. When a structure object or a facility object in an augmented image is discolored in a warning color, a worker may determine that there is a person nearby and pay attention.

또한, 영상 생성 모듈(140)은 도면에 도시되진 않았지만, 해당 보행자의 안면이 인식된 상태에서 보행자의 입모양이 변경될 경우, 해당 보행자가 작업자에게 말하고 있는 상황으로 판단하여 상기 보행자에 대응되는 위치의 증강영상에, 대화 아이콘을 표시할 수 있다. 대화 아이콘은 입모양 형상으로 형성되고, 보행자의 입 주위나 보행자의 머리에 인접된 위치의 증강 영상에 세팅될 수 있다. 작업자는 증강영상을 통해 관리 작업을 수행하더라도 증강영상에 표시된 대화 아이콘을 통해 보행자의 대화 상황을 인지할 수 있어 작업효율을 향상시킬 수 있다. In addition, although not shown in the figure, the image generation module 140 determines that the pedestrian is talking to a worker when the pedestrian's mouth shape is changed while the pedestrian's face is recognized, and determines the position corresponding to the pedestrian. A conversation icon may be displayed on the augmented image of . The conversation icon is formed in the shape of a mouth, and may be set in an augmented image located around the mouth of the pedestrian or adjacent to the head of the pedestrian. Even if a worker performs a management task through an augmented image, it is possible to improve work efficiency by recognizing a conversation situation of a pedestrian through a conversation icon displayed on the augmented image.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to use or practice the present invention. Various modifications to these embodiments will be apparent to those skilled in the art, and the general principles defined herein may be applied to other embodiments without departing from the scope of the present invention. Thus, the present invention is not to be limited to the embodiments presented herein, but is to be construed in the widest scope consistent with the principles and novel features presented herein.

100: 증강현실을 이용한 건물 관리 시스템
110: 디스플레이모듈
111: 본체
112: 디스플레이 패널
120: 촬영모듈
130: 감지센서부
140: 영상 생성 모듈
150: 관리서버100: building management system using augmented reality
110: display module
111: body
112: display panel
120: shooting module
130: detection sensor unit
140: image generation module
150: management server

Claims (9)

작업자가 착용하거나 소지하는 것으로서, 상기 작업자에게 건축물을 관리하기 위한 증강 영상을 디스플레이하는 디스플레이 모듈;
상기 작업자의 시야에 대응되는 범위의 상기 건축물을 촬영할 수 있도록 상기 작업자 또는 디스플레이 모듈에 마련되는 촬영모듈; 및
상기 건축물에 대한 관리 정보가 저장된 관리서버로부터 해당 관리정보를 제공받아 상기 촬영모듈에서 촬영된 실사영상에 상기 관리정보를 증강시켜 상기 증강 영상을 생성하고, 생성된 상기 증강 영상을 상기 디스플레이 모듈에 제공하는 영상 생성 모듈;을 구비하고,
상기 영상 생성 모듈은 상기 실사영상에서 작업자 외의 보행자를 인식하고, 상기 보행자의 입모양이 변경될 경우, 해당 보행자가 상기 작업자에게 말하고 있는 상황으로 판단하여 상기 보행자에 대응되는 위치의 상기 증강 영상에, 대화 아이콘을 표시하는,
증강현실을 이용한 건물 관리 시스템.
A display module that is worn or carried by a worker and displays an augmented image for managing a building to the worker;
a photographing module provided on the worker or the display module to photograph the building within a range corresponding to the operator's field of view; and
The management information is provided from the management server where the management information on the building is stored, the management information is augmented with the real image captured by the photographing module to generate the augmented image, and the generated augmented image is provided to the display module. An image generating module to do;
The image generating module recognizes a pedestrian other than a worker in the live action image, and when the mouth shape of the pedestrian is changed, the augmented image at a position corresponding to the pedestrian by determining that the pedestrian is talking to the worker, displaying dialog icons,
Building management system using augmented reality.
 제1항에 있어서,
상기 관리정보는 상기 건축물을 이루는 구조 부분 또는 해당 건축물에 설치된 설비에 대한 정보가 포함되고,
상기 영상 생성 모듈은 상기 실사영상에서 해당 관리정보에 포함된 구조 부분 또는 설비에 대응되는 영역에, 상기 관리정보를 증강시켜 상기 증강 영상을 생성하는,
증강현실을 이용한 건물 관리 시스템.
According to claim 1,
The management information includes information on structural parts constituting the building or facilities installed in the building,
The image generating module generates the augmented image by augmenting the management information in an area corresponding to a structural part or facility included in the corresponding management information in the live action image.
Building management system using augmented reality.
 제2항에 있어서,
상기 작업자 또는 디스플레이 모듈에 마련되어 상기 건축물에 대한 상기 작업자의 위치 또는 시선 방향을 감지하는 감지센서부;를 더 구비하고,
상기 영상 생성 모듈은 상기 실사영상에서 상기 건축물의 일측에 마련된 식별마커를 식별하고, 상기 감지센서에서 제공되는 감지 정보를 토대로 상기 식별마커의 위치를 기준으로 상기 실사영상에서의 상기 관리정보에 포함된 구조 부분 또는 설비에 대응되는 영역을 식별하는,
증강현실을 이용한 건물 관리 시스템.
According to claim 2,
A detection sensor unit provided on the worker or the display module to detect the position or gaze direction of the worker with respect to the building;
The image generating module identifies an identification marker provided on one side of the building in the live-action image, and based on the position of the identification marker based on the detection information provided from the detection sensor, included in the management information in the live-action image identifying areas corresponding to structural parts or installations;
Building management system using augmented reality.
 제2항 또는 제3항에 있어서,
상기 영상 생성 모듈은 상기 증강 영상에 구조 표시 아이콘을 표시하고, 상기 작업자가 해당 구조 표시 아이콘을 선택할 경우, 상기 관리정보에 포함된 구조 부분의 위치에 대응되는 상기 실사영상의 영역에, 해당 구조 부분의 형상에 대응되는 구조 오브젝트가 증강되도록 상기 증강 영상을 생성하는,
증강현실을 이용한 건물 관리 시스템.
According to claim 2 or 3,
The image generation module displays a structure display icon on the augmented image, and when the operator selects the corresponding structure display icon, the corresponding structure part in the region of the live action image corresponding to the position of the structure part included in the management information. Generating the augmented image so that a structure object corresponding to the shape of is augmented,
Building management system using augmented reality.
 제2항 또는 제3항에 있어서,
상기 영상 생성 모듈은 상기 증강 영상에 설비 표시 아이콘을 표시하고, 상기 작업자가 해당 설비 표시 아이콘을 선택할 경우, 상기 관리정보에 포함된 설비의 위치에 대응되는 상기 실사영상의 영역에, 해당 설비의 형상에 대응되는 설비 오브젝트가 증강되도록 상기 증강 영상을 생성하는,
증강현실을 이용한 건물 관리 시스템.
According to claim 2 or 3,
The image generation module displays a facility display icon on the augmented image, and when the operator selects the facility display icon, the shape of the facility is displayed in the region of the live-action image corresponding to the location of the facility included in the management information. Generating the augmented image so that the facility object corresponding to is augmented,
Building management system using augmented reality.
 제4항에 있어서,
상기 관리정보는 상기 건축물을 이루는 구조 부분에 대한 형상 이미지 및 도면기호가 포함된 2차원 도면을 더 포함하고,
상기 영상 생성 모듈은 상기 실사영상에서, 상기 구조 부분의 위치에 대응되는 상기 건축물의 바닥 영역에, 해당 구조 부분에 대응되는 상기 2차원 도면의 형상 이미지 및 도면 기호를 표시하는,
증강현실을 이용한 건물 관리 시스템.
According to claim 4,
The management information further includes a two-dimensional drawing including shape images and drawing symbols for structural parts constituting the building,
The image generating module displays a shape image and a drawing symbol of the two-dimensional drawing corresponding to the corresponding structural part in the floor area of the building corresponding to the location of the structural part in the live-action image,
Building management system using augmented reality.
 제3항에 있어서,
상기 관리정보는 상기 건축물을 이루는 구조 부분에 대한 형상 이미지 및 도면기호가 포함된 2차원 도면을 더 포함하고,
상기 영상 생성 모듈은 상기 증강 영상에 키맵 표시 아이콘을 표시하고, 상기 작업자가 해당 키맵 표시 아이콘을 선택할 경우, 상기 2차원 도면에, 상기 식별마커에 대응되는 위치 및 상기 작업자의 현재 위치를 각각 표시하여 키맵 정보를 생성하며, 생성된 키맵 정보를 상기 증강 영상에 표시하는,
증강현실을 이용한 건물 관리 시스템.
According to claim 3,
The management information further includes a two-dimensional drawing including shape images and drawing symbols for structural parts constituting the building,
The image generation module displays a key map display icon on the augmented image, and when the operator selects the corresponding key map display icon, the location corresponding to the identification marker and the current location of the operator are displayed on the two-dimensional drawing, respectively. Generating keymap information and displaying the generated keymap information on the augmented image;
Building management system using augmented reality.
 제2항 또는 제3항에 있어서,
상기 관리정보는 상기 건축물의 관리를 위한 추가 정보에 대한 이미지, 영상 또는 텍스트가 포함된 부가 데이터를 더 포함하고,
상기 영상 생성 모듈은 상기 작업자로부터 해당 부가 데이터에 대한 열람 명령이 입력되면, 상기 증강영상에 해당 부가 데이터를 표시하는 정보 표시창을 증강하는,
증강현실을 이용한 건물 관리 시스템.
According to claim 2 or 3,
The management information further includes additional data including an image, video, or text for additional information for managing the building,
The image generation module augments an information display window displaying the additional data in the augmented image when a command to view the corresponding additional data is input from the operator.
Building management system using augmented reality.
 제2항 또는 제3항에 있어서,
상기 영상 생성 모듈은 상기 작업자로부터 기록 요청 명령이 입력되면, 상기 촬영모듈에서 촬영된 영상을 토대로 기록 데이터를 생성하여 상기 관리서버에 전송하고, 상기 작업자로부터 메모 정보가 입력되면, 해당 메모 정보를 상기 관리서버에 전송하는,
증강현실을 이용한 건물 관리 시스템.
According to claim 2 or 3,
When a recording request command is input from the worker, the image generating module generates record data based on the image captured by the photographing module and transmits the recorded data to the management server, and when memo information is input from the worker, the corresponding memo information is stored in the image generating module. to the management server,
Building management system using augmented reality.
KR1020210178303A 2021-12-14 2021-12-14 Building management system using augmented reality KR102538056B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210178303A KR102538056B1 (en) 2021-12-14 2021-12-14 Building management system using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210178303A KR102538056B1 (en) 2021-12-14 2021-12-14 Building management system using augmented reality

Publications (1)

Publication Number Publication Date
KR102538056B1 true KR102538056B1 (en) 2023-05-30

Family

ID=86529729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210178303A KR102538056B1 (en) 2021-12-14 2021-12-14 Building management system using augmented reality

Country Status (1)

Country Link
KR (1) KR102538056B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233689B1 (en) 2012-07-17 2013-02-15 (주)델타온 Integrated management system based on web
KR20130133478A (en) * 2012-05-29 2013-12-09 에이알비전 (주) Mobile augmented reality system and method for fire extinguish equipment inspection
KR102174215B1 (en) * 2019-08-14 2020-11-05 씨제이대한통운 (주) Work display system based on augmented reality and a program recorded on a computer-readable recording medium for processing the same
KR102238193B1 (en) * 2020-02-05 2021-04-09 주식회사 씨엠엑스 Method and server for managing construction information and maintenance information based on augmented reality
KR102326507B1 (en) * 2020-07-30 2021-11-15 이정근 Method and system for providing extended reality service to operate industrial facilities

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130133478A (en) * 2012-05-29 2013-12-09 에이알비전 (주) Mobile augmented reality system and method for fire extinguish equipment inspection
KR101233689B1 (en) 2012-07-17 2013-02-15 (주)델타온 Integrated management system based on web
KR102174215B1 (en) * 2019-08-14 2020-11-05 씨제이대한통운 (주) Work display system based on augmented reality and a program recorded on a computer-readable recording medium for processing the same
KR102238193B1 (en) * 2020-02-05 2021-04-09 주식회사 씨엠엑스 Method and server for managing construction information and maintenance information based on augmented reality
KR102326507B1 (en) * 2020-07-30 2021-11-15 이정근 Method and system for providing extended reality service to operate industrial facilities

Similar Documents

Publication Publication Date Title
KR102366293B1 (en) System and method for monitoring field based augmented reality using digital twin
KR102289745B1 (en) System and method for real-time monitoring field work
US9746913B2 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
US9740935B2 (en) Maintenance assistant system
JP6062039B2 (en) Image processing system and image processing program
US11954268B2 (en) Augmented reality eyewear 3D painting
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
JP5869712B1 (en) Head-mounted display system and computer program for presenting a user's surrounding environment in an immersive virtual space
CN107977586A (en) Display content processing method, the first electronic equipment and the second electronic equipment
JP2019153274A (en) Position calculation device, position calculation program, position calculation method, and content addition system
KR20160045342A (en) Apparatus and Method for Controlling of Vehicle Using Wearable Device
JP2018036812A (en) System and method for remotely supporting it operation work
JP6970858B2 (en) Maintenance support system, maintenance support method, program and processed image generation method
KR20220010356A (en) System and method for augmented reality content-based work management
CN103369237A (en) A method for switching viewing modes in a camera
JP2018207271A (en) Terminal, image processing system, image processing program, and method for processing image
KR102538056B1 (en) Building management system using augmented reality
US20210406542A1 (en) Augmented reality eyewear with mood sharing
KR100845274B1 (en) Apparatus and method for generating user-interface based on face recognition in a exhibition system
US20200033936A1 (en) Remote work supporting system, remote work supporting method, and program
KR20210077310A (en) Service Method And System Of 3D Indoor Space With More Security
KR20200122754A (en) Smart glass system for providing augmented reality image
EP3718708A1 (en) Operation guiding system
KR102538057B1 (en) Information provision system for building management
KR101036107B1 (en) Emergency notification system using rfid

Legal Events

Date Code Title Description
GRNT Written decision to grant