KR20200059429A - Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence - Google Patents

Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence Download PDF

Info

Publication number
KR20200059429A
KR20200059429A KR1020180144130A KR20180144130A KR20200059429A KR 20200059429 A KR20200059429 A KR 20200059429A KR 1020180144130 A KR1020180144130 A KR 1020180144130A KR 20180144130 A KR20180144130 A KR 20180144130A KR 20200059429 A KR20200059429 A KR 20200059429A
Authority
KR
South Korea
Prior art keywords
construction equipment
virtual
sensor data
sensor
photo
Prior art date
Application number
KR1020180144130A
Other languages
Korean (ko)
Other versions
KR102129182B1 (en
Inventor
안재훈
김영환
김찬협
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180144130A priority Critical patent/KR102129182B1/en
Publication of KR20200059429A publication Critical patent/KR20200059429A/en
Application granted granted Critical
Publication of KR102129182B1 publication Critical patent/KR102129182B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Abstract

Provided are a method, a device, a recording medium and a system for construction equipment simulation. According to the construction equipment simulation method, sensor data from sensors installed in a construction equipment are received, and a virtual construction equipment is generated by using the external information of the construction equipment and the sensor data received. By displaying the virtual construction equipment generated, digital twins for the construction equipment can be configured to collect data such as equipment status, work information, etc. in real time to stimulate. Thereby, not only the failure of construction equipment can be easily checked, but also the failure of related sensors.

Description

디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법 {Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence}{Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence}

본 발명은 건설장비 시뮬레이션 방법 및 장치에 관한 것으로, 더욱 상세하게는, 디지털 트윈을 기반으로 건설기계 장비를 가상세계에 디지털 시뮬레이션화하는 건설장비 시뮬레이션 방법 및 장치에 관한 것이다. The present invention relates to a construction equipment simulation method and apparatus, and more particularly, to a construction equipment simulation method and apparatus for digitally simulating construction machine equipment in a virtual world based on a digital twin.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information for the present embodiment, and do not constitute a prior art.

건설기계 장비의 증가에 따라 건설기계 부품은 기하급수적으로 늘어나게 됐는데, 하나의 건설기계만 하더라도 수많은 부품들로 구성되어있어 부품 각각의 잔여수명이나 노후여부 상태를 사람의 직관만으로 판단하기에는 어려운 상황이다. Due to the increase in construction machinery equipment, the number of construction machinery parts has increased exponentially, but it is difficult to judge the remaining life of each part or the state of old age by human intuition only because it is composed of numerous parts even with only one construction machine.

또한, 건설기계의 부품 고장발생 시 고장원인 및 고장발생위치를 파악하기 어려움이 있다. In addition, it is difficult to identify the cause of the failure and the location of the failure when a component failure occurs in the construction machinery.

이에 따라, 건설기계 및 그 부품의 현재 상태를 실시간으로 모니터링하고, 시간에 따른 상태변화와 부품이 기능을 수행할 수 있는 최소한의 조건을 고려하여 잔여 유효수명을 계산하고, 이를 통해 고장이 일어나기 전까지 부품을 활용할 수 있도록 상태기반 유지보수를 제공하기 위한 방안의 모색이 요청된다. Accordingly, the current status of the construction machine and its parts are monitored in real time, and the remaining useful life is calculated in consideration of the state change over time and the minimum conditions for the parts to perform functions, and through this, until a failure occurs. It is requested to find a way to provide condition-based maintenance so that parts can be utilized.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하며, 생성한 가상의 건설장비를 표시하는 건설장비 시뮬레이션 방법, 장치, 기록매체 및 시스템을 제공함에 있다. The present invention has been devised to solve the above problems, and an object of the present invention is to receive sensor data from sensors installed in construction equipment, and use the external information of the construction equipment and the received sensor data to simulate The present invention provides a construction equipment simulation method, apparatus, recording medium and system for generating construction equipment and displaying the generated virtual construction equipment.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned will be clearly understood by those skilled in the art from the following description. Will be able to.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 방법은, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하는 단계; 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하는 단계; 및 생성한 가상의 건설장비를 표시하는 단계;를 포함한다. According to an embodiment of the present invention for achieving the above object, the construction equipment simulation method comprises: receiving sensor data from sensors installed in the construction equipment; Generating virtual construction equipment using the external information of the construction equipment and the received sensor data; And displaying the generated virtual construction equipment.

그리고, 해당 건설장비가 촬영된 사진을 수신하는 단계; 수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함할 수도 있다. And, receiving a picture of the construction equipment is taken; And comparing the shape of the construction equipment photographed on the received photo with the virtual construction equipment, and determining whether the sensors installed in the construction equipment are broken.

또한, 판단하는 단계는, 수신된 사진에서 사진의 건설장비 형상을 추출하는 단계; 사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하는 단계;를 포함할 수도 있다. In addition, the determining step, extracting the shape of the construction equipment of the photo from the received photo; The virtual construction equipment shape corresponding to the same time as the time the photo was taken is extracted, the extracted virtual construction equipment shape is arranged to have the same magnification and angle as the construction equipment shape of the photo extracted from the photo, and the virtual construction And comparing the shape of the equipment and the construction equipment of the photo.

그리고, 판단하는 단계는, 가상의 건설장비와 사진의 건설장비 형상의 외형을 비교하고, 외형이 임계값 이상 차이나는 부분이 있는 경우, 해당 부분을 센싱 중인 센서가 고장인 것으로 판단할 수도 있다. And, the determining step may compare the appearance of the virtual construction equipment with the shape of the construction equipment in the photo, and if there is a portion where the appearance differs by more than a threshold, it may be determined that the sensor sensing the portion is defective.

또한, 해당 건설장비의 특정 부분에 대한 온도값을 수신하는 단계; 수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값을 비교하여, 건설장비의 특정 부분에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함할 수도 있다. In addition, receiving a temperature value for a specific portion of the construction equipment; It may further include; comparing the received temperature value with the temperature value sensed by the sensor installed in the specific portion of the construction equipment, and determining whether the sensors installed in the specific portion of the construction equipment have failed.

그리고, 판단하는 단계는, 수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값의 차이가 임계값 이상인 경우, 해당 특정 부분을 센싱 중인 센서가 고장인 것으로 판단할 수도 있다. And, in the determining step, if the difference between the received temperature value and the temperature value detected by the sensor installed in the specific part of the construction equipment is greater than or equal to the threshold, the sensor sensing the specific part may be determined to be defective. .

또한, 센서 데이터들이 정상범위에 포함되는지 여부에 기초하여, 해당 건설장비의 정상 또는 비정상 여부를 판단하는 단계;를 더 포함할 수도 있다. In addition, based on whether the sensor data is included in the normal range, determining whether the construction equipment is normal or abnormal; may further include.

그리고, 해당 건설장비의 특정 부분이 비정상인 것으로 판단된 경우, 가상의 건설장비의 해당 특정 부분을 다른 색상으로 표시할 수도 있다. And, when it is determined that a specific part of the construction equipment is abnormal, the specific portion of the virtual construction equipment may be displayed in a different color.

또한, 해당 건설장비의 정상 또는 비정상 여부를 판단하는 단계는, 센서를 통해 외기 온도를 감지하고, 감지된 외기 온도에 따라 정상범위의 값을 변경할 수도 있다. In addition, the step of determining whether the construction equipment is normal or abnormal may detect an outside temperature through a sensor and change the value of the normal range according to the detected outside temperature.

한편, 본 발명의 일 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체는, 건설장비에 설치된 센서들로부터 센서 데이터들을 수집하는 단계; 건설장비의 외형 정보 및 수집한 센서 데이터들을 이용하여, 가상의 건설장비를 생성하는 단계; 및 생성한 가상의 건설장비를 표시하는 단계;를 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법을 실행하는 컴퓨터 프로그램이 수록된다. On the other hand, according to an embodiment of the present invention, a computer-readable recording medium includes: collecting sensor data from sensors installed in construction equipment; Generating virtual construction equipment by using external information of the construction equipment and collected sensor data; And displaying the generated virtual construction equipment. A computer program for executing a construction equipment simulation method is included.

한편, 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 장치는, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하는 수신부; 및 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어하는 제어부;를 포함한다. On the other hand, according to an embodiment of the present invention, a construction equipment simulation apparatus, a receiving unit for receiving sensor data from sensors installed in the construction equipment; And a control unit for generating a virtual construction equipment and controlling the generated virtual construction equipment to be displayed using the external information of the construction equipment and the received sensor data.

한편, 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 시스템은, 건설장비에 설치된 복수개의 센서들을 포함하는 센서부; 및 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어하는 건설장비 시뮬레이션 장치;를 포함한다. On the other hand, according to an embodiment of the present invention, the construction equipment simulation system, a sensor unit including a plurality of sensors installed in the construction equipment; And construction equipment simulation that receives sensor data from sensors installed in the construction equipment, generates virtual construction equipment using the appearance information of the construction equipment and the received sensor data, and controls to display the generated virtual construction equipment. Device.

본 발명의 다양한 실시예에 따르면, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하며, 생성한 가상의 건설장비를 표시하는 건설장비 시뮬레이션 방법, 장치, 기록매체 및 시스템을 제공할 수 있게 되어, 건설장비에 대한 디지털 쌍둥이를 구성하여 장비 상태, 작업정보 등의 데이터를 실시간으로 수집하여 시뮬레이션을 할 수 있게 되고, 이를 통해 건설장비의 고장 뿐만 아니라 관련 센서의 고장도 쉽게 확인할 수 있게 된다. According to various embodiments of the present invention, receiving sensor data from sensors installed in construction equipment, using the external information of the construction equipment and the received sensor data, generates a virtual construction equipment, the generated virtual construction equipment It is possible to provide a construction equipment simulation method, device, recording medium, and system for displaying, and configure digital twins for construction equipment to collect data such as equipment status and work information in real time to simulate. This makes it easy to check not only the failure of construction equipment, but also the failure of related sensors.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에 서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those skilled in the art from the following description. will be.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 시스템의 구성을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 방법을 설명하기 위해 제공되는 흐름도,
도 3은 본 발명의 일 실시예에 따른, 가상의 건설장비가 표시된 화면의 일 예를 도시한 도면,
도 4는 본 발명의 일 실시예에 따른, 사진을 이용하여 건설장비에 설치된 센서의 고장여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도,
도 5는 본 발명의 일 실시예에 따른, 온도를 이용하여 건설장비에 설치된 센서의 고장여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도,
도 6은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 비정상인지 여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도,
도 7은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 정상인 상태인 경우의 센서 데이터 그래프를 도시한 도면,
도 8은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 비정상인 상태인 경우의 센서 데이터 그래프를 도시한 도면,
도 9는 본 발명의 일 실시예에 따른, 가상의 건설장비에서 비정상인 부분의 색상이 다르게 표시된 화면을 도시한 도면,
도 10은 본 발명의 일 실시예에 따른, 가상의 건설장비에서 비정상인 부분과 센서가 비정상인 부분의 색상이 서로 다르게 표시된 화면을 도시한 도면,
도 11은 본 발명의 일실시예에 따른, 건설장비의 일부분만 표시된 화면을 도시한 도면,
도 12은 본 발명의 일실시예에 따른, 건설장비의 다른 일부분만 표시된 화면을 도시한 도면,
도 13는 본 발명의 일실시예에 따른, 건설장비의 또다른 일부분만 표시된 화면을 도시한 도면이다. Included as part of the detailed description to aid understanding of the present invention, the accompanying drawings provide embodiments of the present invention and describe the technical features of the present invention together with the detailed description.
1 is a view showing the configuration of a construction equipment simulation system according to an embodiment of the present invention,
2 is a flow chart provided to explain a construction equipment simulation method according to an embodiment of the present invention,
3 is a diagram showing an example of a screen in which virtual construction equipment is displayed according to an embodiment of the present invention;
4 is a flowchart provided to explain a process of determining whether a sensor installed in a construction equipment has failed using a photograph according to an embodiment of the present invention,
5 is a flowchart provided to explain a process of determining whether a sensor installed in a construction equipment has failed using temperature, according to an embodiment of the present invention,
6 is a flowchart provided to explain a process of determining whether a specific part of equipment is abnormal according to an embodiment of the present invention,
7 is a diagram illustrating a sensor data graph when a specific portion of equipment is in a normal state according to an embodiment of the present invention;
8 is a diagram illustrating a sensor data graph when a specific portion of equipment is in an abnormal state according to an embodiment of the present invention;
9 is a view showing a screen in which the color of an abnormal part is differently displayed in the virtual construction equipment according to an embodiment of the present invention
10 is a view showing a screen in which colors of different parts of an abnormal part and an abnormal part of a sensor are displayed in a virtual construction equipment according to an embodiment of the present invention;
11 is a view showing a screen in which only a part of construction equipment is displayed according to an embodiment of the present invention;
12 is a view showing a screen displaying only another part of construction equipment according to an embodiment of the present invention;
13 is a diagram illustrating a screen in which only another part of construction equipment is displayed according to an embodiment of the present invention.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.In order to clarify the features and advantages of the problem solving means of the present invention, the present invention will be described in more detail with reference to specific embodiments of the present invention shown in the accompanying drawings.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.However, in the following description and accompanying drawings, detailed descriptions of well-known functions or configurations that may obscure the subject matter of the present invention are omitted. In addition, it should be noted that the same components throughout the drawings are denoted by the same reference numerals as much as possible.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms and words used in the following description and drawings should not be interpreted as being limited to ordinary or dictionary meanings, and the inventor may appropriately define the concept of terms for explaining his or her invention in the best way. Based on the principle that it should be interpreted as meanings and concepts consistent with the technical spirit of the present invention.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the configuration shown in the embodiments and drawings described in this specification is only one of the most preferred embodiments of the present invention, and does not represent all of the technical spirit of the present invention. It should be understood that there may be equivalents and variations.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. In addition, terms including ordinal numbers such as first and second are used to describe various components, and are used only to distinguish one component from other components, and to limit the components It is not used. For example, the second component may be referred to as a first component without departing from the scope of the present invention, and similarly, the first component may also be referred to as a second component.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을의미한다.In addition, when referring to a component being "connected" or "connected" to another component, it means that it can be connected or connected logically or physically.

다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.In other words, although the component may be directly connected or connected to other components, it should be understood that other components may exist in the middle and may be connected or connected indirectly.

또한, 본 명세서에서 기술되는 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In addition, terms such as "comprises" or "have" described herein are intended to designate the existence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, or one or more thereof. It should be understood that the above other features or numbers, steps, operations, components, parts, or combinations thereof are not excluded in advance.

또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as “… unit”, “… group”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. have.

또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.In addition, "a (a or an)", "one (one)", "the (the)" and analogs are different in the context of describing the present invention (especially in the context of the following claims) as otherwise indicated herein. It can be used in a sense that includes both singular and plural, unless otherwise explicitly contradicted by context.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 시스템(100)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 건설장비 시뮬레이션 시스템(100)은 센서부(110) 및 건설장비 시뮬레이션 장치(120)를 포함한다. 1 is a view showing the configuration of a construction equipment simulation system 100 according to an embodiment of the present invention. As shown in FIG. 1, the construction equipment simulation system 100 includes a sensor unit 110 and a construction equipment simulation apparatus 120.

센서부(110)는 건설장비에 설치된 복수개의 센서들을 포함한다. 센서부(110)의 센서들은 건설장비의 다양한 상태를 감지하고, 감지된 상태 정보에 대응되는 센서데이터를 생성하게 된다. 센서부(110)는 건설장비의 특정 부분의 위치를 감지하는 위치센서, 특정 부분 간의 거리를 감지하는 거리 센서, 특정 부분의 속도를 감지하는 속도 센서, 특정 부분의 가속도를 감지하는 가속도 센서, 특정 부분에 걸리는 하중을 감지하는 무게 센서 및 특정 부분의 온도를 감지하는 온도 센서 등을 포함할 수 있으며, 그외에도 건설장비의 상태를 감지하기 위한 것이라면 어떤 센서도 포함될 수 있음은 물론이다. The sensor unit 110 includes a plurality of sensors installed in construction equipment. The sensors of the sensor unit 110 sense various conditions of the construction equipment, and generate sensor data corresponding to the sensed status information. The sensor unit 110 includes a position sensor that detects the position of a specific part of construction equipment, a distance sensor that detects a distance between specific parts, a speed sensor that senses a speed of a specific part, an acceleration sensor that senses an acceleration of a specific part, a specific It may include a weight sensor for sensing the load applied to the part and a temperature sensor for sensing the temperature of a specific part, and of course, any sensor may be included if it is intended to detect the condition of construction equipment.

건설장비 시뮬레이션 장치(120)는 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수집한 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어한다. The construction equipment simulation apparatus 120 receives sensor data from sensors installed in the construction equipment, generates virtual construction equipment using the external information of the construction equipment and collected sensor data, and generates the virtual construction equipment. Control to display.

구체적으로, 건설장비 시뮬레이션 장치(120)는 수신부(122)와 제어부(124)를 포함한다. Specifically, the construction equipment simulation apparatus 120 includes a receiver 122 and a controller 124.

수신부(122)는 건설장비에 설치된 센서부(110)의 센서들로부터 센서 데이터들을 수신한다. 수신부(122)는 센서부(110)와 유선 또는 무선으로 통신을 수행할 수도 있다. The receiving unit 122 receives sensor data from sensors of the sensor unit 110 installed in the construction equipment. The receiving unit 122 may communicate with the sensor unit 110 through wired or wireless communication.

제어부(124)는 건설장비 시뮬레이션 장치(120)의 전반적인 동작을 제어한다. 구체적으로, 제어부(124)는 건설장비의 외형 정보 및 수신한 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어한다. The control unit 124 controls the overall operation of the construction equipment simulation device 120. Specifically, the control unit 124 generates the virtual construction equipment by using the external information of the construction equipment and the received sensor data, and controls the generated virtual construction equipment to be displayed.

제어부(124)는 건설장비 시뮬레이션 장치(120)에 포함된 디스플레이 장치에 가상의 건설장비를 표시할 수도 있고, 건설장비 시뮬레이션 장치(120)와 통신 가능하도록 연결된 다른 장치나 단말의 디스플레이에 표시할 수도 있음은 물론이다. The control unit 124 may display virtual construction equipment on the display device included in the construction equipment simulation apparatus 120 or may display it on the display of another device or terminal connected to communicate with the construction equipment simulation apparatus 120. Yes, of course.

이와 같은 구성의 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 생성하여 디스플레이에 표시할 수 있으며, 구체적인 건설장비 시뮬레이션 장치(120)의동작은 이하에서 도면을 참고하여 상세히 설명한다. The construction equipment simulation apparatus 120 having such a configuration can generate virtual construction equipment and display it on a display, and the operation of the concrete construction equipment simulation apparatus 120 will be described in detail with reference to the drawings below.

도 2는 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 방법을 설명하기 위해 제공되는 흐름도이다. 2 is a flowchart provided to explain a method for simulating construction equipment according to an embodiment of the present invention.

우선, 건설장비 시뮬레이션 장치(120)는 건설장비에 설치된 센서들로부터 센서 데이터들을 수신한다(S210). 여기에서, 센서데이터는 건설장비의 상태나 움직임을 감지한 결과 데이터에 해당하는 것으로, 건설장비의 특정 부분의 위치를 감지한 위치 데이터, 특정 부분 간의 거리를 감지한 거리 데이터, 특정 부분의 속도를 감지한 속도 데이터, 특정 부분의 가속도를 감지하는 가속도 데이터, 특정 부분에 걸리는 하중을 감지한 무게 데이터 및 특정 부분의 온도를 감지한 온도 데이터 등을 포함할 수도 있다. First, the construction equipment simulation apparatus 120 receives sensor data from sensors installed in the construction equipment (S210). Here, the sensor data corresponds to data as a result of detecting the state or movement of the construction equipment, the position data detecting the location of a specific part of the construction equipment, the distance data sensing the distance between the specific parts, the speed of the specific part It may also include detected speed data, acceleration data for sensing acceleration of a specific part, weight data for sensing a load applied to a specific part, and temperature data for sensing a temperature of a specific part.

그리고, 건설장비 시뮬레이션 장치(120)는 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성한다(S220). Then, the construction equipment simulation apparatus 120 generates virtual construction equipment using the external information of the construction equipment and the received sensor data (S220).

여기에서, 건설장비의 외형 정보는 해당 건설장비의 일반적인 외형에 대한 정보를 나타내는 것이며, 건설장비의 외형 정보는 제조사 및 모델명에 따라 결정된다. 즉, 건설장비 시뮬레이션 장치(120)는 건설장비의 제조사 및 모델명 등의 정보에 기초하여 가상화의 대상이 되는 건설장비가 무엇인지를 파악하고, 해당 건설장비에 대응되는 외형 정보를 외부 서버 또는 내부 저장장치로부터 획득하게 된다. Here, the appearance information of the construction equipment indicates information about the general appearance of the construction equipment, and the appearance information of the construction equipment is determined according to the manufacturer and model name. That is, the construction equipment simulation apparatus 120 identifies what construction equipment is targeted for virtualization based on information such as the manufacturer and model name of the construction equipment, and stores external information corresponding to the construction equipment in an external server or internally. It is obtained from the device.

그리고, 건설장비 시뮬레이션 장치(120)는 수신된 센서 데이터들을 이용하여 현재 해당 건설장비의 배치상태나 움직임 상태 등이 어떤지를 파악할 수 있게 되고, 이러한 건설장비의 배치상태나 움직임 상태를 건설장비의 외형 정보에 반영함으로써, 건설장비에 대응되는 가상의 건설장비를 생성할 수 있게 된다. In addition, the construction equipment simulation apparatus 120 can use the received sensor data to determine what the current arrangement status or movement status of the construction equipment is, and the appearance or movement status of the construction equipment. By reflecting the information, it is possible to generate virtual construction equipment corresponding to the construction equipment.

그 후에, 건설장비 시뮬레이션 장치(120)는 생성한 가상의 건설장비를 디스플레이에 표시하게 된다(S230). 가상의 건설장비에 대한 예시는 도 3에 도시 되어 있다. Thereafter, the construction equipment simulation apparatus 120 displays the generated virtual construction equipment on the display (S230). An example of virtual construction equipment is shown in FIG. 3.

도 3은 본 발명의 일 실시예에 따른, 가상의 건설장비가 표시된 화면의 일 예를 도시한 도면이다. 도 3은 크레인(crane) 장비에 대한 가상의 건설장비(300)가 표시된 화면이다. 도 3에 도시된 바와 같이, 가상의 건설장비(300)는 가상의 3차원 공간에 3차원 객체로 표시되어 있는 것을 확인할 수 있다. 또한, 가상의 건설장비(300)가 표시된 화면의 하단에는 일부 센서 데이터들이 표시되어 있는 것을 확인할 수 있다. 3 is a diagram illustrating an example of a screen on which virtual construction equipment is displayed according to an embodiment of the present invention. 3 is a screen displaying a virtual construction equipment 300 for a crane equipment. As shown in FIG. 3, it can be seen that the virtual construction equipment 300 is displayed as a 3D object in a virtual 3D space. In addition, it can be seen that some sensor data are displayed at the bottom of the screen where the virtual construction equipment 300 is displayed.

이와 같은 과정을 통해, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 생성하여 디스플레이 장치에 표시해 줄 수 있게 된다. Through this process, the construction equipment simulation apparatus 120 may generate and display virtual construction equipment on the display device.

도 4는 본 발명의 일 실시예에 따른, 사진을 이용하여 건설장비에 설치된 센서의 고장여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도이다. 4 is a flow chart provided to explain a process of determining whether a sensor installed in a construction equipment has failed using a photograph according to an embodiment of the present invention.

우선, 건설장비 시뮬레이션 장치(120)는, 해당 건설장비가 촬영된 사진을 수신한다(S410). 건설 장비가 실제 배치되어 작업이 진행중인 현장에서, 사용자가 스마트폰 등을 이용하여 해당 건설장비의 사진을 촬영하여 송신하면, 건설장비 시뮬레이션 장치(120)는 그 촬영된 사진을 수신하게 된다. First, the construction equipment simulation apparatus 120 receives a photograph of the construction equipment (S410). When the construction equipment is actually placed and the work is in progress, when the user takes a picture of the corresponding construction equipment using a smartphone or the like and transmits it, the construction equipment simulation apparatus 120 receives the photographed photograph.

건설장비 시뮬레이션 장치(120)는 수신된 사진에서 사진의 건설장비 형상을 추출한다(S420). 건설장비 시뮬레이션 장치(120)는 사진에서 물체를 추출하는 이미지 처리 기술을 이용하여, 수신된 사진에서 건설장비 형상에 해당되는 부분만을 추출할 수 있으며, 이를 위해 건설장비 외형 정보가 이용될 수도 있다. The construction equipment simulation apparatus 120 extracts the shape of the construction equipment of the photo from the received photo (S420). The construction equipment simulation apparatus 120 may extract only a portion corresponding to the shape of the construction equipment from the received photo by using an image processing technology that extracts an object from the photo, and for this, construction equipment appearance information may be used.

그 다음, 건설장비 시뮬레이션 장치(120)는 사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하게 된다(S430). 여기에서, 건설장비 시뮬레이션 장치(120)는 사진이 촬영된 시간을 사진의 메타정보를 통해 확인할 수 있다. Then, the construction equipment simulation apparatus 120 extracts a virtual construction equipment shape corresponding to the same time as the time the photo was taken, and the extracted virtual construction equipment shape is the same as the construction equipment shape of the photo extracted from the photo. It is arranged to be a magnification and an angle, and the shape of the virtual construction equipment and the construction equipment of the photo is compared (S430). Here, the construction equipment simulation apparatus 120 may check the time the photo was taken through meta information of the photo.

그리고, 건설장비 시뮬레이션 장치(120)는 수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하게 된다(S440). 구체적으로, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비와 사진의 건설장비 형상의 외형을 비교하고, 외형이 임계값 이상 차이나는 부분이 있는 경우, 해당 부분을 센싱 중인 센서가 고장인 것으로 판단하게 된다. 여기에서, 임계값은 정상적인 오차범위로 볼 수 있는 최대의 오차값을 나타내고, 건설장비 시뮬레이션 장치(120)는 임계값 이상 차이가 발생된 경우에는 센서의 고장으로 판단하게 된다. Then, the construction equipment simulation apparatus 120 compares the construction equipment shape and the virtual construction equipment photographed on the received photo to determine whether or not sensors installed in the construction equipment fail (S440). Specifically, the construction equipment simulation apparatus 120 compares the appearance of the virtual construction equipment and the shape of the construction equipment in the photo, and if there is a portion in which the shape differs by more than a threshold, it is determined that the sensor sensing the portion is defective. Is done. Here, the threshold value represents the maximum error value that can be viewed as a normal error range, and the construction equipment simulation apparatus 120 determines that the sensor is defective when a difference over the threshold value occurs.

예를 들어, 크레인 갈고리의 높이가 사진으로는 지상으로부터 3미터인 것으로 확인되었으나, 가상의 크레인의 갈고리 높이는 5미터인 것으로 설정되어 있고, 갈고리 높이에 대한 임계값은 1미터인 경우, 건설장비 시뮬레이션 장치(120)는 크레인의 갈고리 높이를 감지하는 센서가 고장인 것으로 판단하게 된다. For example, if the height of the crane hook is confirmed to be 3 meters from the ground in the photograph, the virtual crane hook height is set to be 5 meters, and the threshold for the hook height is 1 meter, simulating construction equipment. The device 120 determines that the sensor for detecting the height of the hook of the crane is a malfunction.

이와 같은 과정을 통해, 건설장비 시뮬레이션 장치(120)는 사진을 이용하여 센서의 고장 여부를 판단할 수 있게 된다. Through this process, the construction equipment simulation apparatus 120 can determine whether the sensor has failed using a photograph.

도 5는 본 발명의 일 실시예에 따른, 온도를 이용하여 건설장비에 설치된 센서의 고장여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도이다. 5 is a flowchart provided to explain a process of determining whether a sensor installed in a construction equipment has failed using temperature, according to an embodiment of the present invention.

우선, 건설장비 시뮬레이션 장치(120)는 해당 건설장비의 특정 부분에 대한 온도값을 수신한다(S510). 구체적으로, 건설 장비가 실제 배치되어 작업이 진행중인 현장에서, 사용자가 온도계 등을 이용하여 해당 건설장비의 특정 부분에 대한 온도를 측정하고 측정된 온도값을 스마트폰 등을 이용하여 송신하면, 건설장비 시뮬레이션 장치(120)는 그 측정된 온도값을 수신하게 된다. First, the construction equipment simulation apparatus 120 receives a temperature value for a specific portion of the construction equipment (S510). Specifically, when the construction equipment is actually placed and the work is in progress, when the user measures the temperature for a specific part of the construction equipment using a thermometer or the like and transmits the measured temperature value using a smartphone, the construction equipment The simulation device 120 receives the measured temperature value.

그리고, 건설장비 시뮬레이션 장치(120)는 수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값을 비교하여, 건설장비의 특정 부분에 설치된 센서들의 고장 여부를 판단하게 된다(S520). 구체적으로, 건설장비 시뮬레이션 장치(120)는 수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값의 차이가 임계값 이상인 경우, 해당 특정 부분을 센싱 중인 센서가 고장인 것으로 판단하게 된다.Then, the construction equipment simulation apparatus 120 compares the received temperature value with the temperature value detected by the sensor installed in the specific portion of the construction equipment, and determines whether the sensors installed in the specific portion of the construction equipment have failed ( S520). Specifically, when the difference between the received temperature value and the temperature value detected by the sensor installed in a specific portion of the construction equipment is greater than or equal to a threshold value, the construction equipment simulation apparatus 120 indicates that the sensor sensing the specific portion is defective. Will judge.

예를 들어, 크레인 엔진의 온도가 사용자에 의해 측정된 온도는 섭씨 60도인 것으로 확인되었으나, 같은 시간에 센서에 의해 감지된 센서데이터의 온도값은 섭씨 80도인 것으로 저장되어 있고, 크레인 엔진의 온도에 대한 임계값은 섭씨 10도인 경우, 건설장비 시뮬레이션 장치(120)는 크레인의 엔진의 온도를 감지하는 센서가 고장인 것으로 판단하게 된다. For example, although the temperature of the crane engine was determined to be 60 degrees Celsius measured by the user, the temperature value of the sensor data detected by the sensor at the same time is stored as 80 degrees Celsius, and the temperature of the crane engine is stored. When the threshold value for the case is 10 degrees Celsius, the construction equipment simulation apparatus 120 determines that the sensor for detecting the temperature of the engine of the crane is a failure.

이와 같은 과정을 통해, 건설장비 시뮬레이션 장치(120)는 온도 측정을 이용하여 센서의 고장 여부를 판단할 수 있게 된다. Through this process, the construction equipment simulation apparatus 120 may determine whether the sensor has failed using temperature measurement.

또한, 이와 같은 과정을 통해 센서의 고장이 확인된 경우, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 표시할 때 해당 센서가 센싱 중인 특정 부분을 다른 색상으로 표시할 수도 있다. 예를 들어, 건설장비 시뮬레이션 장치(120)는 센서가 고장 상태인 특정 부분은 주황색으로 표시할 수도 있다. In addition, when a failure of the sensor is confirmed through the above process, the construction equipment simulation apparatus 120 may display a specific portion of the sensor being sensed in a different color when displaying the virtual construction equipment. For example, the construction equipment simulation apparatus 120 may display a specific part in which the sensor is in a broken state in orange.

이와 같이, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비에서 센서가 고장인 부분이 어느 부분인지 사용자가 쉽게 확인할 수 있도록 가상의 건설장비에 센서의 고장부분을 색상을 달리하여 표시할 수 있다. As described above, the construction equipment simulation apparatus 120 may display the failure portion of the sensor in different colors on the virtual construction equipment so that the user can easily identify which portion of the virtual construction equipment is the malfunctioning portion.

도 6은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 비정상인지 여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도이다. 6 is a flowchart provided to explain a process of determining whether a specific portion of equipment is abnormal according to an embodiment of the present invention.

우선, 건설장비 시뮬레이션 장치(120)는 센서 데이터들이 정상범위에 포함되는지 여부에 기초하여, 해당 건설장비의 정상 또는 비정상 여부를 판단한다(S610). First, the construction equipment simulation apparatus 120 determines whether the construction equipment is normal or abnormal based on whether the sensor data is included in the normal range (S610).

예를 들어, 크레인의 갈고리의 높이는 정상 작동범위가 지상으로부터 1미터 내지 20미터인 경우, 건설장비 시뮬레이션 장치(120)는 크레인의 갈고리의 높이를 측정한 센서데이터의 범위가 1미터 내지 20미터 내에 있는 경우 해당 크레인의 갈고리는 정상인 것으로 판단한다. 하지만, 건설장비 시뮬레이션 장치(120)는 센서 데이터에 0.5미터 또는 30미터 등의 정상범위를 벗어나는 값들이 포함되어 있는 경우, 해당 크레인의 갈고리는 비정상 상태인 것으로 판단하게 된다. For example, if the height of the hook of the crane is a normal operating range of 1 to 20 meters from the ground, the construction equipment simulation device 120 has a range of sensor data measuring the height of the hook of the crane within 1 to 20 meters. If present, the hook of the crane is considered to be normal. However, the construction equipment simulation apparatus 120 determines that the hook of the crane is in an abnormal state when the sensor data includes values outside the normal range, such as 0.5 meters or 30 meters.

또한, 도 7과 도 8은 엔진의 온도와 관련하여 정상의 경우와 비정상의 경우를 나타내고 있다. 도 7은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 정상인 상태인 경우의 센서 데이터 그래프를 도시한 도면이다. 7 and 8 show normal and abnormal cases in relation to the temperature of the engine. 7 is a diagram illustrating a sensor data graph when a specific portion of equipment is in a normal state according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 건설장비의 엔진의 온도는 정상범위가 90도에서 190도이고, 도 7의 경우는 센서데이터가 모두 정상범위 내에 있는 것으로 확인 할 수 있다. 따라서, 건설장비 시뮬레이션 장치(100)는 도 7과 같은 경우에는 해당 건설장비의 엔진 부분은 정상인 것으로 판단하게 된다. As shown in FIG. 7, the temperature of the engine of the construction equipment has a normal range of 90 to 190 degrees, and in FIG. 7, it can be confirmed that all sensor data are within the normal range. Accordingly, the construction equipment simulation apparatus 100 determines that the engine part of the construction equipment is normal in the case of FIG. 7.

도 8은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 비정상인 상태인 경우의 센서 데이터 그래프를 도시한 도면이다. 8 is a diagram illustrating a sensor data graph when a specific portion of equipment is in an abnormal state according to an embodiment of the present invention.

도 8에 도시된 바와 같이, 건설장비의 엔진의 온도는 정상범위가 90도에서 190도이고, 도 8의 경우는 센서데이터가 정상범위를 벗어난 값들이 3개가 있는 것을 확인 할 수 있다. 따라서, 건설장비 시뮬레이션 장치(100)는 도 8과 같은 경우에는 해당 건설장비의 엔진 부분은 비정상인 것으로 판단하게 된다. As shown in Figure 8, the temperature of the engine of the construction equipment is a normal range is 90 to 190 degrees, in the case of Figure 8 it can be confirmed that there are three values of the sensor data outside the normal range. Accordingly, the construction equipment simulation apparatus 100 determines that the engine part of the construction equipment is abnormal in the case of FIG. 8.

또한, 건설장비 시뮬레이션 장치(120)는 센서를 통해 외기 온도를 감지하고, 감지된 외기 온도에 따라 정상범위의 값을 변경할 수도 있다. 외기 온도에 따라 센서의 감도나 건설장비의 정상 가동범위 등이 변경될 가능성이 높기 때문에, 건설장비 시뮬레이션 장치(120)는 외기 온도에 따라 정상범위의 값을 적응적으로 변경하으로써, 정상범위를 더욱 정확하게 설정할 수 있게 된다. In addition, the construction equipment simulation apparatus 120 may detect the outside temperature through a sensor, and change the value of the normal range according to the detected outside temperature. Since the sensitivity of the sensor or the normal operating range of the construction equipment is likely to change according to the outside temperature, the construction equipment simulation apparatus 120 changes the normal range by adaptively changing the value of the normal range according to the outside temperature. It can be set more accurately.

다시 도 6으로 돌아가서, 건설장비 시뮬레이션 장치(120)는 해당 건설장비의 특정 부분이 비정상인 것으로 판단된 경우, 가상의 건설장비의 해당 특정 부분을 다른 색상으로 표시하게 된다(S620). 예를 들어, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 표시할 때 정상인 부분들은 회색으로 표시하고, 비정상인 부분은 빨간색으로 표시할 수 있다. 6, the construction equipment simulation apparatus 120 displays a specific portion of the virtual construction equipment in a different color when it is determined that a specific portion of the construction equipment is abnormal (S620). For example, when the construction equipment simulation apparatus 120 displays virtual construction equipment, normal parts may be displayed in gray, and abnormal parts may be displayed in red.

도 9는 본 발명의 일 실시예에 따른, 가상의 건설장비에서 비정상인 부분의 색상이 다르게 표시된 화면을 도시한 도면이다. 9 is a view showing a screen in which the color of an abnormal part is differently displayed in the virtual construction equipment according to an embodiment of the present invention.

도 9에 도시된 바와 같이, 가상의 건설장비는 다른 부분은 모두 회색으로 표시되어 있으나, 기둥부분(900)은 빨간색으로 표시된 것을 확인할 수 있다. 이는 기둥부분이 비정상 상태임을 나타내는 것이다.  As shown in FIG. 9, it can be seen that the virtual construction equipment has all other parts displayed in gray, but the pillar part 900 is displayed in red. This indicates that the pillar portion is in an abnormal state.

도 10은 본 발명의 일 실시예에 따른, 가상의 건설장비에서 비정상인 부분과 센서가 비정상인 부분의 색상이 서로 다르게 표시된 화면을 도시한 도면이다. FIG. 10 is a diagram illustrating a screen in which colors of the abnormal part and the abnormal part of the sensor are differently displayed in the virtual construction equipment according to an embodiment of the present invention.

도 10의 경우, 가상의 건설장비는 다른 부분은 모두 회색으로 표시되어 있으나, 기둥부분(900)은 빨간색으로 표시된 것을 확인할 수 있다. 이는 기둥부분이 비정상 상태임을 나타내는 것이다.In the case of FIG. 10, it can be seen that all other parts of the virtual construction equipment are grayed out, but the pillar part 900 is displayed in red. This indicates that the pillar portion is in an abnormal state.

또한, 도 10의 경우, 엔진 부분(1000)은 주황색으로 표시된 것을 확인할 수 있으며, 이는 건설장비의 엔진의 온도를 감지하는 센서가 고장 상태임을 나타내는 것이다. In addition, in the case of FIG. 10, it can be seen that the engine part 1000 is displayed in orange, which indicates that the sensor detecting the temperature of the engine of the construction equipment is in a faulty state.

이와 같이, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 표시할 때, 비정상인 부분과 센서 고장인 부분과 정상적인 부분을 각각 서로 다른 색상으로 표시하게 된다. 이를 통해, 건설장비 시뮬레이션 장치(120)는 사용자로 하여금 비정상 작동하는 부분이나 센서 고장인 부분을 쉽게 확인할 수 있게 해주게 된다. As described above, when displaying the virtual construction equipment, the construction equipment simulation apparatus 120 displays the abnormal portion, the sensor failure portion, and the normal portion in different colors, respectively. Through this, the construction equipment simulation apparatus 120 allows the user to easily identify a part that is abnormally operated or that is a sensor failure.

도 11은 본 발명의 일실시예에 따른, 건설장비의 일부분만 표시된 화면을 도시한 도면이다. 도 11의 경우, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비 중 기둥부분만을 표시하고 있다. 11 is a diagram illustrating a screen in which only a part of construction equipment is displayed according to an embodiment of the present invention. In the case of FIG. 11, the construction equipment simulation apparatus 120 displays only the pillar portion of the virtual construction equipment.

도 12은 본 발명의 일실시예에 따른, 건설장비의 다른 일부분만 표시된 화면을 도시한 도면이다. 도 12의 경우, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비 중 엔진부분만을 표시하고 있다. 또한 도 12의 경우 빨간색으로 엔진부분을 표시하여 엔진부분이 비정상 상태임을 나타내고 있다. 12 is a view showing a screen in which only another part of construction equipment is displayed according to an embodiment of the present invention. In the case of FIG. 12, the construction equipment simulation apparatus 120 displays only the engine part of the virtual construction equipment. In addition, in FIG. 12, the engine portion is indicated in red to indicate that the engine portion is abnormal.

도 13는 본 발명의 일실시예에 따른, 건설장비의 또다른 일부분만 표시된 화면을 도시한 도면이다. 도 13의 경우, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비 중 바퀴부분만을 표시하고 있다. 13 is a diagram illustrating a screen in which only another part of construction equipment is displayed according to an embodiment of the present invention. In the case of FIG. 13, the construction equipment simulation apparatus 120 displays only the wheel portion of the virtual construction equipment.

이와 같이, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 부분별로 상세히 표시해주는 기능을 제공할 수도 있다. As such, the construction equipment simulation apparatus 120 may provide a function of displaying virtual construction equipment in detail for each part.

한편, 본 실시예에 따른 장치의 기능 및 방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다. On the other hand, of course, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing functions and methods of the apparatus according to the present embodiment. Further, the technical idea according to various embodiments of the present disclosure may be implemented in the form of computer-readable programming language codes recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and stores data. Of course, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, flash memory, solid state disk (SSD), or the like. In addition, computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물은 다른 유형의 디지털 전자 회로로구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다.Although this specification and drawings describe exemplary device configurations, the functional operations and subject implementations described herein are implemented in other types of digital electronic circuitry, or include the structures disclosed herein and their structural equivalents. Computer software, firmware or hardware, or a combination of one or more of them.

따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 본 발명이속하는 분야의 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.Therefore, although the present invention has been described in detail with reference to the above-described examples, those skilled in the art to which the present invention pertains may make modifications, alterations and modifications to the examples without departing from the scope of the present invention.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.

100 : 건설장비 시뮬레이션 시스템
110 : 센서부
120 : 건설장비 시뮬레이션 장치
122 : 수신부
124 : 제어부100: construction equipment simulation system
110: sensor unit
120: construction equipment simulation device
122: receiver
124: control unit

Claims (12)

건설장비에 설치된 센서들로부터 센서 데이터들을 수신하는 단계;
건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하는 단계; 및
생성한 가상의 건설장비를 표시하는 단계;를 포함하는 건설장비 시뮬레이션 방법.
Receiving sensor data from sensors installed in the construction equipment;
Generating virtual construction equipment using the external information of the construction equipment and the received sensor data; And
Displaying the generated virtual construction equipment; Construction equipment simulation method comprising a.
청구항 1에 있어서,
해당 건설장비가 촬영된 사진을 수신하는 단계;
수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
The method according to claim 1,
Receiving a photograph of the corresponding construction equipment;
And comparing the construction equipment shape and the virtual construction equipment photographed on the received photo to determine whether the sensors installed in the construction equipment are broken.
청구항 2에 있어서,
판단하는 단계는,
수신된 사진에서 사진의 건설장비 형상을 추출하는 단계;
사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하는 단계;를 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
The method according to claim 2,
The judging step is,
Extracting the construction equipment shape of the photo from the received photo;
The virtual construction equipment shape corresponding to the same time as the time the photo was taken is extracted, the extracted virtual construction equipment shape is arranged to have the same magnification and angle as the construction equipment shape of the photo extracted from the photo, and the virtual construction Comparing the shape of the equipment and the construction equipment of the photo; Construction equipment simulation method comprising a.
청구항 3에 있어서,
판단하는 단계는,
가상의 건설장비와 사진의 건설장비 형상의 외형을 비교하고, 외형이 임계값 이상 차이나는 부분이 있는 경우, 해당 부분을 센싱 중인 센서가 고장인 것으로 판단하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
The method according to claim 3,
The judging step is,
A construction equipment simulation method characterized by comparing the appearance of the virtual construction equipment with the shape of the construction equipment in the photograph, and determining that the sensor sensing the corresponding portion is defective when there is a portion in which the appearance differs by more than a threshold value.
청구항 1에 있어서,
해당 건설장비의 특정 부분에 대한 온도값을 수신하는 단계;
수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값을 비교하여, 건설장비의 특정 부분에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
The method according to claim 1,
Receiving a temperature value for a specific portion of the construction equipment;
And comparing the received temperature value with the temperature value sensed by the sensor installed in the specific portion of the construction equipment, and determining whether the sensors installed in the specific portion of the construction equipment fail. Simulation method.
청구항 5에 있어서,
판단하는 단계는,
수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값의 차이가 임계값 이상인 경우, 해당 특정 부분을 센싱 중인 센서가 고장인 것으로 판단하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
The method according to claim 5,
The judging step is,
If the difference between the received temperature value and the temperature value detected by the sensor installed in the specific portion of the construction equipment is greater than or equal to the threshold, the construction equipment simulation method characterized in that the sensor sensing the specific portion is determined to be faulty.
청구항 1에 있어서,
센서 데이터들이 정상범위에 포함되는지 여부에 기초하여, 해당 건설장비의 정상 또는 비정상 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
The method according to claim 1,
Based on whether the sensor data is included in the normal range, determining whether the construction equipment is normal or abnormal; construction equipment simulation method further comprising.
청구항 7에 있어서,
해당 건설장비의 특정 부분이 비정상인 것으로 판단된 경우, 가상의 건설장비의 해당 특정 부분을 다른 색상으로 표시하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
The method according to claim 7,
If it is determined that a specific part of the construction equipment is abnormal, the construction equipment simulation method characterized by displaying the specific portion of the virtual construction equipment in a different color.
청구항 7에 있어서,
해당 건설장비의 정상 또는 비정상 여부를 판단하는 단계는,
센서를 통해 외기 온도를 감지하고, 감지된 외기 온도에 따라 정상범위의 값을 변경하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
The method according to claim 7,
The step of determining whether the construction equipment is normal or abnormal,
A method for simulating construction equipment, which detects the outside temperature through a sensor and changes the value of the normal range according to the detected outside temperature.
건설장비에 설치된 센서들로부터 센서 데이터들을 수집하는 단계;
건설장비의 외형 정보 및 수집한 센서 데이터들을 이용하여, 가상의 건설장비를 생성하는 단계; 및
생성한 가상의 건설장비를 표시하는 단계;를 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법을 실행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
Collecting sensor data from sensors installed in the construction equipment;
Generating virtual construction equipment by using external information of the construction equipment and collected sensor data; And
Displaying the generated virtual construction equipment; Computer-readable recording medium containing a computer program for executing a construction equipment simulation method comprising the.
건설장비에 설치된 센서들로부터 센서 데이터들을 수신하는 수신부; 및
건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어하는 제어부;를 포함하는 건설장비 시뮬레이션 장치.
A receiving unit for receiving sensor data from sensors installed in the construction equipment; And
Construction equipment simulation apparatus comprising; a control unit for generating a virtual construction equipment, and using the appearance information of the construction equipment and the received sensor data, and controls to display the generated virtual construction equipment.
건설장비에 설치된 복수개의 센서들을 포함하는 센서부; 및
건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어하는 건설장비 시뮬레이션 장치;를 포함하는 건설장비 시뮬레이션 시스템.
A sensor unit including a plurality of sensors installed in the construction equipment; And
Construction equipment simulation device that receives sensor data from sensors installed in construction equipment, generates virtual construction equipment using the appearance information of the construction equipment and received sensor data, and controls to display the generated virtual construction equipment. Construction equipment simulation system comprising a.
KR1020180144130A 2018-11-21 2018-11-21 Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence KR102129182B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180144130A KR102129182B1 (en) 2018-11-21 2018-11-21 Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180144130A KR102129182B1 (en) 2018-11-21 2018-11-21 Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence

Publications (2)

Publication Number Publication Date
KR20200059429A true KR20200059429A (en) 2020-05-29
KR102129182B1 KR102129182B1 (en) 2020-07-01

Family

ID=70911719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144130A KR102129182B1 (en) 2018-11-21 2018-11-21 Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence

Country Status (1)

Country Link
KR (1) KR102129182B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102495862B1 (en) * 2022-05-23 2023-02-06 주식회사 스탠스 Device, method and computer program for determining whether to data of digital twin model is normal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005113397A (en) * 2003-10-03 2005-04-28 Hitachi Constr Mach Co Ltd Display device of construction machine
JP2006327722A (en) * 2005-05-24 2006-12-07 Hitachi Constr Mach Co Ltd Information display device for construction machine
KR101595243B1 (en) * 2015-05-04 2016-02-19 주식회사 두올테크 Automatic modeling system for facility in field based building information modeling and method thereof
KR20160118636A (en) * 2015-04-02 2016-10-12 두산인프라코어 주식회사 Virtual simulator for a construction machine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005113397A (en) * 2003-10-03 2005-04-28 Hitachi Constr Mach Co Ltd Display device of construction machine
JP2006327722A (en) * 2005-05-24 2006-12-07 Hitachi Constr Mach Co Ltd Information display device for construction machine
KR20160118636A (en) * 2015-04-02 2016-10-12 두산인프라코어 주식회사 Virtual simulator for a construction machine
KR101595243B1 (en) * 2015-05-04 2016-02-19 주식회사 두올테크 Automatic modeling system for facility in field based building information modeling and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102495862B1 (en) * 2022-05-23 2023-02-06 주식회사 스탠스 Device, method and computer program for determining whether to data of digital twin model is normal
WO2023229192A1 (en) * 2022-05-23 2023-11-30 주식회사 스탠스 Apparatus, method, and computer program for determining normalcy of data of digital twin model

Also Published As

Publication number Publication date
KR102129182B1 (en) 2020-07-01

Similar Documents

Publication Publication Date Title
JP6810097B2 (en) Anomaly detector
JP6585482B2 (en) Device diagnostic apparatus and system and method
JP2019016209A (en) Diagnosis device, diagnosis method, and computer program
JP5901140B2 (en) Methods, computer programs, and systems for interpolating sensor data for high system availability.
CN108628286A (en) Board maintenance system and method
US11580629B2 (en) System and method for determining situation of facility by imaging sensing data of facility
US20210116331A1 (en) Anomaly analysis method, program, and system
US20200143292A1 (en) Signature enhancement for deviation measurement-based classification of a detected anomaly in an industrial asset
JP7108417B2 (en) Anomaly detection system
KR20190025474A (en) Apparatus and Method for Predicting Plant Data
US11640459B2 (en) Abnormality detection device
JP2017102765A (en) Abnormality sign detection system and abnormality sign detection method
JP2019144931A (en) Abnormality monitoring apparatus, abnormality monitoring method, and abnormality monitoring program
CN108955951A (en) A kind of temperature sensor fault judgment method and device
KR20220127474A (en) Abnormal status monitoring and controlling system for automated process
US20140058615A1 (en) Fleet anomaly detection system and method
TW201508297A (en) Test monitoring system and method for circuit board
KR102129182B1 (en) Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence
JP6939661B2 (en) Failure prediction support device, failure prediction support method and failure prediction support program
CN106989704A (en) Realize the system and method for automatic detection target putting position to be measured
JP6898607B2 (en) Abnormality sign detection system and abnormality sign detection method
WO2020183539A1 (en) Breakdown diagnosis system, prediction rule generation method, and prediction rule generation program
KR20170048843A (en) System and method for detecting anomality using sensor data
EP2956751B1 (en) Method and monitoring device for monitoring a structure
EP3407028B1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant