KR102129182B1 - 디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법 - Google Patents

디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법 Download PDF

Info

Publication number
KR102129182B1
KR102129182B1 KR1020180144130A KR20180144130A KR102129182B1 KR 102129182 B1 KR102129182 B1 KR 102129182B1 KR 1020180144130 A KR1020180144130 A KR 1020180144130A KR 20180144130 A KR20180144130 A KR 20180144130A KR 102129182 B1 KR102129182 B1 KR 102129182B1
Authority
KR
South Korea
Prior art keywords
construction equipment
virtual
photo
shape
sensor
Prior art date
Application number
KR1020180144130A
Other languages
English (en)
Other versions
KR20200059429A (ko
Inventor
안재훈
김영환
김찬협
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180144130A priority Critical patent/KR102129182B1/ko
Publication of KR20200059429A publication Critical patent/KR20200059429A/ko
Application granted granted Critical
Publication of KR102129182B1 publication Critical patent/KR102129182B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

건설장비 시뮬레이션 방법, 장치, 기록매체 및 시스템이 제공된다. 본 건설장비 시뮬레이션 방법에 따르면, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하며, 생성한 가상의 건설장비를 표시할 수 있게 되어, 건설장비에 대한 디지털 쌍둥이를 구성하여 장비 상태, 작업정보 등의 데이터를 실시간으로 수집하여 시뮬레이션을 할 수 있게 되고, 이를 통해 건설장비의 고장 뿐만 아니라 관련 센서의 고장도 쉽게 확인할 수 있게 된다.

Description

디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법 {Method for applying Visualization Tool for Digital Twin based Construction Machine Intelligence}
본 발명은 건설장비 시뮬레이션 방법 및 장치에 관한 것으로, 더욱 상세하게는, 디지털 트윈을 기반으로 건설기계 장비를 가상세계에 디지털 시뮬레이션화하는 건설장비 시뮬레이션 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
건설기계 장비의 증가에 따라 건설기계 부품은 기하급수적으로 늘어나게 됐는데, 하나의 건설기계만 하더라도 수많은 부품들로 구성되어있어 부품 각각의 잔여수명이나 노후여부 상태를 사람의 직관만으로 판단하기에는 어려운 상황이다.
또한, 건설기계의 부품 고장발생 시 고장원인 및 고장발생위치를 파악하기 어려움이 있다.
이에 따라, 건설기계 및 그 부품의 현재 상태를 실시간으로 모니터링하고, 시간에 따른 상태변화와 부품이 기능을 수행할 수 있는 최소한의 조건을 고려하여 잔여 유효수명을 계산하고, 이를 통해 고장이 일어나기 전까지 부품을 활용할 수 있도록 상태기반 유지보수를 제공하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하며, 생성한 가상의 건설장비를 표시하는 건설장비 시뮬레이션 방법, 장치, 기록매체 및 시스템을 제공함에 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 방법은, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하는 단계; 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하는 단계; 및 생성한 가상의 건설장비를 표시하는 단계;를 포함한다.
그리고, 해당 건설장비가 촬영된 사진을 수신하는 단계; 수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함할 수도 있다.
또한, 판단하는 단계는, 수신된 사진에서 사진의 건설장비 형상을 추출하는 단계; 사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하는 단계;를 포함할 수도 있다.
그리고, 판단하는 단계는, 가상의 건설장비와 사진의 건설장비 형상의 외형을 비교하고, 외형이 임계값 이상 차이나는 부분이 있는 경우, 해당 부분을 센싱 중인 센서가 고장인 것으로 판단할 수도 있다.
또한, 해당 건설장비의 특정 부분에 대한 온도값을 수신하는 단계; 수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값을 비교하여, 건설장비의 특정 부분에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함할 수도 있다.
그리고, 판단하는 단계는, 수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값의 차이가 임계값 이상인 경우, 해당 특정 부분을 센싱 중인 센서가 고장인 것으로 판단할 수도 있다.
또한, 센서 데이터들이 정상범위에 포함되는지 여부에 기초하여, 해당 건설장비의 정상 또는 비정상 여부를 판단하는 단계;를 더 포함할 수도 있다.
그리고, 해당 건설장비의 특정 부분이 비정상인 것으로 판단된 경우, 가상의 건설장비의 해당 특정 부분을 다른 색상으로 표시할 수도 있다.
또한, 해당 건설장비의 정상 또는 비정상 여부를 판단하는 단계는, 센서를 통해 외기 온도를 감지하고, 감지된 외기 온도에 따라 정상범위의 값을 변경할 수도 있다.
한편, 본 발명의 일 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체는, 건설장비에 설치된 센서들로부터 센서 데이터들을 수집하는 단계; 건설장비의 외형 정보 및 수집한 센서 데이터들을 이용하여, 가상의 건설장비를 생성하는 단계; 및 생성한 가상의 건설장비를 표시하는 단계;를 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법을 실행하는 컴퓨터 프로그램이 수록된다.
한편, 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 장치는, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하는 수신부; 및 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어하는 제어부;를 포함한다.
한편, 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 시스템은, 건설장비에 설치된 복수개의 센서들을 포함하는 센서부; 및 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어하는 건설장비 시뮬레이션 장치;를 포함한다.
본 발명의 다양한 실시예에 따르면, 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하며, 생성한 가상의 건설장비를 표시하는 건설장비 시뮬레이션 방법, 장치, 기록매체 및 시스템을 제공할 수 있게 되어, 건설장비에 대한 디지털 쌍둥이를 구성하여 장비 상태, 작업정보 등의 데이터를 실시간으로 수집하여 시뮬레이션을 할 수 있게 되고, 이를 통해 건설장비의 고장 뿐만 아니라 관련 센서의 고장도 쉽게 확인할 수 있게 된다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에 서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시 예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 시스템의 구성을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 방법을 설명하기 위해 제공되는 흐름도,
도 3은 본 발명의 일 실시예에 따른, 가상의 건설장비가 표시된 화면의 일 예를 도시한 도면,
도 4는 본 발명의 일 실시예에 따른, 사진을 이용하여 건설장비에 설치된 센서의 고장여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도,
도 5는 본 발명의 일 실시예에 따른, 온도를 이용하여 건설장비에 설치된 센서의 고장여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도,
도 6은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 비정상인지 여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도,
도 7은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 정상인 상태인 경우의 센서 데이터 그래프를 도시한 도면,
도 8은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 비정상인 상태인 경우의 센서 데이터 그래프를 도시한 도면,
도 9는 본 발명의 일 실시예에 따른, 가상의 건설장비에서 비정상인 부분의 색상이 다르게 표시된 화면을 도시한 도면,
도 10은 본 발명의 일 실시예에 따른, 가상의 건설장비에서 비정상인 부분과 센서가 비정상인 부분의 색상이 서로 다르게 표시된 화면을 도시한 도면,
도 11은 본 발명의 일실시예에 따른, 건설장비의 일부분만 표시된 화면을 도시한 도면,
도 12은 본 발명의 일실시예에 따른, 건설장비의 다른 일부분만 표시된 화면을 도시한 도면,
도 13는 본 발명의 일실시예에 따른, 건설장비의 또다른 일부분만 표시된 화면을 도시한 도면이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을의미한다.
다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 기술되는 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 시스템(100)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 건설장비 시뮬레이션 시스템(100)은 센서부(110) 및 건설장비 시뮬레이션 장치(120)를 포함한다.
센서부(110)는 건설장비에 설치된 복수개의 센서들을 포함한다. 센서부(110)의 센서들은 건설장비의 다양한 상태를 감지하고, 감지된 상태 정보에 대응되는 센서데이터를 생성하게 된다. 센서부(110)는 건설장비의 특정 부분의 위치를 감지하는 위치센서, 특정 부분 간의 거리를 감지하는 거리 센서, 특정 부분의 속도를 감지하는 속도 센서, 특정 부분의 가속도를 감지하는 가속도 센서, 특정 부분에 걸리는 하중을 감지하는 무게 센서 및 특정 부분의 온도를 감지하는 온도 센서 등을 포함할 수 있으며, 그외에도 건설장비의 상태를 감지하기 위한 것이라면 어떤 센서도 포함될 수 있음은 물론이다.
건설장비 시뮬레이션 장치(120)는 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수집한 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어한다.
구체적으로, 건설장비 시뮬레이션 장치(120)는 수신부(122)와 제어부(124)를 포함한다.
수신부(122)는 건설장비에 설치된 센서부(110)의 센서들로부터 센서 데이터들을 수신한다. 수신부(122)는 센서부(110)와 유선 또는 무선으로 통신을 수행할 수도 있다.
제어부(124)는 건설장비 시뮬레이션 장치(120)의 전반적인 동작을 제어한다. 구체적으로, 제어부(124)는 건설장비의 외형 정보 및 수신한 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어한다.
제어부(124)는 건설장비 시뮬레이션 장치(120)에 포함된 디스플레이 장치에 가상의 건설장비를 표시할 수도 있고, 건설장비 시뮬레이션 장치(120)와 통신 가능하도록 연결된 다른 장치나 단말의 디스플레이에 표시할 수도 있음은 물론이다.
이와 같은 구성의 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 생성하여 디스플레이에 표시할 수 있으며, 구체적인 건설장비 시뮬레이션 장치(120)의동작은 이하에서 도면을 참고하여 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른, 건설장비 시뮬레이션 방법을 설명하기 위해 제공되는 흐름도이다.
우선, 건설장비 시뮬레이션 장치(120)는 건설장비에 설치된 센서들로부터 센서 데이터들을 수신한다(S210). 여기에서, 센서데이터는 건설장비의 상태나 움직임을 감지한 결과 데이터에 해당하는 것으로, 건설장비의 특정 부분의 위치를 감지한 위치 데이터, 특정 부분 간의 거리를 감지한 거리 데이터, 특정 부분의 속도를 감지한 속도 데이터, 특정 부분의 가속도를 감지하는 가속도 데이터, 특정 부분에 걸리는 하중을 감지한 무게 데이터 및 특정 부분의 온도를 감지한 온도 데이터 등을 포함할 수도 있다.
그리고, 건설장비 시뮬레이션 장치(120)는 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성한다(S220).
여기에서, 건설장비의 외형 정보는 해당 건설장비의 일반적인 외형에 대한 정보를 나타내는 것이며, 건설장비의 외형 정보는 제조사 및 모델명에 따라 결정된다. 즉, 건설장비 시뮬레이션 장치(120)는 건설장비의 제조사 및 모델명 등의 정보에 기초하여 가상화의 대상이 되는 건설장비가 무엇인지를 파악하고, 해당 건설장비에 대응되는 외형 정보를 외부 서버 또는 내부 저장장치로부터 획득하게 된다.
그리고, 건설장비 시뮬레이션 장치(120)는 수신된 센서 데이터들을 이용하여 현재 해당 건설장비의 배치상태나 움직임 상태 등이 어떤지를 파악할 수 있게 되고, 이러한 건설장비의 배치상태나 움직임 상태를 건설장비의 외형 정보에 반영함으로써, 건설장비에 대응되는 가상의 건설장비를 생성할 수 있게 된다.
그 후에, 건설장비 시뮬레이션 장치(120)는 생성한 가상의 건설장비를 디스플레이에 표시하게 된다(S230). 가상의 건설장비에 대한 예시는 도 3에 도시 되어 있다.
도 3은 본 발명의 일 실시예에 따른, 가상의 건설장비가 표시된 화면의 일 예를 도시한 도면이다. 도 3은 크레인(crane) 장비에 대한 가상의 건설장비(300)가 표시된 화면이다. 도 3에 도시된 바와 같이, 가상의 건설장비(300)는 가상의 3차원 공간에 3차원 객체로 표시되어 있는 것을 확인할 수 있다. 또한, 가상의 건설장비(300)가 표시된 화면의 하단에는 일부 센서 데이터들이 표시되어 있는 것을 확인할 수 있다.
이와 같은 과정을 통해, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 생성하여 디스플레이 장치에 표시해 줄 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른, 사진을 이용하여 건설장비에 설치된 센서의 고장여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도이다.
우선, 건설장비 시뮬레이션 장치(120)는, 해당 건설장비가 촬영된 사진을 수신한다(S410). 건설 장비가 실제 배치되어 작업이 진행중인 현장에서, 사용자가 스마트폰 등을 이용하여 해당 건설장비의 사진을 촬영하여 송신하면, 건설장비 시뮬레이션 장치(120)는 그 촬영된 사진을 수신하게 된다.
건설장비 시뮬레이션 장치(120)는 수신된 사진에서 사진의 건설장비 형상을 추출한다(S420). 건설장비 시뮬레이션 장치(120)는 사진에서 물체를 추출하는 이미지 처리 기술을 이용하여, 수신된 사진에서 건설장비 형상에 해당되는 부분만을 추출할 수 있으며, 이를 위해 건설장비 외형 정보가 이용될 수도 있다.
그 다음, 건설장비 시뮬레이션 장치(120)는 사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하게 된다(S430). 여기에서, 건설장비 시뮬레이션 장치(120)는 사진이 촬영된 시간을 사진의 메타정보를 통해 확인할 수 있다.
그리고, 건설장비 시뮬레이션 장치(120)는 수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하게 된다(S440). 구체적으로, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비와 사진의 건설장비 형상의 외형을 비교하고, 외형이 임계값 이상 차이나는 부분이 있는 경우, 해당 부분을 센싱 중인 센서가 고장인 것으로 판단하게 된다. 여기에서, 임계값은 정상적인 오차범위로 볼 수 있는 최대의 오차값을 나타내고, 건설장비 시뮬레이션 장치(120)는 임계값 이상 차이가 발생된 경우에는 센서의 고장으로 판단하게 된다.
예를 들어, 크레인 갈고리의 높이가 사진으로는 지상으로부터 3미터인 것으로 확인되었으나, 가상의 크레인의 갈고리 높이는 5미터인 것으로 설정되어 있고, 갈고리 높이에 대한 임계값은 1미터인 경우, 건설장비 시뮬레이션 장치(120)는 크레인의 갈고리 높이를 감지하는 센서가 고장인 것으로 판단하게 된다.
이와 같은 과정을 통해, 건설장비 시뮬레이션 장치(120)는 사진을 이용하여 센서의 고장 여부를 판단할 수 있게 된다.
도 5는 본 발명의 일 실시예에 따른, 온도를 이용하여 건설장비에 설치된 센서의 고장여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도이다.
우선, 건설장비 시뮬레이션 장치(120)는 해당 건설장비의 특정 부분에 대한 온도값을 수신한다(S510). 구체적으로, 건설 장비가 실제 배치되어 작업이 진행중인 현장에서, 사용자가 온도계 등을 이용하여 해당 건설장비의 특정 부분에 대한 온도를 측정하고 측정된 온도값을 스마트폰 등을 이용하여 송신하면, 건설장비 시뮬레이션 장치(120)는 그 측정된 온도값을 수신하게 된다.
그리고, 건설장비 시뮬레이션 장치(120)는 수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값을 비교하여, 건설장비의 특정 부분에 설치된 센서들의 고장 여부를 판단하게 된다(S520). 구체적으로, 건설장비 시뮬레이션 장치(120)는 수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값의 차이가 임계값 이상인 경우, 해당 특정 부분을 센싱 중인 센서가 고장인 것으로 판단하게 된다.
예를 들어, 크레인 엔진의 온도가 사용자에 의해 측정된 온도는 섭씨 60도인 것으로 확인되었으나, 같은 시간에 센서에 의해 감지된 센서데이터의 온도값은 섭씨 80도인 것으로 저장되어 있고, 크레인 엔진의 온도에 대한 임계값은 섭씨 10도인 경우, 건설장비 시뮬레이션 장치(120)는 크레인의 엔진의 온도를 감지하는 센서가 고장인 것으로 판단하게 된다.
이와 같은 과정을 통해, 건설장비 시뮬레이션 장치(120)는 온도 측정을 이용하여 센서의 고장 여부를 판단할 수 있게 된다.
또한, 이와 같은 과정을 통해 센서의 고장이 확인된 경우, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 표시할 때 해당 센서가 센싱 중인 특정 부분을 다른 색상으로 표시할 수도 있다. 예를 들어, 건설장비 시뮬레이션 장치(120)는 센서가 고장 상태인 특정 부분은 주황색으로 표시할 수도 있다.
이와 같이, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비에서 센서가 고장인 부분이 어느 부분인지 사용자가 쉽게 확인할 수 있도록 가상의 건설장비에 센서의 고장부분을 색상을 달리하여 표시할 수 있다.
도 6은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 비정상인지 여부를 판단하는 과정을 설명하기 위해 제공되는 흐름도이다.
우선, 건설장비 시뮬레이션 장치(120)는 센서 데이터들이 정상범위에 포함되는지 여부에 기초하여, 해당 건설장비의 정상 또는 비정상 여부를 판단한다(S610).
예를 들어, 크레인의 갈고리의 높이는 정상 작동범위가 지상으로부터 1미터 내지 20미터인 경우, 건설장비 시뮬레이션 장치(120)는 크레인의 갈고리의 높이를 측정한 센서데이터의 범위가 1미터 내지 20미터 내에 있는 경우 해당 크레인의 갈고리는 정상인 것으로 판단한다. 하지만, 건설장비 시뮬레이션 장치(120)는 센서 데이터에 0.5미터 또는 30미터 등의 정상범위를 벗어나는 값들이 포함되어 있는 경우, 해당 크레인의 갈고리는 비정상 상태인 것으로 판단하게 된다.
또한, 도 7과 도 8은 엔진의 온도와 관련하여 정상의 경우와 비정상의 경우를 나타내고 있다. 도 7은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 정상인 상태인 경우의 센서 데이터 그래프를 도시한 도면이다.
도 7에 도시된 바와 같이, 건설장비의 엔진의 온도는 정상범위가 90도에서 190도이고, 도 7의 경우는 센서데이터가 모두 정상범위 내에 있는 것으로 확인 할 수 있다. 따라서, 건설장비 시뮬레이션 장치(100)는 도 7과 같은 경우에는 해당 건설장비의 엔진 부분은 정상인 것으로 판단하게 된다.
도 8은 본 발명의 일 실시예에 따른, 장비의 특정 부분이 비정상인 상태인 경우의 센서 데이터 그래프를 도시한 도면이다.
도 8에 도시된 바와 같이, 건설장비의 엔진의 온도는 정상범위가 90도에서 190도이고, 도 8의 경우는 센서데이터가 정상범위를 벗어난 값들이 3개가 있는 것을 확인 할 수 있다. 따라서, 건설장비 시뮬레이션 장치(100)는 도 8과 같은 경우에는 해당 건설장비의 엔진 부분은 비정상인 것으로 판단하게 된다.
또한, 건설장비 시뮬레이션 장치(120)는 센서를 통해 외기 온도를 감지하고, 감지된 외기 온도에 따라 정상범위의 값을 변경할 수도 있다. 외기 온도에 따라 센서의 감도나 건설장비의 정상 가동범위 등이 변경될 가능성이 높기 때문에, 건설장비 시뮬레이션 장치(120)는 외기 온도에 따라 정상범위의 값을 적응적으로 변경하으로써, 정상범위를 더욱 정확하게 설정할 수 있게 된다.
다시 도 6으로 돌아가서, 건설장비 시뮬레이션 장치(120)는 해당 건설장비의 특정 부분이 비정상인 것으로 판단된 경우, 가상의 건설장비의 해당 특정 부분을 다른 색상으로 표시하게 된다(S620). 예를 들어, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 표시할 때 정상인 부분들은 회색으로 표시하고, 비정상인 부분은 빨간색으로 표시할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 가상의 건설장비에서 비정상인 부분의 색상이 다르게 표시된 화면을 도시한 도면이다.
도 9에 도시된 바와 같이, 가상의 건설장비는 다른 부분은 모두 회색으로 표시되어 있으나, 기둥부분(900)은 빨간색으로 표시된 것을 확인할 수 있다. 이는 기둥부분이 비정상 상태임을 나타내는 것이다.
도 10은 본 발명의 일 실시예에 따른, 가상의 건설장비에서 비정상인 부분과 센서가 비정상인 부분의 색상이 서로 다르게 표시된 화면을 도시한 도면이다.
도 10의 경우, 가상의 건설장비는 다른 부분은 모두 회색으로 표시되어 있으나, 기둥부분(900)은 빨간색으로 표시된 것을 확인할 수 있다. 이는 기둥부분이 비정상 상태임을 나타내는 것이다.
또한, 도 10의 경우, 엔진 부분(1000)은 주황색으로 표시된 것을 확인할 수 있으며, 이는 건설장비의 엔진의 온도를 감지하는 센서가 고장 상태임을 나타내는 것이다.
이와 같이, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 표시할 때, 비정상인 부분과 센서 고장인 부분과 정상적인 부분을 각각 서로 다른 색상으로 표시하게 된다. 이를 통해, 건설장비 시뮬레이션 장치(120)는 사용자로 하여금 비정상 작동하는 부분이나 센서 고장인 부분을 쉽게 확인할 수 있게 해주게 된다.
도 11은 본 발명의 일실시예에 따른, 건설장비의 일부분만 표시된 화면을 도시한 도면이다. 도 11의 경우, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비 중 기둥부분만을 표시하고 있다.
도 12은 본 발명의 일실시예에 따른, 건설장비의 다른 일부분만 표시된 화면을 도시한 도면이다. 도 12의 경우, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비 중 엔진부분만을 표시하고 있다. 또한 도 12의 경우 빨간색으로 엔진부분을 표시하여 엔진부분이 비정상 상태임을 나타내고 있다.
도 13는 본 발명의 일실시예에 따른, 건설장비의 또다른 일부분만 표시된 화면을 도시한 도면이다. 도 13의 경우, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비 중 바퀴부분만을 표시하고 있다.
이와 같이, 건설장비 시뮬레이션 장치(120)는 가상의 건설장비를 부분별로 상세히 표시해주는 기능을 제공할 수도 있다.
한편, 본 실시예에 따른 장치의 기능 및 방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물은 다른 유형의 디지털 전자 회로로구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다.
따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 본 발명이속하는 분야의 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 건설장비 시뮬레이션 시스템
110 : 센서부
120 : 건설장비 시뮬레이션 장치
122 : 수신부
124 : 제어부

Claims (12)

  1. 건설장비 시뮬레이션 장치에 의해 수행되는 건설장비 시뮬레이션 방법에 있어서,
    건설장비에 설치된 센서들로부터 센서 데이터들을 수신하는 단계;
    건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하는 단계; 및
    생성한 가상의 건설장비를 표시하는 단계;를 포함하고,
    해당 건설장비가 촬영된 사진을 수신하는 단계; 및
    수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함하며,
    판단하는 단계는,
    수신된 사진에서 사진의 건설장비 형상을 추출하는 단계; 및
    사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하는 단계;를 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    판단하는 단계는,
    가상의 건설장비와 사진의 건설장비 형상의 외형을 비교하고, 외형이 임계값 이상 차이나는 부분이 있는 경우, 해당 부분을 센싱 중인 센서가 고장인 것으로 판단하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
  5. 청구항 1에 있어서,
    해당 건설장비의 특정 부분에 대한 온도값을 수신하는 단계;
    수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값을 비교하여, 건설장비의 특정 부분에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
  6. 청구항 5에 있어서,
    판단하는 단계는,
    수신된 온도값과 건설장비의 해당 특정부분에 설치된 센서에 의해 감지된 온도값의 차이가 임계값 이상인 경우, 해당 특정 부분을 센싱 중인 센서가 고장인 것으로 판단하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
  7. 청구항 1에 있어서,
    센서 데이터들이 정상범위에 포함되는지 여부에 기초하여, 해당 건설장비의 정상 또는 비정상 여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
  8. 청구항 7에 있어서,
    해당 건설장비의 특정 부분이 비정상인 것으로 판단된 경우, 가상의 건설장비의 해당 특정 부분을 다른 색상으로 표시하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
  9. 청구항 7에 있어서,
    해당 건설장비의 정상 또는 비정상 여부를 판단하는 단계는,
    센서를 통해 외기 온도를 감지하고, 감지된 외기 온도에 따라 정상범위의 값을 변경하는 것을 특징으로 하는 건설장비 시뮬레이션 방법.
  10. 건설장비에 설치된 센서들로부터 센서 데이터들을 수집하는 단계;
    건설장비의 외형 정보 및 수집한 센서 데이터들을 이용하여, 가상의 건설장비를 생성하는 단계; 및
    생성한 가상의 건설장비를 표시하는 단계;를 포함하고,
    해당 건설장비가 촬영된 사진을 수신하는 단계; 및
    수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하는 단계;를 더 포함하며,
    판단하는 단계는,
    수신된 사진에서 사진의 건설장비 형상을 추출하는 단계; 및
    사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하는 단계;를 포함하는 것을 특징으로 하는 건설장비 시뮬레이션 방법을 실행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
  11. 건설장비에 설치된 센서들로부터 센서 데이터들을 수신하는 수신부; 및
    건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어하는 제어부;를 포함하고,
    수신부는,
    해당 건설장비가 촬영된 사진을 수신하고,
    제어부는,
    수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하며,
    제어부는,
    수신된 사진에서 사진의 건설장비 형상을 추출하고, 사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하는 것을 특징으로 하는 건설장비 시뮬레이션 장치.
  12. 건설장비에 설치된 복수개의 센서들을 포함하는 센서부; 및
    건설장비에 설치된 센서들로부터 센서 데이터들을 수신하고, 건설장비의 외형 정보 및 수신된 센서 데이터들을 이용하여, 가상의 건설장비를 생성하고, 생성한 가상의 건설장비가 표시되도록 제어하는 건설장비 시뮬레이션 장치;를 포함하고,
    건설장비 시뮬레이션 장치는,
    해당 건설장비가 촬영된 사진을 수신하고, 수신된 사진에 촬영된 건설장비 형상과 가상의 건설장비를 비교하여, 건설장비에 설치된 센서들의 고장 여부를 판단하며,
    건설장비 시뮬레이션 장치는,
    수신된 사진에서 사진의 건설장비 형상을 추출하고, 사진이 촬영된 시간과 동일한 시간에 대응되는 가상의 건설장비 형상을 추출하고, 추출된 가상의 건설장비 형상을 사진에서 추출된 사진의 건설장비 형상과 동일한 배율 및 각도가 되도록 배치시키고, 가상의 건설장비와 사진의 건설장비 형상을 비교하는 것을 특징으로 하는 건설장비 시뮬레이션 시스템.
KR1020180144130A 2018-11-21 2018-11-21 디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법 KR102129182B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180144130A KR102129182B1 (ko) 2018-11-21 2018-11-21 디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180144130A KR102129182B1 (ko) 2018-11-21 2018-11-21 디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법

Publications (2)

Publication Number Publication Date
KR20200059429A KR20200059429A (ko) 2020-05-29
KR102129182B1 true KR102129182B1 (ko) 2020-07-01

Family

ID=70911719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144130A KR102129182B1 (ko) 2018-11-21 2018-11-21 디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법

Country Status (1)

Country Link
KR (1) KR102129182B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102495862B1 (ko) * 2022-05-23 2023-02-06 주식회사 스탠스 디지털 트윈 모델의 데이터에 대해 정상 여부를 판단하는 장치, 방법 및 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005113397A (ja) * 2003-10-03 2005-04-28 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP2006327722A (ja) 2005-05-24 2006-12-07 Hitachi Constr Mach Co Ltd 建設機械の情報表示装置
KR101595243B1 (ko) 2015-05-04 2016-02-19 주식회사 두올테크 Bim 기반의 현장 시설물 자동화 모델링 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102389591B1 (ko) * 2015-04-02 2022-04-22 현대두산인프라코어(주) 건설기계의 버츄얼 시뮬레이터

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005113397A (ja) * 2003-10-03 2005-04-28 Hitachi Constr Mach Co Ltd 建設機械の表示装置
JP2006327722A (ja) 2005-05-24 2006-12-07 Hitachi Constr Mach Co Ltd 建設機械の情報表示装置
KR101595243B1 (ko) 2015-05-04 2016-02-19 주식회사 두올테크 Bim 기반의 현장 시설물 자동화 모델링 시스템 및 방법

Also Published As

Publication number Publication date
KR20200059429A (ko) 2020-05-29

Similar Documents

Publication Publication Date Title
US11580629B2 (en) System and method for determining situation of facility by imaging sensing data of facility
US20190244504A1 (en) Fire monitoring system
WO2017090515A1 (ja) 機器診断装置及びシステム及び方法
US10503146B2 (en) Control system, control device, and control method
US20210116331A1 (en) Anomaly analysis method, program, and system
JP7068246B2 (ja) 異常判定装置、および、異常判定方法
JP6453504B1 (ja) 異常監視装置、異常監視方法および異常監視プログラム
KR20190025474A (ko) 플랜트 데이터 예측 장치 및 방법
US9817061B2 (en) Linear variable differential transformer (LVDT) secondary wiring intermittent failure monitor
CN113727913B (zh) 用于监测直升机的健康的系统
JP6939661B2 (ja) 故障予測支援装置、故障予測支援方法及び故障予測支援プログラム
KR102483811B1 (ko) 자동화 공정 이상상태 모니터링 및 제어 시스템 및 방법
CN108955951A (zh) 一种温度传感器故障判断方法及装置
KR102129182B1 (ko) 디지털 트윈 기반 건설기계 지능화를 위한 시각화 도구 적용 방법
KR20200085491A (ko) 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체
CN104977922A (zh) 设备监视装置和方法
CN114492629A (zh) 异常检测方法、装置、电子设备及存储介质
US20220222545A1 (en) Generation method, non-transitory computer-readable storage medium, and information processing device
TW201941598A (zh) 顯示裝置、顯示系統及顯示畫面產生方法
JP5267109B2 (ja) 障害発見システム検証装置、障害発見システム検証方法及び障害発見システム検証制御プログラム
JP6898607B2 (ja) 異常予兆検出システムおよび異常予兆検出方法
US20180313676A1 (en) Information processing apparatus, information processing method, and program
US20200027040A1 (en) Method and device for estimating the lifecycle of a component
KR20170048843A (ko) 센서 데이터를 이용한 이상 감지 장치 및 방법
CN112947507B (zh) 无人机的维修处理方法、装置及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant