KR102521235B1 - 설비의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법 - Google Patents
설비의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- KR102521235B1 KR102521235B1 KR1020200104722A KR20200104722A KR102521235B1 KR 102521235 B1 KR102521235 B1 KR 102521235B1 KR 1020200104722 A KR1020200104722 A KR 1020200104722A KR 20200104722 A KR20200104722 A KR 20200104722A KR 102521235 B1 KR102521235 B1 KR 102521235B1
- Authority
- KR
- South Korea
- Prior art keywords
- observation target
- driving device
- autonomous driving
- state information
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000005856 abnormality Effects 0.000 claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 238000011017 operating method Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 230000004807 localization Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
자율주행 장치 및 그 동작 방법이 개시된다. 일 실시예에 따른 설비의 이상 유무를 모니터링하는 자율주행 장치의 동작 방법은 현재 위치 정보를 획득하는 단계, 상기 현재 위치 정보에 기초하여, 관측 대상을 인식하는 단계, 상기 관측 대상에 대응하는 관측 대상 영상을 획득하는 단계, 상기 관측 대상의 실시간 상태 정보를 수신하는 단계, 상기 상태 정보를 상기 관측 대상 영상에 합성하는 단계, 상기 상태 정보가 합성된 AR 영상을 실시간으로 전송하는 단계 및 상기 상태 정보 및 상기 관측 대상 영상에 기초하여, 상기 관측 대상의 이상 유무를 판단하는 단계를 포함한다.
Description
아래 실시예들은 설비(equipment)의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법에 관한 것이다.
ICT 기술의 발전에 따라 최근 종래 공장들에서는 인력으로 수행이 불가능했던 업무부터, 인력으로 수행했던 업무까지 각종 센서 등으로 대체함으로써 공장을 좀 더 효율적으로 운용할 수 있도록 한 스마트 팩토리로의 전환이 진행되고 있다. 예를 들어, 산업 현장에서 설비를 보호하고, 시설물 현장의 작업자를 보호하기 위하여 유비쿼터스 센서 네트워크(USN: Ubiquitous Sensor Network) 또는 무선 센서 네트워크 시스템 기반의 시설물 관리 기술들이 보급화되고 있다.
특히, 생산의 연속성을 유지하고, 돌발 상황으로 인한 비용손실을 최소화하기 위해서, 설비의 이상 유무를 빠르고 정확하게 판단하기 위한 모니터링 방법이 필요하다. 종래에는 카메라를 이용하여 QR 코드 또는 마커를 인식하는 방법을 통해 설비를 모니터링하였으나, QR 코드 또는 마커를 인식하기 위해서는 설비에 접근하거나 카메라 줌을 통해 인식해야하는 바, 원거리에서의 낮은 인식 성능, 인식에 소모되는 시간 증가, 이로 인한 인식율 저하 등의 문제가 있었다. 또한, 관리자 등의 사람이 직접 촬영된 영상을 탐색하여 이상이 발생한 구간을 확인하여야 하는 불편이 존재하였다.
실시예들은 자율주행 장치를 이용하여 설비를 모니터링하고, 이상 유무를 판단하고자 한다.
실시예들은 설비 모니터링 영상과 설비의 상태 데이터를 결합한 AR 영상을 생성하고자 한다.
실시예들은 설비의 이상 유무에 기초하여 AR 영상의 저장 형태를 달리하고자 한다.
일 실시예에 따른 설비의 이상 유무를 모니터링하는 자율주행 장치의 동작 방법은 현재 위치 정보를 획득하는 단계; 상기 현재 위치 정보에 기초하여, 관측 대상을 인식하는 단계; 상기 관측 대상에 대응하는 관측 대상 영상을 획득하는 단계; 상기 관측 대상의 실시간 상태 정보를 수신하는 단계; 상기 상태 정보를 상기 관측 대상 영상에 합성하는 단계; 상기 상태 정보가 합성된 AR 영상을 실시간으로 전송하는 단계; 및 상기 상태 정보 및 상기 관측 대상 영상에 기초하여, 상기 관측 대상의 이상 유무를 판단하는 단계를 포함한다.
상기 현재 위치 정보를 획득하는 단계는 상기 자율주행 장치에 포함된 RTK(Real Time Kinematic) 모듈을 이용하여 상기 현재 위치 정보를 획득하는 단계를 포함할 수 있다.
상기 관측 대상을 인식하는 단계는 상기 현재 위치 정보에 기초하여, 상기 관측 대상을 특정하는 단계; 및 상기 자율주행 장치에 포함된 Visual SLAM(Simultaneous localization and mapping) 모듈을 이용하여 상기 특정된 관측 대상의 ID를 인식하는 단계를 포함할 수 있다.
상기 관측 대상 영상을 획득하는 단계는 상기 관측 대상의 AR 합성 정보 영역을 인식하는 단계; 및 상기 AR 합성 정보 영역에 대응하는 관측 대상 영상을 획득하는 단계를 포함할 수 있다.
상태 정보를 획득하는 단계는 상기 관측 대상의 센서 데이터 및 내부 시스템 상태 정보 중 적어도 하나를 수신하는 단계를 포함할 수 있다.
상기 이상 유무를 판단하는 단계는 상기 관측 대상 영상에 기초하여, 제1 이상 유무를 판단하는 단계; 및 상기 상태 정보에 기초하여, 제2 이상 유무를 판단하는 단계를 포함할 수 있다.
일 실시예에 따른 자율주행 장치의 동작 방법은 상기 관측 대상이 이상하는 판단에 기초하여, 상기 AR 영상을 동영상 형태로 저장하고, 상기 동영상을 포함하는 메시지를 전송하는 단계를 더 포함할 수 있다.
일 실시예에 따른 자율주행 장치의 동작 방법은 상기 관측 대상이 이상하지 않다는 판단에 기초하여, 상기 AR 영상을 캡쳐하고 이미지 형태로 저장하는 단계를 더 포함할 수 있다.
설비의 이상 유무를 모니터링하는 자율주행 장치는 현재 위치 정보를 획득하는 RTK 모듈; 상기 현재 위치 정보에 기초하여, 관측 대상을 인식하는 Visual SLAM 모듈; 상기 관측 대상에 대응하는 관측 대상 영상을 획득하는 카메라; 및 상기 관측 대상의 실시간 상태 정보를 수신하고, 상기 상태 정보를 상기 관측 대상 영상에 합성하고, 상기 상태 정보가 합성된 AR 영상을 실시간으로 전송하고, 상기 상태 정보 및 상기 관측 대상 영상에 기초하여, 상기 관측 대상의 이상 유무를 판단하는 프로세서를 포함한다.
상기 프로세서는 상기 현재 위치 정보에 기초하여, 상기 관측 대상을 특정하고, 상기 Visual SLAM 모듈은 상기 특정된 관측 대상의 ID를 인식할 수 있다.
상기 프로세서는 상기 관측 대상의 AR 합성 정보 영역을 인식하고, 상기 카메라는 상기 AR 합성 정보 영역에 대응하는 관측 대상 영상을 획득할 수 있다.
상기 프로세서는 상기 관측 대상의 센서 데이터 및 내부 시스템 상태 정보 중 적어도 하나를 수신할 수 있다.
상기 프로세서는 상기 관측 대상 영상에 기초하여, 제1 이상 유무를 판단하고, 상기 상태 정보에 기초하여, 제2 이상 유무를 판단할 수 있다.
상기 프로세서는 상기 관측 대상이 이상하는 판단에 기초하여, 상기 AR 영상을 동영상 형태로 저장하고, 상기 동영상을 포함하는 메시지를 전송하는, 제2 이상 유무를 판단할 수 있다.
상기 프로세서는 상기 관측 대상이 이상하지 않다는 판단에 기초하여, 상기 AR 영상을 캡쳐하고 이미지 형태로 저장할 수 있다.
실시예들은 자율주행 장치를 이용하여 설비를 모니터링하고, 이상 유무를 판단할 수 있다.
실시예들은 설비 모니터링 영상과 설비의 상태 데이터를 결합한 AR 영상을 생성할 수 있다.
실시예들은 설비의 이상 유무에 기초하여 AR 영상의 저장 형태를 달리할 수 있다.
도 1은 일 실시예에 따른 설비 모니터링 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 자율주행 장치의 블록도를 도시한 도면이다.
도 3은 일 실시예에 따른 자율주행 장치의 동작을 설명하기 위한 순서도이다.
도 4는 일 실시예에 따른 자율주행 장치의 모니터링 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 자율주행 장치의 블록도를 도시한 도면이다.
도 3은 일 실시예에 따른 자율주행 장치의 동작을 설명하기 위한 순서도이다.
도 4는 일 실시예에 따른 자율주행 장치의 모니터링 방법을 설명하기 위한 도면이다.
본 명세서에서 개시되어 있는 특정한 구조적 또는 기능적 설명들은 단지 기술적 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 다른 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 이해되어야 한다. 예를 들어 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~간의에"와 "바로~간의에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다. 이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일 실시예에 따른 설비 모니터링 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 설비 모니터링 시스템은 산업 현장, 건설 현장 등의 다양한 산업, 건설 설비가 존재하는 현장에서 설비의 이상 유무를 판단하기 위하여, 자율주행 장치(110)를 이용하여 설비(130)의 상황을 실시간으로 모니터링한다.
이를 위해, 설비 모니터링 시스템은 자율주행 장치(110), 수집 서버(120), 설비(130) 및 관리자 서버(140)를 주체로 포함할 수 있다.
자율주행 장치(110)는 운전자 또는 승객의 조작 없이 스스로 운행이 가능한 장치로, 현장의 특정 영역을 모니터링할 수 있다. 예를 들어, 자율주행 장치(110)는 자동차의 형상이거나, 또는 로봇의 형상일 수 있다. 다만, 자율주행 장치(110)는 이동 가능한 어떠한 형태도 될 수 있고, 위 예시에 한정되는 것은 아니다.
자율주행 장치(110)는 미리 정해진 알고리즘에 따라 설비(130)를 모니터링하고 설비(130)의 이상 유무를 판단할 수 있다. 자율주행 장치(110)는 관리자 서버(140)로 설비(130)의 상황을 실시간으로 제공할 수 있다. 자율주행 장치(110)의 동작에 관한 자세한 내용은 아래 도 2 내지 도 4를 참조하여 후술하기로 한다.
수집 서버(120)는 공장 시스템과 연동된 서버일 수 있다. 설비(130)에는 자신의 상태를 측정할 수 있는 센서(들)가 부착될 수 있고, 수집 서버(120)는 설비(130)의 센서(들)로부터 해당 설비(130)의 센서 데이터를 수신할 수 있다. 또한, 수집 서버(120)는 내부 시스템 상태 정보(예를 들어, ERP, MES)를 수신할 수 있다. 설비(130)는 다양한 산업, 건설 현장 등에서 필요한 것을 제공하는 각종 건물 및 건물의 부대물(예를 들어, 기구, 기계, 전기, 냉방 시설) 등을 포함한다.
도 2는 일 실시예에 따른 자율주행 장치의 블록도를 도시한 도면이다.
도 2를 참조하면, 일 실시예에 따른 자율주행 장치(110)는 메모리(210), 프로세서(220), Visual SLAM 모듈(230), RTK 모듈(240), 카메라(250) 및 통신 인터페이스(260)를 포함할 수 있다. 메모리(210), 프로세서(220), Visual SLAM 모듈(230), RTK 모듈(240), 카메라(250) 및 통신 인터페이스는 통신 버스(미도시)를 통해 서로 통신할 수 있다.
자율주행 장치(110)는 Visual SLAM 모듈(230)을 이용하여 Visual SLAM 기법을 수행할 수 있다. SLAM 기법은 센서 정보를 이용하여 환경에 대한 지도(map)를 작성하는 동시에, 작성된 지도로부터 현재 위치를 추정하는 기법이다. 실외에서의 위치 정보를 획득하기 위해서 GPS가 널리 사용되고 있지만 보급형 GPS는 위치 정확도가 수 미터 수준이고 높은 빌딩이나 터널 등 장애물에 의한 신호가림이 발생할 경우 정확도가 매우 떨어질 수 있다. 이러한 환경에서도 로봇이 성공적인 자율주행을 수행하기 위해서는 자율주행 장치(110)에 장착된 센서가 주변의 환경을 인식하여 수 센티미터 수준의 위치추정 할 수 있어야 한다. 정확한 위치추정을 위해서 SLAM 기법을 활용한 정밀 맵 작성은 필수적일 수 있다. 카메라를 사용하는 SLAM 기법을 Visual SLAM 기법이라 한다. Visual SLAM 기법의 경우 레이저 거리 센서를 사용하는 경우보다 가격이 저렴하고, 사용 범위가 더 광범위(다양한 날씨, 상황에서 사용 가능)한 장점이 있다.
자율주행 장치(110)는 RTK 모듈(240)을 이용하여 RTK 기법을 수행할 수 있다. 자율주행 장치(110)는 RTK 모듈(240)을 이용하여 자율주행 장치(110)의 위치 정보를 획득할 수 있다. GPS 기법은 GPS 위성에서 보내는 신호를 수신해 사용자의현재 위치를 계산하는 위성 항법 시스템이다. RTK 기법은 기존의 GPS 기법의 다소 넓은 오차 범위를 보완하기 위한 기법이다. 기존의 GPS 기법은 GPS 위성, 지상의 제어국, GPS 수신기의 통신으로 위치 정보를 계산했다면, RTK 기법은 여기에 기준국 하나를 더 추가한다. 기준국은 지상에 고정해 놓은 안테나로, 하나의 기준점이 되어 GPS 수신기의 상대적인 거리와 각도를 실시간으로 파악한 뒤 GPS로 획득한 위치정보를 보정할 수 있다.
자율주행 장치(110)는 카메라(250)를 이용하여 영상을 촬영할 수 있다.
프로세서(220)는 프로그램을 실행하고, 자율주행 장치(110)를 제어할 수 있다. 프로세서(220)에 의하여 실행되는 프로그램 코드는 메모리(210)에 저장될 수 있다.
메모리(210)는 전술한 프로세서(220)에서의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(210)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(210)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(210)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
도 3은 일 실시예에 따른 자율주행 장치의 동작을 설명하기 위한 순서도이다.
도 3을 참조하면, 일 실시예에 따른 단계들(310 내지 370)은 자율주행 장치(110)에 의해 수행될 수 있다.
단계(310)에서, 자율주행 장치(110)는 현재 위치 정보를 획득한다. 자율주행 장치(110)는 RTK 모듈(240)을 이용하여 정밀 위치 정보를 획득할 수 있다.
단계(320)에서, 자율주행 장치(110)는 현재 위치 정보에 기초하여, 관측 대상을 인식한다. 관측 대상은 산업 현장, 건설 현장 등의 다양한 산업, 건설 설비가 존재하는 현장의 설비일 수 있다. 자율주행 장치(110)는 현재 위치 정보에 기초하여, 관측 대상을 특정할 수 있고, Visual SLAM 모듈(230)을 이용하여 특정된 관측 대상의 ID를 인식할 수 있다. 자율주행 장치(110)는 현재 위치와 가장 가까운 설비를 관측 대상으로 특정할 수 있고, 사전에 구성된 Visual SLAM의 포인트 클라우드(Point Cloud)값에 기초하여 특정된 관측 대상의 ID를 인식할 수 있다.
단계(330)에서, 자율주행 장치(110)는 관측 대상에 대응하는 관측 대상 영상을 획득한다. 자율주행 장치(110)는 카메라(250)를 이용하여 관측 대상 영상을 촬영할 수 있다. 자율주행 장치(110)는 관측 대상의 AR 합성 정보 영역을 인식하고, AR 합성 정보 영역에 대응하는 관측 대상 영상을 획득할 수 있다. 예를 들어, 자율주행 장치(110)는 주요 기능을 수행하는 영역을 인식할 수 있고, 카메라를 이용하여 해당 영역을 촬영할 수 있다.
단계(340)에서, 자율주행 장치(110)는 관측 대상의 실시간 상태 정보를 수신한다. 자율주행 장치(110)는 수집 서버(120)로부터 관측 대상의 실시간 상태 정보를 수신할 수 있다. 자율주행 장치(110)는 관측 대상의 센서 데이터 및 내부 시스템 상태 정보 중 적어도 하나를 수신할 수 있다.
단계(350)에서, 자율주행 장치(110)는 상태 정보를 관측 대상 영상에 합성한다. 자율주행 장치(110)는 관측 대상 영상에 상태 정보가 합성된 AR 영상을 생성할 수 있다.
단계(360)에서, 자율주행 장치(110)는 관리자 서버(140)로 AR 영상을 실시간으로 전송한다.
단계(370)에서, 자율주행 장치(110)는 상태 정보 및 관측 대상 영상에 기초하여, 관측 대상의 이상 유무를 판단한다. 자율주행 장치(110)는 관측 대상 영상에 기초하여, 제1 이상 유무를 판단할 수 있고, 상태 정보에 기초하여, 제2 이상 유무를 판단할 수 있다.
제1 이상 유무는 설비의 외관에 기초하여 판단되는 이상 여부일 수 있다. 예를 들어, 설비의 특정 부분이 정상 상태와 다른 형태를 갖는 경우, 자율주행 장치(110)는 해당 설비에 이상이 생겼음을 판단할 수 있다. 구체적으로, 자율주행 장치(110)는 관측 대상 영상을 미리 학습된 이상 유무 판별기에 입력하여 관측 대상의 제1 이상 유무를 판단할 수 있다.
이상 유무 판별기가 제공하는 뉴럴 네트워크는 입력 레이어(Input Layer), 출력 레이어(Output Layer), 그리고 선택적으로 하나 이상의 은닉 레이어(Hidden Layer)를 포함할 수 있다. 각 레이어는 하나 이상의 뉴런을 포함하고, 뉴럴 네트워크는 뉴런과 뉴런을 연결하는 시냅스를 포함할 수 있다. 뉴럴 네트워크에서 각 뉴런은 시냅스를 통해 입력되는 입력 신호들, 가중치, 편향에 대한 활성 함수의 함수값을 출력할 수 있다. 모델 파라미터는 학습을 통해 결정되는 파라미터를 의미하며, 시냅스 연결의 가중치와 뉴런의 편향 등이 포함될 수 있다. 그리고, 하이퍼 파라미터는 머신 러닝 알고리즘에서 학습 전에 설정되어야 하는 파라미터를 의미하며, 학습률(Learning Rate), 반복 횟수, 미니 배치 크기, 초기화 함수 등이 포함될 수 있다.
뉴럴 네트워크의 학습의 목적은 손실 함수를 최소화하는 모델 파라미터를 결정하는 것으로 볼 수 있다. 손실 함수는 뉴럴 네트워크의 학습 과정에서 최적의 모델 파라미터를 결정하기 위한 지표로 이용될 수 있다.
뉴럴 네트워크의 입력 레이어에 포함되는 복수개의 노드들은 입력 데이터들을 수신할 수 있다. 히든 레이어에 포함되는 복수개의 레이어들에서의 연산을 통하여, 출력 레이어에서는 입력 데이터에 대응되는 제1 출력 후보들을 출력할 수 있다. 뉴럴 네트워크는 입력 데이터에 포함된 관측 대상 영상과 이상 유무 정보를 매칭하기 위한 연산을 수행할 수 있다. 뉴럴 네트워크를 통하여 출력된 출력 데이터의 정확도를 높이기 위해서, 출력 레이어에서 입력 레이어 방향으로 학습(learning)을 수행하며 출력 데이터의 정확도가 높아지도록 가중치값들을 수정할 수 있다.
제2 이상 유무는 설비의 내부 상태 정보에 기초하여 판단되는 이상 여부일 수 있다. 예를 들어, 센서에 의해 측정된 설비의 온도가 미리 정해진 임계값을 초과하는 경우, 자율주행 장치(110)는 해당 설비에 이상이 생겼음을 판단할 수 있다.
도 4는 일 실시예에 따른 자율주행 장치의 모니터링 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 도 1 내지 도 3을 참조하여 전술한 자율주행 장치(110)의 동작 방법은 도 4에도 마찬가지로 적용될 수 있는 바, 중복되는 내용은 생략한다.
단계(410)에서, 자율주행 장치(110)는 순찰 루트에 있는 설비로 접근할 수 있다.
단계(415)에서, 자율주행 장치(110)는 RTK 모듈에 기초하여 인식할 설비를 조회할 수 있다.
단계(420)에서, 자율주행 장치(110)는 Visual SLAM 모듈에 기초하여, 설비 ID 및 AR 합성 정보 영역을 인식할 수 있다. 설비 ID 및 AR 합성 정보 영역을 인식하지 못한 경우, 자율주행 장치(110)는 단계(415)를 다시 수행할 수 있다.
단계(425)에서, 자율주행 장치(110)는 수집 서버로부터 해당 설비의 센서 데이터 및 내부 시스템 상태 정보를 호출할 수 있다.
단계(430)에서, 자율주행 장치(110)는 수신된 상태 정보와 인식된 설비 영상을 AR 합성할 수 있다.
단계(435)에서, 자율주행 장치(110)는 설비 상태의 이상 유무를 판단할 수 있다.
설비 상태에 이상이 없다고 판단한 경우, 단계(440)에서 자율주행 장치(110)는 AR 영상을 캡쳐하고 이미지 형태로 저장할 수 있다. 일 실시예에 따른 자율주행 장치(110)는 순찰시 영상 관제 미가공 데이터(Raw data)를 전부 저장하지 않고, 이상 상태가 아닌 경우에는 동영상이 아닌 이미지로 저장하기 때문에, 서버의 스토리지 및 리소스 확보에 유리할 수 있다.
단계(455)에서, 해당 설비에 이상이 없음을 판단한 자율주행 장치(110)는 다음 순찰 장소로 이동할 수 있다.
설비 상태에 이상이 있다고 판단한 경우, 단계(445)에서 자율주행 장치(110)는 AR 영상을 동영상 형태로 저장하고, 설비의 이상 상태를 알리는 메시지를 관리자 서버(140)로 전송할 수 있다. 예를 들어, 설비 상태에 이상이 있다고 판단한 자율주행 장치(110)는 관리자 서버(140)를 통해 관리자에게 SMS나 Push 메시지 형태로 이상 여부를 알릴 수 있다.
단계(450)에서, 자율주행 장치(110)는 관리자 제어 추가 명령을 기다릴 수 있고, 제어 추가 명령을 수신하는 경우 단계(460)에서 해당 설비에서 추가 제어 명령이 있을 때까지 대기할 수 있다. 이를 통해, 자율주행 장치(110)는 이상 상황 발생시 해당 설비 위치에 대기하여 관리자 추가 확인이 가능할 수 있다.
자율주행 장치(110)는 순찰 중 마커나 QR 코드를 통해 사물을 인식하기 위해 접근 또는 정지 후 카메라 줌을 할 필요가 없어 순찰 시간을 증가 시키지 않을 수 있다. 또한, 자율주행 장치(110)는 설비의 이상 발생 이벤트를 사진으로 시간과 상태 정보를 합성하여 송부하므로 별도로 영상 재생을 통해 이력 확인이 필요하지 않을 수 있다. 다시 말해, 자율주행 장치(110)는 설비의 이상 발생 이벤트를 시간값, 센서 정보값, 시스템 연동값을 합성하여 현장 사진으로 기록하기 때문에, 관제 이력 확인 과정을 간소화할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (16)
- 설비의 이상 유무를 모니터링하는 자율주행 장치의 동작 방법에 있어서,
현재 위치 정보를 획득하는 단계;
상기 현재 위치 정보에 기초하여, 관측 대상을 인식하는 단계;
상기 관측 대상에 대응하는 관측 대상 영상을 획득하는 단계;
상기 관측 대상의 실시간 상태 정보를 수신하는 단계;
상기 상태 정보를 상기 관측 대상 영상에 합성하는 단계;
상기 상태 정보가 합성된 AR 영상을 실시간으로 전송하는 단계; 및
상기 상태 정보 및 상기 관측 대상 영상에 기초하여, 상기 관측 대상의 이상 유무를 판단하는 단계
를 포함하고,
상기 관측 대상을 인식하는 단계는
상기 현재 위치 정보에 기초하여, 상기 관측 대상을 특정하는 단계; 및
사전에 구성된 Visual SLAM(Simultaneous localization and mapping)의 포인트 클라우드에 기초하여, 이용하여 상기 특정된 관측 대상의 ID 및 AR 합성 정보 영역을 인식하는 단계
를 포함하는, 자율주행 장치의 동작 방법.
- 제1항에 있어서,
상기 현재 위치 정보를 획득하는 단계는
상기 자율주행 장치에 포함된 RTK(Real Time Kinematic) 모듈을 이용하여 상기 현재 위치 정보를 획득하는 단계
를 포함하는, 자율주행 장치의 동작 방법.
- 삭제
- 제1항에 있어서,
상기 관측 대상 영상을 획득하는 단계는
상기 AR 합성 정보 영역에 대응하는 관측 대상 영상을 획득하는 단계
를 포함하는, 자율주행 장치의 동작 방법.
- 제1항에 있어서,
상태 정보를 획득하는 단계는
상기 관측 대상의 센서 데이터 및 내부 시스템 상태 정보 중 적어도 하나를 수신하는 단계
를 포함하는, 자율주행 장치의 동작 방법.
- 제1항에 있어서,
상기 이상 유무를 판단하는 단계는
상기 관측 대상 영상에 기초하여, 제1 이상 유무를 판단하는 단계; 및
상기 상태 정보에 기초하여, 제2 이상 유무를 판단하는 단계
를 포함하는, 자율주행 장치의 동작 방법.
- 제1항에 있어서,
상기 관측 대상이 이상하는 판단에 기초하여, 상기 AR 영상을 동영상 형태로 저장하고, 상기 동영상을 포함하는 메시지를 전송하는 단계
를 더 포함하는, 자율주행 장치의 동작 방법.
- 제1항에 있어서,
상기 관측 대상이 이상하지 않다는 판단에 기초하여, 상기 AR 영상을 캡쳐하고 이미지 형태로 저장하는 단계
를 더 포함하는, 자율주행 장치의 동작 방법.
- 하드웨어와 결합되어 제1항 내지 제2항 및 제4항 내지 제8항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
- 설비의 이상 유무를 모니터링하는 자율주행 장치에 있어서,
현재 위치 정보를 획득하는 RTK 모듈;
상기 현재 위치 정보에 기초하여, 관측 대상을 인식하는 Visual SLAM 모듈;
상기 관측 대상에 대응하는 관측 대상 영상을 획득하는 카메라; 및
상기 관측 대상의 실시간 상태 정보를 수신하고, 상기 상태 정보를 상기 관측 대상 영상에 합성하고, 상기 상태 정보가 합성된 AR 영상을 실시간으로 전송하고, 상기 상태 정보 및 상기 관측 대상 영상에 기초하여, 상기 관측 대상의 이상 유무를 판단하는 프로세서
를 포함하고,
상기 프로세서는
상기 현재 위치 정보에 기초하여 상기 관측 대상을 특정하고,
상기 Visual SLAM 모듈은
사전에 구성된 Visual SLAM의 포인트 클라우드에 기초하여 상기 특정된 관측 대상의 ID 및 AR 합성 정보 영역을 인식하는 자율주행 장치.
- 삭제
- 제10항에 있어서,
상기 카메라는
상기 AR 합성 정보 영역에 대응하는 관측 대상 영상을 획득하는, 자율주행 장치.
- 제10항에 있어서,
상기 프로세서는
상기 관측 대상의 센서 데이터 및 내부 시스템 상태 정보 중 적어도 하나를 수신하는, 자율주행 장치.
- 제10항에 있어서,
상기 프로세서는
상기 관측 대상 영상에 기초하여, 제1 이상 유무를 판단하고, 상기 상태 정보에 기초하여, 제2 이상 유무를 판단하는, 자율주행 장치.
- 제10항에 있어서,
상기 프로세서는
상기 관측 대상이 이상하는 판단에 기초하여, 상기 AR 영상을 동영상 형태로 저장하고, 상기 동영상을 포함하는 메시지를 전송하는, 제2 이상 유무를 판단하는, 자율주행 장치.
- 제10항에 있어서,
상기 프로세서는
상기 관측 대상이 이상하지 않다는 판단에 기초하여, 상기 AR 영상을 캡쳐하고 이미지 형태로 저장하는, 자율주행 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200104722A KR102521235B1 (ko) | 2020-08-20 | 2020-08-20 | 설비의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200104722A KR102521235B1 (ko) | 2020-08-20 | 2020-08-20 | 설비의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220023163A KR20220023163A (ko) | 2022-03-02 |
| KR102521235B1 true KR102521235B1 (ko) | 2023-04-12 |
Family
ID=80815384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200104722A KR102521235B1 (ko) | 2020-08-20 | 2020-08-20 | 설비의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102521235B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003272066A (ja) * | 2002-03-15 | 2003-09-26 | Mitsubishi Electric Building Techno Service Co Ltd | ビル群管理システム |
| JP2006184028A (ja) * | 2004-12-24 | 2006-07-13 | Chugoku Electric Power Co Inc:The | 聴診点検に用いる自走ロボット |
| US20170364090A1 (en) * | 2014-12-17 | 2017-12-21 | Husqvarna Ab | Multi-sensor, autonomous robotic vehicle with mapping capability |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102073135B1 (ko) * | 2017-12-26 | 2020-02-04 | (주)아프로스 | 관리 대상 설비 이상 상태 모니터링 시스템 |
-
2020
- 2020-08-20 KR KR1020200104722A patent/KR102521235B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003272066A (ja) * | 2002-03-15 | 2003-09-26 | Mitsubishi Electric Building Techno Service Co Ltd | ビル群管理システム |
| JP2006184028A (ja) * | 2004-12-24 | 2006-07-13 | Chugoku Electric Power Co Inc:The | 聴診点検に用いる自走ロボット |
| US20170364090A1 (en) * | 2014-12-17 | 2017-12-21 | Husqvarna Ab | Multi-sensor, autonomous robotic vehicle with mapping capability |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220023163A (ko) | 2022-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12045056B2 (en) | Information processing apparatus, information processing method, and medium | |
| US11747477B2 (en) | Data collecting method and system | |
| Deng et al. | Indoor multi-camera-based testbed for 3-D tracking and control of UAVs | |
| US20190057314A1 (en) | Joint processing for embedded data inference | |
| JP5658372B2 (ja) | 監視装置、監視システム及び監視方法 | |
| US10431023B1 (en) | Systems and methods to test an autonomous vehicle | |
| KR102386831B1 (ko) | 군집 비행 시 포메이션 이탈 무인 비행체의 처리 시스템 및 방법 | |
| JP2023538588A (ja) | 無人航空機および上空交通管理のためのニューラルネットワーク | |
| US20210139025A1 (en) | Apparatus for preventing vehicle collision and method thereof | |
| CN111988524A (zh) | 一种无人机与摄像头协同避障方法、服务器及存储介质 | |
| CN112740274A (zh) | 在机器人设备上使用光流传感器进行vslam比例估计的系统和方法 | |
| KR102075844B1 (ko) | 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법 | |
| KR102022695B1 (ko) | 드론 착륙을 제어하기 위한 방법 및 장치 | |
| WO2019065431A1 (en) | INFORMATION PROCESSING APPARATUS, MOBILE APPARATUS, INFORMATION PROCESSING METHOD, MOBILE APPARATUS CONTROL METHOD, AND PROGRAMS | |
| CN112414401B (zh) | 基于图神经网络的无人机协同定位系统及方法 | |
| CN117201567B (zh) | 一种井工矿场景感知融合技术的出入罐笼控制系统及方法 | |
| WO2023211499A1 (en) | Machine learning real property object detection and analysis apparatus, system, and method | |
| CN114049767B (zh) | 一种边缘计算方法、装置及可读存储介质 | |
| Barbosa et al. | ISRobotNet: A testbed for sensor and robot network systems | |
| US20230400863A1 (en) | Information processing device, information processing system, method, and program | |
| KR102521235B1 (ko) | 설비의 이상 유무를 모니터링하는 자율주행 장치 및 그 동작 방법 | |
| KR20190006634A (ko) | 광역 드론 운용을 위한 시스템, 방법 및 장치 | |
| Ma et al. | Vision-based formation control for an outdoor UAV swarm with hierarchical architecture | |
| US20230103178A1 (en) | Systems and methods for onboard analysis of sensor data for sensor fusion | |
| CN111954188B (zh) | 一种机器人控制方法、装置、终端和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |