KR20240000793A

KR20240000793A - Ar 기반의 설비이력 관리 장치

Info

Publication number: KR20240000793A
Application number: KR1020220077446A
Authority: KR
Inventors: 김진명
Original assignee: (주)와트
Priority date: 2022-06-24
Filing date: 2022-06-24
Publication date: 2024-01-03

Abstract

본 발명의 실시 예에 따른 AR 기반의 설비이력 관리 장치는, 카메라를 이용하여 설비를 촬영하고, 상기 설비가 촬영된 영상을 AR 서버로 전송하며, 상기 AR 서버로부터 머신러닝 알고리즘으로 분석처리된 특정된 설비에 대한 설비 정보가 추출된 영상 정보를 수신받고, 상기 설비가 표시된 디스플레이 상에, 상기 전송된 설비 정보를 상기 설비와 연관된 메모를 기반으로 메모 리스트를 표시하며, 상기 메모 리스트 중 상기 메모에 대한 사용자 선택에 응답하여, 상기 메모의 상세 내용을 표시하고, 입력 수단을 통해 사용자 음성 신호를 수신하며, 상기 음성 신호에 기반하여 새로운 메모를 생성한다.

Description

AR 기반의 설비이력 관리 장치{Augmented reality-based facility history management device}

본 발명은 AR 기반의 설비이력 관리 장치에 관한 것이다. 보다 구체적으로, 본 발명은 증강현실을 이용하여 현장의 설비 상태를 직관적으로 나타내고 원격의 관제센터와 현장 상황을 공유할 수 있는 AR 기반의 설비이력 관리 장치에 관한 것이다.

일반적으로 공장이나 산업 현장에는 다양한 설비들이 존재한다. 이러한 설비들은 각각이 전체 시스템과 맞물려 있어, 어느 하나의 설비만 고장이 나도 전체 시스템이 정상적으로 동작하지 못하는 문제가 발생할 수 있다. 따라서, 산업 현장의 설비에 이상이 발생하기 전에 주기적으로 설비를 점검하고 유지 보수하는 것이 필요하다.

설비를 올바르게 유지 보수하기 위해서는, 그동안 설비가 운영되어 온 경과 및 유지 보수된 히스토리를 잘 관리하는 것이 필요하다. 그래야, 설비에 어떤 문제가 발생했을 때, 그것이 빈번히 발생하는 문제인지, 기존에는 어떤식으로 조치되어 어떤 경과를 거쳤는지 알 수가 있고, 이는 설비 상태에 대한 정확한 진단 및 조기 유지 보수에 도움이 된다.

그러나, 종래에는 이러한 설비의 이력관리를 현장 작업자의 기억이나 수기로 기록한 작업일지에만 의존하였다. 그에 따라, 현장 작업자의 기억이 불명확하거나 잘못 기억된 경우, 작업일지가 소실되거나 현장 작업자가 지참하지 않은 경우, 현장의 긴급한 상황에 신속히 대처하지 못하는 어려움이 있었다.

본 발명의 실시예들을 통해 해결하고자 하는 기술적 과제는, 증강현실 장비를 이용하여 설비의 상태 정보 및 유지 보수 이력을 현장 작업자에게 효과적으로 제공할 수 있는 AR 기반의 설비이력 관리 장치를 제공하는 것이다.

본 발명의 실시예들을 통해 해결하고자 하는 다른 기술적 과제는, 설비 점검시 확인된 고장 등의 문제를 현장에서 직접 작성하여 자동으로 중앙 시스템에 업데이트할 수 있는 AR 기반의 설비이력 관리 장치를 제공하는 것이다.

본 발명의 실시예들을 통해 해결하고자 하는 또 다른 기술적 과제는, 증강현실 장비에 IoT 기술을 접목하여, 현장 작업자의 부상 등 위급 상황을 즉시 모니터링할 수 있는 AR 기반의 설비이력 관리 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 AR 기반의 설비이력 관리 장치는 카메라를 이용하여 설비를 촬영하고, 상기 설비가 촬영된 영상을 AR 서버로 전송하며, 상기 AR 서버로부터 머신러닝 알고리즘으로 분석처리된 특정된 설비에 대한 설비 정보가 추출된 영상 정보를 수신받고, 상기 설비가 표시된 디스플레이 상에, 상기 전송된 설비 정보를 상기 설비와 연관된 메모를 기반으로 메모 리스트를 표시하며, 상기 메모 리스트 중 상기 메모에 대한 사용자 선택에 응답하여, 상기 메모의 상세 내용을 표시하고, 입력 수단을 통해 사용자 음성 신호를 수신하며, 상기 음성 신호에 기반하여 새로운 메모를 생성한다.

일 실시예에 따르면, 상기 메모는, 플랜트 운영 시스템으로부터 제공되는 설비의 정보 값, 설비 점검 이력, 또는 상기 설비와 연관된 부가 정보를 포함할 수 있다.

일 실시예에 따르면, 상기 음성 신호는, 보이스 서버에 전달되어 텍스트 신호로 변환된 후, 상기 변환된 텍스트 신호를 기반으로 새로운 메모가 생성될 수 있다.

본 발명의 실시 예에 따르면, AR 기반의 설비이력 관리 장치를 통해 설비의 상태 정보 및 유지 보수 이력을 현장 작업자에게 효과적으로 제공할 수 있게 된다.

또한, 설비 점검시 확인된 고장 등의 문제를 현장에서 직접 작성하여 자동으로 중앙 시스템에 업데이트할 수 있다.

또한, 현장 작업자의 부상 등 위급 상황을 IoT 기반으로 즉시 모니터링하여, 위기 상황에 신속히 대응할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 증강현실 기반의 설비이력 관리 시스템을 나타내는 블록도이다.
도 2는 도 1에 도시된 AR 서버의 구체적인 기능 및 동작을 설명하기 위한 개요도이다.
도 3은 도 1에 도시된 AR 단말의 구체적인 기능 및 동작을 설명하기 위한 개요도이다.
도 4는 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 설비 정보 표시 방법을 나타내는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 설비 메모 표시 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 설비 정보 화면과 설비 메모 화면 간 이동 방법을 나타내는 순서도이다.
도 7은 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 설비 사진 촬영 방법을 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 비디오 녹화 방법을 나타내는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 메모 저장 방법을 나타내는 순서도이다.
도 10은 본 발명의 실시 예에 따른 증강현실 기반의 설비이력 관리 시스템을 컴퓨팅 장치로 구현한 예를 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 증강현실 기반의 설비이력 관리 시스템을 나타내는 블록도이다. 도 1을 참조하면, 설비이력 관리 시스템(100)은 AR 단말(110), AR 서버(120), 플랜트 IO 서버(130), 보이스 서버(140), SFTP 서버(150), AR 시그널링 서버(160), 및/또는 AR DB 서버(170)를 포함할 수 있다.

또한, 본 발명의 실시 예에 따른 설비이력 관리 시스템(100)은, 본 발명의 실시 예에 따른 서비스 제공을 위해, AR 단말(110), AR 서버(120), 플랜트 IO 서버(130), 보이스 서버(140), SFTP 서버(150), AR 시그널링 서버(160), 및/또는 AR DB 서버(170)가 유/무선 네트워크를 통해 서로 연결될 수 있으며, 상호간 통신을 수행할 수 있다.

상기 각 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 개인 근거리 무선통신(Personal Area Network; PAN), 이동 통신망(mobile radiocommunication network) 또는 위성 통신망 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.

본 발명의 설비이력 관리 시스템(100)은 AR 단말(110)에 부착된 카메라로부터 영상 신호를 수집하고 수집된 영상 신호를 영상 처리 기법 및 머신러닝, 딥러닝 기법 등을 접목하여 영상을 인식한다. 이러한 영상 인식 방식을 통한 증강현실 도입의 경우 유지보수 관리 및 관리 비용이 크게 요구되지 않으며, 주변 전자기파의 영향을 받지 않기 때문에 작업자 및 설비의 정확한 위치 파악이 가능하다.

본 발명의 설비이력 관리 시스템(100)은 실시간 설비 상태 감시 기능, 보이스 서비스를 통한 음성 메모 기능, S사진 및 동영상 저장, 호출 기능, 원격 설비 관찰 기능 등을 수행할 수 있다.

이하, 도면을 참조하여 본 발명에 따른 설비이력 관리 시스템(100)의 구체적인 구성 및 동작을 설명한다.

AR 단말(110)는 현장 영상을 촬영할 수 있는 광학 모듈을 구비하고, 광학 모듈을 통해 들어오는 영상 신호를 AR 서버(120)로 전달하여 설비의 상태를 감지한다.

일 실시예로서, AR 단말(110)은 소리를 인식할 수 있는 인식 수단을 구비하고, 인식 수단을 통해 들어오는 음성 신호를 보이스 서버(140)로 전달하여 음성 신호에 대한 음성 메모를 작성할 수 있다.

일 실시예로서, AR 단말(110)은 플랜트 IO 서버(130)로부터 플랜트 운영 정보를 받아 설비의 상태를 점검할 수 있다.

일 실시예로서, AR 단말(110)은 SFTP 서버를 통해 설비 점검 이력을 사진, 동영상의 형태로 관리할 수 있다.

일 실시예로서, AR 단말(110)은 통신 기능 및 영상 표시 기능을 구비한 스마트 글라스(smart glass)일 수 있다.

AR 서버(120)는 AR 단말(110)로부터 영상 신호를 전달받아 증강현실 기반으로 설비를 관찰하고 관찰된 결과를 AR 단말(110)에 전달한다.

플랜트 IO 서버(130)는 플랜트 운영 시스템으로부터 설비의 정보 값을 수신하고, 이를 AR 단말(110)에 전달한다.

보이스 서버(140)는 AR 단말(110)로부터 음성 신호를 수신하여 이를 텍스트로 변환한 후 저장, 및 AR 단말(110)에 전달한다.

SFTP 서버(150)는 AR 단말(110)로부터 정보를 전송받아 설비 점검 이력을 사진, 동영상의 형태로 관리한다.

AR 시그널링 서버(160)는 AR 단말(110)에서 오는 정보를 다른 AR 단말로 전달하는 중계자 역할을 수행한다.

AR DB 서버(170)는 AR 단말(110) 및 AR 서버(120)로부터 수집된 데이터를 저장 및 관리한다.

도 1의 시스템을 기반으로 설비이력 관리가 수행되는 방법을 설명하면 다음과 같다. AR 단말(110)은 카메라를 현장의 설비를 관찰하고 설비 이미지가 포함된 영상을 획득한다. 획득된 영상은 네트워크를 통해 AR 서버(120)로 전송된다.

AR 서버(120)는 머신러닝 기반으로 전송된 영상을 분석하여, 영상 내 설비를 특정한다. 이때, AR 서버(120)는 설비 데이터베이스(미도시)의 설비 정보를 참조하여 영상 내 설비를 특정할 수 있다. AR 서버(120)는 특정된 설비에 대한 설비 정보를 AR 단말(110)로 전송한다.

AR 단말(110)은 전송된 설비 정보를 AR 단말(110)에 구비된 디스플레이에 표시한다. 이때, AR 단말(110)은 상기 설비가 표시된 디스플레이 상에, 상기 전송된 설비 정보를 상기 설비와 연관하여 표시할 수 있다.

일 실시예로서, AR 단말(110)은 플랜트 IO 서버(130), SFTP 서버(150), 또는 AR DB 서버(170) 등과 통신하여, 설비에 대한 부가 정보를 수신할 수 있다.

일 실시예로서, 상기 부가 정보는 플랜트 운영 시스템으로부터 제공되는 설비의 정보 값, 설비 점검 이력, 설비와 연관된 메모 등을 포함할 수 있다.

그리고, AR 단말(110)은 상기 부가 정보가 존재함을 디스플레이에 표시하고, 사용자의 선택 또는 응답에 따라 부가 정보의 상세 내용을 디스플레이에 표시할 수 있다.

일 실시예로서, AR 단말(110)은 구비된 입력 수단을 통해 설비에 대한 새로운 메모를 생성하고 이를 AR 서버(120), 플랜트 IO 서버(130), SFTP 서버(150), 또는 AR DB 서버(170)에 전송할 수 있다. 이때, AR 단말(110)은 음성 입력 수단을 통해 사용자의 음성 신호를 수신하고, 수신된 음성 신호를 보이스 서버(140)에 전달하여 텍스트 신호로 변환한 후, 변환된 텍스트 신호를 기반으로 상기 새로운 메모를 생성할 수 있다.

한편, 일 실시예로서, AR 단말(110)은 충격 감지 센서, 또는 위상(기울기) 감지 센서 등을 구비하고, 이를 통해 AR 단말(110)을 착용한 작업자의 쓰러짐을 감지할 수 있다. 그리고, AR 단말(110)이 작업자의 쓰러짐을 감지하는 경우, 원격의 관제 센터 및/또는 주변 다른 동료의 단말로 작업자가 쓰러졌음을 나타내는 자동 알림을 발송할 수 있다. 이를 통해, 원격의 관제 센터 및/또는 주변 다른 동료는 위급 상황을 신속히 인식하고 작업자를 구조하기 위한 응급 조치를 취할 수 있게 된다.

일 실시예로서, 상기 자동 알림은 작업자의 상태 정보, 작업자의 현재 위치 정보, 작업자가 쓰러진 시각 등의 정보를 포함할 수 있다.

이하에서는, 도 2 내지 도 10을 참조하여, 설비이력 관리 시스템(100)의 주요 기능 및 동작을 보다 구체적으로 설명한다.

도 2는 도 1에 도시된 AR 서버의 구체적인 기능 및 동작을 설명하기 위한 개요도이다.

AR 서버(120)는 AR 단말(110)이 카메라를 이용하여 수집한 영상 신호를 전송받고, 전송된 영상 신호에 대해 증강현실 기반의 영상 인식 기술을 적용한 시스템으로, 전체적인 동작 방식은 도 2에 도시된 순서로 진행된다.

먼저, AR 서버(120)는 전송된 영상 신호에 대해 광학적 요소를 제거하기 위한 영상처리를 수행한다. 설비 관찰의 인식률에 대한 오류를 최소화하기 위해 AR 단말(110)을 통해 들어오는 영상 신호를 빛이나 조도에 영향을 적게 받도록 이미지 필터링을 수행하고, 히스토그램 평활화를 수행하여 이미지의 광학적 요소에 대한 영향을 최소화시킨다.

다음으로, AR 서버(120)는 영상 처리 기법을 통한 특징점 추출을 수행한다. AR 단말(110)을 통해 전송되는 영상은 저마다 고유의 특징 점을 가지고 있는데 이 특징점을 분석하기 위해 컴퓨터 비전의 기술을 사용하여 영상 특징점을 추출한다.

그리고, AR 서버(120)는 머신러닝 기법을 통한 학습 및 이에 기반한 1차 설비 관찰을 수행한다. AR 단말(110)로부터 수집된 영상을 통해 설비를 관찰하기 위해 수집된 영상의 특징점과 머신러닝으로 학습된 모델링 데이터 간에 비교 분석을 수행하여 1차적으로 설비를 관찰한다.

그리고, AR 서버(120)는 호모 그래픽을 통한 설비 관찰을 수행한다. 앞서 머신러닝 기법을 통해 인식된 설비가 올바른지 여부를 검토하는 동작으로서, 영상의 특징점 및 이미지에 대한 정보를 활용하여 자체 학습을 통해 설비를 관찰한다.

마지막으로, AR 서버(120)는 설비 관찰 여부를 평가한다. 호모 그래픽을 통해 관찰된 설비의 호모 그래픽 상태를 확인하여 최종 평가를 통해 설비의 인식 여부를 판별한다.

AR 서버(120)는 이상에서 설명한 방식으로, 머신러닝 학습과 증강현실의 영상 처리 기법을 통해 설비를 인식하고 인식된 설비에 정보를 표현하는 방식으로 시스템이 구성된다.

도 3은 도 1에 도시된 AR 단말의 구체적인 기능 및 동작을 설명하기 위한 개요도이다.

AR 단말(110)은 구비된 카메라 등을 이용하여 설비를 인식하고, 인식된 설비의 정보 값을 플랜트 운영 시스템으로부터 전달 받아 그래프로 표시하고, 보이스 서버(140)를 이용한 음성 메모 작성 및 SFTP 서버(150)를 이용한 사진, 비디오 저장 등을 통해 설비이력 관리를 수행하는 시스템이다.

AR 단말(110)의 전체적인 동작 방식은 도 3에 도시된 순서로 진행된다.

AR 단말(110)은 설비 정보를 표시할 수 있다. AR 단말(110)은 플랜트 운영 시스템이 제공하는 설비의 정보 값을 수신한 후 이를 그래프 등과 같은 형태로 표시할 수 있으며, 주기적으로(예를 들어, 5초 간격) 이를 최신 값으로 업데이트할 수 있다.

AR 단말(110)은 인식된 설비와 연관하여 작성된 전체 메모 내용을 수신하여 리스트 형식으로 표시할 수 있다. 그리고, 표시된 메모 리스트 중에서 사용자가 특정 메모를 선택하면, 해당 메모의 상세 내용을 음성 또는 텍스트의 형태로 표시할 수 있다.

일 실시예로서, AR 단말(110)은 메모의 상세 내용을 표시할 때, 메모에 대해 작성된 내용 및 첨부된 사진, 비디오 파일을 함께 표시할 수 있다.

AR 단말(110)은 또한 사용자 조작에 따라 설비에 대한 새로운 메모를 작성할 수 있다. 이때, AR 단말(110)은 사용자의 음성 입력, 사진 촬영, 비디오 녹화 등을 통해 수신되는 음성, 텍스트, 또는 영상 신호를 기반으로 새로운 메모를 작성할 수 있다. 새로운 메모가 저장되면 메모 리스트의 일부(예를 들어, 최상단 좌측)에 새로운 메모의 정보가 표시될 수 있다.

AR 단말(110)은 사용자가 작성, 변경한 메모 등 제반 정보를 데이터베이스에 저장할 수 있다. 이때, 상기 제반 정보는 설비의 고유 ID, 메모 내용, 작성자 ID, 작성자, 작성 시간, 사진 경로, 비디오 경로 등을 포함할 수 있다.

일 실예로서, AR 단말(110)은 메모 작성시 생성된 사진 및 비디오 파일을 SFTP 서버에 저장하고, 추후 해당 메모를 재확인할 때 SFTP 서버로부터 저장된 사진 및 비디오 파일을 불러올 수 있다.

도 4는 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 설비 정보 표시 방법을 나타내는 순서도이다. 도 4의 실시예는 인식된 설비의 발전 운영 시스템 정보 값을 그래프화하여 실시간으로 모니터링 하는 방법을 설명한다.

S11 단계에서, 설비가 인식된다.

S12 단계에서, 사용자로부터 "정보"라는 음성 명령이 입력된다.

S13 단계에서, 해당 설비의 하위 장비가 있는지 판단된다. 하위 장비가 있으면 본 실시예는 S14 단계로 진행한다. 그렇지 않으면 본 실시예는 S19 단계로 진행한다.

S14 단계에서, 하위 장비 리스트가 표시된다.

S15 단계에서, 사용자에 의해 하위 장비가 선택된다.

S16 단계에서, 해당 설비의 상세 장비가 있는지 판단된다. 상세 장비가 있으면 본 실시예는 S17 단계로 진행한다. 그렇지 않으면 본 실시예는 S19 단계로 진행한다.

S17 단계에서, 상세 장비 리스트가 표시된다.

S18 단계에서, 사용자에 의해 상세 장비가 선택된다.

S19 단계에서, 해당 장비, 하위 장비, 상세 장비에 대응되는 플랜트(발전) 운영 시스템 정보 값이 그래프 등으로 표시된다.

도 5는 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 설비 메모 표시 방법을 나타내는 순서도이다. 도 5의 실시예는 인식된 설비에 작성된 메모를 데이터베이스에서 불러온 후 메모 형식으로 표시하는 실시예가 설명된다.

S21 단계에서, 설비가 인식된다.

S22 단계에서, 사용자로부터 "메모"라는 음성 명령이 입력된다.

S23 단계에서, 해당 설비의 하위 장비가 있는지 판단된다. 하위 장비가 있으면 본 실시예는 S24 단계로 진행한다. 그렇지 않으면 본 실시예는 S29 단계로 진행한다.

S24 단계에서, 하위 장비 리스트가 표시된다.

S25 단계에서, 사용자에 의해 하위 장비가 선택된다.

S26 단계에서, 해당 설비의 상세 장비가 있는지 판단된다. 상세 장비가 있으면 본 실시예는 S27 단계로 진행한다. 그렇지 않으면 본 실시예는 S29 단계로 진행한다.

S27 단계에서, 상세 장비 리스트가 표시된다.

S28 단계에서, 사용자에 의해 상세 장비가 선택된다.

S29 단계에서, 해당 장비, 하위 장비, 상세 장비에 대응되는 메모 전체 내용이 리스트 형식으로 표시된다.

도 6은 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 설비 정보 화면과 설비 메모 화면 간 이동 방법을 나타내는 순서도이다. 도 6의 실시예는 정보 화면 또는 메모 리스트 화면으로 이동 시 하위 장비나 상세 장비를 재선택하지 않아도 현재 선택한 장비의 그래프 화면 및 메모 리스트 화면으로 바로 이동 가능하도록 구성된 실시예가 설명된다.

S31 단계에서, 플랜트(발전) 운영 시스템 정보 값이 그래프 등의 형태로 표시된다.

S32 단계에서, 사용자로부터 "메모"라는 음성 명령이 입력된다.

S33 단계에서, 해당 설비의 하위 장비가 있는지 판단된다. 하위 장비가 있으면 본 실시예는 S34 단계로 진행한다. 그렇지 않으면 본 실시예는 S39a 단계로 진행한다.

S34 단계에서, 하위 장비 리스트가 표시된다.

S35 단계에서, 사용자에 의해 하위 장비가 선택된다.

S36 단계에서, 해당 설비의 상세 장비가 있는지 판단된다. 상세 장비가 있으면 본 실시예는 S37 단계로 진행한다. 그렇지 않으면 본 실시예는 S39a 단계로 진행한다.

S37 단계에서, 상세 장비 리스트가 표시된다.

S38 단계에서, 사용자에 의해 상세 장비가 선택된다.

S39a 단계에서, 해당 장비, 하위 장비, 상세 장비에 대응되는 메모 전체 내용이 리스트 형식으로 표시된다.

S39b 단계에서, 사용자로부터 "정보"라는 음성 명령이 입력된다.

S39b 단계이후, 본 실시예는 S31 단계로 되돌아가 앞서의 단계가 반복 수행된다.

도 7은 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 설비 사진 촬영 방법을 나타내는 순서도이다. 도 7의 실시예는 메모 작성 화면에서 사진 촬영 시 고화질 해상도로 촬영되도록 구성하는 예가 설명된다.

S41 단계에서, 메모 작성 화면이 표시된다.

S42 단계에서, 사용자로부터 "사진"이라는 음성 명령이 입력된다.

S43 단계에서, 카메라 또는 앨범의 다이얼로그(dialog)가 표시된다.

S34 단계에서, 사용자가 "카메라" 명령을 하였는지 판단된다. "카메라" 명령을 하였으면 본 실시예는 S45 단계로 진행한다. 그렇지 않으면 본 실시예는 S49a 단계로 진행한다.

S45 단계에서, 카메라 뷰(view) 화면이 표시된다.

S46 단계에서, 사용자로부터 "촬영"이라는 음성 명령이 입력된다.

S47 단계에서, 사진 저장 다이얼로그가 표시된다.

S48a 단계에서, 사용자로부터 "저장"이라는 음성 명령이 입력된다.

S48b 단계에서, 촬영된 영상이 AR 단말(예를 들어, 스마트 안경) 내부의 저장소(예를 들어, TEMP 폴더)에 저장된다.

S49a 단계에서, 사용자가 "앨범" 명령을 하였는지 판단된다. "앨범" 명령을 하였으면 본 실시예는 S49b 단계로 진행한다. 그렇지 않으면 본 실시예는 그대로 종료한다.

S49b 단계에서, 저장된 사진 앨범 리스트로 이동된다.

도 8은 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 비디오 녹화 방법을 나타내는 순서도이다. 도 8의 실시예는 메모 작성 화면에서 비디오 녹화 진행시 음성, 화면이 녹화되어 mp4 형식으로 저장되도록 구성된 예를 설명한다.

S51 단계에서, 메모 작성 화면이 표시된다.

S52 단계에서, 사용자로부터 "비디오"라는 음성 명령이 입력된다.

S53 단계에서, 카메라 또는 앨범의 다이얼로그(dialog)가 표시된다.

S54 단계에서, 사용자가 "카메라" 명령을 하였는지 판단된다. "카메라" 명령을 하였으면 본 실시예는 S55 단계로 진행한다. 그렇지 않으면 본 실시예는 S59a 단계로 진행한다.

S55 단계에서, 카메라 뷰(view) 화면이 표시된다.

S56 단계에서, 사용자로부터 "녹화"라는 음성 명령이 입력된다.

S57 단계에서, 녹화가 진행된다. 이때, 음성 및 화면이 모두 녹화된다.

S58a 단계에서, 사용자로부터 "중지"라는 음성 명령이 입력된다.

S58b 단계에서, 비디오 저장 다이얼로그가 표시된다.

S58c 단계에서, 사용자로부터 "저장"이라는 음성 명령이 입력된다.

S58d 단계에서, 촬영된 영상이 AR 단말(예를 들어, 스마트 안경) 내부의 저장소(예를 들어, TEMP 폴더)에 저장된다.

S59a 단계에서, 사용자가 "앨범" 명령을 하였는지 판단된다. "앨범" 명령을 하였으면 본 실시예는 S59b 단계로 진행한다. 그렇지 않으면 본 실시예는 그대로 종료한다.

S59b 단계에서, 저장된 비디오 앨범 리스트로 이동된다.

도 9는 본 발명의 일 실시예에 따른 설비이력 관리 시스템의 메모 저장 방법을 나타내는 순서도이다. 도 9의 실시예는 저장 시 메모 내용과 사진 저장경로, 비디오 저장경로는 AR 데이터베이스에 저장하며, 실제 사진 파일, 비디오 파일은 SFTP 서버에 저장되도록 구성된 예가 설명된다.

S61 단계에서, 메모 작성 화면이 표시된다.

S62 단계에서, 사용자로부터 "저장"이라는 음성 명령이 입력된다.

S63 단계에서, 저장 다이얼로그(dialog)가 표시된다.

S64 단계에서, 촬영된 사진이 있는지 판단된다. 촬영된 사진이 있으면 본 실시예는 S65 단계로 진행한다. 그렇지 않으면 본 실시예는 S67 단계로 진행한다.

S65 단계에서, AR DB에 메모 내용이 저장된다.

S66 단계에서, 해당 메모의 번호에 사진 파일 이름 및 경로가 저장된다.

S67 단계에서, 녹화된 비디오가 있는지 판단된다. 녹화된 비디오가 있으면 본 실시예는 S68 단계로 진행한다. 그렇지 않으면 본 실시예는 그대로 종료한다.

S68 단계에서, 해당 메모의 번호에 비디오 파일 이름 및 경로가 저장된다.

S59 단계에서, SFTP 서버로 사진 및 비디오 파일이 전송된다.

이상의 실시 예들을 통해 설명한 증강현실 기반의 설비 이력 관리 시스템(100)에 의하면, 설비의 상태 정보 및 유지 보수 이력을 현장 작업자에게 효과적으로 제공할 수 있게 된다. 또한, 설비 점검시 확인된 고장 등의 문제를 현장에서 직접 작성하여 자동으로 중앙 시스템에 업데이트할 수 있다. 또한, 현장 작업자의 부상 등 위급 상황을 IoT 기반으로 즉시 모니터링하여, 위기 상황에 신속히 대응할 수 있게 된다.

이하에서는, 도 10을 참조하여 본 발명의 다양한 실시예에 따른 증강현실 기반의 설비이력 관리 시스템이 구현되는 예시적인 컴퓨팅 장치(500)에 대하여 설명하도록 한다.

도 10은 컴퓨팅 장치(500)를 나타내는 예시적인 하드웨어 구성도이다.

도 10에 도시된 바와 같이, 컴퓨팅 장치(500)는 하나 이상의 프로세서(510), 버스(550), 통신 인터페이스(570), 프로세서(510)에 의하여 수행되는 컴퓨터 프로그램(591)을 로드(load)하는 메모리(530)와, 컴퓨터 프로그램(591)를 저장하는 스토리지(590)를 포함할 수 있다. 다만, 도 10에는 본 발명의 실시예와 관련 있는 구성요소들만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 10에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(510)는 컴퓨팅 장치(500)의 각 구성의 전반적인 동작을 제어한다. 프로세서(510)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(510)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 컴퓨팅 장치(500)는 하나 이상의 프로세서를 구비할 수 있다.

메모리(530)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(530)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(590)로부터 하나 이상의 프로그램(591)을 로드(load) 할 수 있다. 메모리(530)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다.

버스(550)는 컴퓨팅 장치(500)의 구성 요소 간 통신 기능을 제공한다. 버스(550)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(570)는 컴퓨팅 장치(500)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(570)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(570)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.

스토리지(590)는 하나 이상의 컴퓨터 프로그램(591)을 비임시적으로 저장할 수 있다. 스토리지(590)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(591)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션(Instruction)들을 포함할 수 있다. 컴퓨터 프로그램(591)이 메모리(530)에 로드 되면, 프로세서(510)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims

카메라를 이용하여 설비를 촬영하고, 상기 설비가 촬영된 영상을 AR 서버로 전송하며, 상기 AR 서버로부터 머신러닝 알고리즘으로 분석처리된 특정된 설비에 대한 설비 정보가 추출된 영상 정보를 수신받고, 상기 설비가 표시된 디스플레이 상에, 상기 전송된 설비 정보를 상기 설비와 연관된 메모를 기반으로 메모 리스트를 표시하며, 상기 메모 리스트 중 상기 메모에 대한 사용자 선택에 응답하여, 상기 메모의 상세 내용을 표시하고, 입력 수단을 통해 사용자 음성 신호를 수신하며, 상기 음성 신호에 기반하여 새로운 메모를 생성하는
AR 기반의 설비이력 관리 장치.
제1 항에 있어서,
상기 메모는,
플랜트 운영 시스템으로부터 제공되는 설비의 정보 값, 설비 점검 이력, 또는 상기 설비와 연관된 부가 정보를 포함하는,
AR 기반의 설비이력 관리 장치.
제1 항에 있어서,
상기 음성 신호는,
보이스 서버에 전달되어 텍스트 신호로 변환된 후, 상기 변환된 텍스트 신호를 기반으로 새로운 메모가 생성되는,
AR 기반의 설비이력 관리 장치.