KR20150085853A - 증강현실을 이용한 플랜트 유지보수 시스템 및 방법 - Google Patents

증강현실을 이용한 플랜트 유지보수 시스템 및 방법 Download PDF

Info

Publication number
KR20150085853A
KR20150085853A KR1020140005504A KR20140005504A KR20150085853A KR 20150085853 A KR20150085853 A KR 20150085853A KR 1020140005504 A KR1020140005504 A KR 1020140005504A KR 20140005504 A KR20140005504 A KR 20140005504A KR 20150085853 A KR20150085853 A KR 20150085853A
Authority
KR
South Korea
Prior art keywords
maintenance
facility
image
augmented reality
mobile terminal
Prior art date
Application number
KR1020140005504A
Other languages
English (en)
Inventor
심치형
박태훈
배선하
Original Assignee
두산중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산중공업 주식회사 filed Critical 두산중공업 주식회사
Priority to KR1020140005504A priority Critical patent/KR20150085853A/ko
Publication of KR20150085853A publication Critical patent/KR20150085853A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

본 발명에 따른 증강현실을 이용한 플랜트 유지보수 시스템은, 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지들과, 상기 설비 이미지들에 각각 매칭된 유지보수에 관한 자료들을 저장하고 있는 유지보수 데이터베이스; 및 상기 설비 이미지 상에 증강현실을 통해 유지보수 메뉴를 표시하고, 선택된 유지보수 메뉴를 실행하도록 요청하는 증강현실 유지보수 소프트웨어가 탑재된 이동 단말기로부터 상기 미리 지정된 촬영 위치에서 촬영된 설비 이미지를 수신하고, 상기 설비 이미지 상에 증강현실을 통해 표시된 유지보수 메뉴 중 선택된 유지보수 메뉴의 실행이 요청되면, 상기 설비 이미지에 매칭되어 있는 유지보수에 관한 자료 중 요청된 유지보수 메뉴에 해당하는 자료를 가져와 상기 이동 단말기에 제공하는 유지보수 서버를 포함하는 것을 특징으로 한다.

Description

증강현실을 이용한 플랜트 유지보수 시스템 및 방법{Plant preventive maintenance method and system using augmented reality}
본 발명은 증강현실을 이용한 플랜트 유지보수 시스템 및 방법에 관한 것으로서, 더욱 자세하게는 발전소 설비 등 플랜트 시설에 대해 관리자가 휴대하는 스마트폰의 카메라 기능을 통해 해당 설비를 촬영하게 되면, 해당 설비에 관한 유지보수 관련 메뉴가 그 설비 화면 상에 증강현실로 나타나고, 관리자가 원하는 유지보수 메뉴를 선택하여 관리할 수 있도록 하는 증강현실을 이용한 플랜트 유지보수 시스템 및 방법에 관한 것이다.
일반적으로 플랜트 산업은 고열, 고압 공정으로 이루어져 있기 때문에 화재, 폭발과 같은 중대사고가 발생하였을 경우 그 피해 규모가 굉장히 커서 고위험군 산업으로 분류되고 있다.
이에 따라 플랜트 업체들은 주요 설비에 안전 센서(e.g. 압력, 누출, 진동 센서 등)를 부착하여 플랜트에서 야기되는 여러 위험 요인들을 지속적으로 모니터링 하도록 하는 방법을 적극 도입하고 있다.
그러나, 앞서 설명한 안전 센서들을 통해 대용량의 플랜트 상태 정보들을 수집한다고 할지라도 이를 신속하고 효과적으로 보여줄 수 있는 응용 시스템이 없는 실정이어서, 관리자가 각 공정별 운전 현황을 효율적으로 판단 및 관리하는데 어려움이 있다.
또한, 종래 플랜트 시설을 유지보수 하는 방법은 관리자가 MCR 룸과 전산실에서 HMI(Human-Machine Interface) 화면과 EWS 화면을 통해서 각 장치의 상태를 모니터링하거나 제어하고 있다. 따라서, 현장 직원들의 각 기기에 대한 다양한 정보 획득 및 상태 모니터링에 제한이 있으며, 유지보수를 위해 관련 정보를 숙지해야 하는 번거로움이 있었다.
대한민국 공개특허공보 제 10-2013-0014760호 (공개일 : 2013.02.12)
전술한 문제점을 해결하기 위한 본 발명의 목적은, 발전소 설비 등 플랜트 시설에 대해 관리자가 휴대하는 스마트폰의 카메라 기능을 통해 해당 설비를 촬영하게 되면, 해당 설비에 관한 유지보수 관련 메뉴가 그 설비 화면 상에 증강현실로 나타나고, 관리자가 원하는 유지보수 메뉴를 선택하여 관리할 수 있도록 하는 증강현실을 이용한 플랜트 유지보수 시스템 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지들과, 상기 설비 이미지들에 각각 매칭된 유지보수에 관한 자료들을 저장하고 있는 유지보수 데이터베이스; 및 상기 설비 이미지 상에 증강현실을 통해 유지보수 메뉴를 표시하고, 선택된 유지보수 메뉴를 실행하도록 요청하는 증강현실 유지보수 소프트웨어가 탑재된 이동 단말기로부터 상기 미리 지정된 촬영 위치에서 촬영된 설비 이미지를 수신하여, 상기 설비 이미지 상에 증강현실을 통해 표시된 유지보수 메뉴 중 선택된 유지보수 메뉴의 실행이 요청되면, 상기 설비 이미지에 매칭되어 있는 유지보수에 관한 자료 중 요청된 유지보수 메뉴에 해당하는 자료를 가져와 상기 이동 단말기에 제공하는 유지보수 서버를 포함하는 증강현실을 이용한 플랜트 유지보수 시스템이 제공된다.
여기서, 상기 이동 단말기는, 상기 플랜트 내 각 설비들을 촬영하기 위한 카메라를 구비하고, 상기 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지와 함께 현재 위치 정보를 상기 유지보수 서버에 전송하게 된다.
또한, 상기 이동 단말기는, 상기 증강현실 유지보수 소프트웨어의 실행에 따라 상기 미리 지정된 촬영 위치에서 대상 설비를 촬영하여 설비 이미지를 획득하고, 각 설비에 부착된 위치 제공 장치로부터 근거리 통신을 통해 상기 현재 위치 정보를 획득하여 설비 이미지와 함께 상기 유지보수 서버에 전송해 주게 된다.
또한, 상기 유지보수 데이터베이스는, 상기 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득된 설비 이미지들과 더불어, 상기 설비 이미지들에 각각 매칭되어 있는 유지보수에 관한 자료와 함께 위치 정보를 저장하고 있다.
또한, 상기 유지보수 서버는, 상기 유지보수 데이터베이스에 저장되어 있는 저장 설비 이미지들 중에 상기 이동 단말기로부터 수신한 설비 이미지의 현재 위치 정보와 동일한 위치 정보를 갖는 저장 설비 이미지를 가져와 수신 설비 이미지와 픽셀 단위 또는 일정 영역 단위로 비교하여 일정 기준 이상으로 매칭되는 경우, 저장 설비 이미지에 대응되어 있는 유지보수 관련 자료들을 읽어와 상기 이동 단말기에 전송해 주게 된다.
그리고, 상기 유지보수 데이터베이스는, 상기 미리 지정된 촬영 위치에서 촬영하여 획득한 하나의 설비 이미지에서 설비가 하나 이상인 경우에, 하나의 설비 이미지 내에 각 설비를 이루는 픽셀들의 영역(위치)에 매칭된 각 설비의 위치 값과 설비 이름을 각각 저장하고 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지들과 상기 설비 이미지들에 각각 매칭된 유지보수에 관한 자료들을 저장하고 있는 유지보수 데이터베이스, 유지보수 메뉴에 해당하는 자료를 제공하는 유지보수 서버 및 유지보수 소프트웨어가 탑재된 이동 단말기를 포함하는 시스템의 증강현실을 이용한 플랜트 유지보수 방법으로서, (a) 상기 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지 상에 설비를 이루는 각 객체에 대해 증강현실로 설비 이름을 표시하는 단계; (b) 상기 증강현실로 표시된 설비 이름 중 하나가 선택되는 단계; (c) 상기 선택된 설비 이름의 객체 이미지 상에 증강현실로 유지보수 메뉴를 표시하는 단계; (d) 상기 표시된 유지보수 메뉴 중 하나가 선택되는 단계; (e) 상기 유지보수 데이터베이스로부터 상기 설비 이미지에 매칭되어 있는 상기 설비 이름과 상기 선택된 유지보수 메뉴에 해당하는 유지보수 자료를 가져와 제공하는 단계를 포함하는 증강현실을 이용한 플랜트 유지보수 방법이 제공된다.
또한, 상기 (a) 단계는, 상기 이동 단말기가 상기 획득된 설비 이미지와 함께 현재 위치 정보를 상기 유지보수 서버에 전송하고, 상기 유지보수 서버가 상기 설비 이미지 상에 설비를 이루는 각 객체에 대한 설비 이름을 상기 이동 단말기에 제공하게 된다.
또한, 상기 (a) 단계는, 상기 미리 지정된 촬영 위치에서 촬영하여 획득한 하나의 설비 이미지에서 설비 객체가 하나 이상인 경우에, 상기 유지보수 데이터베이스에 하나의 설비 이미지 내에 각 설비를 이루는 픽셀들의 영역(위치)에 매칭되어 있는 각 설비의 위치 값과 설비 이름에 근거해 상기 획득된 설비 이미지 상에 설비를 이루는 각 객체에 대해 증강현실로 설비 이름을 표시하게 된다.
또한, 상기 (a) 단계에서, 상기 이동 단말기는 각 설비에 부착된 위치 제공 장치로부터 근거리 통신을 통해 상기 현재 위치 정보를 획득하게 된다.
또한, 상기 (e) 단계는, 상기 이동 단말기가 상기 유지보수 서버로부터 수신한 상기 유지보수 메뉴에 해당하는 유지보수 자료를 상기 설비 이미지 상에 또는 별도의 화면으로 디스플레이하게 된다.
그리고, 상기 (e) 단계는, 상기 유지보수 서버가, 상기 유지보수 데이터베이스에 저장되어 있는 저장 설비 이미지들 중에 상기 이동 단말기로부터 수신한 설비 이미지의 현재 위치 정보와 동일한 위치 정보를 갖는 저장 설비 이미지를 가져와 수신 설비 이미지와 픽셀 단위 또는 일정 영역 단위로 비교하여 일정 기준 이상으로 매칭되는 경우, 저장 설비 이미지에 매칭되어 있는 유지보수 관련 자료들을 읽어와 상기 이동 단말기에 전송해 주게 된다.
본 발명에 의하면, 발전소 현장에서 증강현실 유지보수 소프트웨어가 탑재된 모바일 단말기를 이용하여 각 설비에 대한 유지보수를 용이하게 실시할 수 있다.
또한, 관리자나 작업자 등이 휴대하는 스마트폰을 통해 대상 설비를 촬영하는 동작만으로 하나의 화면에 다양한 정보를 표시할 수 있어 유지보수 능력을 향상시킬 수 있다.
따라서, 현장 직원들의 각 기기에 대한 다양한 정보 획득 및 상태 모니터링에 제한이 없으며, 유지보수를 위해 관련 정보를 숙지할 필요가 없다.
도 1은 본 발명의 실시예에 따른 증강현실을 이용한 플랜트 유지보수 시스템의 전반적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 증강현실을 이용한 유지보수 방법을 설명하기 위한 전체 흐름도를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따라 이동 단말기에서 설비 이미지 상에 각 객체에 대해 증강현실로 설비 이름이나 기호를 나타내는 예를 도시한 도면이다.
도 4는 본 발명의 실시예에 따라 설비 이미지 상에 증강현실로 나타난 설비 이름 중 하나를 선택하고, 유지보수 메뉴 중 하나를 선택하는 화면을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 설비 이미지 상에서 유지보수 메뉴 중 선택된 메뉴에 해당하는 자료를 디스플레이하는 예를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에 따른 플랜트 유지보수 시스템 및 방법의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 증강현실을 이용한 플랜트 유지보수 시스템의 전반적인 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 증강현실을 이용한 플랜트 유지보수 시스템(100)은, 설비 영역(110), 이동 단말기(120), 유지보수 서버(130) 및 유지보수 데이터베이스(DB)(140)를 포함한다.
여기서, 설비 영역(110)은 플랜트 내 각 설비가 설치되어 있는 영역으로서, 플랜트 내 각 설비에 대해 카메라로 촬영할 미리 지정된 촬영 위치를 각각 표기하고 있다.
이동 단말기(120)는 발전소 내 각 설비들을 촬영하기 위한 카메라를 구비하고, 설비 영역의 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지와 현재 위치 정보를 전송하고, 설비 이미지 상에 증강현실을 통해 유지보수 메뉴를 표시하며, 선택된 유지보수 메뉴를 실행하도록 요청하는 단말기이다.
또한, 이동 단말기(120)는, 증강현실 유지보수 소프트웨어의 실행에 따라 설비 영역의 미리 지정된 촬영 위치에서 대상 설비를 촬영하여 설비 이미지를 획득하고, 각 설비에 설치되어 있는 위치 제공 장치로부터 근거리 통신을 통해 현재 위치 정보를 획득하여 설비 이미지와 함께 유지보수 서버(130)에 전송해 주게 된다.
그리고, 이동 단말기(120)는 증강현실(Augmentation Reality) 유지보수 소프트웨어가 탑재된 단말기로서 증강현실 서비스를 지원할 수 있는 스마트폰, 타블렛 PC 등의 기기가 될 수 있다.
통신망은 인터넷, 인트라넷, 이동 통신망, 위성 통신망 등 다양한 유선 통신망과 무선 통신망을 포함한다.
유지보수 서버(130)는 이동 단말기(120)로부터 설비 영역의 미리 지정된 촬영 위치에서 촬영된 설비 이미지와 현재 위치 정보를 수신하고, 설비 이미지 상에 증강현실을 통해 표시된 유지보수 메뉴 중 선택된 유지보수 메뉴의 실행이 요청되면, 설비 이미지에 매칭되어 있는 유지보수에 관한 자료 중 요청된 유지보수 메뉴에 해당하는 유지보수 자료를 가져와 이동 단말기(120)에 제공하게 된다.
또한, 유지보수 서버(130)는, 유지보수 데이터베이스(140)에 저장되어 있는 저장 설비 이미지들 중에 이동 단말기(120)로부터 수신한 설비 이미지의 현재 위치 정보와 동일한 위치 정보를 갖는 저장 설비 이미지를 가져와 수신 설비 이미지와 픽셀 단위 또는 일정 영역 단위로 비교하여 일정 기준(70%) 이상으로 매칭되는 경우, 저장 설비 이미지에 매칭되어 있는 유지보수 관련 자료들을 읽어와 이동 단말기(120)에 전송해 주게 된다.
그리고, 유지보수 서버(130)는 플랜트 설비에 대한 유지 보수를 담당하는 서버로서, 플랜트 설비에 대한 유지보수 메뉴를 증강현실로 제공하는 증강현실 서버를 포함하는 개념으로 실시하였으나, 유지보수 서버(140) 내에 포함시키지 않고 별도의 증강현실 서버로 구현할 수도 있다.
유지보수 데이터베이스(140)는 설비 영역(110)의 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지들과, 설비 이미지들에 각각 매칭되어 있는 유지보수에 관한 자료들을 저장하고 있다.
또한, 유지보수 데이터베이스(140)는 설비 영역(110)의 미리 지정된 촬영 위치에서 촬영하여 획득한 하나의 설비 이미지에서 설비가 하나 이상인 경우에, 하나의 설비 이미지 내에 각 설비를 이루는 픽셀들의 영역(위치)에 매칭되어 있는 각 설비의 위치 값과 설비 이름도 각각 저장하고 있다.
도 2는 본 발명의 실시예에 따른 증강현실을 이용한 유지보수 방법을 설명하기 위한 전체 흐름도를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 증강현실을 이용한 유지보수 시스템(100)은, 먼저 이동 단말기(130)가 증강현실 유지보수 소프트웨어를 실행하여 플랜트 내 미리 지정된 촬영 위치에서 설비를 촬영하여 설비 이미지를 획득한다(S210).
이어, 이동 단말기(130)가 획득된 설비 이미지 상에 설비를 이루는 각 객체에 대해 도 3에 도시된 바와 같이 증강현실로 설비 이름을 표시한다(S220).
즉, 이동 단말기(120)가 카메라를 통해 획득한 설비 이미지와 함께 현재 위치 정보를 유지보수 서버(130)에 전송하고, 유지보수 서버(130)가 설비 이미지 상에 설비를 이루는 각 객체에 대한 설비 이름을 이동 단말기(120)에 제공해 주게 됨으로써, 이동 단말기(120)가 도 3에 나타낸 바와 같이 설비 이미지 상에 각 객체에 대해 증강현실로 설비 이름을 표시하는 것이다.
이때, 이동 단말기(120)는 설비 영역의 촬영 위치에서 촬영하여 획득한 하나의 설비 이미지에서 도 3에 도시된 바와 같이 설비 객체가 하나 이상인 경우에, 유지보수 데이터베이스(140)에 하나의 설비 이미지 내에 각 설비를 이루는 픽셀들의 영역(위치)에 매칭되어 있는 각 설비의 위치 값과 설비 이름에 근거해 설비 이미지 상에 설비를 이루는 각 객체에 대해 증강현실로 설비 이름이나 기호를 표시하게 된다. 도 3은 본 발명의 실시예에 따라 이동 단말기에서 설비 이미지 상에 각 객체에 대해 증강현실로 설비 이름이나 기호를 나타내는 예를 도시한 도면이다. 도 3에 도시된 바와 같이 이동 단말기(120)는 설비 이미지에서 보이는 각 설비 객체에 대해 "LP-B", "LP-A", "IP", "HP" 등과 같이 설비를 알아볼 수 있는 기호나 설비 이름을 증강현실로 설비 이미지 상에 보이도록 디스플레이한다.
이어, 이동 단말기(120)에서 도 4에 도시된 바와 같이 증강현실로 표시된 설비 이름(기호) 중 하나가 선택된다(S230). 도 4는 본 발명의 실시예에 따라 설비 이미지 상에 증강현실로 나타난 설비 이름 중 하나를 선택하고, 유지보수 메뉴 중 하나를 선택하는 화면을 나타낸 도면이다. 도 4에 도시된 바와 같이 관리자나 작업자는 설비 이미지 상에 나타난 "LP-B", "LP-A", "IP", "HP" 등의 설비 이름 중 "LP-B"를 선택한다(①).
이어, 이동 단말기(120)는 선택된 설비 이름의 객체 이미지 상에 증강현실로 유지보수 메뉴를 표시한다(S240). 도 4에 도시된 바와 같이, 이동 단말기(120)는 설비 이미지 상에 "Manual", "HMI", "Trend", "Info" 등 유지보수 메뉴를 표시하게 된다.
이어, 이동 단말기(120)에서 표시된 유지보수 메뉴 중 하나가 선택된다(S250). 즉, 도 4에 도시된 바와 같이 작업자 또는 관리자는 설비 이미지 상에 표시된 "Manual", "HMI", "Trend", "Info" 등 유지보수 메뉴 중에 "Trend" 메뉴를 선택한다(②).
이어, 이동 단말기(120)는 현재 위치 정보를 획득한다(S260).
이때, 이동 단말기(120)는 각 설비에 부착된 위치 제공 장치로부터 블루투스(Bluetooth)나 지그비(Zigbee) 등 근거리 통신을 통해 현재 위치 정보를 획득할 수 있다.
이어, 이동 단말기(120)는 현재 위치 정보와 획득된 설비 이미지, 선택된 설비 이름 및 선택된 유지보수 메뉴를 유지보수 서버(130)에 전송한다(S270).
이어, 유지보수 서버(130)는 현재 위치 정보에 근거해 유지보수 데이터베이스(140)로부터 설비 이름과 선택된 유지보수 메뉴에 해당하는 자료를 가져와 이동 단말기(120)에 제공한다(S280).
이때, 유지보수 서버(130)는 유지보수 데이터베이스(140)에 저장되어 있는 저장 설비 이미지들 중에 이동 단말기(120)로부터 수신한 설비 이미지의 현재 위치 정보와 동일한 위치 정보를 갖는 저장 설비 이미지를 가져와 수신 설비 이미지와 픽셀 단위 또는 일정 영역 단위로 비교하여 일정 기준(70%) 이상으로 동일한 경우 저장 설비 이미지에 매칭되어 있는 유지보수 관련 자료들을 읽어와 이동 단말기(120)에 전송해 주게 된다.
그리고, 이동 단말기(120)는 유지보수 서버(130)로부터 수신한 유지보수 메뉴에 해당하는 유지보수 자료를 도 5에 도시된 바와 같이 설비 이미지 상에 또는 별도의 화면으로 디스플레이한다(S290).
예를 들면, 이동 단말기(120)는 작업자 또는 관리자가 유지보수 메뉴 중 "Trend" 메뉴를 선택한 경우에, 도 5에 도시된 바와 같이 해당 설비의 트렌드에 관한 자료를 그래프 형태로 제공하게 된다. 도 5는 본 발명의 실시예에 따른 설비 이미지 상에서 유지보수 메뉴 중 선택된 메뉴에 해당하는 자료를 디스플레이하는 예를 나타낸 도면이다. 이동 단말기(120)는 작업자 또는 관리자가 유지보수 메뉴 중 "HMI" 메뉴를 선택한 경우에 유지보수 서버(130)로부터 수신한 HMI 관련 자료를 디스플레이하거나, "Manual" 메뉴가 선택된 경우에 Manual 관련 자료를 디스플레이하게 된다.
따라서, 작업자 또는 관리자가 이동 단말기(120)의 화면 상에 디스플레이 된 유지보수 관련 자료를 보고 유지보수 관련 조치를 취할 수 있게 된다.
전술한 바와 같이 본 발명에 의하면, 발전소 설비 등 플랜트 시설에 대해 관리자가 휴대하는 스마트폰의 카메라 기능을 통해 해당 설비를 촬영하게 되면, 해당 설비에 관한 유지보수 관련 메뉴가 그 설비 화면 상에 증강현실로 나타나도록 하여 관리자가 원하는 유지보수 메뉴를 선택하여 관리할 수 있도록 하는 증강현실을 이용한 플랜트 유지보수 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 발전소 설비 등 플랜트 시설에 대해 관리자가 휴대하는 스마트폰의 카메라 기능을 통해 해당 설비를 촬영하게 되면, 해당 설비에 관한 유지보수 관련 메뉴가 그 설비 화면 상에 증강현실로 나타나도록 하여 관리자가 원하는 유지보수 메뉴를 선택하여 실행할 수 있도록 하는 증강현실을 이용한 플랜트 유지보수 시스템 및 방법에 적용할 수 있다.
100 : 플랜트 유지보수 시스템 110 : 설비 영역
120 : 이동 단말기 130 : 유지보수 서버
140 : 유지보수 데이터베이스(DB)

Claims (12)

  1. 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지들과, 상기 설비 이미지들에 각각 매칭된 유지보수에 관한 자료들을 저장하고 있는 유지보수 데이터베이스; 및
    상기 설비 이미지 상에 증강현실을 통해 유지보수 메뉴를 표시하고, 선택된 유지보수 메뉴를 실행하도록 요청하는 증강현실 유지보수 소프트웨어가 탑재된 이동 단말기로부터 상기 미리 지정된 촬영 위치에서 촬영된 설비 이미지를 수신하고, 상기 설비 이미지 상에 증강현실을 통해 표시된 유지보수 메뉴 중 선택된 유지보수 메뉴의 실행이 요청되면, 상기 설비 이미지에 매칭되어 있는 유지보수에 관한 자료 중 요청된 유지보수 메뉴에 해당하는 자료를 가져와 상기 이동 단말기에 제공하는 유지보수 서버;
    를 포함하는 증강현실을 이용한 플랜트 유지보수 시스템.
  2. 청구항 1에 있어서,
    상기 이동 단말기는, 상기 플랜트 내 각 설비들을 촬영하기 위한 카메라를 구비하고, 상기 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지와 함께 현재 위치 정보를 상기 유지보수 서버에 전송하는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 시스템.
  3. 청구항 2에 있어서,
    상기 이동 단말기는, 상기 증강현실 유지보수 소프트웨어의 실행에 따라 상기 미리 지정된 촬영 위치에서 대상 설비를 촬영하여 설비 이미지를 획득하고, 각 설비에 부착된 위치 제공 장치로부터 근거리 통신을 통해 상기 현재 위치 정보를 획득하여 설비 이미지와 함께 상기 유지보수 서버에 전송해 주는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 시스템.
  4. 청구항 1에 있어서,
    상기 유지보수 데이터베이스는, 상기 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득된 설비 이미지들과 더불어, 상기 설비 이미지들에 각각 매칭되어 있는 유지보수에 관한 자료와 함께 위치 정보를 저장하고 있는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 시스템.
  5. 청구항 2에 있어서,
    상기 유지보수 서버는, 상기 유지보수 데이터베이스에 저장되어 있는 저장 설비 이미지들 중에 상기 이동 단말기로부터 수신한 설비 이미지의 현재 위치 정보와 동일한 위치 정보를 갖는 저장 설비 이미지를 가져와 수신 설비 이미지와 픽셀 단위 또는 일정 영역 단위로 비교하여 일정 기준 이상으로 매칭되는 경우, 저장 설비 이미지에 대응되어 있는 유지보수 관련 자료들을 읽어와 상기 이동 단말기에 전송해 주는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 시스템.
  6. 청구항 1에 있어서,
    상기 유지보수 데이터베이스는, 상기 미리 지정된 촬영 위치에서 촬영하여 획득한 하나의 설비 이미지에서 설비가 하나 이상인 경우에, 하나의 설비 이미지 내에 각 설비를 이루는 픽셀들의 영역(위치)에 매칭된 각 설비의 위치 값과 설비 이름을 각각 저장하고 있는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 시스템.
  7. 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지들과 상기 설비 이미지들에 각각 매칭된 유지보수에 관한 자료들을 저장하고 있는 유지보수 데이터베이스, 유지보수 메뉴에 해당하는 자료를 제공하는 유지보수 서버 및 유지보수 소프트웨어가 탑재된 이동 단말기를 포함하는 시스템의 증강현실을 이용한 플랜트 유지보수 방법으로서,
    (a) 상기 플랜트 내 미리 지정된 촬영 위치에서 촬영하여 획득한 설비 이미지 상에 설비를 이루는 각 객체에 대해 증강현실로 설비 이름을 표시하는 단계;
    (b) 상기 증강현실로 표시된 설비 이름 중 하나가 선택되는 단계;
    (c) 상기 선택된 설비 이름의 객체 이미지 상에 증강현실로 유지보수 메뉴를 표시하는 단계;
    (d) 상기 표시된 유지보수 메뉴 중 하나가 선택되는 단계;
    (e) 상기 유지보수 데이터베이스로부터 상기 설비 이미지에 매칭되어 있는 상기 설비 이름과 상기 선택된 유지보수 메뉴에 해당하는 유지보수 자료를 가져와 제공하는 단계;
    를 포함하는 증강현실을 이용한 플랜트 유지보수 방법.
  8. 청구항 7에 있어서,
    상기 (a) 단계는, 상기 이동 단말기가 상기 획득된 설비 이미지와 함께 현재 위치 정보를 상기 유지보수 서버에 전송하고, 상기 유지보수 서버가 상기 설비 이미지 상에 설비를 이루는 각 객체에 대한 설비 이름을 상기 이동 단말기에 제공하는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 방법.
  9. 청구항 7에 있어서,
    상기 (a) 단계는, 상기 미리 지정된 촬영 위치에서 촬영하여 획득한 하나의 설비 이미지에서 설비 객체가 하나 이상인 경우에, 상기 유지보수 데이터베이스에 하나의 설비 이미지 내에 각 설비를 이루는 픽셀들의 영역(위치)에 매칭되어 있는 각 설비의 위치 값과 설비 이름에 근거해 상기 획득된 설비 이미지 상에 설비를 이루는 각 객체에 대해 증강현실로 설비 이름을 표시하는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 방법.
  10. 청구항 8에 있어서,
    상기 (a) 단계에서, 상기 이동 단말기는 각 설비에 부착된 위치 제공 장치로부터 근거리 통신을 통해 상기 현재 위치 정보를 획득하는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 방법.
  11. 청구항 8에 있어서,
    상기 (e) 단계는, 상기 이동 단말기가 상기 유지보수 서버로부터 수신한 상기 유지보수 메뉴에 해당하는 유지보수 자료를 상기 설비 이미지 상에 또는 별도의 화면으로 디스플레이하는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 방법.
  12. 청구항 8에 있어서,
    상기 (e) 단계는, 상기 유지보수 서버가, 상기 유지보수 데이터베이스에 저장되어 있는 저장 설비 이미지들 중에 상기 이동 단말기로부터 수신한 설비 이미지의 현재 위치 정보와 동일한 위치 정보를 갖는 저장 설비 이미지를 가져와 수신 설비 이미지와 픽셀 단위 또는 일정 영역 단위로 비교하여 일정 기준 이상으로 매칭되는 경우, 저장 설비 이미지에 매칭되어 있는 유지보수 관련 자료들을 읽어와 상기 이동 단말기에 전송해 주는 것을 특징으로 하는 증강현실을 이용한 플랜트 유지보수 방법.
KR1020140005504A 2014-01-16 2014-01-16 증강현실을 이용한 플랜트 유지보수 시스템 및 방법 KR20150085853A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140005504A KR20150085853A (ko) 2014-01-16 2014-01-16 증강현실을 이용한 플랜트 유지보수 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140005504A KR20150085853A (ko) 2014-01-16 2014-01-16 증강현실을 이용한 플랜트 유지보수 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20150085853A true KR20150085853A (ko) 2015-07-27

Family

ID=53874823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140005504A KR20150085853A (ko) 2014-01-16 2014-01-16 증강현실을 이용한 플랜트 유지보수 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20150085853A (ko)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069539A (ko) * 2016-12-15 2018-06-25 기가찬 주식회사 플랜트의 가상 현실 서비스 제공 방법 및 이를 위한 장치
KR101949934B1 (ko) * 2017-11-30 2019-02-19 주식회사 위즈커뮤니케이션즈 증강현실 이미지를 이용한 설비 모니터링 장치 및 방법
WO2019132112A1 (ko) * 2017-12-26 2019-07-04 주식회사 아프로스 관리 대상 설비 이상 상태 모니터링 시스템
KR20200076255A (ko) * 2018-12-19 2020-06-29 고등기술연구원연구조합 비행체를 이용한 플랜트 ar 능동제어 시스템
KR102198022B1 (ko) * 2020-08-18 2021-01-04 주식회사 대성이엔씨 혼합현실 기반 시설물 검측 및 유지관리 업무지원 장치, 시스템, 및 방법
KR20210021639A (ko) * 2019-08-19 2021-03-02 퓨처메인 주식회사 증강현실 기반의 설비예지보전 시스템 및 방법
IT201900015485A1 (it) * 2019-09-03 2021-03-03 Ali Group Srl Carpigiani Sistema di supporto per la gestione di una macchina per il trattamento di prodotti alimentari e procedimento corrispondente.
KR20210062251A (ko) 2019-11-21 2021-05-31 대우조선해양 주식회사 Vr 공간 정보 기반의 선원 교육 시스템 및 방법
KR20210067185A (ko) 2019-11-29 2021-06-08 퓨처메인 주식회사 증강현실을 기반으로 하는 발전설비의 예지보전 시스템 및 방법
WO2021118218A1 (ko) * 2019-12-10 2021-06-17 주식회사 아이티공간 기기의 동작 추적을 통한 기기의 가상 모니터링 관리방법
KR20210111955A (ko) 2020-03-03 2021-09-14 주식회사 코아소프트 증강현실을 이용한 원격지원 장치
KR20220011071A (ko) * 2020-07-20 2022-01-27 효성피엠(주) 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법
KR20220012498A (ko) * 2020-07-22 2022-02-04 주식회사 코아소프트 부동산 분양관리 및 사후관리를 위한 건물관리 플랫폼 장치
KR20220012499A (ko) * 2020-07-22 2022-02-04 주식회사 코아소프트 증강현실을 이용한 부동산 서비스 플랫폼 제공 장치
KR20230076911A (ko) * 2021-11-22 2023-06-01 주식회사 티엠솔루션스 증강현실을 기반으로 하는 배전반 유지보수 시스템

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069539A (ko) * 2016-12-15 2018-06-25 기가찬 주식회사 플랜트의 가상 현실 서비스 제공 방법 및 이를 위한 장치
KR101949934B1 (ko) * 2017-11-30 2019-02-19 주식회사 위즈커뮤니케이션즈 증강현실 이미지를 이용한 설비 모니터링 장치 및 방법
WO2019132112A1 (ko) * 2017-12-26 2019-07-04 주식회사 아프로스 관리 대상 설비 이상 상태 모니터링 시스템
KR20200076255A (ko) * 2018-12-19 2020-06-29 고등기술연구원연구조합 비행체를 이용한 플랜트 ar 능동제어 시스템
KR20210021639A (ko) * 2019-08-19 2021-03-02 퓨처메인 주식회사 증강현실 기반의 설비예지보전 시스템 및 방법
US11163357B2 (en) 2019-09-03 2021-11-02 Ali Group S.R.L.—Carpigiani Support system and corresponding method for the management of a machine for treating food products
IT201900015485A1 (it) * 2019-09-03 2021-03-03 Ali Group Srl Carpigiani Sistema di supporto per la gestione di una macchina per il trattamento di prodotti alimentari e procedimento corrispondente.
CN112438416A (zh) * 2019-09-03 2021-03-05 艾力集团有限责任公司-卡皮贾尼 用于管理用于食品加工的机器的支持系统及相应方法
EP3789850A1 (en) * 2019-09-03 2021-03-10 Ali Group S.r.l. - Carpigiani Support system and corresponding method for the management of a machine for treating food products
KR20210062251A (ko) 2019-11-21 2021-05-31 대우조선해양 주식회사 Vr 공간 정보 기반의 선원 교육 시스템 및 방법
KR20210067185A (ko) 2019-11-29 2021-06-08 퓨처메인 주식회사 증강현실을 기반으로 하는 발전설비의 예지보전 시스템 및 방법
WO2021118218A1 (ko) * 2019-12-10 2021-06-17 주식회사 아이티공간 기기의 동작 추적을 통한 기기의 가상 모니터링 관리방법
KR20210111955A (ko) 2020-03-03 2021-09-14 주식회사 코아소프트 증강현실을 이용한 원격지원 장치
KR20220011071A (ko) * 2020-07-20 2022-01-27 효성피엠(주) 증강현실 기반의 비대면 기술지원 서비스 시스템 및 방법
KR20220012498A (ko) * 2020-07-22 2022-02-04 주식회사 코아소프트 부동산 분양관리 및 사후관리를 위한 건물관리 플랫폼 장치
KR20220012499A (ko) * 2020-07-22 2022-02-04 주식회사 코아소프트 증강현실을 이용한 부동산 서비스 플랫폼 제공 장치
KR102198022B1 (ko) * 2020-08-18 2021-01-04 주식회사 대성이엔씨 혼합현실 기반 시설물 검측 및 유지관리 업무지원 장치, 시스템, 및 방법
KR20230076911A (ko) * 2021-11-22 2023-06-01 주식회사 티엠솔루션스 증강현실을 기반으로 하는 배전반 유지보수 시스템

Similar Documents

Publication Publication Date Title
KR20150085853A (ko) 증강현실을 이용한 플랜트 유지보수 시스템 및 방법
US10147234B2 (en) System and method for augmented reality display of electrical system information
US9152138B2 (en) Common collaboration context between a console operator and a field operator
US10200631B2 (en) Method for configuring a camera
EP3738006A1 (en) System for power plant management and device for building 3d virtual model of power plant
CN114625241A (zh) 增强现实强化的情境感知
CN110536074B (zh) 一种智能巡检系统、巡检方法
CN109587441B (zh) 视频监视系统中设备间直接访问视频数据流和数据的方法
KR101466132B1 (ko) 카메라 통합 관리 시스템 및 그 방법
JP6275011B2 (ja) 作業支援システム及びプログラム
JP2015114424A (ja) 電子機器、表示装置、方法、及びプログラム
JP5677055B2 (ja) 監視映像表示装置
JP7179583B2 (ja) 画像処理装置および画像処理方法
JP2012054891A (ja) 画像処理装置、方法及びプログラム
WO2020003644A1 (ja) 漏洩ガス検出装置および漏洩ガス検出方法
CN111696201A (zh) 基于实景3d gis地图的警情显示方法和系统
JP6226859B2 (ja) 作業監視システム
JP5864371B2 (ja) 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置
CN103873890A (zh) 拍照软件的流量控制方法及系统
US20140176721A1 (en) Mobile command system and mobile terminal thereof
KR102057845B1 (ko) 단말기와의 연계를 통한 영상 관제 방법 및 이를 이용한 영상 관제 시스템
KR102166954B1 (ko) 위치기반 증강현실을 이용한 전력 솔루션 관리 방법
JP2014153734A (ja) タブレット監視端末
CN109413386B (zh) 一种温度监控方法及系统
JP7107545B2 (ja) 位置情報管理装置、位置情報管理システム、位置情報管理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment