KR102284282B1 - 증강현실 이미지 기반의 원격협업 모니터링 방법 - Google Patents

Abstract

본 발명은 증강현실 이미지를 이용하여 기계설비들의 각 부품별 상태 정보를 용이하게 분석 및 모니터링할 수 있는 원격협업 모니터링 방법을 제공하기 위한 것이다.
이에 본 발명에서는 복수의 카메라 모듈에 의해 실시간으로 촬영되는 영상에서 기계설비들의 각 부품들에 대한 화면을 이미지로 캡쳐하여 저장하는 메모리, 상기 기계설비들의 PLC 장치와 각종 센서로부터 상태 정보를 수집 및 분석하여 고장진단 정보를 생성하는 진단 모듈, 상기 부품들을 캡쳐한 이미지 위에 해당 부품의 상기 고장진단 정보가 표시된 증강현실 이미지를 생성하는 AR 모듈, 상기 증강현실 이미지를 표시하는 그래픽 모듈 및 상기 진단 모듈의 고장진단 정보를 상기 AR 모듈로 전송하고, 상기 고장진단 정보를 기초로, 상기 기계설비들의 각 부품들 중 수리 및 교체가 필요한 부품을 확인하고, 상기 수리 및 교체가 필요한 부품에 대한 정보를 상기 증강현실 이미지와 함께 표시하도록 상기 그래픽 모듈을 제어하는 컨트롤러를 포함하는 증강현실 이미지 기반의 원격협업 모니터링 방법을 개시한다.

Description

증강현실 이미지 기반의 원격협업 모니터링 방법{Remote collaboration monitering method using augmented reality image}

본 발명은 증강현실 이미지를 이용하여 육안으로 식별이 어려운 기계설비들의 부품별 상태 정보를 용이하게 분석 및 진단하는 증강현실 이미지 기반의 원격협업 모니터링 방법에 관한 것으로서, 더욱 상세하게는 스마트 공장 내의 각종 기계설비에서 발생하는 상태 정보를 수집 및 분석하고, 증강현실 이미지를 이용하여 해당 기계설비의 영상 위에 상태 정보 및 고장진단 정보를 표시함으로써 작업자가 기계설비에 직접 접근하지 않고 모니터링할 수 있을 뿐만 아니라 설비제작업체, 기술책임자, 품질책임자 등 원격지에 위치하여 접근이 곤란한 해당 기계설비 관련 전문가 또는 관리자의 가시성 확보로 업무처리와 운영의 효율성을 높일 수 있고, 아울러 유지보수 시점을 사전에 파악해 효과적으로 기계설비를 관리할 수 있는 증강현실 이미지 기반의 원격협업 모니터링 방법에 관한 것이다.

일반적으로 공장의 자동화 생산라인에서 기계설비는 정밀도의 저하와 생산 중단 등이 일어나지 않도록 운전상태를 양호하게 유지해야 한다. 기계설비는 작업자가 조작하지만 고장이나 기능저하, 이상이 발생하면 작동을 중단하고, 이상 현상을 제거하기 위해서는 설비담당자, 설비업체 엔지니어, 기술담당자 등의 지원이 있어야 대응이 가능하며, 이를 해결하기까지 상당한 시간이 소모된다.

또한, 모든 기계설비의 부품은 사용함에 따라 마모 또는 파손 등으로 성능 저하 및 열화현상이 나타나지만 육안으로 인지하기 전까지는 이를 탐지 및 이상 징후를 감지하기가 어렵다.

특히 기계설비 및 부품의 고장은 시간과 비용에 있어 상당한 손실을 초래하므로 생산 중단없이 자동화되고 효율적으로 고장상태를 예지 및 진단할 방법이 필요하다.

최근 기계설비에 대한 지속적인 상태 감시를 통해 수집된 다양한 측정 데이터를 기반으로 장비를 구성하는 부품의 고장 및 교체 시점을 예측하는 예지정비 시스템(prediction maintenance system)이 연구되고 있다.

이러한 예지정비 시스템은 지속적인 상태 감시를 통하여 장치의 노딜레이(no delay) 가동을 실현할 수 있고, 장치가 갑작스러운 고장에 의해 정지되어 막대한 손해를 보는 경우를 방지할 수 있다.

한편, 정보통신 기술의 급속한 발전과 유비쿼터스 기반의 인프라 확충 등에 따라 기존 시스템이나 환경에서 각종 기계설비들에 대한 효율적인 관리가 요구되고 있다.

특히 작업자가 기계설비들의 이상 유무 등 상태 정보를 직접 파악하기 위해서는 설치장소로 이동하면서 일일이 육안으로 확인해야 하는 번거로움이 있고, 이와 달리 원격에서 모니터링할 경우 해당 기계설비를 직접 보지 못하기 때문에 정확한 상태 정보를 파악하기 어려운 문제점이 있다.

여기서 상술한 배경기술 또는 종래기술은 본 발명자가 보유하거나 본 발명을 도출하는 과정에서 습득한 정보로서 본 발명의 기술적 의의를 이해하는데 도움이 되기 위한 것일 뿐, 본 발명의 출원 전에 이 발명이 속하는 기술분야에서 널리 알려진 기술을 의미하는 것은 아님을 밝힌다.

KR 10-1983603 B1(2019.05.23) KR 10-2017-0111038 A(2017.10.12)

이에 본 발명자는 상술한 제반 사항을 종합적으로 고려하면서 기존의 기계설비 모니터링 시스템이 지닌 기술적 한계 및 문제점을 해결하려는 발상으로, 스마트 공장 내의 각종 기계설비들의 부품별 손상 감지 및 저하 정도를 원격에서 증강현실을 기반으로 모니터링하여 기계설비의 이상 상황 및 고장 시점을 사전에 예측함으로써 고장을 대비하고 점검 및 정비 등의 관련 전문가들의 협업을 통해 선제적인 조치가 가능한 효과를 도모할 수 있는 새로운 기계설비 원격협업 모니터링 방법을 개발하고자 각고의 노력을 기울여 부단히 연구하던 중 그 결과로써 본 발명을 창안하게 되었다.

따라서 본 발명이 해결하고자 하는 기술적 과제 및 목적은 기계설비에 작업자가 직접 접근하지 않더라도 고장 수리에 즉시 대처할 수 있도록 하는 증강현실 이미지 기반의 원격협업 모니터링 방법을 제공하는 데 있는 것이다.

여기서 본 발명이 해결하고자 하는 기술적 과제 및 목적은 이상에서 언급한 기술적 과제 및 목적으로 국한하지 않으며, 언급하지 않은 또 다른 기술적 과제 및 목적들은 아래의 기재로부터 당업자가 명확하게 이해할 수 있을 것이다.

상술한 바와 같은 목적을 달성 및 기술적 과제를 해결하기 위한 본 발명의 제1실시 태양(aspect)에 따른 구체적 수단은, 복수의 카메라 모듈에 의해 실시간으로 촬영되는 영상에서 기계설비들의 각 부품들에 대한 화면을 이미지로 캡쳐하여 저장하는 메모리, 상기 기계설비들의 PLC 장치와 각종 센서로부터 상태 정보를 수집 및 분석하여 고장진단 정보를 생성하는 진단 모듈, 상기 기계설비들의 각 부품들에 대한 이미지 위에 해당 부품의 상기 고장진단 정보가 표시된 증강현실(Augmented Reality) 이미지를 생성하는 AR 모듈, 상기 증강현실 이미지를 표시하는 그래픽 모듈 및 상기 진단 모듈의 고장진단 정보를 상기 AR 모듈로 전송하고, 상기 고장진단 정보를 기초로, 상기 기계설비들의 각 부품들 중 수리 및 교체가 필요한 부품을 확인하고, 상기 수리 및 교체가 필요한 부품에 대한 정보를 상기 증강현실 이미지와 함께 표시하도록 상기 AR 모듈과 상기 그래픽 모듈을 제어하는 컨트롤러를 포함하여 이루어지는 것을 특징으로 하는 증강현실 이미지 기반의 기계설비 모니터링 시스템을 제시한다.

이로써 본 발명은 기계설비들의 상태 정보를 정량적으로 파악하여 기계설비의 이상 징후나 향후 발생할 수 있는 사태를 미리 예상하고 적절하게 유지하고 보수하는 예지 보전의 고장 예측률 및 정확도를 높일 수 있다.

또한, 본 발명의 바람직한 제1실시 태양(aspect)은, 상기 기계설비들의 관련 전문가나 관리자의 모바일 메신저 정보를 저장하는 데이터베이스를 더 포함하며, 상기 컨트롤러는, 상기 기계설비들의 관련 전문가나 관리자의 모바일 메신저로 상기 수리 및 교체가 필요한 부품에 대한 정보를 상기 증강현실 이미지와 함께 전송함으로써 원격지에 위치하여 접근이 곤란한 기계설비 관련 전문가 또는 관리자의 가시성 확보로 업무처리와 운영의 효율성을 높일 수 있다.

또한, 본 발명의 바람직한 제1실시 태양(aspect)으로 상기 기계설비들의 각 부품들에는, 상기 카메라 모듈이 실시간으로 영상을 촬영하면서 인지할 수 있는 마크 또는 바코드가 부착되고, 상기 AR 모듈은, 상기 마크 또는 바코드로 상기 각 부품들의 형상 인식 및 가공된 컴퓨터 그래픽 영상의 출력 위치를 인식하여 고장진단 정보를 해당 부품의 이미지 위에 가상의 이미지를 추가하여 보여줄 수 있다.

본 발명의 제2실시 태양(aspect)에 따른 구체적 수단은, (A) 복수의 카메라 모듈에 의해 실시간으로 촬영되는 영상에서 기계설비들의 각 부품들에 대한 화면을 이미지로 캡쳐하여 저장하는 단계, (B) 상기 기계설비들의 PLC 장치와 각종 센서로부터 상태 정보를 수집 및 분석하여 고장진단 정보를 생성하는 단계, (C) 상기 부품들을 캡쳐한 이미지 위에 해당 부품의 상기 고장진단 정보가 표시된 증강현실(Augmented Reality) 이미지를 생성하는 단계, (D) 상기 증강현실 이미지를 화면으로 표시하는 단계, (E) 상기 고장진단 정보를 기초로, 상기 기계설비들의 각 부품들 중 수리나 교체가 필요한 부품을 확인하고, 상기 수리나 교체가 필요한 부품에 대한 정보를 상기 증강현실 이미지와 함께 표시하는 단계, (F) 상기 기계설비들의 관련 전문가나 관리자의 모바일 메신저로 상기 수리 및 교체가 필요한 부품에 대한 정보를 상기 증강현실 이미지와 함께 전송하는 단계를 포함하여 이루어지는 것을 특징으로 하는 증강현실 이미지 기반의 기계설비 모니터링 방법을 제시한다.

이로써 본 발명은 기계설비의 고장을 미리 예측하여 고장이 나기 전에 수리하거나 교체함으로써 고장으로 인한 피해를 사전에 막을 수 있고, 수리 및 유지보수 비용을 절감할 수 있다.

상기와 같은 목적의 달성과 기술적 과제를 해결하기 위한 수단 및 구성을 갖춘 본 발명의 실시 태양(aspect)은, 기계설비의 각 부품들에 이상 징후가 감지되면 해당 부품의 위치와 상태 정보 등이 증강현실로 구현되어 모니터링을 통해 직관적으로 확인할 수 있고, 이로 인해 기계설비의 상태(condition)를 항상 파악하여 유지관리 및 고장 수리 비용을 절감할 수 있다.

또한, 원격지에 위치하여 접근이 곤란한 해당 기계설비 관련 전문가 또는 관리자의 가시성을 증강현실을 통해 확보함으로써 몰입도를 높여 업무처리와 운영의 효율성을 극대화할 수 있을 뿐만 아니라 기계설비의 이상 징후나 향후 발생할 수 있는 사태를 미리 예상하고 적절하게 유지하고 보수하는 예지 보전의 고장 예측률 및 정확도를 높일 수 있다.

아울러 기계설비의 고장을 미리 예측하여 고장이 나기 전에 수리하거나 교체함으로써 고장으로 인한 피해를 사전에 막을 수 있고, 수리 및 유지보수 비용을 절감할 수 있다.

나아가 기계설비의 비가동 시간을 단축 및 가용도를 극대화하여 생산성 향상시킬 수 있다.

여기서 본 발명의 효과들은 이상에서 언급한 효과들로 국한하지 않으며, 언급하지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자가 명확하게 이해할 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 증강현실 이미지 기반의 원격협업 모니터링 시스템을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 증강현실 이미지 기반의 원격협업 모니터링 방법을 나타낸 순서도이다.
도 3은 본 발명의 실시 예에 따른 증강현실 이미지 기반의 원격협업 모니터링 방법에서 관련 전문자 또는 관리자의 스마트 폰을 이용한 모바일 메신저 채팅창을 캡쳐한 이미지이다.

이하, 본 발명에 따른 실시 예를 첨부된 도면을 참조하여 보다 구체적으로 설명한다.

이에 앞서, 후술하는 용어들은 본 발명에서의 기능을 고려하여 정의된 것으로서, 이는 본 발명의 기술적 사상에 부합되는 개념과 당해 기술분야에서 통용 또는 통상적으로 인식되는 의미로 해석하여야 함을 명시한다.

또한, 본 발명과 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

여기서 첨부된 도면들은 기술의 구성 및 작용에 대한 설명과, 이해의 편의 및 명확성을 위해 일부분을 과장하거나 간략화하여 도시한 것으로, 각 구성요소가 실제의 크기 및 형태와 정확하게 일치하는 것은 아님을 밝힌다.

아울러 본 명세서에서 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함하는 의미이며, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

즉, 본 명세서에서 설시하는 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해해야 한다.

아울러 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이외에도 "부" 및 "유닛"의 용어에 대한 의미는 시스템에서 목적하는 적어도 하나의 기능이나 어느 일정한 동작을 처리하는 단위 또는 역할을 하는 모듈 형태를 의미하며, 이는 하드웨어나 소프트웨어 혹은 하드웨어 및 소프트웨어의 결합 등을 통한 수단이나 독립적인 동작을 수행할 수 있는 디바이스 또는 어셈블리 등으로 구현할 수 있다.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있다. 즉, 제1, 제2 등의 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하는 목적으로 사용될 수 있다. 예를 들어, 제1 구성요소는 본 발명의 보호범위를 벗어나지 않는 한에서 제2 구성요소로 명명할 수 있고, 또 제2 구성요소도 제1 구성요소로 명명할 수도 있다.

도 1을 참조하면, 본 발명의 실시 예에 따른 증강현실 이미지 기반의 기계설비 모니터링 시스템은 크게 카메라 모듈(10), 메모리(20), 진단 모듈(30), AR 모듈(40), 그래픽 모듈(50), 컨트롤러(60) 및 데이터베이스(70)를 포함하고 있어, 기계설비들의 각 부품별 작동상태, 이상 여부, 정비, 수리 이력 등의 정보를 수집하고 분석하며, 이를 통해 부품 고장 및 이상 발생 즉시 알림을 받을 수 있고, 아울러 부품 및 소모품의 교체 시기 등을 사전에 확인할 수 있다.

카메라 모듈(10)은 기계설비들의 각 부품들을 실시간으로 촬영하여 영상을 얻는다.

즉, 카메라 모듈(10)은 복수의 기계설비에 각각 설치되어 있다.

여기서 카메라 모듈(10)은 이미지 센서와 영상 처리 모듈을 포함할 수 있다.

즉, 카메라 모듈(10)은 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 아울러 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 컨트롤러(60)에 전송할 수 있다.

한편, 카메라 모듈(10)은 여러 대의 카메라들이 하나의 모듈 형태로 구비될 수 있고, 별도의 제어 신호에 따라 촬영을 진행할 수 있다.

또한, 기계설비로는 예를 들면, 생산라인에 설치되는 자동화 로봇, 검사장비, 조립장비 등 각종 설비를 의미한다.

메모리(20)는 카메라 모듈(10)이 촬영한 기계설비들의 영상에서 각 부품들에 대한 화면을 이미지로 캡쳐하여 저장한다.

즉, 메모리(20)는 복수의 카메라 모듈에서 얻은 각각의 영상에서 일정한 시간단위로 정지화면을 캡쳐하여 저장한다.

이때, 기계설비들의 각 부품들에는 카메라 모듈(10)이 실시간으로 영상을 촬영하면서 인지할 수 있는 마크 또는 바코드가 부착되어 있어 해당 이미지에 대한 고유코드로 인지할 수 있다.

즉, 메모리(20)에 저장된 이미지는 식별 가능한 코드를 포함하여 이미지 내의 형상 정보 인식 오류를 줄일 수 있다.

이외에도 기계설비들은 시스템의 서버와 비콘(Beacon) 통신을 통해 위치데이터를 제공할 수 있다.

여기서 메모리(20)는 하드웨어적으로 ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있다.

또한, 메모리(20)는 진단 모듈(30) 및 AR 모듈(40)의 처리 또는 제어를 위한 프로그램 등 시스템의 전반적인 작동을 위한 다양한 데이터를 저장할 수 있다.

진단 모듈(30)은 기계설비들의 PLC(Programmable Logic Controller) 장치와 각종 센서로부터 상태 정보(status information)를 수집 및 분석하여 고장진단 정보를 생성한다.

이때, 진단 모듈(30)은 기계설비들의 PLC 장치와 각종 센서에서 제공하는 구동 및 상태 정보를 수집하여 상호 관계를 판단하고, 그에 따라 기계설비들의 각 부품별 또는 상태별로 그룹화하여 통합한 후 고장진단 정보를 생성할 수 있다.

즉, 진단 모듈(30)은 여러 데이터를 통일된 포맷(format)으로 변환한 고장진단 정보를 매핑할 수 있다.

여기서 고장진단 정보는 엑셀(Excel), CSV(comma separated value), HTML(HypertextMarkup Language), PDF(Portable Document Format), XML(Extensible markup language) 등의 데이터 형태일 수 있다.

그리고 진단 모듈(30)은 기계설비들의 각 부품별 데이터를 수집하기 위해 기계설비들과 연결된 게이트웨이와 입력단이 연결되어 있다.

즉, 게이트웨이는 해당 기계설비에 설치된 PLC 장치와 각종 센서와 통신하여 수집된 데이터들을 취합할 수 있다.

또한, 진단 모듈(30)은 변환 템플릿을 기반으로 다양한 포맷을 가지는 오픈 데이터들을 통일된 포맷을 가지도록 변환할 수도 있고, 오픈 데이터들의 구조인 필드, 포맷 등을 분석하고, 분석된 오픈 데이터들의 구조를 기반으로 변환 템플릿을 생성할 수도 있고, 외부로부터 수신한 각각의 오픈 데이터들의 포맷을 RDF(Resource Description Framework) 데이터 포맷으로 통일하여 변환할 수도 있고, 각각의 오픈 데이터 간의 관계를 분석하여 통합 데이터 규칙을 생성할 수도 있고, 통합 데이터 규칙을 기반으로 오픈 데이터들을 통합한 통합 데이터를 생성할 수도 있다.

여기서 고장진단 정보는 부품별 교체 품목, 교체 일시, 교체 주기, 이미지, 텍스트, 환경에 기반한 노후 속도 등을 포함할 수 있다.

또한, 기계설비들의 PLC 장치와 각종 센서가 제공하는 상태 정보는 해당 기계설비의 각 부품들에 대한 사이클 단위로 변화한 현재 상태, 고장 징후, 고장 원인, 고장 위험도, 진동, 가속도, 변위, 온도, 전류/전압, 전력, 유량, 압력, 가열속도, 모드 상태, 품명, 전원시간, 가공시간, 사이클시간, 커팅 타임(cutting time), 마찰 등에 대한 데이터를 포함할 수 있고, 다양한 센서들의 신호를 입력받아 논리연산을 수행하고 그 결과에 따라 출력하는 제어 신호일 수 있다.

예를 들면, PLC 장치의 입력에는 수많은 센서가 연결되어 있고, 출력에는 다양한 구동장치들이 연결되어 있어 입력신호 상태에 따라 작성된 시퀀스 프로그램에서 제어 방식을 연산하여 구동장치들에 연결된 출력 접점의 동작 여부를 결정하는 제어 신호일 수 있다.

한편, 기계설비에 상응하는 PLC 장치 접점들의 동작시간을 실시간으로 정밀하게 감시하고, 이를 누적 통계처리한 측정값으로부터 그 편차의 미세한 변화가 검출되면 고장이 발생되기 전에 한계수명 또는 불량 상태에 이른 부품을 정확하게 식별할 수 있다.

고장진단 정보는 해당 기계설비들의 내외부에 장착된 센서의 실시간 센싱 결과 데이터, 과거 고장 및 정비 이력 데이터, 체계 데이터 중 적어도 하나를 포함할 수 있다.

여기서 PLC 장치는 네트워크(예를 들면, RS-232와 같은 시리얼 통신)를 통해 연결되고, 입출력 모듈을 통해 논리 연산, 순서 조작, 타이머, 카운트, 산술 연산 등의 제어 동작을 수행하기 위해 프로그램 가능한 메모리를 사용하여 기계설비를 구동시키기 위한 프로그램이 내장된 전자 장치를 의미하며, 맵(map) 형태의 정보를 제공할 수 있다.

또한, 센서는 진동센서, 측정센서(probe), 압력센서, 속도센서, 경사센서, 중량감지센서, 헤딩센서(heading sensor), 요센서(yaw sensor), 자이로센서(gyro sensor), 포지션 모듈(position module), 내부온도센서, 내부습도센서, 수온센서, 초음파센서, 적외선센서, 레이더, 라이다 등을 포함할 수 있다.

한편, 진단 모듈(30)은 정보공유를 위한 네트워크를 통해 각 기계설비들의 부품별 교체 품목, 교체 일시, 교체 주기, 이미지, 텍스트, 환경에 기반한 노후 속도 등을 포함하는 고장진단 정보를 생성할 수 있다.

그리고 진단 모듈(30)은 복수의 부품들 각각에 대한 상태 정보를 데이터베이스를 통해 연결하여 데이터 셋(data set)을 구성하여 수집할 수 있고, 데이터 셋은 복수의 레코드를 포함할 수 있다.

여기서 레코드는 기계설비들의 정비 품목, 정비 주기, 정비 일시, 정비 이미지, 정비 텍스트, 환경(예를 들어, 온도에 따른 장비의 노후 속도) 등을 기준으로 생성될 수 있다.

다른 한편으로, 진단 모듈(30)은 기계설비들의 PLC(Programmable Logic Controller) 장치와 각종 센서로부터 수집한 상태 정보를 기반으로 해당 기계설비의 고장을 진단할 수 있다.

예를 들면, 진단 모듈(30)은 Random Forest 알고리즘에 기반하여 각 부품들의 품목 및 사용주기를 예측할 수 있고, 또 XGBoost 알고리즘에 기반으로 각 부품들의 고장 시점을 예측할 수 있다.

또한, 진단 모듈(30)은 기계설비의 고장을 예측하는 알고리즘 중 하나인 수치계산방식을 통해 정량적인 값으로 기계설비의 고장을 예측할 수 있다.

즉, 진단 모듈(30)은 기계설비별 고장예지값을 산출하고 산출된 고장예지값을 기준값과 비교해 기계설비의 이상유무 또는 고장을 예측할 수 있다.

예를 들면, 기계설비별로 선정된 요소에 해당하는 수치가 각각 산출되면, 진단 모듈(30)은 산출된 수치를 연산하여 기준값 이상의 수치임이 판명되었을 때 해당 기계설비가 고장이 우려됨을 예지할 수 있다.

여기서 진단 모듈(30)은 연산에 필요한 요소가 사전에 설정되어 있는데, 바람직하게는 내구연한, 가동시간, 가동횟수, 경과일수가 될 수 있으나, 반드시 이에 한정되는 것은 아니다.

AR 모듈(40)은 부품들을 캡쳐한 이미지 위에 해당 부품의 고장진단 정보가 표시된 증강현실(Augmented Reality) 이미지를 생성한다.

즉, AR 모듈(40)은 카메라 모듈(10)을 통해 획득한 이미지에서 마크 또는 바코드로 각 부품들의 형상 인식 및 가공된 컴퓨터 그래픽 영상의 출력 위치를 인식한 후, 고장진단 정보를 해당 부품의 이미지 위에 가상의 증강현실 이미지를 추가하여 보여준다.

예를 들면, 이미지에서 모터를 인식하면 모터 내 고장 부품의 이미지 및 고장진단 정보를 표시한다.

이때, AR 모듈(40)은 증강현실 기술을 이용하여 부품의 종류를 인식한 후 해당 부품의 위치에 고장진단 정보를 직접 표시할 수도 있고, 또는 부품의 명칭을 표시할 수도 있다. 명칭을 표시하는 경우 컨트롤러(60)는 사용자가 터치패드 기능을 통해 해당 명칭을 터치하면 상세 정보로서 그에 상응하는 고장진단 정보를 제공한다.

여기서 AR 모듈(40)은 일례로 부품의 3차원 기하학적 데이터베이스와 연동하여 부품의 종류를 파악한다. 3차원 기하학적 데이터베이스는 사전에 3차원 스캐너 등을 사용하여 부품의 3차원 기하학적 구조정보 및 부품의 길이, 모양, 색상 등을 입력 저장해 놓은 데이터베이스를 의미한다.

아울러 AR 모듈(40)은 이미지에서 기계설비를 인식한 경우 고장 부품의 이미지 및 고장진단 정보를 해당 위치에 일괄적으로 표시할 수도 있다.

한편, AR 모듈(40)은 부품들을 캡쳐한 이미지 정보를 기반으로 해당 부품의 고장진단 정보를 증강현실로 구현하기 위한 증강현실 알고리즘이 탑재되어 있다.

여기서 AR 모듈(40)은 증강현실을 구현하기 위한 기본적인 기술로 레지스트레이션(registration), 트래킹(Tracking) 및 카메라 보정(camera calibration)을 포함할 수 있다.

레지스트레이션이란 가상 환경에서 가상 객체를 증강할 위치와 증강될 가상 객체를 등록하는 과정을 말한다. 통상적으로는 레지스트레이션을 위하여 현실 환경에 가상 객체를 표상하는 마크(2차원적인 마크, 3차원 이미지 또는 2차원 이미지를 사용할 수 있음)를 위치시킨 후 해당 마크를 식별하도록 한다.

이를 일반화하여 설명하면, 레지스트레이션을 위하여 현실 세계의 어떤 지점의 3차원 좌표가 필요하며 이 좌표는 카메라를 기준으로 카메라 좌표로 계산될 수 있다.

이러한 3차원 좌표를 얻기 위해서 카메라 입력 영상으로부터 특이점(즉, 마크)을 획득하고, 이 특이점의 3차원 좌표를 추적한다. 이를 트래킹이라 하며, 매 영상 프레임마다 위치를 추적하여 움직이는 카메라의 영상입력에서도 가상의 그래픽 객체의 증강을 가능하게 한다.

한편, 카메라 입력 영상으로부터 획득된 특이점과 카메라의 정확한 상관관계를 계산하기 위해서는 카메라 파라미터를 획득해야 한다. 이 과정을 카메라 보정이라 부른다. 카메라 보정은 카메라의 초점거리 등 내부 변수와 외부 변수를 계산해 내어 카메라 모델을 형성한다.

다른 실시 예로, AR 모듈(40)은 병렬 프로세서 회로 및 추적기를 포함하고, 병렬 프로세서 회로는 제1프로세서 및 제2프로세서를 구비한다. 병렬 프로세서 회로에 포함된 제1프로세서는 카메라에 의해 촬영된 부품의 이미지를 프로세싱하여 부품의 포즈(pose)를 나타내는 모서리들이 교차하는 교점들에 비친 카메라 마크들의 좌표값, 카메라에 의해 촬영된 부품의 이미지를 화면에 표시하기 위한 프로젝션 행렬값 및 카메라의 중심과 교점들을 가상 연결하여 생성된 다각뿔에 포함된 삼각형들로 각각 표현되는 평면들의 법선 벡터값들을 계산한다.

추적기는 제1프로세서에 의해 계산된 마크들의 좌표값, 프로젝션 행렬값 및 법선 벡터값들을 기초로, 부품의 자세 및 위치를 추적하여 3차원 정보 데이터를 생성한다. 추적기는 추적된 부품의 자세 및 위치와 실제 부품의 자세 및 위치와의 오차를 보정한 후 3차원 정보 데이터를 생성하는 보정기를 더 구비할 수 있고, 실시 예에 따라 보정기는 추적기 외부에 위치하여 추적기로부터 추적된 부품의 자세 및 위치 정보를 수신하여 추적된 부품의 자세 및 위치와 실제 부품의 자세 및 위치와의 오차를 보정한 후 3차원 정보 데이터를 생성할 수 있다.

병렬 프로세서 회로에 포함된 제2프로세서는 3차원 정보 데이터 및 3차원 가상공간에서 상기 부품과 함께 나타나는 타깃 이미지 모델의 버텍스(vertex) 데이터를 수신하고, 수신된 3차원 정보 데이터 및 버텍스 데이터에 대하여 렌더링(rendering) 동작을 수행하여 부품 및 타깃 이미지 모델이 3차원의 가상 이미지로 나타나는 증강현실 이미지를 생성한다.

일반적으로 3차원 이미지는 복수의 다각형들로 분할되어 있다고 할 수 있는데, 예를 들어 3차원 이미지가 복수의 삼각형들로 이루어져 있다고 가정하면, 버텍스는 삼각형의 꼭짓점을 의미하고, 버텍스 데이터는 버텍스의 위치 및 색상 정보일 수 있다. 이 경우, 제2프로세서는 버텍스 데이터를 수신하여 버텍스를 연결하는 동작을 수행하고, 픽셀(pixel) 또는 프래그먼트(fragment) 레벨에서 버텍스의 색상을 결정하는 동작을 수행할 수 있다.

이때, 컨트롤러(60)는 병렬 프로세서 회로 및 추적기의 동작을 제어한다. 예를 들면, 병렬 프로세서 회로가 동작하는 동안에는 추적기의 동작을 정지시킬 수 있고, 추적기가 동작하는 동안에는 병렬 프로세서의 동작을 정지시킬수 있다.

즉, 컨트롤러(60)는 병렬 프로세서 회로 및 추적기의 동작을 활성화 및 비활성화시킬 수 있다.

그래픽 모듈(50)은 증강현실 이미지를 표시한다.

즉, 그래픽 모듈(50)은 컨트롤러(60)에서 처리 및 제어하는 정보를 표시할 수 있다.

여기서 그래픽 모듈(50)은 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

또한, 그래픽 모듈(50)은 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써 입력 인터페이스 및 출력 인터페이스를 동시에 제공하는 터치 스크린을 구현할 수 있다. 이 경우 터치 방식에 의하여 제어 명령을 입력받을 수 있도록 터치를 감지하는 터치센서를 포함할 수 있다.

즉, 그래픽 모듈(50)은 터치 스크린 기능을 가지며 AR 모듈(40)이 생성한 증강현실 이미지를 표시하며, 사용자가 터치 스크린 기능을 통해 상세 정보를 요구하는 경우 이를 표시한다.

컨트롤러(60)는 진단 모듈(30)의 고장진단 정보를 AR 모듈(40)로 전송하고, 고장진단 정보를 기초로, 기계설비들의 각 부품들 중 수리 및 교체가 필요한 부품을 확인하고, 그 수리 및 교체가 필요한 부품에 대한 정보를 증강현실 이미지와 함께 표시하도록 AR 모듈(40)과 그래픽 모듈(50)을 제어한다.

즉, 컨트롤러(60)는 시스템의 전반적인 작동을 제어하는 컴퓨터 장치로, 카메라 모듈(10)과 진단 모듈(30)을 통해 입력된 이미지와 데이터 정보를 내장된 소프트웨어나 AR 모듈(40)의 알고리즘에 따라 가공, 해석하여 고장 위치, 고장 부품, 고장 상태, 수리 및 교체가 필요한 부품에 대한 정보(예를 들면, 해당 부품의 수리 시 필요한 수리 및 예비부품 정보) 등을 그래픽 모듈(50)을 통해 디스플레이 화면에 증강현실 정보로 출력할 수 있다.

그리고 컨트롤러(60)는 무선 네트워크 또는 무선 인터넷망(통신망)을 이용해 기계설비들의 관련 전문가나 관리자의 모바일 메신저로 수리 및 교체가 필요한 부품에 대한 정보를 증강현실 이미지와 함께 전송한다.

즉, 컨트롤러(60)는 기계설비들의 관련 전문가나 관리자들이 모바일 메신저의 단톡방을 이용하여 실시간으로 단체로 대화(채팅)를 나누거나 데이터를 주고받으면서 수리 및 교체가 필요한 부품에 대한 정보를 공유할 수 있도록 제어한다.

여기서 컨트롤러(60)는 마크 또는 바코드로 기계설비의 각 부품들의 형상 인식 및 영상으로 인식된 형상의 확인 또는 가공된 컴퓨터 그래픽 영상의 출력 위치를 인식하는 소프트웨어를 포함할 수 있다.

데이터베이스(70)는 기계설비 관련 전문가들이나 관리자의 모바일 메신저 정보를 저장한다.

즉, 데이터베이스(70)는 기계설비 관련 전문가들이나 관리자 등 사용자가 스마트폰 따위의 모바일 기기를 이용하여 온라인 상에 회원가입 시 입력 및 등록하는 모바일 메신저 정보를 통해 해당 기계설비 관련 전문가들이나 관리자의 정보를 얻고, 이를 저장한다.

예를 들면, 사용자는 회원가입을 할 때 사용자가 즐겨 사용하는 모바일 메신저의 아이디와 비밀번호를 입력함으로써 모바일 메신저의 친구목록을 데이터베이스(70)와 연결하여 기계설비 관련 전문가들이나 관리자의 정보를 저장하게 된다.

여기서 모바일 메신저는 카카오톡, 라인, 밴드, 챗온, 네이트온 등 WiFi 혹은 데이터 통신으로 연결된 온라인 상에서 상호간 실시간 대화와 그룹대화, 파일 공유, 친구 초대 및 등록 등이 가능한 메신지로 컴퓨터나 모바일 기기에 설치 또는 탑재된 것일 수 있다.

이와 같이 구성된 본 발명의 실시 예에 따른 증강현실 이미지 기반의 원격협업 모니터링 시스템은 기계설비들의 각 부품별 수리 및 교체 시기를 고장진단 정보를 통해 도출하고 표시할 수 있다.

한편, 본 발명의 실시 예에 따른 증강현실 이미지 기반의 원격협업 모니터링 방법은 상술한 모니터링 시스템에 의해 수행될 수 있다.

도 2를 참조하면, 단계 S101에서 여러 대의 카메라 모듈(10)에 의해 실시간으로 촬영되는 영상에서 기계설비들의 각 부품들에 대한 화면을 이미지로 캡쳐하여 저장한다.

단계 S103에서 기계설비들의 PLC 장치와 각종 센서로부터 상태 정보를 수집 및 분석하여 고장진단 정보를 생성한다.

즉, 고장진단 정보는 기계설비들의 PLC 장치와 각종 센서에서 각각 제공하는 실시간 상태 정보를 통합하여 이루어질 수 있다.

이때, 기계설비들의 PLC 장치의 데이터와 각종 센서 데이터의 상호 관계를 판단하고, 그에 따라 기계설비의 각 부품별 또는 상태별로 그룹화하여 통합한 후, 고장진단 정보를 생성할 수 있다.

아울러 고장진단 정보는 기계설비의 부품별 수리, 고장 및 정비 이력 데이터 및 체계 데이터 중 적어도 하나 이상을 포함할 수 있다.

또한, 고장진단 정보는 기계설비의 각 부품별 이상 징후와 고장(break-down) 발생까지 남은 시간을 제공함으로써 기계설비의 고장을 미리 알고 진단할 수 있어 계획적 조치가 가능할 수 있다.

단계 S105에서 부품들을 촬영한 영상 화면을 캡쳐한 이미지 위에 해당 부품의 고장진단 정보가 표시된 증강현실(Augmented Reality) 이미지를 생성한다.

단계 S107에서 디스플레이 단말 장치와 같은 그래픽 모듈(50)을 통해 증강현실 이미지를 표시한다.

단계 S109에서 고장진단 정보를 기초로, 기계설비들의 각 부품들 중 수리 및 교체가 필요한 부품을 확인하고, 해당 부품에 대한 정보를 증강현실 이미지와 함께 표시한다.

즉, 고장진단 정보에 따라 해당 기계설비에서 수리 및 교체가 필요한 부품을 판단하고, 이를 그래픽 모듈(50)을 통해 사전에 표시 및 알림으로써 예측 정비로 기계설비의 고장에 따른 수리 및 교체비용을 절감할 수 있다.

단계 S111에서 해당 기계설비들의 관련 전문가나 관리자들의 모바일 메신저로 수리 및 교체가 필요한 부품에 대한 정보를 전송한다.

도 3을 참조하면, 해당 기계설비들의 관련 전문가나 관리자들이 원격지에서도 각자의 모바일 기기에 설치된 모바일 메신저를 이용하여 실시간으로 단체로 대화(채팅)를 나누거나 데이터를 주고받으면서 수리 및 교체가 필요한 부품에 대한 정보를 공유하고 협력하여 업무처리와 운영의 효율성을 높일 수 있다.

이러한 증강현실 이미지 기반의 원격협업 모니터링 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터가 판독 가능한 기록 매체에 기록 및 저장될 수 있다.

여기서 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들일 수 있고, 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

프로그램 명령어의 예로는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행되는 고급 언어 코드를 포함할 수 있다.

아울러 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.

한편, 본 발명은 상술한 실시 예(embodiment) 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 안에서 예시되지 않은 여러 가지로 다양하게 변형하고 응용할 수 있음은 물론이고 각 구성요소의 치환 및 균등한 타 실시 예로 변경하여 폭넓게 적용할 수도 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백하다.

그러므로 본 발명의 기술적 특징을 변형하고 응용하는 것에 관계된 내용은 본 발명의 기술사상 및 범위 내에 포함되는 것으로 해석하여야 할 것이다.

10: 카메라 모듈 20: 메모리
30: 진단 모듈 40: AR 모듈
50: 그래픽 모듈 60: 컨트롤러
70: 데이터베이스

Claims (4)

1. 삭제
2. 삭제
3. 삭제
4. (A) 기계설비들의 각 부품들에 카메라 모듈이 실시간으로 영상을 촬영하면서 인지할 수 있도록 마크 또는 바코드가 부착되도록 하고, 복수의 상기 카메라 모듈에 의해 실시간으로 촬영되는 영상에서 기계설비들의 각 부품들에 대한 화면을 이미지로 캡쳐하여 저장하는 단계;
   (B) 네트워크를 통해 연결되고 입출력 모듈을 통해 논리 연산, 순서 조작, 타이머, 카운트, 산술 연산의 제어 동작을 수행하기 위해 프로그램 가능한 메모리를 사용하여 기계설비를 구동시키기 위한 프로그램이 내장된 PLC 장치와 진동센서, 측정센서(probe), 압력센서, 속도센서, 경사센서, 중량감지센서, 헤딩센서(heading sensor), 요센서(yaw sensor), 자이로센서(gyro sensor), 포지션 모듈(position module), 내부온도센서, 내부습도센서, 수온센서, 초음파센서, 적외선센서, 레이더를 포함하는 센서로부터 수집된 상태 정보를 분석하여 진단 모듈로부터 부품별 교체 품목, 교체 일시, 교체 주기, 이미지, 텍스트, 환경에 기반한 노후 속도, 내구연한, 가동시간, 가동횟수, 경과일수를 포함하는 고장진단 정보를 생성하는 단계;
   (C) AR 모듈을 통해 상기 마크 또는 바코드로 상기 각 부품들의 형상을 인식하고, 가공된 컴퓨터 그래픽 영상의 출력 위치를 인식하여 해당 부품의 이미지 위에 가상의 이미지를 추가하여 그래픽 모듈을 통해 해당 부품의 고장진단 정보가 표시된 가상의 증강현실(Augmented Reality) 이미지를 생성하는 단계;
   (D) 상기 증강현실 이미지를 화면으로 표시하는 단계;
   (E) 상기 고장진단 정보를 기초로, 화면을 통해 상기 기계설비들의 각 부품들 중 수리나 교체가 필요한 부품을 확인하고, 상기 수리나 교체가 필요한 부품에 대한 정보를 상기 증강현실 이미지와 함께 표시하는 단계;
   (F) 상기 기계설비들의 관련 전문가와 관리자의 모바일 메신저를 통해 상기 수리 및 교체가 필요한 부품에 대한 정보를 실시간으로 채팅 또는 단체 채팅을 통해 나눔과 동시에 데이터를 주고 받으며 수리 및 교체가 필요한 부품에 대한 정보를 서로 공유하여 해당 정보를 상기 증강현실 이미지와 함께 전송하는 단계로 이루어지는 증강현실 이미지 기반의 원격협업 모니터링 방법.
   

Images