KR102371336B1 - 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템 - Google Patents
3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템 Download PDFInfo
- Publication number
- KR102371336B1 KR102371336B1 KR1020210033327A KR20210033327A KR102371336B1 KR 102371336 B1 KR102371336 B1 KR 102371336B1 KR 1020210033327 A KR1020210033327 A KR 1020210033327A KR 20210033327 A KR20210033327 A KR 20210033327A KR 102371336 B1 KR102371336 B1 KR 102371336B1
- Authority
- KR
- South Korea
- Prior art keywords
- factory
- information
- image
- data
- virtual
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 88
- 238000012544 monitoring process Methods 0.000 title claims abstract description 46
- 238000007405 data analysis Methods 0.000 claims abstract description 21
- 239000000463 material Substances 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000004088 simulation Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 13
- 230000005856 abnormality Effects 0.000 claims description 5
- 239000007789 gas Substances 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000004880 explosion Methods 0.000 claims description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 claims description 2
- 239000001301 oxygen Substances 0.000 claims description 2
- 229910052760 oxygen Inorganic materials 0.000 claims description 2
- 230000004044 response Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000003702 image correction Methods 0.000 description 9
- 238000009877 rendering Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 3D 통합관제부 및 가상현실과 증강현실을 이용한 스마트 공장 모니터링 시스템에 관한 것이다. 본 발명은 공장의 구조에 포함된 각 구성요소에 대응하여 자재 정보, 도면 정보 및 장비의 매뉴얼 정보를 매칭하여 3차원으로 모델링하는 3D 통합관제부와 가상 현실(VR: Virtual Reality)을 적용하기 위하여 수집된 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성하는 가상영상 생성부와 상기 가상영상 생성부를 통하여 수집된 현실공간의 정보는 사물인터넷(IoT) 플랫폼에 의하여 데이터가 수집되며. 상기 데이터를 사물인터넷(IoT) 플랫폼으로부터 다운로드받아 다운로드된 데이터를 이용하여 빅데이터 분석 정보를 생성하는 빅데이터 분석 서버와 상기 생성된 컨텍스트와 촬상 장치로부터 입력되는 영상을 이용하여, 현실 객체의 모니터링 데이터를 포함하는 증강 현실(AR: Augmental Reality) 영상을 생성하여 디스플레이하고, 설비운영 장치로 전송하는 증강 영상 생성부와 상기 증강현실 영상을 기반으로 하여 공장의 설비 정보와 설비의 이력관리를 하기 위한 증강현실 기반의 설비 운영 장치와 상기 공장의 가동과 운전 상황을 나타내는 팝업창과 동시에 해당하는 설명이 생성되는 시뮬레이션부를 포함하는 것을 특징으로 한다.
Description
본 발명은 3D 통합관제 및 가상현실과 증강현실을 이용한 스마트 공장 모니터링 시스템에 관한 것이다. 더욱 자세하게는 공장의 운영 상태를 3차원 화면을 모니터링하여 공장의 안전관리와 운영관리를 총체적, 통합적으로 실행할 수 있는 사물 인터넷(IoT)을 이용한 가상현실 및 증강현실을 이용한 스마트 공장 모니터링 시스템에 관한 것이다.
정보통신 기술의 급속한 발전과 도시의 환경개선과 유비쿼터스 기반의 인프라 확충, 그리고 신도시 및 기획도시의 증가 등으로 인해 기존 공장 시스템에 대한 효율적인 관리의 요구가 증가되고 있다.
특히, 산업용 공장의 상태를 파악하기 위해서는 모니터링 장치가 해당 산업용 공장에 장착되거나 별도의 장치와 연결해야 한다.
그리고, 상태를 파악하고자 하는 공장들이 복수개인 경우, 사용자가 해당 공장 쪽으로 이동하며 상태를 직접 확인해야 하는 번거로움이 존재하였다. 이와 달리 원격 모니터링의 경우, 해당 공장의 실물을 직접 보지 않기 때문에 정확한 상태 파악이 어려운 문제가 있다.
3D 통합관제는 공장 건물에 통합관제시스템을 구축하기 위해서 건물에 대한 2차원인 2D 평면 정보를 기초로 하여 3차원인 3D로 모델링하여 시스템 상에서 데이터 등과 같은 자료를 파악하고 유사시 신속 대처할 수 있도록 하는 것이다.
그리고, 가상현실(Virtual Reality)이란 특정한 환경이나 상황을 정보처리장치를 이용하여 실제와 똑같이 느낄 수 있도록 하는 것을 의미한다.
그리고, 증강현실(Augmented Reality)이란, 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 현실 세계 영상과 가상의 영상을 혼합한 것을 의미한다.
현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고, 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할수 있다.
즉, 증강현실시스템은 현실 세계와 가상 세계를 모두 결합함으로써 실시간으로 사용자에게 현실 세계와 필요한 정보의 상호작용이 이루어지도록 하는 것이다.
또한, 공장을 경영하는 데 있어, 독립적인 관제시스템의 운용으로 인한 종합관리가 어렵고, 기준온도 초과 등과 같은 이상 발생시에 알람장치 등과 같은 장치가 마련되어 있지 않아 총체적인 관리와 모니터링이 어렵다는 문제점이 있었다.
따라서, 상기 설명한 3D 통합관제와 증강현실(AR) 및 가상현실(VR)을 이용하여 공장 등을 현실적이고 장래성있게 모니터링하는 기술에 대한 개발과 연구가 지속적으로 있어 왔다.
따라서, 본 발명은 모니터링하고자 하는 공장에 관한 데이터를 이용해서 3차원적으로 해석하여 총체적으로 관제하고, 설비에 관한 가상현실과 증강현실 이미지를 생성하여 디스플레이함으로써, 관리자가 용이하게 공장을 모니터링할 수 있도록 하는 3D 통합관제와 가상현실(VR) 및 증강현실(AR)을 이용한 스마트 공장 모니터링 시스템을 제공하는 것을 목적으로 한다.
또한, 사물인터넷(IoT) 센서를 이용하여 실시간 모니터링을 통해서 공장의 사고를 사전에 방지할 수 있는 3D 통합관제와 가상현실(VR) 및 증강현실(AR)을 이용한 스마트 공장 모니터링 시스템을 제공할 수 있는 것을 목적으로 한다.
이러한 문제를 해결하기 위하여 본 발명은 공장을 3D 모델로 재구현한 3D 디지털 트윈공장을 통하여 상기 공장의 구조, 속성, 매뉴얼을 제공하는 3D 통합관제부와 가상 현실(VR: Virtual Reality)을 적용하기 위하여 수집된 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성하는 가상영상 생성부와 상기 가상영상 생성부를 통하여 수집된 현실공간의 정보는 사물인터넷(IoT) 플랫폼에 의하여 데이터가 수집되며. 상기 데이터를 사물인터넷(IoT) 플랫폼으로부터 다운로드받아 다운로드된 데이터를 이용하여 빅데이터 분석 정보를 생성하는 빅데이터 분석 서버와 상기 생성된 컨텍스트와 촬상 장치로부터 입력되는 영상을 이용하여, 현실 객체의 모니터링 데이터를 포함하는 증강 현실(AR: Augmental Reality) 영상을 생성하여 디스플레이하고, 설비운영 장치로 전송하는 증강 영상 생성부와 상기 증강현실 영상을 기반으로 하여 공장의 설비 정보와 설비의 이력관리를 하기 위한 증강현실 기반의 설비 운영 장치와 상기 공장의 가동과 운전 상황을 나타내는 팝업창과 동시에 해당하는 설명이 생성되는 시뮬레이션부를 포함하는 것을 특징으로 한다.
따라서, 본 발명은 다양한 환경의 장소에 설치되어 있는 공장을 모니터링함에 있어, 디지털 트윈 기술을 응용한 3D 화면을 이용한 공장 등의 모니터링은 물론이고, 해당 장소에 사용자가 직접 접근하지 않고 원격에서도 현실 세계의 가시성 확보로 몰입도를 높여 능률적인 업무처리와 운영의 효율성을 개선할 수 있는 3D 통합관제와 가상현실 및 증강현실을 이용한 스마트 공장 모니터링 시스템을 제공할 수 있는 효과가 있는 것이다.
도 1은 본 발명의 실시예에 의한 스마트 공장 모니터링 시스템의 구성도.
도 2a는 3D 통합관제부의 블록도.
도 2b는 공장설비의 상세정보를 나타내는 화면.
도 2c는 디지털 트윈 공장장치가 공장의 구동정보를 통해 모델링 정보를 업데이트하는 과정을 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 컨텍스트 생성부와 증강영상생성부를 나타내는 도면.
도 4는 증강현실을 생성하는 구성들을 나타내는 도면.
도 5는 3D통합관제 및 증강현실과 가상현실을 이용한 공장 모니터링 방법에 대한 흐름도.
도 6은 증강현실을 통해 현장에서 설비정보를 확인하는 것을 촬영한 사진.
도 7a ~ 도 7c는 시뮬레이션을 통한 공장의 가동과 운전에 관련된 사진.
도 8은 가상공간에서의 설비의 시운전을 하는 것을 촬영한 사진.
도 9는 영상처리방법의 흐름도.
도 2a는 3D 통합관제부의 블록도.
도 2b는 공장설비의 상세정보를 나타내는 화면.
도 2c는 디지털 트윈 공장장치가 공장의 구동정보를 통해 모델링 정보를 업데이트하는 과정을 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 컨텍스트 생성부와 증강영상생성부를 나타내는 도면.
도 4는 증강현실을 생성하는 구성들을 나타내는 도면.
도 5는 3D통합관제 및 증강현실과 가상현실을 이용한 공장 모니터링 방법에 대한 흐름도.
도 6은 증강현실을 통해 현장에서 설비정보를 확인하는 것을 촬영한 사진.
도 7a ~ 도 7c는 시뮬레이션을 통한 공장의 가동과 운전에 관련된 사진.
도 8은 가상공간에서의 설비의 시운전을 하는 것을 촬영한 사진.
도 9는 영상처리방법의 흐름도.
이하에서는 본 발명의 양호한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시가 되더라도 가능한 한 동일 부호를 가지도록 하고 있음에 유의하여야 한다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위하여 사용된 것에 불과하므로, 본 발명을 한정하려는 의도가 아니며 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현도 의미하는 것임을 미리 밝혀두고자 한다.
본 발명을 설명하기에 앞서, 본 명세서 상에 기술(記述)되는 관련 기술(技術)에 대하여 간략하게 설명하기로 한다. 이것은 레지스트레이션(registration), 그리고 디지털 트윈을 들수 있다.
상기 레지스트레이션이란 가상 환경(VR)에서 가상 객체를 증강시킬 위치와 증강될 가상의 객체를 등록하는 과정을 말한다. 통상, 레지스트레이션을 위해 현실 환경에 가상 객체를 표상하는 마커(2차원적인 마커, 3차원 이미지, 또는 2차원 이미지를 사용할 수 있음)를 위치시킨 후 해당 마커를 식별하도록 한다. 즉, 상기 레지스트레이션을 위해서 현실 세계의 어떤 지점의 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 카메라 좌표로 계산될 수 있다.
디지털 트윈(Digital Twin)은 컴퓨터에 현실 속 사물과 동일한 쌍둥이 형태를 만들고, 현실에서 발생할 수 있는 상황을 컴퓨터로 시뮬레이션 하는 기술의 일종으로 가상공간에서 실물과 똑같은 물체를 만들어 다양한 모의시험(시뮬레이션)으로 검증하는 기술을 의미한다.
이하에서는 도면을 첨부하여 스마트 공장 모니터링 시스템의 바람직한 실시예를 설명하기로 한다.
도 1은 본 발명의 실시예에 의한 스마트 공장 모니터링 시스템의 구성도이고, 도 2a는 3D 통합관제부의 블록도이고, 도 2b는 공장설비의 상세정보를 나타내는 화면이고, 도 2c는 디지털 트윈 공장장치가 공장의 구동정보를 통해 모델링 정보를 업데이트하는 과정을 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 컨텍스트 생성부와 증강영상생성부를 나타내는 도면이고, 도 4는 증강현실을 생성하는 구성들을 나타내는 도면이고, 도 5는 3D통합관제 및 증강현실과 가상현실을 이용한 공장 모니터링 방법에 대한 흐름도이고, 도 6은 증강현실을 통해 현장에서 설비정보를 확인하는 것을 촬영한 사진이고, 도 7a ~ 도 7c는 시뮬레이션을 통한 공장의 가동과 운전에 관련된 사진이고, 도 8은 가상공간에서의 설비의 시운전을 하는 것을 촬영한 사진이고, 도 9는 영상처리방법의 흐름도이다
도 1을 참조하면, 본 발명의 스마트 공장 모니터링 시스템의 구성은 3D 통합관제부(10), 가상영상 생성부(20), 빅데이터 분석 서버(30), 사물인터넷(IoT) 플랫폼(40), 증강 영상 생성부(50), 디스플레이부(D), 설비 운영 장치(90)로 크게 이루어진다.
이하에서는, 먼저 도 2a를 참조하여 상기 3D 통합관제부(10)에 대한 설명을 하기로 한다.
상기 도 2a를 보면, 3D 통합관제부(10)는 디지털 트윈 공장(11), 공장 내의 각종 정보를 센싱하여 공장 내 디지털 트윈 공장(11)으로 전송하는 AMS(Alarm Monitoring System) 장치(12)를 포함한다. 그리고, 통신장치(13)를 통해 상기 디지털 트윈 공장(11)으로부터 각종 정보를 전송받거나, 상기 디지털 트윈 공장(11)으로 각종 정보를 전송하는 서버(14)를 포함한다. 상기 디지털 트윈 공장(11)은 공장의 3차원 디지털 트윈 공장을 이용하여 사용자로부터 입력된 요청 정보에 대응하는 공장 정보를 출력한다.
여기서, 3차원 디지털 트윈 공장이란 공장의 구조에 대한 뷰 데이터(View data), 공장의 자재 정보를 포함하는 물자표 데이터(BOM data), 그리고 공장의 도면과 공장에 포함되는 장비의 매뉴얼을 포함하는 문서 데이터를 이용하여 공장을 모델링한 3차원 모델을 의미한다.
그리고, 상기 3차원 디지털 트윈 공장은 공장의 구조에 포함된 각 구성요소에 대응하여 자재 정보, 도면 정보 및 장비의 매뉴얼 정보를 매칭하여 모델링된다. 예를 들어, 공장의 3차원 모델의 변전실에 변전실의 도면 정보를 매칭하거나, 변전실의 변압기 시스템에 자재 정보 및 매뉴얼 정보를 매칭할 수 있다.
이에 따라, 디지털 트윈 공장(11)은 사용자가 3차원 디지털 트윈공장에서 구성요소를 선택하면, 선택된 구성요소에 대응하는 자재 정보, 도면 정보 및 장비의 매뉴얼 정보 중 적어도 하나를 출력한다. 즉, 공장의 구조에 포함된 각 구성요소에 대응하여 자재 정보, 도면 정보 및 장비의 매뉴얼 정보를 매칭하여 3차원(3D)으로 모델링한다.
도 2b는 본 발명의 실시예에 따른 디지털 트윈 공장(11)이 선택한 공장설비의 상세한 정보를 출력하는 과정을 설명하기 위한 도면이다.
상기 도 2b를 참조하면 예로서, 사용자가 3차원 디지털 트윈 공장에서 커서를 통해 3차원 디지털 트윈 공장 내 특정 설비를 선택한다고 가정한다. 그러면, 상기 디지털 트윈 공장(11)은 선택된 설비를 클릭하면, 선택 툴을 이용하여 3D 상에 설비를 선택하고, ⓛ의 설비상세정보를 클릭하면, ②에서 해당 설비가 표시되어 활성화된다. 그리고, ③에서 해당 설비의 상세정보를 안내하는 팝업창이 생성되며, 아래로는 ④의 기술자료 목록란이 구비되어 해당설비의 자료 목록을 표시한다. 즉, 해당 설비의 모든 정보를 출력할 수 있는 것이다.
더 나아가, 시뮬레이션부(S)에서는 상기에서 서술한 대로, 공장내의 설비와 공장의 가동과 운전 상황 등을 나타내는 팝업창과 동시에 해당하는 설명(예; 설비의 제원)이 생성되도록 하는 것이다.
그리고, 자재 정보, 도면 정보 및 장비의 매뉴얼 정보 등은 모니터와 같은 디스플레이 화면을 통해 출력되거나 헤드 마운트 디스플레이(Head Mounted Display)와 같은 출력장치를 통해 출력될 수 있다.
또한, 상기 디지털 트윈 공장(11)은 AMS 장치(12)로부터 수신한 공장 구동 정보를 3차원 디지털 트윈 공장에 매칭하여 모델링 정보를 업데이트할 수 있다.
도 2c는 디지털 트윈 공장장치(11)가 공장의 구동 정보를 통해 모델링 정보를 업데이트하는 과정을 설명하기 위한 도면이다.
여기서, 상기 공장의 구동 정보란 공장 설비, 공장 평형수 등과 같이 공장을 운행하는데 필요로 하는 정보 뿐만 아니라 공장 내 각종 자재나 장비의 상태 및 일정한 임계치를 초과하는 센싱 정보(Alarm)를 포함하는 것을 의미한다.
예를 들어, 디지털 트윈 공장(11)이 AMS 장치(12)로부터 공장 구동 정보로 임의의 장비 온도가 임계치를 초과하는 정보(Alarm)를 수신하였다고 가정해본다면, 상기 디지털 트윈 공장(11)은 도 2c의 사각형의 박스로 표시된 부분과 같이 온도를 센싱한 장비의 위치를 3차원 디지털 트윈 공장에서 찾을수 있을 뿐만 아니라, 이에 대응하는 자재정보, 문서정보를 자동적으로 매칭하여 디지털 트윈 공장(11)의 화면에 그대로 표현된다.
상기 절차는 기존의 공장 내에서 직원이 임의의 장비의 사고상황(Alarm)을 확인한 후에, 제공한 도면을 확인하여 정확한 센싱 위치를 찾고, 장비 업체에서 제공한 도면 및 매뉴얼을 일일이 직접 찾아 조치 사항을 확인하던 것에 비하여 간소화되면서 동시에 자동화된 것이다. 따라서, 이상발생 위치의 신속한 파악으로 사고를 미연에 방지하거나 2차 사고의 피해를 최소화할수 있는 것이다.
그리고, 서버(14)는 통신장치(13)를 통해 디지털 트윈 공장(11)과 실시간 통신을 수행하며, 디지털 트윈 공장(11)에서 업데이트된 모델링 정보를 수신하여 공장에서 발생한 사고상황에 대응하는 해결방법을 선택하고, 선택된 해결방법을 상기 디지털 트윈 공장(11)으로 전송한다.
구체적으로, 상기 서버(14)는 디지털 트윈 공장(11)과 동일한 3차원 디지털 트윈 공장에 설치될 수 있다. 이에 따라, 상기 서버(14)는 통신 장치(13)를 통해서 디지털 트윈 공장(11)에서 실시간으로 업데이트 되는 정보를 수신한 후, 서버(14)에 포함된 3차원 디지털 트윈 공장을 업데이트시킨다.
이때, 상기 서버(14)는 AMS 장치(12)가 수집한 모든 공장의 구동 정보를 수신하지 않고, 기 설정된 구성요소의 센싱정보나 임계치를 초과하는 센싱 정보(Alarm)만을 수신할 수 있다.
따라서, 상기 3D 통합관제부(10)에 따르면, 공장을 3D 모델로 재 구현한 3D디지털 트윈 공장을 통해 상기 공장의 구조, 속성, 매뉴얼을 제공할 뿐만 아니라, AMS 장치(12)가 실시간으로 연동하여 공장 내 장비의 상태 정보를 제공하므로 사용자가 공장의 상태를 입체적으로 파악하는 것이 가능한 것이다. 또한, 종래에는 일일이 서류를 통해 확인하던 정보가 3D 디지털 모델에 통합되므로, 사용자는 도면이나 문서관리 등의 번거로운 업무를 크게 줄일 수 있는 효과가 있는 것이다.
이하에서는, 가상영상 생성부(20)에 대한 설명을 하기로 한다.
도 1에 도시된 대로, 상기 가상영상 생성부(20)는 가상현실(VR: Virtual Reality)을 적용하기 위하여 수집된 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성한다. 상기 컨텍스트란 사용자와 응용 서비스 사이의 상호간의 작용을 위해 필요한 사용자, 장소 대상물 등의 객체 상태를 나타내는 정보를 말한다.
그리고, 상기에서 언급한 현실 공간의 정보란, 증강 현실의 적용 공간을 식별하기 위하여 현실 공간에 포함된 현실 객체의 영상 정보, 식별 정보 및 현실 공간의 위치를 나타내는 위치 정보를 포함할 수 있다. 즉, 현실 공간의 정보는 현실 공간을 참조해서 상기 현실 공간의 정보를 생성하는 모바일 단말(예를 들어, 스마트폰 등)로도 수집될 수 있다. 즉, 사용자는 소지한 모바일 단말이 가리키는 방향을 조작하여, 모니터링을 위한 공장을 주시할 수 있다.
여기서, 현실 객체의 영상 정보는 영상 촬영이 가능하여, 미리 촬영된 영상을 말하며, 현실 객체란 공장 내부의 배전 설비 등과 같이 현실 장소에 실질적으로 존재하는 객체를 의미한다. 그리고, 공장 등의 위치 정보는 GPS 정보를 비롯하여 단말기, 무선 AP, 또는 중계기 등 위치 정보를 전송하는 여러 장치가 속한 지역의 위치를 포함하며 현재 위치를 알 수 있는 정보를 말한다.
상기 가상 공간(VR)의 정보는 증강 현실에 필요한 객체의 위치, 객체의 종류 또는 객체의 상태 정보 중 적어도 하나 이상의 정보를 포함한다. 상기 가상 공간의 정보는 외부의 저장 장치, 데이터 베이스(미도시) 등으로부터 가져올 수 있으나, 모니터링되는 객체와 모바일 단말이 직접 네트워크로 연결되어 정보를 획득할 수도 있다.
가상 공간의 정보는 가상 객체를 가상 현실(VR)을 위한 영상 화면에 오버랩하여 영상 화면의 일부를 증강하기 위한 객체의 위치, 크기 또는 구조를 포함하는 가상 객체의 정보를 포함한다. 예를 들어, 가상 객체가 공장 내부에 있는 배전설비인 경우, 배전설비에 대한 현황 정보, 이력 정보, 운전 정보, 계통 정보, 구성 정보, 기록 정보, 수용가 정보, 사용량 정보, 실시 정보 등을 포함하도록 설정될 수 있으며, 이와 함께, 현실 객체의 특정 위치에 오버랩되기 위한 정보 등이 포함되도록 설정될 수 있다. 이를 통해, 사용자는 별도의 디스플레이부 또는 별도의 모니터링 장치와 연결되지 않아도 해당 공장 내의 설비의 상태 파악이 가능하다.
특히, 모니터링이나 관리 대상이 되는 상기 공장 설비가 복수의 장치로서 존재하는 경우, 사용자는 직접 해당 설비로 이동하지 않고, 인접한 거리에서 해당하는 공장 설비의 상태를 파악할 수 있다. 공장설비의 실물파악 및 내부 데이터를 동일 시점을 통해 동시에 확인하여, 유지 또는 보수 작업의 능률이 향상될 수 있다.
다시 도 1을 참조하면, 상기에서 설명한 가상영상 생성부(20)를 통해서 수집된 가상 현실(VR) 공간의 정보는 사물인터넷(IoT) 센서(미도시)들에 의하여 데이터를 수집하며 상기 데이터를 다운로드받아, 다운로드된 데이터를 이용하여 빅데이터 분석 정보를 생성하는 빅데이터 분석 서버(30)가 형성된다.
여기서, 상기 사물인터넷 센서는 사물인터넷(IoT) 플랫폼(40)에 형성되어 있는데, 상기 사물인터넷(IoT) 플랫폼(40)은 도시한 바와 같이 측정부(41), 통신부(42), 판독 및 전송부(43)를 포함하여 구성된다.
측정부(41)는 IoT센서를 비롯해서 온도, 습도, 진동, 가스 센서를 포함하는 구성인 것이다. 측정부(41)를 이용하여 공장 설비의 상태 정보와 센서 정보에 대한 공장 기반 시설의 상태를 실시간으로 정밀 진단할 수 있으며, 상기 측정부(41)는 무선 근거리 통신인 블루투스, Wi-Fi 모듈을 통해 데이터를 전송할 수 있다.
통신부(42)는 저전력, 장거리 통신이 가능한 LoRa(Long Range), NB-IoT(NarrowBand-IoT) 또는 Wi-SUN(Wireless Smart Utility Network) 통신 모듈을 이용해 판독 및 전송부(43)로 데이터 무선 전송을 할 수 있다. 상기 판독 및 전송부(43)는 전달받은 데이터를 통합 관리하여 분석할 수 있다.
상기 빅데이터 분석서버(30)는 상기 사물인터넷(IoT) 플랫폼(40)의 판독 및 전송부(43)로부터 분석된 정보를 바탕으로 빅데이터 분석정보를 다시 생성한다.
여기서, 상기 빅데이터 분석서버(30)의 데이터는 유해가스, 산소, 화재, 폭발의 재해요소 데이터와 온도, 압력, 전압과 전류의 공장관리 데이터로 이루어지며, 상기 데이터를 가공과 보관이 가능한 빅데이터로 저장시키는 것을 특징으로 한다. 그리고, 상기 빅데이터는 머신러닝(machine learning) 방식을 통해서 데이터를 분석하여 모델을 스스로 찾아내는 방식으로 빅데이터화하는 것이다.
이러한 과정을 거쳐 빅데이터를 분석하여 장래 예측기반 시스템을 구축하는 기반을 마련함과 동시에 사후 재해 예측 및 진단을 하는 것이다. 즉, 공장 내부 설비의 결함이나 폭발, 가스노출 등과 같은 장래 사고 발생의 위험요소 예측과 진단을 내릴수 있는 것이다.
도 3을 참조하면, 증강 영상 생성부(50)는 상기에서 설명한 가상영상 생성부(20)에서 생성된 컨텍스트와 촬상장치(미도시)로부터 입력되는 영상을 이용하여 증강 현실의 영상을 생성할 수 있다. 여기서, 상기 촬상장치는 스마트폰 등의 모바일 단말에 구비된 카메라부가 바람직하다.
여기서, 상기 증강 영상 생성부(50)는 이미지 보정 정보 생성부(51) 및 렌더링 부(52)를 포함할 수 있다. 이하에서 상기 구성요소를 설명하기로 한다.
상기 이미지 보정 정보 생성부(51)는 현실 공간의 식별 정보 또는 위치 정보를 이용하여 객체의 위치 및 이미지를 보정하는 이미지 보정 정보를 생성한다. 상기 이미지 보정 정보 생성부(51)는 증강 공간 구성부(51a) 및 증강 공간 이미지 보정부(51b)를 포함할 수 있다.
상기 증강 공간 구성부(51a)는 현실 공간의 식별 정보 또는 위치 정보에 기초하여 미리 저장된 3D 데이터 및 지도 데이터를 로딩하고, 로딩된 데이터를 이용하여 증강 공간을 구성한다. 미리 저장된 3D 데이터 또는 지도 데이터는 사용자에 의하여 외부의 데이터 베이스, 웹 서버 등에 저장될 수 있다.
상기 3D 데이터는 공장의 크기, 높이, 위치 또는 외관 등에 대한 정보를 포함하며 3D로 구현이 가능하도록 미리 촬영된 화상 데이터를 포함할 수 있다. 따라서, 상기 3D를 이용한 모니터링을 통해 공장을 입체적으로 파악할수 있으며, 이상발생 시에는 3D 영상에 의하여 정확한 위치와 상황 파악이 가능하다.
상기 지도 데이터는 2D로 구현할 수 있는 인위적으로 생성되지 않은 객체의 정보를 포함할 수 있으며, 해당 위치에 대한 높이 또는 각도를 포함하는 부가적인 정보가 포함할 수 있다. 상기 2D와 상기 3D 모니터링은 별개가 아닌 연계성을 가지도록 2D와 3D간의 통합 인터페이스의 구축이 가능하고, 2D 상으로의 공장 설비 또는 센서 등의 위치와 정보를 3D의 모니터링을 통해 파악할 수 있는 것이다.
상기 공장 전체를 3D로 변환 및 적용하여 입체화하여 공간 인지도를 높여 신속한 대응과 대처가 가능하며, 이상발생 시 3D 영상을 통하여 위치와 상황파악을 할수 있으며, 3D를 이용한 모델링을 통해서 증강현실을 구현한다.
증강 공간 이미지 보정부(51b)는 증강 공간을 미리 저장된 과거 이미지 정보에 기초하여 이미지 보정한다. 여기서, 상기 과거 이미지 정보는 외부의 저장 장치, 데이터베이스, 웹서버(도시는 생략) 등에 미리 저장될 수 있으며, 저장된 이미지의 보정이 필요한 경우에는 로딩될 수 있다.
상기 렌더링부(52)는 이미지 보정 정보, 촬상 장치로부터 입력되는 영상 및 가상영상 생성부(20)에서 변환된 컨텍스트를 이용하여 증강영상을 생성한다. 또한, 상기 렌더링부(52)는 현실 공간 인지부(52a), 레지스트레이션부(52b), 객체 렌더링부(52c)를 포함할 수 있다.
상기 현실 공간 인지부(52a)는 촬상장치로부터 입력되는 영상으로부터 현실 공간에 포함된 객체의 위치정보와 방위정보를 획득한다.
상기 레지스트레이션부(52b)는 현실 공간에 대하여 변환된 콘텍스트에 따라 가상객체를 증강시킬 위치와 증강될 가상객체를 등록한다.
상기 객체 랜더링부(52c)는 현실 공간에 가상객체를 증강시키고, 이미지 보정 정보에 따라 객체의 각도 및 현실 공간의 배경을 보정하여 렌더링한다. 증강 현실 공간에 대하여 가상 객체의 위치, 크기, 구성, 외관 또는 구동 정보 등을 포함하는 콘텍스트를 기초로 가상 객체의 영상을 증강시킨다. 예를 들어, 상기 가상 객체가 공장 내부의 배전장치가 해당하면, 상기 배전장치에 대한 다양한 운영상황에 대한 정보들 예로서, 전력사용량 정보, 계통정보 정보, 수용가 정보, GIS정보 등을 별도의 장치 없이 실시간으로 사용자에게 제공할 수 있는 가상영상을 증강할 수 있다. 따라서, 가상현실 기반의 현장감있는 공장의 운영을 모니터링할 수 있다.
도 4는 본 발명의 스마트 공장 모니터링 시스템에서 증강영상 생성부(50)에 속하여 증강현실(AR)을 생성하기 위한 구성들을 나타내는 도면이다. 도시된 대로 데이터 관리부(60), 리소스 관리부(70), 증강 현실 생성부(80)를 포함할 수 있다.
상기 데이터 관리부(60)는 증강 현실을 구현하기 위한 모델링 데이터를 저장하며, 데이터 구성부(61)와 분산 데이터 구성부(63)를 포함할 수 있다.
예를 들어, 상기 데이터 관리부(60)는 MapReduce(대용량 데이터를 처리를 위한 분산 프로그래밍 모델) 프레임 워크 및 확장성 보장을 위하여 모델링 데이터를 클라우드 저장부(미도시)를 이용하여 구성할 수 있다.
상기 데이터 구성부(61)는 모델링 데이터를 키(Key) 정보와 키(key) 정보에 대응하는 밸류(Value) 정보의 결합으로 구성될 수 있다.
상기 분산 데이터 구성부(63)는 모델링 데이터를 각각의 키 정보에 따라 매핑(Mapping)하고, 상기 매핑된 데이터를 필터링 또는 정렬을 이용하여 리듀싱(Reducing)할 수 있다.
리소스 관리부(70)는 상기 모델링 데이터를 처리하기 위한 리소스를 모니터링하며, 모니터링 결과에 따라 증강 현실 생성부(80)에 분배되는 리소스를 제어한다. 상기 리소스란 데이터를 처리하는 서버, 단말기와 같은 장치의 CPU 점유율, 메모리 점유율 또는 처리중인 프로그램 갯수 등을 포함하며, 데이터를 처리하려고 사용되는 컴퓨터 자원이다. 상기 리소스 관리부(70)는 리소스 할당부(71)와 리소스 상황 관리부(73)를 포함할 수 있다.
상기 리소스 할당부(71)는 증강현실 생성부(80)에 증강현실 구현을 위한 리소스를 할당하며, 상기 증강현실 생성부(80)는 적어도 하나의 컴퓨팅 환경을 소프트웨어로 구현하는 가상머신을 포함하고 있으며, 각각의 가상머신에 대하여 증강 현실 구현을 위한 리소스를 할당한다. 즉, 복수의 가상 머신들에 대하여 증강현실 처리를 위한 리소스를 균형있게 할당하여 서비스의 연속성을 유지시킬 수 있다.
리소스 상황 관리부(73)는 상기 증강 현실 생성부(80)에서 사용하는 리소스를 모니터링해서 시스템 부하 상황을 관리한다. 상기 리소스 상황 관리부(73)는 시스템 부하 경고부(73a), 시스템 부하 제어부(73b)를 포함할 수 있다.
상기 시스템 부하 경고부(73a)는 증강 현실 생성부(80)를 모니터링하여, 상기 증강 현실 생성부(80)의 각각의 가상 머신에 대한 시스템 부하가 임계 상한치를 초과한 경우 상기 리소스 할당부(71)에게 초과 상황을 통보한다. 상기 임계 상한치란 사용자로부터 미리 설정된 리소스에 관한 한계 수치를 의미하며, 리소스에 관한 한계 수치란 메모리 점유율, CPU 점유율 또는 처리 속도와 같이 리소스가 효율적으로 사용되기 위한 수치를 의미한다.
상기 시스템 부하 제어부(73b)는 상기 증강 현실 생성부(80)에 대해 시스템부하가 임계 상한치 이상이면, 가상머신을 추가적으로 생성하고, 임계상한치 미만이면 상기 가상머신의 일부를 종료시키는 방식으로 제어하는 것이다.
상기 증강 현실 생성부(80)는 리소스를 이용해서 증강 현실(AR: Augmented Reality)을 적용하기 위한 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성하고, 생성된 컨텍스트와 촬상장치로부터 입력되는 영상을 이용하여 증강 현실 영상을 생성하는 적어도 하나 이상의 가상머신으로 구성될 수 있다.
상기와 같은 구성으로 생성된 증강 현실 영상은, 모니터링 대상 공장의 내부적인 구동 상태를 나타내는 데이터와 함께, 현실 세계에서 보이는 영상을 동시에 포함할 수 있으며, 상기 증강 현실 영상을 디스플레이부(D)에 디스플레이할 수 있으며, 사용자의 모바일 단말의 화면에도 역시 표시될 수 있다. 즉, 상기 모바일 단말을 이용하여 특정한 설비를 화면 상에 인식하면 상기 설비의 스펙, 메뉴얼, 설비 이력과 같은 설비 정보의 조회가 가능하다.
한편, 본 발명의 실시예에 의한 스마트 공장 모니터링 시스템은 생성된 증강 현실 영상에 사용자의 위치로부터 모니터링할 공장까지의 이동경로 등을 GPS 등을 이용하여 제공하는데 즉, 인접 거리에서 공장 상태를 파악한 후, 해당 공장에 필요한 작업이 수행되어야 할 경우에, 사용자가 해당 공장으로 접근할 수 있도록 한다.
또한, 현실 공간의 정보에 기반한 증강현실의 영상을 생성하여 사용자에게 제공하는 증강현실 단말(예를 들어, 스마트폰) 및 모니터링 대상이 되는 복수의 공장들을 포함할 수 있다. 특히, 상기 증강현실 단말과 모니터링 대상 공장은 직접 무선 네트웍으로 연결되어 공장의 상태 데이터가 실시간으로 상기 증강현실 단말에 전달될 수 있다. 즉, 다양한 환경의 장소에 설치되어 있는 공장들을 모니터링할 때, 해당 공장에 사용자가 직접 접근하지 않아도, 현실 세계의 가시성 확보로 인하여 몰입도를 높여 업무처리와 운영의 효율성을 개선할 수 있다.
또한, 설비 운영 장치(90)는 가상현실(VR) 또는 증강현실(AR)의 영상을 기반으로 하여 공장의 설비정보와 설비의 이력관리를 하도록 하여, 업무량 감소 및 효율적인 설비의 운영이 가능한 것이다. 따라서, 상기 설비 운영 장치(90)는 종래 방대한 현장 매뉴얼 사용을 지양하고 간편한 스마트 폰 등을 이용하여 메뉴얼을 활용할 수 있다. 그리고, 설비관리 담당자와 영상을 통하여 공유할 수 있으며, 정보를 제공받는 것도 가능하다.
상기와 같이 서술한 대로, 본 발명에 의한 3D 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템은 해당 공장 설비에 관계자가 직접 접근하지 않더라도 현실 세계의 가시성 확보로 몰입도를 높여 업무처리와 운영의 효율성을 개선할 수 있으며, 해당 공장의 실시간 모니터링 또한 가능하다는 탁월한 장점이 있는 것이다.
도 5는 3D 통합관제 및 증강현실과 가상현실을 이용한 공장 모니터링 방법에 대한 흐름도이다.
공장의 모니터링을 실행하는 프로그램을 다운로드하고 설치 파일을 실행한다(제1단계). 상기 단계에서는 PC 또는 노트북 등과 같은 정보처리장치를 이용한다.
다음으로, 사용자를 인증한다(제2단계). 제1단계에서 다운로드시킨 앱이나 프로그램을 통하여 아이디와 패스워드 또는 공동인증서 등을 입력하는 방식으로 인증절차를 진행하는 것이다.
관리자는 정보처리장치의 메인 화면에서 메뉴 탭을 통하여 모니터링, 자료조회, 통합관리 및 시스템 관리 중에서 선택하여 실행한다(제3단계).
상기 제3단계에서 상기 모니터링은 3D화면을 회전, 랜더링, 이동, 줌 등의 기능으로 제어하여 공장 모습을 확인하며, 자료조회는 센서, 설비, 자료 등을 검색 및 조회할 수 있으며, 상기 통합관리는 센서, 설비, 자료 등을 등록과 조회 및 공장의 설비를 P&ID(Piping & Instrumentation Drawing) 기반으로 공정 모니터링하며, 상기 시스템 관리는 사용자, 권한, 코드 등을 등록 및 관리할 수 있는 기능이다.
상기 제3단계에서 선택한 메뉴를 확인 및 실행한다(제4단계).
상기 제3단계에서는 해당 메뉴를 선택, 클릭하여 자료조회나 모니터링을 실행시키는데 예를 들어, 메뉴를 기술자료 조회로 하여 클릭하면 자료의 전체목록이 출력되며 자료명/설비 Tag로 조회 가능하며, 만일, 설비 조회를 클릭하면 설비의 이력 조회와 설비의 상세한 정보를 확인할 수 있으며 이력의 신규등록 등과 같은 수정 작업 또한 가능하다. 또한, 공장의 설비를 자신이 클릭하게 되면, 상기 설비가 증강현실(AR)을 통하여 해당 설비의 상세한 제원의 확인도 가능하며, 상기 해당 설비의 기본정보도 팝업창으로 뜨게 되어 이를 확인할 수 있는 것이다. 도 6을 참조하면, 증강영상 생성부(50)를 통힌 증강현실(AR)을 통하여 현장에서 실시간으로 설비정보, 이력, 유지보수 매뉴얼 등을 확인하는 것이다.
시뮬레이터부(S)를 통하여 공장의 정상가동 여부를 테스트한다(제5단계).
관리자가 메인화면에서 정상운전 버튼을 누르게 되면, 가동준비 및 정상운전절차 팝업이 형성된다. 상기 단계는 시뮬레이션부(S)를 통하여 정상운전 여부를 확인하는 단계인 것이다. 도 7a를 보면 도면에서 정상운전설명을 클릭(② 참조)하면 도 7b에서와 같이 정상운전설명 팝업이 생성됨과 동시에 동영상이 재생된다.
또한, 도 7c와 같이 사진을 클릭하면 해당 설비의 영상을 [이전] 버튼을 누르면 이전 팝업 생성, [다음] 버튼을 누르면 다음 팝업 생성되며, 상기 팝업이 설명하는 설비의 위치로 이동하며, 팝업 생성과 동시에 해당하는 설비에 대한 설명이 생성되며, [X] 버튼 클릭 시 팝업 닫힌다.
상기 제5단계에서 공장이 정상가동되면, 가상의 공간에서 설비의 시운전을 체험할 수 있는 것이다(제6단계). 따라서, 도 8을 참조하면 사진과 같이 원격으로 설비의 시운전을 할수 있으므로 장소에 구애받지 아니하고 수시로 점검할 수 있는 편리함이 있는 것이다.
이하에서는, 도면을 첨부하여 본 발명에 의한 스마트 공장 모니터링 시스템을 이용한 영상 처리 방법에 대한 설명을 하기로 한다.
도 9를 보면, S1은 촬영 단계로서, 촬영장치(미도시)가 서로 다른 방향을 지향하는 다수의 카메라(미도시)를 사용하여 공장의 내부를 일정 구역으로 분할하여 각각 촬영하는 단계인 것이다.
S2는 가공 처리 단계로서, 영상 처리부(미도시)가 상기 S1의 다수 카메라를 통해 촬영된 여러개의 내부 영상을 가공 처리하는 단계이다. 이때, 상기 S2는 빅데이터 분석서버(30)를 통하여 빅데이터 분석기법에 의해 기 학습된 모델을 이용하여 다수 영상을 처리한다. 이하, 이에 대해서 설명하기로 한다.
상기 모델은 학습데이터를 통해 학습되는데, 공장 내의 다양한 구조물 영상을 학습데이터의 입력값으로 이용할 수 있다. 또한, 균열 부위를 갖는 구조물 영상이 있는지 여부 및 그 위치 또는 위험 대상으로 설정된 위험 물체나 구조물의 영상이 있는지 여부 및 그 위치를 학습 데이터의 출력값(또는 목표값)으로 이용할 수 있다. 상기 빅데이터 분석서버(30)는 다수의 영상을 입력 데이터로 기 학습된 머신 러닝 모델에 입력시키며, 머신러닝 모델은 균열 부위를 갖는 구조물 영상이 있는지 여부 및 그 위치 또는 위험 대상으로 설정된 위험 물체 영상이 있는지 여부 및 그 위치를 그 결과로 나타낼 수 있다. 영상 처리부는 상기 촬영장치로부터 수신된 다수의 영상을 VR(Virtual Reality) 영상으로 가공 처리한다.
이와 같이, 공장 내부의 균열된 대상의 구조물 영상 또는 위험 물체의 영상에 대한 학습 데이터를 이용, 빅데이터 분석서버(30)에 미리 학습을 시키고, 이러한 상기 기 학습시킨 학습 모델에 다수의 영상을 입력데이터로 입력시키는 것이다.
또한, 상기 S2는 상기 학습 모델이 공장의 내부 구조물의 균열된 위치 또는 위험 물체의 위치를 입력 데이터에 대한 결과로 돌출하는 경우, 해당하는 결과를 제공하는 단계를 포함할 수 있다. 즉, S2는 학습 모델이 도출한 결과에 해당 위치가 영상에 표시되도록 하기 위해 영상을 가공 처리하는 단계인 것이다.
S3은 영상 제공 단계로서, 영상 처리부가 빅데이터 분석서버(30)를 통해 상기 S2에서 가공 처리된 영상을 상기 증강영상 생성부(50)에 제공하는 단계이다.
S4는 영상의 표시 단계로서, 상기 증강영상생성부(50)가 관리자에게 영상에 대한 화상을 디스플레이부(D)에 표시하는 단계이다. 즉, 상기 S4는 영상처리부에서 전달된 공장 구조물의 균열 위치 또는 위험 물체의 위치가 디스플레이부(D)에 함께 표시되도록 사용자에게 제공함으로써 사용자가 보다 빠르고 용이하게 공장의 위험 상황을 인지하도록 하여, 적절한 액션을 취할수 있도록 하는 것이다.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상기 기술한 실시 예는 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
본 발명의 범위는 상기 상세한 설명보다는 첨부된 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 3D 통합관제부 11 : 디지털 트윈 공장
12 : AMS 장치 13 : 통신장치
14 : 서버 S : 시뮬레이션부
20 : 가상영상 생성부 30 : 빅데이터 분석서버
40 : 사물인터넷 플랫폼 41 : 측정부
42 : 통신부 43 : 판독부
50 : 증강영상 생성부 51 : 이미지 보정정보 생성부
52 : 렌더링부 D : 디스플레이부
60 : 데이터 관리부 61 : 데이터구성부
63 : 분산데이터 구성부 70 : 리소스 관리부
71 : 리소스 할당부 73 : 리소스 상황 관리부
80 : 증강현실생성부 90 : 설비운영장치
12 : AMS 장치 13 : 통신장치
14 : 서버 S : 시뮬레이션부
20 : 가상영상 생성부 30 : 빅데이터 분석서버
40 : 사물인터넷 플랫폼 41 : 측정부
42 : 통신부 43 : 판독부
50 : 증강영상 생성부 51 : 이미지 보정정보 생성부
52 : 렌더링부 D : 디스플레이부
60 : 데이터 관리부 61 : 데이터구성부
63 : 분산데이터 구성부 70 : 리소스 관리부
71 : 리소스 할당부 73 : 리소스 상황 관리부
80 : 증강현실생성부 90 : 설비운영장치
Claims (5)
- 3D 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템에 있어서,
공장을 3D 모델로 재구현한 3D 디지털 트윈 공장을 통해 상기 공장의 구조, 속성 및 매뉴얼을 제공하는 3D 통합관제부;
가상 현실(VR: Virtual Reality)을 적용하기 위하여 수집된 현실 공간의 정보와 가상 공간의 정보를 변환하여 컨텍스트를 생성하는 가상영상 생성부;
상기 가상영상 생성부를 통하여 수집된 현실공간의 정보는 사물인터넷(IoT) 플랫폼에 의하여 데이터가 수집되며. 상기 데이터를 사물인터넷(IoT) 플랫폼으로부터 다운로드받아 다운로드된 데이터를 이용하여 빅데이터 분석 정보를 생성하는 빅데이터 분석 서버;
상기 가상영상 생성부에서 생성된 컨텍스트와 촬상장치로부터 입력되는 영상을 이용하여, 증강 현실(AR: Augmental Reality) 영상을 생성하는 증강 영상 생성부;
상기 가상현실 또는 상기 증강현실 영상을 기반으로 하여 공장의 설비 정보와 설비의 이력관리를 하기 위한 증강현실 기반의 설비 운영 장치;
상기 공장의 가동과 운전 상황을 나타내는 팝업창의 생성과 동시에 해당하는 설명이 생성되는 시뮬레이션부를 포함하고,
상기 3D 통합관제부는
상기 공장의 구조에 대한 뷰(view) 데이터, 상기 공장의 자재 정보를 포함하는 물자표 데이터, 그리고 상기 공장의 도면과 상기 공장에 포함되는 장비의 매뉴얼을 포함하는 문서 데이터를 통해 모델링된 상기 공장의 3차원 디지털 트윈 공장을 이용하여 사용자로부터 입력된 요청 정보에 대응하는 공장정보를 출력하며, AMS 장치로부터 수신한 구동 정보를 상기 3D 디지털 트윈 공장에 매칭하여 모델링 정보를 업데이트하는 디지털 트윈 공장;
상기 디지털 트윈 공장 내의 정보를 센싱하여 상기 디지털 트윈 공장으로 전송하는 AMS장치;
상기 디지털 트윈 공장과 실시간 통신을 수행하며, 상기 업데이트된 모델링 정보를 수신하여 상기 공장에서 발생한 사고상황에 대응하는 해결방법을 선택하고, 상기 선택된 해결 방법을 상기 디지털 트윈 공장으로 전송하는 서버를 포함하고,
상기 3D 통합관제부는 상기 공장을 3D로 변환 및 적용하여 입체화하여 공간 인지도를 높이고, 이상발생시 3D 영상을 통하여 위치와 상황파악을 할수 있으며,
상기 가상영상 생성부는
a) 서로 다른 방향을 지향하는 다수의 카메라를 사용하여 공장의 내부를 일정 구역으로 분할하여 각각 촬영해서 내부 영상을 입력받아서,
b) 상기 다수의 카메라를 통해 촬영된 여러개의 내부 영상을 가공 처리하고, 이때, 상기 빅데이터 분석서버를 통하여 빅데이터 분석기법에 의해 기 학습된 모델을 이용하여 다수 영상을 처리하며,
상기 모델은 공장 내의 다양한 구조물 영상을 학습데이터의 입력값으로 이용하여, 균열 부위를 갖는 구조물 영상이 있는지 여부 및 그 위치 또는 위험 대상으로 설정된 위험 물체나 구조물의 영상이 있는지 여부 및 그 위치를 학습 데이터의 출력값(또는 목표값)으로 이용하며,
그리고 또한, 다수의 내부 영상을 입력 데이터로 기 학습된 머신 러닝 모델에 입력시키며, 공장의 내부 구조물의 균열된 위치 또는 위험 물체의 위치를 입력 데이터에 대한 결과로 돌출하는 경우, 도출한 결과에 해당 위치가 영상에 표시되도록 하기 위해 영상을 가공 처리함으로써, 상기 증강영상 생성부에 제공하는 것; 을 특징으로 하는 3D 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템. - 삭제
- 제1항에 있어서,
상기 빅데이터 분석서버의 데이터는 유해가스, 산소, 화재, 폭발의 재해요소 데이터와 온도, 압력, 전압전류의 공장관리 데이터로 이루어지며, 상기 데이터를 가공 및 보관이 가능한 빅데이터로 저장되는 것을 특징으로 하는 3D 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템.
- 제3항에 있어서,
상기 빅데이터를 분석하여 사후 재해 예측 및 진단을 하는 것을 특징으로 하는 3D 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210033327A KR102371336B1 (ko) | 2021-03-15 | 2021-03-15 | 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210033327A KR102371336B1 (ko) | 2021-03-15 | 2021-03-15 | 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102371336B1 true KR102371336B1 (ko) | 2022-03-07 |
Family
ID=80817373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210033327A KR102371336B1 (ko) | 2021-03-15 | 2021-03-15 | 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102371336B1 (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758758A (zh) * | 2022-03-11 | 2022-07-15 | 武汉平纹信息技术有限公司 | 医疗资源管理优化的处理方法、系统、介质、设备及终端 |
| CN115086364A (zh) * | 2022-05-26 | 2022-09-20 | 云南能投威士科技股份有限公司 | 一种校园数字孪生监控运维系统 |
| CN115148064A (zh) * | 2022-06-23 | 2022-10-04 | 广东三向智能科技股份有限公司 | 一种虚拟仿真教学系统的智能工厂模拟装置 |
| KR102460779B1 (ko) * | 2022-03-23 | 2022-11-03 | 김세희 | 기업간 인터랙티브 비지니스를 위한 인공지능 기반의 통합 서비스 제공 방법 |
| KR102539563B1 (ko) * | 2022-06-16 | 2023-06-02 | 주식회사 싸이언 | IoT 기반 메타버스 제공 시스템 및 이의 실행 방법 |
| KR102540035B1 (ko) * | 2022-08-26 | 2023-06-05 | 주식회사 에코에이블 | 반도체 생산 공정 유독가스처리 모니터링 시스템 |
| EP4273667A1 (en) * | 2022-05-02 | 2023-11-08 | Siemens Aktiengesellschaft | Augmented reality system |
| CN117930785A (zh) * | 2024-03-21 | 2024-04-26 | 西安易诺敬业电子科技有限责任公司 | 基于大数据的车间生产安全监控系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160022482A (ko) | 2014-08-20 | 2016-03-02 | 전자부품연구원 | 원거리 군사 훈련 모니터링 시스템 |
| KR20170111038A (ko) * | 2016-03-25 | 2017-10-12 | 전자부품연구원 | 증강현실 기반의 설비 모니터링 시스템 |
| KR101988776B1 (ko) * | 2017-12-28 | 2019-06-12 | 주식회사 현대미포조선 | 3차원 모델링 기반의 디지털 트윈쉽 시스템 |
| KR20200047532A (ko) | 2017-07-18 | 2020-05-07 | 천 밍 라우 | 리프팅 시스템 및 건물 시설을 관리 및 모니터링하기 위한 시스템 및 방법 |
| KR20200063684A (ko) | 2018-11-28 | 2020-06-05 | (주) 유에이썬 | 에너지 사용량을 3차원 공간에 렌더링 하여 표시하는 에너지 모니터링 방법 및 이를 이용한 에너지 모니터링 시스템 |
| KR20200074652A (ko) * | 2018-12-17 | 2020-06-25 | 김홍규 | 스마트팩토리 데이터 관리 및 플랫폼 서비스를 위한 장치 |
-
2021
- 2021-03-15 KR KR1020210033327A patent/KR102371336B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160022482A (ko) | 2014-08-20 | 2016-03-02 | 전자부품연구원 | 원거리 군사 훈련 모니터링 시스템 |
| KR20170111038A (ko) * | 2016-03-25 | 2017-10-12 | 전자부품연구원 | 증강현실 기반의 설비 모니터링 시스템 |
| KR20200047532A (ko) | 2017-07-18 | 2020-05-07 | 천 밍 라우 | 리프팅 시스템 및 건물 시설을 관리 및 모니터링하기 위한 시스템 및 방법 |
| KR101988776B1 (ko) * | 2017-12-28 | 2019-06-12 | 주식회사 현대미포조선 | 3차원 모델링 기반의 디지털 트윈쉽 시스템 |
| KR20200063684A (ko) | 2018-11-28 | 2020-06-05 | (주) 유에이썬 | 에너지 사용량을 3차원 공간에 렌더링 하여 표시하는 에너지 모니터링 방법 및 이를 이용한 에너지 모니터링 시스템 |
| KR20200074652A (ko) * | 2018-12-17 | 2020-06-25 | 김홍규 | 스마트팩토리 데이터 관리 및 플랫폼 서비스를 위한 장치 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114758758A (zh) * | 2022-03-11 | 2022-07-15 | 武汉平纹信息技术有限公司 | 医疗资源管理优化的处理方法、系统、介质、设备及终端 |
| KR102460779B1 (ko) * | 2022-03-23 | 2022-11-03 | 김세희 | 기업간 인터랙티브 비지니스를 위한 인공지능 기반의 통합 서비스 제공 방법 |
| EP4273667A1 (en) * | 2022-05-02 | 2023-11-08 | Siemens Aktiengesellschaft | Augmented reality system |
| WO2023213661A1 (en) * | 2022-05-02 | 2023-11-09 | Siemens Aktiengesellschaft | Augmented reality system |
| CN115086364A (zh) * | 2022-05-26 | 2022-09-20 | 云南能投威士科技股份有限公司 | 一种校园数字孪生监控运维系统 |
| KR102539563B1 (ko) * | 2022-06-16 | 2023-06-02 | 주식회사 싸이언 | IoT 기반 메타버스 제공 시스템 및 이의 실행 방법 |
| CN115148064A (zh) * | 2022-06-23 | 2022-10-04 | 广东三向智能科技股份有限公司 | 一种虚拟仿真教学系统的智能工厂模拟装置 |
| KR102540035B1 (ko) * | 2022-08-26 | 2023-06-05 | 주식회사 에코에이블 | 반도체 생산 공정 유독가스처리 모니터링 시스템 |
| CN117930785A (zh) * | 2024-03-21 | 2024-04-26 | 西安易诺敬业电子科技有限责任公司 | 基于大数据的车间生产安全监控系统 |
| CN117930785B (zh) * | 2024-03-21 | 2024-06-07 | 西安易诺敬业电子科技有限责任公司 | 基于大数据的车间生产安全监控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102371336B1 (ko) | 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템 | |
| CN103984333B (zh) | 一种电厂监控管理系统 | |
| Li et al. | Integrating field data and 3D simulation for tower crane activity monitoring and alarming | |
| Sadhu et al. | A review of data management and visualization techniques for structural health monitoring using BIM and virtual or augmented reality | |
| CN109064133A (zh) | 一种基于bim+ar的工程全过程管理系统 | |
| CN112950773A (zh) | 基于建筑信息模型的数据处理方法与装置、处理服务器 | |
| CN107767108A (zh) | Lod工作包 | |
| CN105938613A (zh) | 一种基于bim和vr智慧城市管网综合平台及其管理方法和构建方法 | |
| CN103778566A (zh) | 基于三维可视化展示的火电厂监测方法 | |
| KR20200078074A (ko) | 객체 기반의 3d 도시 모델링 방법 및 이를 구현하는 서버, 그리고 이를 이용하는 시스템 | |
| KR20210115246A (ko) | 3d 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템 | |
| KR20170111038A (ko) | 증강현실 기반의 설비 모니터링 시스템 | |
| CN112306233A (zh) | 一种巡检方法、系统和巡检管理平台 | |
| KR20210100039A (ko) | 증강현실에 기반하여 공사 정보 및 유지관리 정보를 관리하는 방법 및 이를 이용한 서버 | |
| CN111770450B (zh) | 一种车间生产监控服务器、移动终端及应用 | |
| JP7312581B2 (ja) | コンクリート構造物管理装置、情報処理システム、コンクリート構造物の管理方法、およびプログラム | |
| CN111384776B (zh) | 一种基于vr的变电站三维全景状态监测方法及系统 | |
| CN116737483B (zh) | 一种装配测试交互方法、装置、设备及存储介质 | |
| CN107219825B (zh) | 提供检查指令的方法、施工现场管理系统、存储介质 | |
| KR20210062156A (ko) | 현장설비 정비 시스템 | |
| Yan et al. | Intergrating UAV development technology with augmented reality toward landscape tele-simulation | |
| Yan et al. | Digital twin in transportation infrastructure management: a systematic review | |
| Liu et al. | System development of an augmented reality on-site BIM viewer based on the integration of SLAM and BLE indoor positioning | |
| Embers et al. | An artificial intelligence and mixed reality approach for optimizing the bridge inspection workflow | |
| CN112393727A (zh) | 配电房导航方法和装置、电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |