WO2022139026A1 - 증강현실을 이용한 스마트 팩토리 협업 시스템. - Google Patents

Abstract

본 발명은 증강현실을 이용한 스마트 팩토리 협업 시스템에 관한 것으로서, 스마트 팩토리의 로봇 중 선택된 어느 하나 또는 그 이상의 로봇를 증강현실(AR) 화면에 표시하고, 상기 증강현실 화면 내에 표시되는 메뉴 버튼을 작업자가 클릭하면 상기 메뉴 정보를 상기 증강현실 화면으로 확인하도록 하는 작업자 단말기, 상기 작업자가 로봇을 원격으로 조종할 수 있도록 구성되는 인터페이스부, 상기 작업자가 상기 인터페이스부를 조종할 때 상기 작업자가 취한 동작을 인식하도록 상기 인터페이스부와 통신하는 인식부, 상기 인식부와 통신하는 제어부, 상기 제어부와 통신하여 제어되는 로봇의 작동부, 및 스마트 팩토리의 협업을 관리하는 관리서버를 포함하여 구성된다.

Description

증강현실을 이용한 스마트 팩토리 협업 시스템.

본 발명은 증강현실을 이용한 스마트 팩토리 협업 시스템에 관한 것으로서, 다수의 작업자가 증강현실을 통해 스마트 팩토리의 원격 협업이 가능하도록 한 시스템에 관한 것이다.

스마트 팩토리의 생산현장에서는 인간과 기계의 협업패키지를 사용할 때 효율적인 운영 관리가 가능하다. 이를 위하여 4M1E(Man, Machine, Material, Method, Environment) 분석을 통해 빅데이터를 생성하고, 이를 통해 FOM(Factory Operation Management) 데이터 기반의 정보화와 CPS(Cyber Physical System) 기반 공정 분석을 통한 자동화 및 최적화를 진행하고, FEM(Factory Energy Management) 기반 공정 분석을 통하여 에너지 효율화를 달성할 필요가 있다. 이러한 종합적인 관리를 통해 상기 스마트 팩토리에 포함되는 각 모듈의 융합 관리가 가능하기 때문에 고도화된 MI-NPS(Meta Intelligent-New Production System)형 스마트 팩토리의 운영이 가능하게 된다.

예를 들어, 대한민국 등록특허공보 10-1550740호에는 생산 현장의 개별적인 인력 관리 및 생산실적 관리를 통해 생산성을 향상시키고, 달성률과 점유율을 기준으로 생산실적을 관리하여 4M(Man, Machine, Material, Method)별 관리를 용이하게 수행할 수 있는 관리 시스템이 개시되어 있고, 이러한 시스템에서 디지털 팩토리를 4M 데이터 기반으로 운영하고 있다.

그러나 스마트 팩토리에서 인간-기계 협업 공정 및 제조공정 시뮬레이션 분석 기술로 인간-기계의 협업으로 고도화된 MI-NPS형 스마트 팩토리에 적용하기 위해서는 이러한 데이터가 공정에 실시간으로 적용될 필요가 있다.

최근에는 다수의 작업자가 관여하는 협업 공정에 있어서 이러한 스마트 팩토리의 원활한 운영을 위하여 증강현실(AR)을 활용하는 기술이 개발되고 있다.

이러한 예로는 대한민국 등록특허공보 10-2086451호에서는 다수의 장비에 관한 전체 메뉴얼 정보와 스마트팩토리 원격협업 CMS 플랫폼을 구비하며, 상기 현장 작업자용 통신 단말기가 상기 고유식별 마크나 실물을 자동 인식함을 파악함에 따라 상기 AR 화면상에 상기 메뉴 버튼이 나타나도록 상기 스마트팩토리 원격협업 CMS 플랫폼을 상기 현장 작업자용 통신 단말기에 실시간으로 제공하고, 상기 고유식별 마크나 실물로부터 인지되는 장비식별 정보와 상기 현장 작업자용 통신 단말기의 고유식별정보 간의 1:1 매칭을 통해 사용 접근에 관한 승인여부를 판단해 상기 현장 작업자용 통신 단말기의 담당 장비에 대한 현장작업 실시를 지원하는 원격협업 CMS 관리 서버를 들 수 있다.

그러나 스마트 팩토리의 전체적인 작업 효율을 향상시키기 위해서는 AR의 더 효율적인 이용이 필요한 실정이다.

본 발명은 상기와 같은 종래기술의 문제점을 감안하여 안출된 것으로서, 증강현실(AR)을 이용하여 스마트 팩토리에서 인간-기계 협업 공정 시 다수의 작업자 간의 협업이 가능하도록 하는 증강현실을 이용한 스마트 팩토리 협업 시스템을 제공하는 것을 그 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 증강현실을 이용한 스마트 팩토리 협업 시스템은 스마트 팩토리의 로봇 중 선택된 어느 하나 또는 그 이상의 로봇를 증강현실(AR) 화면에 표시하고, 상기 증강현실 화면 내에 표시되는 메뉴 버튼을 작업자가 클릭하면 상기 메뉴 정보를 상기 증강현실 화면으로 확인하도록 하는 작업자 단말기, 상기 작업자가 로봇을 원격으로 조종할 수 있도록 구성되는 인터페이스부, 상기 작업자가 상기 인터페이스부를 조종할 때 상기 작업자가 취한 동작을 인식하도록 상기 인터페이스부와 통신하는 인식부, 상기 인식부와 통신하는 제어부, 상기 제어부와 통신하여 제어되는 로봇의 작동부, 및 스마트 팩토리의 협업을 관리하는 관리서버를 포함하며, 상기 증강현실 화면에는 다수의 작업자 리스트, 작업 공정 솔루션, 상기 로봇의 작업 시연 정보 중 어느 하나 또는 그 이상이 표시되며, 상기 인식부는 상기 다단계 작업의 작업 모델에 기반하여 상기 작업자가 상기 인터페이스부를 조종하는 동안 상기 작업자가 취한 동작을 인식하며, 상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며, 상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하는 것을 특징으로 한다.

이때, 상기 관리서버는 상기 로봇의 매뉴얼 정보, 작업자 리스트, 작업 공정 솔루션, 상기 로봇의 작업 시연 정보를 저장하며, 상기 작업자 단말기가 상기 로봇의 고유 식별 마크 또는 실물을 인식하면 상기 증강현실 화면에 메뉴 버튼이 나타나도록 하며, 상기 로봇의 고유 식별 마크 또는 실물과 상기 작업자 리스트에서 선택된 1인 이상의 작업자를 매칭하고 사용 접근에 관한 승인여부를 판단하여 상기 작업자 단말기에 표시할 수 있다.

또한, 상기 인식부는 CPS(Cyber Physical System) 기반 공정 분석을 통한 다단계 작업의 작업 모델을 저장하며, 상기 CPS 기반 공정 분석은 상기 로봇의 작동부에 구비되는 센서로부터 데이터를 수신하며, 상기 인식부는 상기 센서로부터 수신한 데이터를 분석하여 분석 데이터를 만들고, 상기 분석 데이터를 시뮬레이션하여 상기 다단계 작업의 작업 모델을 업데이트할 수 있다.

본 발명에 따른 스마트 팩토리 협업 시스템은 증강현실(AR)을 이용하여 스마트 팩토리에서 인간-기계 협업 공정 시 다수의 작업자 간의 협업이 가능하도록 하는 효과를 나타낸다.

도 1은 본 발명의 스마트 팩토리 협업 시스템을 도식적으로 나타낸 개념도이다.

이하 본 발명을 상세히 설명한다.

스마트 팩토리는 디지털 기술을 제조과정의 생산 시스템에 적용한 것으로서, 정보활용, 자동화, 모니터링, 센싱, 모델링, 네트워킹 분야에 걸친 다양한 첨단 기술들의 활용 가능성을 포함하고 있으며, ICT 기술을 기반으로 제조 및 유통 전 과정에서 모든 사물 및 참가자들을 서로 연결시켜 정보 교환을 가능하게 하는 연결성, 상호 연결된 구성요소들이 정보와 자원을 서로 공유하고, 이를 바탕으로 독립적 의사결정과 협업을 수행하는 협업성이 중요한 요소가 된다.

특히, 작업자가 직관적으로 전체 상태를 파악하고 판단할 수 있도록 시각적 정보를 제공하고 이를 통해 각 장치의 제어가 가능하도록 하는 것이 스마트 팩토리의 효율성을 결정하는 요인이 된다.

스마트 팩토리에서 공정 모델 기술 분야는 응용 애플리케이션 기술, 플랫폼 기술, 디바이스/네트워크 기술, 제조보안 기술 등의 요소기술로 나눌 수 있다.

상기 애플리케이션 기술은 스마트공장 ICT 솔루션의 최상위 소프트웨어 시스템으로 MES, ERP, PLM, SCM 등의 플랫폼 상에서 각종 제조 실행을 수행하는 것이며, 상기 플랫폼 기술은 스마트공장 ICT 하위 디바이스에서 입수한 정보를 최상위 애플리케이션에 정보 전달 역할을 하는 중간 소프트웨어 시스템으로 디바이스에 의해 수집된 데이터를 분석하고, 모델링 및 가상 물리 시뮬레이션을 통해 최적화 정보 제공하는 것이다. 또한, 상기 디바이스/네트워크 기술은 스마트공장 ICT 솔루션의 최하위 하드웨어 시스템으로 스마트 센서를 통해 위치, 환경 및 에너지를 감지하고 로봇을 통해 작업자 및 공작물의 위치를 인식하여 데이터를 플랫폼으로 전송할 수 있는 시스템으로 구성되며, 상기 제조보안 기술은 센서부터 애플리케이션까지 전 분야를 대상으로 각종 데이터, 시스템, 제조설비 등을 안전하게 보호할 수 있는 정보보호 및 산업기밀 보호 기술과 대응 방안에 관한 것이다.

본 발명에서는 스마트 팩토리의 플랫폼과 디바이스/네트워크를 개선하여 공장 효율을 향상시킬 수 있도록 증강현실(AR)을 적용하는 스마트 팩토리 협업 시스템에 관한 것으로서 이를 도식적으로 나타내면 도 1에서와 같이 구성된다.

즉, 본 발명의 스마트 팩토리 협업 시스템은 복수의 작업자가 AR을 통하여 교육, 정보 공유, 시뮬레이션, 공동 작업 등이 가능하도록 구성된 것으로서, 증강현실과 관련한 시스템과 협동 로봇과 관련한 시스템이 결합하여 구성된다.

먼저, 증강현실과 관련한 시스템은 각 작업자가 보유한 작업자 단말기와 상기 협동 로봇 관련 시스템이 유기적으로 결합하여 작동할 수 있도록 하는 관리서버를 포함한다. 또한, 협동 로봇 관련 시스템은 인터페이스부, 인식부, 제어부 및 로봇의 작동부를 포함하여 구성된다. 이를 구체적으로 설명하면, 상기 스마트 팩토리 협업 시스템은 스마트 팩토리의 로봇 중 선택된 어느 하나 또는 그 이상의 로봇를 증강현실(AR) 화면에 표시하고, 상기 증강현실 화면 내에 표시되는 메뉴 버튼을 작업자가 클릭하면 상기 메뉴 정보를 상기 증강현실 화면으로 확인하도록 하는 작업자 단말기, 상기 작업자가 로봇을 원격으로 조종할 수 있도록 구성되는 인터페이스부, 상기 작업자가 상기 인터페이스부를 조종할 때 상기 작업자가 취한 동작을 인식하도록 상기 인터페이스부와 통신하는 인식부, 상기 인식부와 통신하는 제어부, 상기 제어부와 통신하여 제어되는 로봇의 작동부, 및 스마트 팩토리의 협업을 관리하는 관리서버를 포함하며, 상기 증강현실 화면에는 다수의 작업자 리스트, 작업 공정 솔루션, 상기 로봇의 작업 시연 정보 중 어느 하나 또는 그 이상이 표시되며, 상기 인식부는 상기 다단계 작업의 작업 모델에 기반하여 상기 작업자가 상기 인터페이스부를 조종하는 동안 상기 작업자가 취한 동작을 인식하며, 상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며, 상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하는 것을 특징으로 한다.

상기 작업자 단말기에는 증강현실로 구현되는 스마트 팩토리의 작업 로봇과 관련한 정보뿐만 아니라 협업을 위한 다른 작업자 정보와 교육과 시뮬레이션을 위한 작업 공정 솔루션, 상기 로봇의 작업 시연 정보 등의 정보가 하나씩 또는 동시에 표시될 수 있도록 구성된다. 또한, 작업자는 상기 작업자 단말기에 접속하여 증강현실을 통해 스마트 팩토리의 작업 로봇을 구동하여 로봇과의 협동 작업이 가능하도록 구성된다.

상기 작업자 단말기는 증강현실을 통한 협업이 가능하도록 개인용 컴퓨터, 테블릿, 스마트폰 등을 이용할 수 있으며, 작업자가 AR 글래스를 착용하고 연동 작업이 가능하도록 구성된다.

또한, 증강현실 매뉴얼을 제공함으로써 작업자가 쉽게 증강현실을 조작하고 구현할 수 있도록 할 수 있다. 이를 위하여 스마트 팩토리에서 로봇을 이용한 특정 공정과 관련한 증강현실 매뉴얼, 공정의 동영상 매뉴얼 등을 준비하고 이를 증강현실 화면 내에 표시할 수 있다.

또한, 증강현실을 이용한 시뮬레이션을 위하여 스마트 팩토리와 관련한 전체적인 정보, 각 유닛에 대한 공정의 평균 데이터 등을 상기 증강현실 화면에 표시하여 작업자가 이를 직관적으로 확인할 수 있도록 구성될 수 있다.

또한, 상기 관리서버는 스마트 팩토리의 협업을 전체적으로 관리하기 위한 것으로서, 증강현실을 위한 작업자 단말기와 원격으로 연결되며, 증강현실 솔루션의 관리 및 구축을 할 수 있도록 구성된다. 이러한 솔루션은 웹 베이스로 구축되어 작업자 단말기가 직접 인터넷에 접속하여 정보를 화면에 표시함으로써 작업자가 쉽게 정보를 취득할 수 있도록 구성된다.

즉, 상기 관리서버는 작업용 로봇의 매뉴얼 정보, 작업자 리스트, 작업 공정 솔루션, 상기 로봇의 작업 시연 정보를 저장할 수 있고, 웹 베이스로 저장된 정보를 불러와 상기 작업자 단말기로 전송할 수도 있다.

또한, 각각의 공정에서 특정 작업자와 특정 작업용 로봇을 매칭할 필요가 있다. 이 경우, 작업자 단말기를 소지한 작업자가 현장에서 특정 작업용 로봇에 접근할 수 있고, 원격으로 특정 작업용 로봇을 지정할 수도 있는데, 이때, 상기 작업자 단말기가 상기 로봇의 고유 식별 마크 또는 실물을 인식하면 상기 증강현실 화면에 메뉴 버튼이 나타나도록 하여 작업자가 이를 조작할 수 있도록 할 수 있다.

또한, 각각의 작업용 로봇에는 그 로봇의 고유 식별 마크가 부여될 수 있으며, 상기 고유 식별 마크에 해당하는 작업자 정보는 각 작업자가 작업자 단말기에 로그인할 때 상기 관리서버에 저장된 작업자 정보와 매칭되도록 할 수 있다. 이를 통해 상기 고유 식별 마크 또는 실물과 상기 작업자 리스트에서 선택된 작업자가 매칭되는데, 하나의 작업용 로봇에 복수의 작업자가 매칭될 수도 있으며, 하나의 로봇에 한 명의 작업자만 매칭되도록 할 수도 있다. 이를 위하여 상기 관리서버는 사용 접근에 관한 승인여부를 판단하고, 이를 상기 작업자 단말기에 표시하여 특정 작업자가 특정 작업용 로봇에 접속하여 이를 조작하도록 할 수 있다.

또한, 상기 스마트 팩토리 협업 시스템에서 협동 로봇과 관련한 시스템은 도 1에 도시한 것과 같이 인터페이스부 및 작업자가 상기 인터페이스부를 조종할 때 상기 작업자가 취한 동작을 인식하도록 상기 인터페이스부와 통신하는 인식부, 상기 인식부와 통신하는 제어부, 및 상기 제어부와 통신하여 제어되는 로봇의 작동부를 포함함으로써 다단계 작업을 수행할 수 있도록 구성된다.

또한, 상기 협동 로봇과 관련한 일련의 동작과 조작 과정은 상기 작업자 단말기의 화면에 증강현실로 표시될 수 있어 작업자는 증강현실을 통해 로봇과의 협동 작업을 원활히 수행할 수 있게 된다.

또한, 상기 인식부는 상기 다단계 작업의 작업 모델에 기반하여 상기 작업자가 상기 인터페이스부를 조종하는 동안 상기 작업자가 취한 동작을 인식하며, 상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며, 상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하는 것을 특징으로 한다.

상기 인터페이스부는 로봇을 제어할 수 있는 제어 장치를 포함할 수 있으며, 작업자가 로봇의 각 부분을 조정하여 로봇이 특정한 동작을 할 수 있도록 제어할 수 있다. 또한, 상기 인터페이스부에는 디스플레이부가 포함되어 작업자가 로봇의 동작 상태를 관찰하고 이를 통해 변경을 가할 수 있도록 구성될 수 있다.

또한, 상기 디스플레이부는 증강현실(AR) 또는 가상현실(VR)을 이용한 시스템을 구성함으로써 작업자가 인터페이스부를 통해 숙련도를 향상시킬 수도 있고 로봇과의 협업을 통한 작업 효율을 높일 수도 있게 된다. 이때, 상기 디스플레이부는 다양한 이미지의 선택, 설정이 가능하고 이미지를 겹치거나 조정할 수도 있다.

또한, 상기 인식부는 컴퓨터, 스마트기기 또는 다른 데이터 처리 및 저장 장치를 이용하는 것일 수 있다. 상기 인식부로 인식 및 그 밖에 다른 절차들을 수행하는 컴퓨터에 저장된 프로그램을 포함할 수 있으며, 스마트폰이나 태블릿 PC에 설치된 어플리케이션을 통해 작동될 수도 있다. 또한, 네트워크를 통하여 연결된 원거리에 위치한 장치를 사용할 수 있으며, 이 경우, 사물 인터넷(IoT) 시스템을 활용하여 상기 인식부를 구동할 수도 있다. 즉, 상기 인터페이스부와 상기 인식부는 통신을 통해 연결되기 때문에 물리적으로 결합될 필요는 없다.

또한, 상기 인식부는 작업자의 특정한 동작들을 인식할 수 있도록 로봇 운동학(kinematics)을 이용한 장치를 포함할 수 있다. 이 경우, 다단계 작업의 작업 모델에 기반하여 상기 작업자가 상기 인터페이스부를 조종하는 동안 상기 작업자가 취한 동작을 인식할 수 있게 된다. 이러한 인식부의 작동은 다기능 작업을 수행하는 과정에서 상호간의 정보 교환을 통하여 전체 로봇 시스템의 협동 작업을 가능하도록 해 준다.

또한, 상기 인터페이스부와 센서를 포함하는 로봇 시스펨은 작업자의 동작과 센서로부터 수신되는 신호를 기반으로 로봇의 움직임, 작업 환경을 실시간으로 관찰하거나 녹화하여 영상 처리를 할 수 있도록 구성될 수 있다. 이 경우에도 AR 또는 VR 시스템을 이용하여 작업자의 정보 취득 및 응답 효율을 향상시키도록 할 수 있다.

상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며, 상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하도록 구성된다.

즉, 상기 인식부는 제어부의 제어 하에 센서를 포함하는 로봇 시스템에 의해 수동 동작과 자동 동작, 필요에 따라, 반자동 동작을 포함한 동작을 결정하게 된다.

상기 수동 동작은 종래의 원격 조종 로봇 시스템에서 수행되는 조종과 유사하거나 동일하게 수행되는 것이다. 또한, 상기 자동 동작은 전적으로 로봇의 제어 하에 수행되며 동작에 대한 작업자의 관여가 없는 것이다.

즉, 작업자는 다단계 작업의 각 단계에서 하나의 단계와 그 후의 단계가 수행될 위치로 센서를 포함한 시스템의 일부를 움직일 수 있으며, 이 경우 수동 동작에 의해 로봇 시스템이 구동되는 상태가 된다.

이때, 인식부는 상기 단계가 작업자에 의해 수행되는 수동 동작 상태임을 인식하며, 작업 모델에 기초하여 상기 수동 동작이 종료되는 시점에서 자동 동작의 수행을 지시할 수 있다. 예를 들어, 상기 인식부는 수동 동작으로 로봇 암이 움직인 상태에서 부품을 집어 들고 돌려놓을 수 있는 위치로 다시 이동하기 위한 지시를 통신으로 전송할 수 있다.

또한, 상기 인식부는 작업자가 로봇 시스템의 한 부분을 다단계 작업 중 특정 단계를 수행하기 위한 위치로 움직인 것을 인식할 수도 있다. 이 경우 상기 인식부는 작업 모델에 기초하여, 작업자를 보조하기 위하여 다른 단계를 수행하도록 제어부에 지시할 수 있다. 예를 들어, 작업자가 로봇 암의 동작을 지시하기 위하여 하나의 로봇 암을 조작해야 하는 경우가 있는데, 이때, 자동 동작에 의해 작업자를 위하여 대상물을 고정시킨 상태를 유지하도록 할 수 있다.

상기 작업 모델은 본 발명의 다단계 작업을 수행하기 위한 작업 모델로서 이는 4M1E(Man, Machine, Material, Method, Environment) 분석, ABL(Actual task Based Learning) 기반 분석, FOM(Factory Operation Management) 데이터 기반 분석, CPS(Cyber Physical System) 기반 공정 분석, 및 FEM(Factory Energy Management) 기반 공정 분석의 결과로부터 도출되어 구성된 것이다.

상기 4M1E는 스마트 팩토리의 생산활동과 연관된 자원으로서 4M의 자원인 작업자(Man), 기계설비(Machine), 자재(Material), 제품생산방법(Method)에 더하여 환경(Environment)을 포함하는 것이다. 이러한 4M1E는 데이터베이스화하여 활용할 수 있는데, 이를 이용하여 생산계획을 수립하고 작업 시나리오에 따른 사전 시뮬레이션을 통해 생산 실적을 예측할 수도 있고, 인사, 회계, 자재 및 수주 관리 등의 자원관리, 디지털 팩토리의 작업 상황을 실시간으로 파악하고 자원 별로 작업 실적을 취합하고 관리하는 현장 관리, 현장에서 수집된 각종 데이터를 이용하여 생산현장 데이터베이스를 제조하는 과정을 모두 포함할 수 있다. 따라서 4M1E 분석을 통해 수집되는 데이터는 협동 로봇을 이용한 공정에서 예측되는 다양한 상태들에 대한 모델링이 가능하며, 이를 통하여 작업 모델을 수립할 수 있게 된다.

또한, FOM(Factory Operation Management) 데이터 기반으로 분석하여 작업 모델을 수정 및 관리할 수도 있다. 이를 위하여 상기 협동 로봇 시스템은 FOM 분석부를 별도로 구비할 수 있다. 상기 FOM 분석부는 빅데이터 모듈을 기반으로 핵심성과지표(KPI) 또는 LOB 분석을 포함하는 스마트 팩토리 운영관리 분석결과를 생성하는데, 이는 상기 협동 로봇 시스템의 작업 데이터를 기반으로 수행될 수 있다. 또한, 상기 빅데이터 분석자료와 스마트 팩토리 운영관리 분석결과를 상기 고객업체에 제공할 수도 있으며, 이러한 제공된 결과에 대한 피드백을 반영하여 작업 모델을 수정할 수도 있다.

또한, CPS(Cyber Physical System) 기반 공정 분석은 물리적인 시스템과 가상 시스템을 상호 연결시켜 스마트 팩토리의 공정을 수행하기 위한 시스템이다. 일 실시예에서 상기 CPS는 외부 센서로부터 온도, 습도, 압력, 전압 등의 센서 데이터를 수식하고, 로봇, 액추에이터, 선반, 연마기, 절삭기 등의 다양한 외부 설비로부터 설비 데이터를 수신하여 저장하게 된다. 이를 통해 관리자가 기입력한 제어, 설정, 조회 등을 포함하는 관리 명령과 이를 기반으로 한 작업 모델을 관리할 수 있다. 예를 들어, 관리 명령의 우선순위를 결정할 수 있고, 우선순위에 따라 관리 명령에 상응하는 역할을 수행하도록 작업 모델을 설정할 수 있다.

이를 위하여 상기 협동 로봇 시스템은 CPS 분석부를 별도로 구비할 수 있다. 상기 CPS 분석부는 스마트 팩토리의 공정 및 속성 정보를 등록, 관리 및 수정하고 데이터를 기반으로 시뮬레이션을 하기 위한 정보를 저장하며, 수득된 데이터의 유효성을 검증하여 기 입력된 관리 명령의 우선순위를 변경하거나 작업 모델을 변경할 수 있다. 또한, 상기 유효성의 검증에는 기준 알고리즘을 바탕으로 기계학습을 통한 딥 러닝 또는 내외부의 인공지능 모듈을 이용할 수도 있다. 또한, 상기 CPS 분석부가 시뮬레이션을 수행할 때 제품의 생산 수량의 변경, 제품 모델의 변경, 특정 공정 장애 시 우회 공정 등을 포함한 시뮬레이션을 할 수도 있다. 이러한 CPS 분석부에서 처리되는 데이터는 가상 데이터일 수 있다.

상기 CPS 분석에 대하여 자동차 배기를 감소시킬 수 있는 외기 흡입 덕트(air intake duct_를 생산하는 공정을 예로 들면 다음과 같다. 먼저, CPS 분석에 필요한 부품을 inventor를 활용하여 3D 모델링을 제작한다. 상기 3D 모델링한 부품을 CPS 프로그램에 적용 가능한 형식의 파일로 변경하고, 이를 이용하여 CPS 제작 프로세스를 수립한다. 다음으로 상기 프로세스에 따라 장비 및 물류를 배치하고 레이아웃을 제작한다. 이와 같은 작업을 통해 시뮬레이션을 하고 상기 시뮬레이션에 따라 로봇의 동작에 필요한 포인트를 학습하는 작업을 수행하게 된다. 이를 토대로 로봇을 가동하면 CPS 기반 공정 분석의 적용 전과 비교하여 진동융착용 로봇과 작업자의 가동 실적이 평균 58.8%에서 89.8%로 크게 향상되는 것으로 나타났다. 또한, 시간당 생산량(UPH)을 분석한 결과에서도 CPS 기반 공정 분석 적용 전과 비교하여 43.3%의 생산성 향상을 나타내는 것을 확인하였다.

상기 CPS 기반 공정 분석을 수행한 결과는 상기 인식부에 전송되며, 상기 인식부는 상기 CPS 기반 공정 분석을 통해 다단계 작업의 작업 모델을 수정하고 이를 저장할 수 있다. 또한, 상기 CPS 기반 공정 분석은 로봇 시스템에 있어서는 상기 로봇의 작동부에 구비되는 센서로부터 데이터를 수신함으로써 수행되는데, 이외에도 스마트 팩토리에서의 설비 데이터뿐만 아니라 상기 로봇 시스템 외의 외부 센서로부터 수득되는 데이터도 수신하여 이를 취합하여 공정 분석을 수행할 수 있다. 또한, 상기 공정 분석은 상기 인식부가 상기 센서로부터 수신한 데이터, 설비 데이터, 외부 센서로부터 수득된 데이터를 모두 분석하며, 이를 통해 분석 데이터를 만들게 된다. 이러한 분석 데이터는 인식부에서 시뮬레이션 할 수 있으며, 만일 데이터의 크기가 너무 큰 경우에는 상기 분석 데이터를 외부 컴퓨터로 전송하여 상기 외부 컴퓨터에서 분석 데이터의 처리와 시뮬레이션을 수행할 수도 있게 된다. 이러한 시뮬레이션은 기계학습을 통한 딥 러닝 또는 내외부의 인공지능 모듈을 이용하여 수행할 수 있는데, 이러한 기계학습이나 인공지능 모듈의 활용을 통해 상기 다단계 작업의 작업 모델을 자동으로 업데이트할 수 있게 된다. 또한, 상기 업데이트된 작업 모델은 상기 인식부에 추가로 저장될 수 있다.

또한, FEM(Factory Energy Management) 기반 공정 분석을 통한 작업 모델의 수정 또는 관리도 가능하다. 상기 FEM은 공장 에너지 관리 체계로서 에너지의 효율적 사용을 관리할 수 있는 것이며, 스마트 팩토리의 생산 효율에 영향을 미치는 인자를 효율적으로 관리할 수 있도록 해 준다. 이를 위하여 상기 협동 로봇 시스템은 FEM 분석부를 별도로 구비할 수 있다. 상기 FEM 분석부는 FOM과 마찬가지로 빅데이터 모듈을 기반으로 스마트 팩토리의 에너지 관리 분석결과를 생성하는데, 이는 상기 협동 로봇 시스템의 작업 데이터를 기반으로 생성될 수 있다. 또한, 상기 빅데이터 분석자료와 에너지 관리 분석결과를 토대로 작업 모델을 수정할 수 있다.

또한, 상기 제어부는 상기 인식부와 통신하여 작동되는데, 상기 제어부는 상기 인식부로부터 신호를 수신하여 상기 로봇의 작동부를 제어함으로써 다단계 작업을 수행할 수 있게 된다.

이상에서 설명한 본 발명은 전술한 실시예에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백한 것이다.

Claims (3)

1. 스마트 팩토리의 로봇 중 선택된 어느 하나 또는 그 이상의 로봇를 증강현실(AR) 화면에 표시하고, 상기 증강현실 화면 내에 표시되는 메뉴 버튼을 작업자가 클릭하면 상기 메뉴 정보를 상기 증강현실 화면으로 확인하도록 하는 작업자 단말기;

   상기 작업자가 로봇을 원격으로 조종할 수 있도록 구성되는 인터페이스부;

   상기 작업자가 상기 인터페이스부를 조종할 때 상기 작업자가 취한 동작을 인식하도록 상기 인터페이스부와 통신하는 인식부;

   상기 인식부와 통신하는 제어부;

   상기 제어부와 통신하여 제어되는 로봇의 작동부;

   및 스마트 팩토리의 협업을 관리하는 관리서버;

   를 포함하며,

   상기 증강현실 화면에는 다수의 작업자 리스트, 작업 공정 솔루션, 상기 로봇의 작업 시연 정보 중 어느 하나 또는 그 이상이 표시되며,

   상기 인식부는 다단계 작업의 작업 모델에 기반하여 상기 작업자가 상기 인터페이스부를 조종하는 동안 상기 작업자가 취한 동작을 인식하며,

   상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며,

   상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하는 것을 특징으로 하는 증강현실을 이용한 스마트 팩토리 협업 시스템.
2. 청구항 1에 있어서,

   상기 관리서버는 상기 로봇의 매뉴얼 정보, 작업자 리스트, 작업 공정 솔루션, 상기 로봇의 작업 시연 정보를 저장하며,

   상기 작업자 단말기가 상기 로봇의 고유 식별 마크 또는 실물을 인식하면 상기 증강현실 화면에 메뉴 버튼이 나타나도록 하며,

   상기 로봇의 고유 식별 마크 또는 실물과 상기 작업자 리스트에서 선택된 1인 이상의 작업자를 매칭하고 사용 접근에 관한 승인여부를 판단하여 상기 작업자 단말기에 표시하는 것을 특징으로 하는 증강현실을 이용한 스마트 팩토리 협업 시스템.
3. 청구항 1에 있어서,

   상기 인식부는 CPS(Cyber Physical System) 기반 공정 분석을 통한 다단계 작업의 작업 모델을 저장하며,

   상기 CPS 기반 공정 분석은 상기 로봇의 작동부에 구비되는 센서로부터 데이터를 수신하며,

   상기 인식부는 상기 센서로부터 수신한 데이터를 분석하여 분석 데이터를 만들고, 상기 분석 데이터를 시뮬레이션하여 상기 다단계 작업의 작업 모델을 업데이트하는 것을 특징으로 하는 증강현실을 이용한 스마트 팩토리 협업 시스템.

Images