WO2022139025A1 - 협동 로봇 시스템. - Google Patents

협동 로봇 시스템. Download PDF

Info

Publication number
WO2022139025A1
WO2022139025A1 PCT/KR2020/018948 KR2020018948W WO2022139025A1 WO 2022139025 A1 WO2022139025 A1 WO 2022139025A1 KR 2020018948 W KR2020018948 W KR 2020018948W WO 2022139025 A1 WO2022139025 A1 WO 2022139025A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
analysis
user
recognition unit
robot
Prior art date
Application number
PCT/KR2020/018948
Other languages
English (en)
French (fr)
Inventor
김남빈
백승배
Original Assignee
주식회사 에이스로보테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이스로보테크 filed Critical 주식회사 에이스로보테크
Publication of WO2022139025A1 publication Critical patent/WO2022139025A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • the present invention relates to a cooperative robot system, and to a cooperative robot system that enables operation and management of an advanced smart factory using a human-machine collaboration package.
  • productivity is improved through individual manpower management and production performance management at the production site, and production performance is managed based on the achievement rate and share to manage 4M (Man, Machine, Material, Method). ), a management system that can easily perform management is disclosed, and a digital factory is operated based on 4M data in this system.
  • 4M Man, Machine, Material, Method
  • the cooperative robot system of the present invention includes a user interface unit and a recognition unit communicating with the user interface unit to recognize an action taken by the user when the user manipulates the user interface unit, the recognition unit and A cooperative robot system for performing a multi-step operation including a control unit communicating with the control unit, and an operation unit of the robot controlled by communication with the control unit, wherein the recognition unit is based on a work model of the multi-step operation while the user manipulates the user interface unit Recognizes the action taken by the user, the recognition unit recognizes the start and completion of manual and automatic actions, and when the manual operation is completed, the recognition unit automatically operates the robot's operation unit based on the multi-step work model based on the work model. It is characterized in that instructing the control unit to perform.
  • the work model of the multi-step operation is 4M1E (Man, Machine, Material, Method, Environment) analysis, FOM (Factory Operation Management) data based analysis, CPS (Cyber Physical System) based process analysis, and FEM (Factory Energy Management) It can be derived from the results of the based process analysis.
  • the recognition unit stores a work model of a multi-step operation through CPS (Cyber Physical System)-based process analysis, and the CPS-based process analysis receives data from a sensor provided in the operation unit of the robot, and the recognition unit It is possible to create analysis data by analyzing the data received from the sensor, and to update the working model of the multi-step task by simulating the analysis data.
  • CPS Chip Physical System
  • FIG. 1 is a conceptual diagram schematically showing a cooperative robot system of the present invention.
  • Smart factory is the application of digital technology to the production system of the manufacturing process, and includes the possibility of utilizing various advanced technologies in information utilization, automation, monitoring, sensing, modeling, and networking fields.
  • connectivity that enables information exchange by connecting all objects and participants to each other, and collaboration between interconnected components sharing information and resources, and performing independent decision-making and collaboration based on this are important factors.
  • the process model technology field can be divided into element technologies such as application application technology, platform technology, device/network technology, and manufacturing security technology.
  • the present invention relates to a collaborative robot system capable of improving factory efficiency by improving the platform and device/network of the smart factory, and is schematically configured as shown in FIG. 1 .
  • the display unit may select and set various images, and may overlap or adjust images.
  • AR augmented reality
  • VR virtual reality
  • the recognition unit may use a computer, a smart device, or other data processing and storage device.
  • the recognition unit may include a program stored in a computer that performs recognition and other procedures, and may be operated through an application installed in a smartphone or tablet PC.
  • a device located at a remote location connected through a network may be used, and in this case, the recognition unit may be driven by utilizing an Internet of Things (IoT) system. That is, since the user interface unit and the recognition unit are connected through communication, there is no need to be physically coupled.
  • IoT Internet of Things
  • the robot system including the user interface unit and the sensor may be configured to perform image processing by observing or recording the robot's movement and work environment in real time based on the user's motion and a signal received from the sensor.
  • an AR or VR system may be used to improve the user's information acquisition and response efficiency.
  • the manual operation is performed similarly or identically to the operation performed in a conventional remote control robot system.
  • the automatic operation is performed entirely under the control of the robot, and there is no user's involvement in the operation.
  • the user can move a part of the system including the sensor to a position where one step and subsequent steps are to be performed in each step of the multi-step operation, and in this case, the robot system is driven by manual operation.
  • the recognition unit may recognize that the step is a manual operation state performed by the user, and may instruct the automatic operation to be performed at the time when the manual operation is terminated based on the work model. For example, the recognition unit may transmit, through communication, an instruction for moving the robot arm back to a position where it can pick up and return a part in a state where the robot arm is moved by a manual operation.
  • the recognition unit may recognize that the user has moved a part of the robot system to a position for performing a specific step during a multi-step operation.
  • the recognition unit may instruct the control unit to perform another step to assist the user based on the work model. For example, there is a case in which the user has to operate one robot arm to instruct the operation of the robot arm. In this case, the object may be maintained in a fixed state for the user by automatic operation.
  • the cooperative robot system may separately include a FOM analysis unit.
  • the FOM analysis unit generates a smart factory operation management analysis result including key performance indicator (KPI) or LOB analysis based on the big data module, which may be performed based on the work data of the cooperative robot system.
  • KPI key performance indicator
  • LOB analysis based on the big data module
  • the big data analysis data and the smart factory operation management analysis result may be provided to the customer company, and the work model may be modified by reflecting the feedback on the provided result.
  • CPS Cyber Physical System
  • the CPS modifies sensor data such as temperature, humidity, pressure, and voltage from an external sensor, and receives and stores equipment data from various external equipment such as a robot, an actuator, a lathe, a grinder, and a cutting machine.
  • sensor data such as temperature, humidity, pressure, and voltage
  • equipment data such as a robot, an actuator, a lathe, a grinder, and a cutting machine.
  • management commands including control, setting, inquiry, etc. entered by the administrator and a work model based on them.
  • the priority of the management command may be determined, and the work model may be set to perform a role corresponding to the management command according to the priority.
  • the cooperative robot system may separately include a CPS analysis unit.
  • the CPS analysis unit registers, manages, and modifies the process and attribute information of the smart factory, stores information for simulation based on data, and verifies the validity of the obtained data to change the priority of previously entered management commands or You can change the working model.
  • deep learning through machine learning or an internal/external artificial intelligence module may be used based on a reference algorithm.
  • the CPS analysis unit performs the simulation, a simulation including a change in the production quantity of a product, a change in a product model, a bypass process in case of a specific process failure, etc. may be performed.
  • Data processed by the CPS analyzer may be virtual data.
  • the process of producing an air intake duct_ capable of reducing automobile exhaust is as follows as an example.
  • 3D modeling is produced using Inventor for parts necessary for CPS analysis. Change the 3D modeled parts into a file in a format applicable to the CPS program, and use it to establish the CPS manufacturing process
  • a result of performing the CPS-based process analysis is transmitted to the recognition unit, and the recognition unit may modify the work model of the multi-step job through the CPS-based process analysis and store it.
  • the CPS-based process analysis is performed by receiving data from a sensor provided in the operating unit of the robot in the robot system.
  • the recognition unit analyzes all data received from the sensor, equipment data, and data obtained from an external sensor, thereby creating analysis data.
  • the analysis data may be simulated by the recognition unit, and if the size of the data is too large, the analysis data may be transmitted to an external computer to process and simulate the analysis data in the external computer.
  • Such a simulation can be performed using deep learning through machine learning or an internal or external artificial intelligence module, and the work model of the multi-step task can be automatically updated through the use of such machine learning or artificial intelligence module.
  • the updated working model may be additionally stored in the recognition unit.
  • the FEM is a factory energy management system that can manage the efficient use of energy, and makes it possible to efficiently manage factors affecting the production efficiency of the smart factory.
  • the cooperative robot system may separately include an FEM analysis unit.
  • the FEM analysis unit generates an energy management analysis result of a smart factory based on a big data module like the FOM, which may be generated based on the work data of the cooperative robot system.
  • control unit is operated in communication with the recognition unit, and the control unit receives a signal from the recognition unit and controls the operation unit of the robot to perform a multi-step operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Automation & Control Theory (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Factory Administration (AREA)

Abstract

본 발명은 사용자 인터페이스부 및 사용자가 상기 사용자 인터페이스부를 조종할 때 상기 사용자가 취한 동작을 인식하도록 상기 사용자 인터페이스부와 통신하는 인식부, 상기 인식부와 통신하는 제어부, 및 상기 제어부와 통신하여 제어되는 로봇의 작동부를 포함하는 다단계 작업을 수행하는 협동 로봇 시스템에 관한 것으로서, 상기 인식부는 상기 다단계 작업의 작업 모델에 기반하여 상기 사용자가 상기 사용자 인터페이스부를 조종하는 동안 상기 사용자가 취한 동작을 인식하며, 상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며, 상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하는 것을 특징으로 한다.

Description

협동 로봇 시스템.
본 발명은 협동 로봇 시스템에 관한 것으로서, 인간과 기계의 협업 패키지를 이용하여 고도화된 스마트 팩토리의 운영 관리가 가능하도록 한 협동 로봇 시스템에 관한 것이다.
스마트 팩토리의 생산현장에서는 인간과 기계의 협업패키지를 사용할 때 효율적인 운영 관리가 가능하다. 이를 위하여 4M1E(Man, Machine, Material, Method, Environment) 분석을 통해 빅데이터를 생성하고, 이를 통해 FOM(Factory Operation Management) 데이터 기반의 정보화와 CPS(Cyber Physical System) 기반 공정 분석을 통한 자동화 및 최적화를 진행하고, FEM(Factory Energy Management) 기반 공정 분석을 통하여 에너지 효율화를 달성할 필요가 있다. 이러한 종합적인 관리를 통해 상기 스마트 팩토리에 포함되는 각 모듈의 융합 관리가 가능하기 때문에 고도화된 MI-NPS(Meta Intelligent-New Production System)형 스마트 팩토리의 운영이 가능하게 된다.
예를 들어, 대한민국 등록특허공보 10-1550740호에는 생산 현장의 개별적인 인력 관리 및 생산실적 관리를 통해 생산성을 향상시키고, 달성률과 점유율을 기준으로 생산실적을 관리하여 4M(Man, Machine, Material, Method)별 관리를 용이하게 수행할 수 있는 관리 시스템이 개시되어 있고, 이러한 시스템에서 디지털 팩토리를 4M 데이터 기반으로 운영하고 있다.
그러나 스마트 팩토리에서 인간-기계 협업 공정 및 제조공정 시뮬레이션 분석 기술로 인간-기계의 협업으로 고도화된 MI-NPS형 스마트 팩토리에 적용하기 위해서는 이러한 데이터가 공정에 실시간으로 적용될 필요가 있다.
본 발명은 상기와 같은 종래기술의 문제점을 감안하여 안출된 것으로서, 인간-기계 협업 공정을 위한 협동 로봇의 효율적인 운전이 가능한 협동 로봇 시스템을 제공하는 것을 그 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 협동 로봇 시스템은 사용자 인터페이스부 및 사용자가 상기 사용자 인터페이스부를 조종할 때 상기 사용자가 취한 동작을 인식하도록 상기 사용자 인터페이스부와 통신하는 인식부, 상기 인식부와 통신하는 제어부, 및 상기 제어부와 통신하여 제어되는 로봇의 작동부를 포함하여 다단계 작업을 수행하는 협동 로봇 시스템으로서, 상기 인식부는 상기 다단계 작업의 작업 모델에 기반하여 상기 사용자가 상기 사용자 인터페이스부를 조종하는 동안 상기 사용자가 취한 동작을 인식하며, 상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며, 상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하는 것을 특징으로 한다.
이때, 상기 다단계 작업의 작업 모델은 4M1E(Man, Machine, Material, Method, Environment) 분석, FOM(Factory Operation Management) 데이터 기반 분석, CPS(Cyber Physical System) 기반 공정 분석, 및 FEM(Factory Energy Management) 기반 공정 분석의 결과로부터 도출될 수 있다.
또한, 상기 인식부는 CPS(Cyber Physical System) 기반 공정 분석을 통한 다단계 작업의 작업 모델을 저장하며, 상기 CPS 기반 공정 분석은 상기 로봇의 작동부에 구비되는 센서로부터 데이터를 수신하며, 상기 인식부는 상기 센서로부터 수신한 데이터를 분석하여 분석 데이터를 만들고, 상기 분석 데이터를 시뮬레이션하여 상기 다단계 작업의 작업 모델을 업데이트할 수 있다.
본 발명에 따른 협동 로봇 시스템을 적용하면 스마트 팩토리에서 인간-기계 협업 공정을 위한 협동 로봇의 효율적인 운전이 가능하여 스마트 팩토리의 효율적인 운영이 가능하게 된다.
도 1은 본 발명의 협동 로봇 시스템을 도식적으로 나타낸 개념도이다.
도 2는 CPS 기반 공정 분석을 적용하기 전(a)과 후(b)의 장비 가동 실적을 분석한 결과이다.
도 3은 CPS 기반 공정 분석을 적용하기 전(a)과 후(b)의 시간당 생산량을 분석한 결과이다.
이하 본 발명을 상세히 설명한다.
스마트 팩토리는 디지털 기술을 제조과정의 생산 시스템에 적용한 것으로서, 정보활용, 자동화, 모니터링, 센싱, 모델링, 네트워킹 분야에 걸친 다양한 첨단 기술들의 활용 가능성을 포함하고 있으며, ICT 기술을 기반으로 제조 및 유통 전 과정에서 모든 사물 및 참가자들을 서로 연결시켜 정보 교환을 가능하게 하는 연결성, 상호 연결된 구성요소들이 정보와 자원을 서로 공유하고, 이를 바탕으로 독립적 의사결정과 협업을 수행하는 협업성이 중요한 요소가 된다.
스마트 팩토리에서 공정 모델 기술 분야는 응용 애플리케이션 기술, 플랫폼 기술, 디바이스/네트워크 기술, 제조보안 기술 등의 요소기술로 나눌 수 있다.
상기 애플리케이션 기술은 스마트공장 ICT 솔루션의 최상위 소프트웨어 시스템으로 MES, ERP, PLM, SCM 등의 플랫폼 상에서 각종 제조 실행을 수행하는 것이며, 상기 플랫폼 기술은 스마트공장 ICT 하위 디바이스에서 입수한 정보를 최상위 애플리케이션에 정보 전달 역할을 하는 중간 소프트웨어 시스템으로 디바이스에 의해 수집된 데이터를 분석하고, 모델링 및 가상 물리 시뮬레이션을 통해 최적화 정보 제공하는 것이다. 또한, 상기 디바이스/네트워크 기술은 스마트공장 ICT 솔루션의 최하위 하드웨어 시스템으로 스마트 센서를 통해 위치, 환경 및 에너지를 감지하고 로봇을 통해 작업자 및 공작물의 위치를 인식하여 데이터를 플랫폼으로 전송할 수 있는 시스템으로 구성되며, 상기 제조보안 기술은 센서부터 애플리케이션까지 전 분야를 대상으로 각종 데이터, 시스템, 제조설비 등을 안전하게 보호할 수 있는 정보보호 및 산업기밀 보호 기술과 대응 방안에 관한 것이다.
본 발명에서는 스마트 팩토리의 플랫폼과 디바이스/네트워크를 개선하여 공장 효율을 향상시킬 수 있는 협동 로봇 시스템에 관한 것으로서, 이를 도식적으로 나타내면 도 1에서와 같이 구성된다.
즉, 본 발명의 협동 로봇 시스템은 사용자 인터페이스부 및 사용자가 상기 사용자 인터페이스부를 조종할 때 상기 사용자가 취한 동작을 인식하도록 상기 사용자 인터페이스부와 통신하는 인식부, 상기 인식부와 통신하는 제어부, 및 상기 제어부와 통신하여 제어되는 로봇의 작동부를 포함함으로써 다단계 작업을 수행할 수 있도록 구성된다.
특히, 상기 인식부는 상기 다단계 작업의 작업 모델에 기반하여 상기 사용자가 상기 사용자 인터페이스부를 조종하는 동안 상기 사용자가 취한 동작을 인식하며, 상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며, 상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하는 것을 특징으로 한다.
상기 사용자 인터페이스부는 로봇을 제어할 수 있는 제어 장치를 포함할 수 있으며, 사용자가 로봇의 각 부분을 조정하여 로봇이 특정한 동작을 할 수 있도록 제어할 수 있다. 또한, 상기 사용자 인터페이스부에는 디스플레이부가 포함되어 사용자가 로봇의 동작 상태를 관찰하고 이를 통해 변경을 가할 수 있도록 구성될 수 있다.
또한, 상기 디스플레이부는 증강현실(AR) 또는 가상현실(VR)을 이용한 시스템을 구성함으로써 사용자가 인터페이스부를 통해 숙련도를 향상시킬 수도 있고 로봇과의 협업을 통한 작업 효율을 높일 수도 있게 된다. 이때, 상기 디스플레이부는 다양한 이미지의 선택, 설정이 가능하고 이미지를 겹치거나 조정할 수도 있다.
또한, 상기 인식부는 컴퓨터, 스마트기기 또는 다른 데이터 처리 및 저장 장치를 이용하는 것일 수 있다. 상기 인식부로 인식 및 그 밖에 다른 절차들을 수행하는 컴퓨터에 저장된 프로그램을 포함할 수 있으며, 스마트폰이나 태블릿 PC에 설치된 어플리케이션을 통해 작동될 수도 있다. 또한, 네트워크를 통하여 연결된 원거리에 위치한 장치를 사용할 수 있으며, 이 경우, 사물 인터넷(IoT) 시스템을 활용하여 상기 인식부를 구동할 수도 있다. 즉, 상기 사용자 인터페이스부와 상기 인식부는 통신을 통해 연결되기 때문에 물리적으로 결합될 필요는 없다.
또한, 상기 인식부는 사용자의 특정한 동작들을 인식할 수 있도록 로봇 운동학(kinematics)을 이용한 장치를 포함할 수 있다. 이 경우, 다단계 작업의 작업 모델에 기반하여 상기 사용자가 상기 사용자 인터페이스부를 조종하는 동안 상기 사용자가 취한 동작을 인식할 수 있게 된다. 이러한 인식부의 작동은 다기능 작업을 수행하는 과정에서 상호간의 정보 교환을 통하여 전체 로봇 시스템의 협동 작업을 가능하도록 해 준다.
또한, 상기 사용자 인터페이스부와 센서를 포함하는 로봇 시스펨은 사용자의 동작과 센서로부터 수신되는 신호를 기반으로 로봇의 움직임, 작업 환경을 실시간으로 관찰하거나 녹화하여 영상 처리를 할 수 있도록 구성될 수 있다. 이 경우에도 AR 또는 VR 시스템을 이용하여 사용자의 정보 취득 및 응답 효율을 향상시키도록 할 수 있다.
상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며, 상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하도록 구성된다.
즉, 상기 인식부는 제어부의 제어 하에 센서를 포함하는 로봇 시스템에 의해 수동 동작과 자동 동작, 필요에 따라, 반자동 동작을 포함한 동작을 결정하게 된다.
상기 수동 동작은 종래의 원격 조종 로봇 시스템에서 수행되는 조종과 유사하거나 동일하게 수행되는 것이다. 또한, 상기 자동 동작은 전적으로 로봇의 제어 하에 수행되며 동작에 대한 사용자의 관여가 없는 것이다.
즉, 사용자는 다단계 작업의 각 단계에서 하나의 단계와 그 후의 단계가 수행될 위치로 센서를 포함한 시스템의 일부를 움직일 수 있으며, 이 경우 수동 동작에 의해 로봇 시스템이 구동되는 상태가 된다.
이때, 인식부는 상기 단계가 사용자에 의해 수행되는 수동 동작 상태임을 인식하며, 작업 모델에 기초하여 상기 수동 동작이 종료되는 시점에서 자동 동작의 수행을 지시할 수 있다. 예를 들어, 상기 인식부는 수동 동작으로 로봇 암이 움직인 상태에서 부품을 집어 들고 돌려놓을 수 있는 위치로 다시 이동하기 위한 지시를 통신으로 전송할 수 있다.
또한, 상기 인식부는 사용자가 로봇 시스템의 한 부분을 다단계 작업 중 특정 단계를 수행하기 위한 위치로 움직인 것을 인식할 수도 있다. 이 경우 상기 인식부는 작업 모델에 기초하여, 사용자를 보조하기 위하여 다른 단계를 수행하도록 제어부에 지시할 수 있다. 예를 들어, 사용자가 로봇 암의 동작을 지시하기 위하여 하나의 로봇 암을 조작해야 하는 경우가 있는데, 이때, 자동 동작에 의해 사용자를 위하여 대상물을 고정시킨 상태를 유지하도록 할 수 있다.
상기 작업 모델은 본 발명의 다단계 작업을 수행하기 위한 작업 모델로서 이는 4M1E(Man, Machine, Material, Method, Environment) 분석, ABL(Actual task Based Learning) 기반 분석, FOM(Factory Operation Management) 데이터 기반 분석, CPS(Cyber Physical System) 기반 공정 분석, 및 FEM(Factory Energy Management) 기반 공정 분석의 결과로부터 도출되어 구성된 것이다.
상기 4M1E는 스마트 팩토리의 생산활동과 연관된 자원으로서 4M의 자원인 작업자(Man), 기계설비(Machine), 자재(Material), 제품생산방법(Method)에 더하여 환경(Environment)을 포함하는 것이다. 이러한 4M1E는 데이터베이스화하여 활용할 수 있는데, 이를 이용하여 생산계획을 수립하고 작업 시나리오에 따른 사전 시뮬레이션을 통해 생산 실적을 예측할 수도 있고, 인사, 회계, 자재 및 수주 관리 등의 자원관리, 디지털 팩토리의 작업 상황을 실시간으로 파악하고 자원 별로 작업 실적을 취합하고 관리하는 현장 관리, 현장에서 수집된 각종 데이터를 이용하여 생산현장 데이터베이스를 제조하는 과정을 모두 포함할 수 있다. 따라서 4M1E 분석을 통해 수집되는 데이터는 협동 로봇을 이용한 공정에서 예측되는 다양한 상태들에 대한 모델링이 가능하며, 이를 통하여 작업 모델을 수립할 수 있게 된다.
또한, FOM(Factory Operation Management) 데이터 기반으로 분석하여 작업 모델을 수정 및 관리할 수도 있다. 이를 위하여 상기 협동 로봇 시스템은 FOM 분석부를 별도로 구비할 수 있다. 상기 FOM 분석부는 빅데이터 모듈을 기반으로 핵심성과지표(KPI) 또는 LOB 분석을 포함하는 스마트 팩토리 운영관리 분석결과를 생성하는데, 이는 상기 협동 로봇 시스템의 작업 데이터를 기반으로 수행될 수 있다. 또한, 상기 빅데이터 분석자료와 스마트 팩토리 운영관리 분석결과를 상기 고객업체에 제공할 수도 있으며, 이러한 제공된 결과에 대한 피드백을 반영하여 작업 모델을 수정할 수도 있다.
또한, CPS(Cyber Physical System) 기반 공정 분석은 물리적인 시스템과 가상 시스템을 상호 연결시켜 스마트 팩토리의 공정을 수행하기 위한 시스템이다. 일 실시예에서 상기 CPS는 외부 센서로부터 온도, 습도, 압력, 전압 등의 센서 데이터를 수식하고, 로봇, 액추에이터, 선반, 연마기, 절삭기 등의 다양한 외부 설비로부터 설비 데이터를 수신하여 저장하게 된다. 이를 통해 관리자가 기입력한 제어, 설정, 조회 등을 포함하는 관리 명령과 이를 기반으로 한 작업 모델을 관리할 수 있다. 예를 들어, 관리 명령의 우선순위를 결정할 수 있고, 우선순위에 따라 관리 명령에 상응하는 역할을 수행하도록 작업 모델을 설정할 수 있다.
이를 위하여 상기 협동 로봇 시스템은 CPS 분석부를 별도로 구비할 수 있다. 상기 CPS 분석부는 스마트 팩토리의 공정 및 속성 정보를 등록, 관리 및 수정하고 데이터를 기반으로 시뮬레이션을 하기 위한 정보를 저장하며, 수득된 데이터의 유효성을 검증하여 기 입력된 관리 명령의 우선순위를 변경하거나 작업 모델을 변경할 수 있다. 또한, 상기 유효성의 검증에는 기준 알고리즘을 바탕으로 기계학습을 통한 딥 러닝 또는 내외부의 인공지능 모듈을 이용할 수도 있다. 또한, 상기 CPS 분석부가 시뮬레이션을 수행할 때 제품의 생산 수량의 변경, 제품 모델의 변경, 특정 공정 장애 시 우회 공정 등을 포함한 시뮬레이션을 할 수도 있다. 이러한 CPS 분석부에서 처리되는 데이터는 가상 데이터일 수 있다.
상기 CPS 분석에 대하여 자동차 배기를 감소시킬 수 있는 외기 흡입 덕트(air intake duct_를 생산하는 공정을 예로 들면 다음과 같다. 먼저, CPS 분석에 필요한 부품을 inventor를 활용하여 3D 모델링을 제작한다. 상기 3D 모델링한 부품을 CPS 프로그램에 적용 가능한 형식의 파일로 변경하고, 이를 이용하여 CPS 제작 프로세스를 수립한다. 다음으로 상기 프로세스에 따라 장비 및 물류를 배치하고 레이아웃을 제작한다. 이와 같은 작업을 통해 시뮬레이션을 하고 상기 시뮬레이션에 따라 로봇의 동작에 필요한 포인트를 학습하는 작업을 수행하게 된다. 이를 토대로 로봇을 가동하면 도 2에서와 같이 CPS 기반 공정 분석의 적용 전과 비교하여 진동융착용 로봇과 작업자의 가동 실적이 평균 58.8%에서 89.8%로 크게 향상되는 것을 알 수 있다. 또한, 시간당 생산량(UPH)을 분석한 결과 도 3에서와 같이 CPS 기반 공정 분석 적용 전과 비교하여 43.3%의 생산성 향상을 나타내는 것을 확인하였다.
상기 CPS 기반 공정 분석을 수행한 결과는 상기 인식부에 전송되며, 상기 인식부는 상기 CPS 기반 공정 분석을 통해 다단계 작업의 작업 모델을 수정하고 이를 저장할 수 있다. 또한, 상기 CPS 기반 공정 분석은 로봇 시스템에 있어서는 상기 로봇의 작동부에 구비되는 센서로부터 데이터를 수신함으로써 수행되는데, 이외에도 스마트 팩토리에서의 설비 데이터뿐만 아니라 상기 로봇 시스템 외의 외부 센서로부터 수득되는 데이터도 수신하여 이를 취합하여 공정 분석을 수행할 수 있다. 또한, 상기 공정 분석은 상기 인식부가 상기 센서로부터 수신한 데이터, 설비 데이터, 외부 센서로부터 수득된 데이터를 모두 분석하며, 이를 통해 분석 데이터를 만들게 된다. 이러한 분석 데이터는 인식부에서 시뮬레이션 할 수 있으며, 만일 데이터의 크기가 너무 큰 경우에는 상기 분석 데이터를 외부 컴퓨터로 전송하여 상기 외부 컴퓨터에서 분석 데이터의 처리와 시뮬레이션을 수행할 수도 있게 된다. 이러한 시뮬레이션은 기계학습을 통한 딥 러닝 또는 내외부의 인공지능 모듈을 이용하여 수행할 수 있는데, 이러한 기계학습이나 인공지능 모듈의 활용을 통해 상기 다단계 작업의 작업 모델을 자동으로 업데이트할 수 있게 된다. 또한, 상기 업데이트된 작업 모델은 상기 인식부에 추가로 저장될 수 있다.
또한, FEM(Factory Energy Management) 기반 공정 분석을 통한 작업 모델의 수정 또는 관리도 가능하다. 상기 FEM은 공장 에너지 관리 체계로서 에너지의 효율적 사용을 관리할 수 있는 것이며, 스마트 팩토리의 생산 효율에 영향을 미치는 인자를 효율적으로 관리할 수 있도록 해 준다. 이를 위하여 상기 협동 로봇 시스템은 FEM 분석부를 별도로 구비할 수 있다. 상기 FEM 분석부는 FOM과 마찬가지로 빅데이터 모듈을 기반으로 스마트 팩토리의 에너지 관리 분석결과를 생성하는데, 이는 상기 협동 로봇 시스템의 작업 데이터를 기반으로 생성될 수 있다. 또한, 상기 빅데이터 분석자료와 에너지 관리 분석결과를 토대로 작업 모델을 수정할 수 있다.
또한, 상기 제어부는 상기 인식부와 통신하여 작동되는데, 상기 제어부는 상기 인식부로부터 신호를 수신하여 상기 로봇의 작동부를 제어함으로써 다단계 작업을 수행할 수 있게 된다.
이상에서 설명한 본 발명은 전술한 실시예에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백한 것이다.

Claims (3)

  1. 사용자 인터페이스부 및 사용자가 상기 사용자 인터페이스부를 조종할 때 상기 사용자가 취한 동작을 인식하도록 상기 사용자 인터페이스부와 통신하는 인식부, 상기 인식부와 통신하는 제어부, 및 상기 제어부와 통신하여 제어되는 로봇의 작동부를 포함하는 다단계 작업을 수행하는 협동 로봇 시스템에 있어서,
    상기 인식부는 상기 다단계 작업의 작업 모델에 기반하여 상기 사용자가 상기 사용자 인터페이스부를 조종하는 동안 상기 사용자가 취한 동작을 인식하며,
    상기 인식부는 수동 및 자동 동작을 시작과 완료를 인식하며,
    상기 인식부는 상기 수동 동작이 완료되면 상기 다단계 작업의 작업 모델에 기반하여 상기 로봇의 작동부가 자동 동작을 수행하도록 상기 제어부에 지시하는 것을 특징으로 하는 협동 로봇 시스템.
  2. 청구항 1에 있어서,
    상기 다단계 작업의 작업 모델은 4M1E(Man, Machine, Material, Method, Environment) 분석, FOM(Factory Operation Management) 데이터 기반 분석, CPS(Cyber Physical System) 기반 공정 분석, 및 FEM(Factory Energy Management) 기반 공정 분석의 결과로부터 도출되는 것을 특징으로 하는 협동 로봇 시스템.
  3. 청구항 1에 있어서,
    상기 인식부는 CPS(Cyber Physical System) 기반 공정 분석을 통한 다단계 작업의 작업 모델을 저장하며,
    상기 CPS 기반 공정 분석은 상기 로봇의 작동부에 구비되는 센서로부터 데이터를 수신하며,
    상기 인식부는 상기 센서로부터 수신한 데이터를 분석하여 분석 데이터를 만들고, 상기 분석 데이터를 시뮬레이션하여 상기 다단계 작업의 작업 모델을 업데이트하는 것을 특징으로 하는 협동 로봇 시스템.
PCT/KR2020/018948 2020-12-22 2020-12-23 협동 로봇 시스템. WO2022139025A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0180386 2020-12-22
KR1020200180386A KR20220089828A (ko) 2020-12-22 2020-12-22 협동 로봇 시스템.

Publications (1)

Publication Number Publication Date
WO2022139025A1 true WO2022139025A1 (ko) 2022-06-30

Family

ID=82159939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/018948 WO2022139025A1 (ko) 2020-12-22 2020-12-23 협동 로봇 시스템.

Country Status (2)

Country Link
KR (1) KR20220089828A (ko)
WO (1) WO2022139025A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012065175A2 (en) * 2010-11-11 2012-05-18 The Johns Hopkins University Human-machine collaborative robotic systems
KR20180030333A (ko) * 2016-09-13 2018-03-22 (주)코에버정보기술 통합 모니터링 시스템 및 그 방법
KR20180092632A (ko) * 2017-02-10 2018-08-20 (주)에이시에스 Kpi 지표를 이용한 스마트 공장의 모바일 어플리케이션 관리 시스템
KR20180101815A (ko) * 2017-03-06 2018-09-14 한밭대학교 산학협력단 빅데이터 플랫폼을 이용한 스마트 공장 운영 관리 솔루션 서비스 시스템 및 방법
KR20190123370A (ko) * 2018-04-11 2019-11-01 (주) 유비씨 스마트 팩토리를 위한 cps 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012065175A2 (en) * 2010-11-11 2012-05-18 The Johns Hopkins University Human-machine collaborative robotic systems
KR20180030333A (ko) * 2016-09-13 2018-03-22 (주)코에버정보기술 통합 모니터링 시스템 및 그 방법
KR20180092632A (ko) * 2017-02-10 2018-08-20 (주)에이시에스 Kpi 지표를 이용한 스마트 공장의 모바일 어플리케이션 관리 시스템
KR20180101815A (ko) * 2017-03-06 2018-09-14 한밭대학교 산학협력단 빅데이터 플랫폼을 이용한 스마트 공장 운영 관리 솔루션 서비스 시스템 및 방법
KR20190123370A (ko) * 2018-04-11 2019-11-01 (주) 유비씨 스마트 팩토리를 위한 cps 시스템

Also Published As

Publication number Publication date
KR20220089828A (ko) 2022-06-29

Similar Documents

Publication Publication Date Title
Liu et al. Probing an intelligent predictive maintenance approach with deep learning and augmented reality for machine tools in IoT-enabled manufacturing
CN111061232A (zh) 基于数字孪生的生产线设计与优化方法
Liu et al. Digital twin-enabled advance execution for human-robot collaborative assembly
CN114442510A (zh) 数字孪生闭环控制方法、系统、计算机设备及存储介质
CN111512254A (zh) 用于基于人类演示的工业任务的机器人学习的系统和方法
EP3819733A1 (en) Creation of a digital twin from a mechanical model
EP3865961B1 (en) Augmented reality human machine interface testing
EP4002189A1 (en) Industrial network communication emulation
CN112381412B (zh) 一种数字孪生卫星脉动式总装分布式管控系统
Rückert et al. Augmented Reality for teaching collaborative robots based on a physical simulation
Shi et al. A cognitive digital twins framework for human-robot collaboration
CN114102590A (zh) 一种工业机器人仿真方法、系统及应用
WO2022139026A1 (ko) 증강현실을 이용한 스마트 팩토리 협업 시스템.
CN116125914A (zh) 基于真实生产线的仿真方法、仿真系统和仿真软件
Brecher et al. Towards anthropomorphic movements for industrial robots
Liang et al. Trajectory-based skill learning for overhead construction robots using generalized cylinders with orientation
WO2022139025A1 (ko) 협동 로봇 시스템.
Škulj et al. An architecture for sim-to-real and real-to-sim experimentation in robotic systems
Hu et al. An IoT-based cyber-physical framework for turbine assembly systems
Ko et al. A study on manufacturing facility safety system using multimedia tools for cyber physical systems
Guerra-Zubiaga et al. Computer vision and machine learning to create an advanced pick-and-place robotic operation using industry 4.0 Trends
CN106774178A (zh) 一种自动化控制系统及方法、机械设备
Li et al. Enhancing construction robot learning for collaborative and long-horizon tasks using generative adversarial imitation learning
KR101263487B1 (ko) 로봇의 교시 장치
CN112936261B (zh) 一种基于增强现实技术的工业机器人现场仿真系统与方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20967096

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 28/11/2023)