KR102659118B1 - Digital twin-based robot programming method using asset administration shell - Google Patents
Digital twin-based robot programming method using asset administration shell Download PDFInfo
- Publication number
- KR102659118B1 KR102659118B1 KR1020230196565A KR20230196565A KR102659118B1 KR 102659118 B1 KR102659118 B1 KR 102659118B1 KR 1020230196565 A KR1020230196565 A KR 1020230196565A KR 20230196565 A KR20230196565 A KR 20230196565A KR 102659118 B1 KR102659118 B1 KR 102659118B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot manipulator
- information model
- digital twin
- actual
- virtual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004519 manufacturing process Methods 0.000 claims abstract description 36
- 238000004891 communication Methods 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
Abstract
자산관리쉘을 활용한 디지털 트윈 기반 로봇 프로그래밍 방법이 제공된다. 본 발명의 실시예에 따른 로봇 매니퓰레이터 제어 시스템은, 실제 로봇 매니퓰레이터를 정보 모델로 모델링하고, 정보 모델을 이용하여 실제 로봇 매니퓰레이터로부터 동작 데이터를 수신하는 정보 모델 운용부 및 실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하고, 디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 디지털 트윈 운용부를 포함한다. 이에 의해, 생산 공정 관련 데이터가 변경되어 로봇 매니퓰레이터의 작업 내용이 변경될 때 중단없이 작업 내용을 반영할 수 있다.A digital twin-based robot programming method using the asset management shell is provided. The robot manipulator control system according to an embodiment of the present invention models an actual robot manipulator with an information model, uses an information model operating unit that receives motion data from the actual robot manipulator using the information model, and an information model of the actual robot manipulator. A virtual robot manipulator is built on the digital twin at the manufacturing site, and a digital twin operating unit is included that controls the actual robot manipulator using the digital twin. As a result, when data related to the production process changes and the work details of the robot manipulator change, the work details can be reflected without interruption.
Description
본 발명은 로봇 매니퓰레이터 프로그래밍에 관한 것으로, 더욱 상세하게는 AAS를 기반으로 공정의 요소들과 데이터를 교환하고 디지털 트윈을 통해 로봇 매니퓰레이터를 프로그래밍 하는 방법에 관한 것이다.The present invention relates to robot manipulator programming, and more specifically, to a method of exchanging process elements and data based on AAS and programming a robot manipulator through digital twin.
최근 제조 회사는 기업의 경쟁력을 확보하기 위해 조립, 용접, 포장, 검사, 팔레타이징 등 다양한 공정에서 산업용 로봇을 적극적으로 도입하고 있다. 산업용 로봇을 활용한 생산 시스템의 자동화는 최소의 사이클 타임과 품질 향상, 생산성 향상, 안전성과 근로자 보호와 같은 다양한 장점을 가지고 있다. Recently, manufacturing companies are actively introducing industrial robots in various processes such as assembly, welding, packaging, inspection, and palletizing to secure corporate competitiveness. Automation of production systems using industrial robots has various advantages such as minimum cycle time, improved quality, increased productivity, safety, and worker protection.
하지만 제품의 기능과 품질에 대한 요구사항이 점점 더 고도화되고 다양해짐으로 인해 제품의 수명 주기가 점점 더 짧아지고 있는 상황이다. 이러한 상황에서 기존의 정적인 로봇 프로그래밍(온라인 및 오프라인 프로그래밍) 방법을 활용한 공정 자동화에서는 다품종 소량생산 및 대량 맞춤화 생산 시스템으로 전환하는데 필요한 유연성이 부족하다.However, as requirements for product function and quality become more sophisticated and diverse, the product life cycle is becoming shorter. In this situation, process automation using existing static robot programming (online and offline programming) methods lacks the flexibility needed to transition to a high-mix, small-scale production and mass-customized production system.
이러한 한계를 해결하기 위해 카메라 이미지를 통한 CNN 기반 사업용 로봇 제어 연구, EMG 신호를 이용한 손 제스처 인식기반 로봇 제어연구, 조이스틱을 이용한 로봇 제어연구, 심층 강화학습 기반 로봇 제어연구 등에 대해 활발히 연구를 진행중이다. To solve these limitations, we are actively conducting research on CNN-based business robot control research using camera images, robot control research based on hand gesture recognition using EMG signals, robot control research using joysticks, and robot control research based on deep reinforcement learning. .
그럼에도 불구하고 로봇 프로그래밍은 여전히 매우 복잡하고 시간과 비용이 매우 많이 소요되어, 결과적으로 높은 효율로 다양한 제품을 생산할 수 있는 유연한 제조 시스템 구축에 있어서 로봇을 활용한 자동화는 여전히 비효율적인 현실이다.Nevertheless, robot programming is still very complex and takes a lot of time and money, and as a result, automation using robots is still inefficient in building a flexible manufacturing system that can produce a variety of products with high efficiency.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 빠르게 변화하는 시장의 변화와 제품 요구사항에 따라 공정의 다른 요소들과 상호작용하며 유연하게 대처할 수 있도록 로봇 매니퓰레이터의 프로그래밍하기 위한 방안으로, AAS를 기반으로 공정의 요소들과 데이터를 교환하고 디지털 트윈을 통해 로봇 매니퓰레이터를 프로그래밍 제어하는 방법을 제공함에 있다.The present invention was created to solve the above problems, and the purpose of the present invention is to provide a robot manipulator that can interact flexibly with other elements of the process according to rapidly changing market changes and product requirements. As a programming method, it provides a method of exchanging process elements and data based on AAS and programming and controlling the robot manipulator through digital twin.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 로봇 매니퓰레이터 제어 시스템은 실제 로봇 매니퓰레이터를 정보 모델로 모델링하고, 정보 모델을 이용하여 실제 로봇 매니퓰레이터로부터 동작 데이터를 수신하는 정보 모델 운용부; 및 실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하고, 디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 디지털 트윈 운용부;를 포함한다. A robot manipulator control system according to an embodiment of the present invention for achieving the above object includes an information model operating unit that models an actual robot manipulator as an information model and receives motion data from the actual robot manipulator using the information model; and a digital twin operating unit that builds a virtual robot manipulator in the digital twin of the manufacturing site using the information model of the actual robot manipulator and controls the actual robot manipulator using the digital twin.
디지털 트윈 운용부는, 가상 로봇 매니퓰레이터에 대한 시뮬레이션 결과를 기초로 실제 로봇 매니퓰레이터를 제어하기 위한 제어 데이터를 생성하고, 정보 모델을 통해 제어 데이터를 실제 로봇 매니퓰레이터에게 전달할 수 있다.The digital twin operating unit can generate control data for controlling the actual robot manipulator based on simulation results for the virtual robot manipulator and transmit the control data to the actual robot manipulator through the information model.
디지털 트윈 운용부는, 제조 현장을 구성하는 다른 요소들의 정보 모델들로부터 획득한 데이터들을 기초로 가상 로봇 매니퓰레이터의 제어 데이터를 생성하도록 작성된 프로그램을 이용하여, 가상 로봇 매니퓰레이터를 제어할 수 있다.The digital twin operating unit may control the virtual robot manipulator using a program written to generate control data for the virtual robot manipulator based on data acquired from information models of other elements constituting the manufacturing site.
다른 요소는, 로봇 매니퓰레이터가 Pick 하여야 하는 제품을 촬영하기 위한 비전 장비를 포함할 수 있다.Other elements may include vision equipment to photograph the product that the robot manipulator must pick.
디지털 트윈 운용부는, 비전 장비의 정보 모델을 통해 획득한 제품 이미지로부터 제품 정보를 파악하고, 파악된 제품 정보를 기초로 제품의 정보 모델을 통해 제품의 목표 위치를 파악할 수 있다.The digital twin operation unit can identify product information from the product image acquired through the information model of the vision equipment, and identify the target location of the product through the product information model based on the identified product information.
디지털 트윈 운용부는, 가상 로봇 매니퓰레이터와 주변 요소들 간의 충돌 여부를 사전에 확인하고, 가상 로봇 매니퓰레이터가 목표 지점까지 어떻게 움직일지 계산할 수 있다.The digital twin operating unit can check in advance whether there is a collision between the virtual robot manipulator and surrounding elements and calculate how the virtual robot manipulator will move to the target point.
정보 모델 운용부와 디지털 트윈 운용부는, ROS2 표준 기반의 Topic 통신을 통해 정보 모델과 디지털 트윈 환경을 동기화할 수 있다.The information model operation department and the digital twin operation department can synchronize the information model and digital twin environment through topic communication based on the ROS2 standard.
정보 모델은, AAS(Asset Administration Shell) 정보 모델일 수 있다.The information model may be an Asset Administration Shell (AAS) information model.
정보 모델 운용부는, OPC UA(Open Platform Communication Unified Architecture)를 이용하여 실제 로봇 매니퓰레이터로 데이터를 전달할 수 있다.The information model operation unit can transmit data to the actual robot manipulator using OPC UA (Open Platform Communication Unified Architecture).
본 발명의 다른 측면에 따르면, 실제 로봇 매니퓰레이터를 정보 모델로 모델링하는 단계; 실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하는 단계: 정보 모델을 이용하여 실제 로봇 매니퓰레이터로부터 동작 데이터를 수신하는 단계; 디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 단계;를 포함하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 방법이 제공된다.According to another aspect of the invention, modeling an actual robot manipulator into an information model; Building a virtual robot manipulator on a digital twin at a manufacturing site using an information model of a real robot manipulator: receiving motion data from a real robot manipulator using an information model; A robot manipulator control method is provided, comprising: controlling an actual robot manipulator using a digital twin.
본 발명의 또다른 측면에 따르면, 제조 현장에 배치된 실제 로봇 매니퓰레이터; 실제 로봇 매니퓰레이터를 정보 모델로 모델링하고, 정보 모델을 이용하여 실제 로봇 매니퓰레이터로부터 동작 데이터를 수신하는 정보 모델 운용부; 및 실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하고, 디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 디지털 트윈 운용부;를 포함하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 시스템이 제공된다.According to another aspect of the present invention, an actual robot manipulator placed at a manufacturing site; an information model operating unit that models the actual robot manipulator as an information model and receives motion data from the actual robot manipulator using the information model; and a digital twin operating unit that builds a virtual robot manipulator in the digital twin of the manufacturing site using the information model of the actual robot manipulator and controls the actual robot manipulator using the digital twin. A robot manipulator control system comprising a. This is provided.
본 발명의 또다른 측면에 따르면, 실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하는 단계: 정보 모델을 이용하여 실제 로봇 매니퓰레이터로부터 동작 데이터를 수신하는 단계; 디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 단계;를 포함하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 방법이 제공된다.According to another aspect of the present invention, building a virtual robot manipulator in a digital twin of a manufacturing site using an information model of a real robot manipulator: receiving motion data from a real robot manipulator using the information model; A robot manipulator control method is provided, comprising: controlling an actual robot manipulator using a digital twin.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, AAS를 기반으로 공정의 요소들과 데이터를 교환하고 디지털 트윈을 통해 로봇 매니퓰레이터를 프로그래밍함으로써, 생산 공정 관련 데이터가 변경되어 로봇 매니퓰레이터의 작업 내용이 변경될 때 중단없이 작업 내용을 반영할 수 있다.As described above, according to embodiments of the present invention, by exchanging data with process elements based on AAS and programming the robot manipulator through the digital twin, data related to the production process is changed and the work content of the robot manipulator is changed. When changes are made, work can be reflected without interruption.
또한 본 발명의 실시예들에 따르면, 로봇 매니퓰레이터의 정보 및 실시간 데이터를 표준화된 데이터 모델 구조로 모델링하고, 표준 통신 프로토콜을 활용하여 교환함으로써 상호운용성을 높이고 확장이 용이하며, 담당자가 로봇 매니퓰레이터를 프로그래밍하는 전문성이 부족하여도 활용가능하다.In addition, according to embodiments of the present invention, information and real-time data of the robot manipulator are modeled with a standardized data model structure and exchanged using a standard communication protocol to increase interoperability and facilitate expansion, and the person in charge can program the robot manipulator. It can be used even if you lack expertise.
도 1. 시스템 아키텍처 구성
도 2. 시스템 아키텍처 구성 절차
도 3. 시스템 아키텍처와 절차와의 관계
도 4. 시나리오 실행 절차 시퀀스 다이어그램Figure 1. System architecture configuration
Figure 2. System architecture configuration procedure
Figure 3. Relationship between system architecture and procedures
Figure 4. Scenario execution procedure sequence diagram
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 실시예에서는 AAS(Asset Administration Shell)를 활용한 디지털 트윈 기반 로봇 프로그래밍 방법을 제시한다. AAS를 기반으로 공정의 요소들과 데이터를 교환하고 디지털 트윈을 통해 로봇 매니퓰레이터를 프로그래밍 제어하는 기술이다.An embodiment of the present invention presents a digital twin-based robot programming method using AAS (Asset Administration Shell). It is a technology that exchanges data with process elements based on AAS and programmatically controls the robot manipulator through digital twin.
1. 시스템 아키텍쳐1. System architecture
도 1은 본 발명의 일 실시예에 따른 로봇 매니퓰레이터를 프로그래밍 제어 시스템의 구성을 도시한 도면이다.Figure 1 is a diagram showing the configuration of a programming control system for a robot manipulator according to an embodiment of the present invention.
본 발명의 실시예에 따른 로봇 매니퓰레이터를 프로그래밍 제어 시스템은 도시된 바와 같이, 물리적 자산 계층(Physical Asset Layer)에 해당하는 로봇 매니퓰레이터(110), 디지털 트윈 계층(Digital Twin Layer)에 해당하는 디지털 트윈 운용부(120) 및 AAS 디지털 트윈 모델 계층(AAS Digital Twin Model Layer)에 해당하는 AAS 운용부(130)를 포함하여 구성된다.As shown, the robot manipulator programming control system according to an embodiment of the present invention includes the robot manipulator 110 corresponding to the physical asset layer and the digital twin operation corresponding to the digital twin layer. It is configured to include a unit 120 and an AAS operation unit 130 corresponding to the AAS Digital Twin Model Layer.
로봇 매니퓰레이터(110)는 제조 현장에 배치된 실제 매니퓰레이터를 말하는 것으로 상위 계층인 디지털 트윈 운용부(120)에 의해 제어된다.The robot manipulator 110 refers to an actual manipulator placed at a manufacturing site and is controlled by the digital twin operation unit 120, which is an upper layer.
AAS 운용부(130)는 로봇 매니퓰레이터(110)를 정보 모델인 AAS로 모델링하고, AAS를 이용하여 로봇 매니퓰레이터(110)로부터 동작 데이터를 수신하고, 후술할 디지털 트윈 운용부(120)에 의해 생성된 제어 데이터를 AAS를 이용하여 로봇 매니퓰레이터(110)로 전달한다.The AAS operating unit 130 models the robot manipulator 110 with AAS, an information model, receives motion data from the robot manipulator 110 using AAS, and generates the data generated by the digital twin operating unit 120, which will be described later. Control data is transmitted to the robot manipulator 110 using AAS.
AAS는 디지털 세계에서 상호 운용이 가능한 가상 로봇 매니퓰레이터 모델을 만들기 위해 표준 디지털 트윈 표현 모델이다. 또한 AAS 운용부(130)는 로봇 매니퓰레이터(110) 외에도 제조 현장의 공정 요소들의 AAS들을 이용하여 데이터를 획득하고 전달할 수도 있다.AAS is a standard digital twin representation model for creating virtual robot manipulator models that are interoperable in the digital world. Additionally, the AAS operation unit 130 may acquire and transmit data using AAS of process elements at the manufacturing site in addition to the robot manipulator 110.
AAS 운용부(130)는 표준 통신 프로토콜인 OPC UA(Open Platform Communication Unified Architecture)를 이용하여 AAS들과 데이터 교환, 정보 공유, 상호작용을 수행한다.The AAS operation unit 130 performs data exchange, information sharing, and interaction with AAS using OPC UA (Open Platform Communication Unified Architecture), a standard communication protocol.
디지털 트윈 운용부(120)는 로봇 매니퓰레이터(100)의 AAS를 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하고, 디지털 트윈을 이용하여 로봇 매니퓰레이터(100)를 제어한다.The digital twin operation unit 120 uses the AAS of the robot manipulator 100 to build a virtual robot manipulator in the digital twin at the manufacturing site and controls the robot manipulator 100 using the digital twin.
이를 위해, 디지털 트윈 운용부(120)는 가상 로봇 매니퓰레이터에 대한 시뮬레이션 결과를 기초로 로봇 매니퓰레이터(100)를 제어하기 위한 제어 데이터를 생성하고, 로봇 매니퓰레이터(100)의 AAS를 통해 생성한 제어 데이터를 로봇 매니퓰레이터(100)에게 전달한다.To this end, the digital twin operating unit 120 generates control data for controlling the robot manipulator 100 based on simulation results for the virtual robot manipulator, and controls data generated through the AAS of the robot manipulator 100. Delivered to the robot manipulator (100).
나아가 디지털 트윈 운용부(120)는 제조 현장을 구성하는 다른 요소들의 AAS들로부터 획득한 데이터들을 기초로 가상 로봇 매니퓰레이터의 제어 데이터를 생성하도록 작성된 프로그램을 이용하여 가상 로봇 매니퓰레이터를 시뮬레이션하면서, 로봇 매니퓰레이터(100)를 제어할 수도 있다.Furthermore, the digital twin operating unit 120 simulates the virtual robot manipulator using a program written to generate control data of the virtual robot manipulator based on data acquired from the AAS of other elements constituting the manufacturing site, and operates the robot manipulator ( 100) can also be controlled.
이 과정에서 디지털 트윈 운용부(120)는 가상 로봇 매니퓰레이터와 주변 요소들 간의 충돌 여부를 사전에 확인(Collision Checking) 하고, 가상 로봇 매니퓰레이터가 목표 지점까지 어떻게 움직일지 계산(Kinematics) 하며, 경로생성 알고리즘을 활용하여 사람의 개입과 별도의 프로그래밍을 하지 않고 가상 로봇 매니퓰레이터가 주변의 환경을 인식하고 안전하게 원하는 지점까지 도달할 수 있도록 계획(Motion Planning) 한다.In this process, the digital twin operating unit 120 checks in advance whether there is a collision between the virtual robot manipulator and surrounding elements (Collision Checking), calculates how the virtual robot manipulator will move to the target point (Kinematics), and runs a path creation algorithm. Motion planning is used to enable the virtual robot manipulator to recognize the surrounding environment and safely reach the desired point without human intervention or separate programming.
2. 설계 절차2. Design procedure
위와 같은 시스템 아키텍처를 적용하기 위하여, 도 2와 같은 디지털 트윈 구축, 데이터 모델링, 실시간 데이터 동기화, 표준 통신 프로토콜 적용 총 4가지 절차를 구성하였다. 이 절차들을 시스템 아키텍처에 적용하면 도 3과 같다. In order to apply the above system architecture, a total of four procedures were constructed as shown in Figure 2: digital twin construction, data modeling, real-time data synchronization, and standard communication protocol application. Applying these procedures to the system architecture is shown in Figure 3.
2.1 디지털 트윈 구축(S210)2.1 Digital twin construction (S210)
로봇 매니퓰레이터(110)를 제어하기 위한 오프라인 프로그래밍 환경을 구축하기 위해 MoveIt2를 활용하여 디지털 트윈 환경을 구축할 수 있다.To build an offline programming environment for controlling the robot manipulator 110, a digital twin environment can be built using MoveIt2.
일반적으로 로봇 프로그래밍 시스템에서 말하는 디지털 트윈 구축은 로봇 매니퓰레이터의 제어를 위해 로봇 매니퓰레이터 3D 모델과 공정을 구성하는 요소(장비, 공정의 레이아웃 등)의 3D 모델을 기반으로 디지털 트윈 환경을 구축하고 로봇의 움직임을 사람의 개입 없이 자동으로 생성하는 것이다.In general, digital twin construction, referred to in robot programming systems, builds a digital twin environment based on the 3D model of the robot manipulator and the 3D model of the elements that make up the process (equipment, process layout, etc.) to control the robot manipulator, and controls the movement of the robot. is created automatically without human intervention.
실제 로봇 매니퓰레이터를 프로그래밍하는 방법 중 하나인 오프라인 프로그래밍(OLP) 방법은 디지털 트윈 환경에서 로봇의 3D 모델을 이용해 로봇 매니퓰레이터에 작업을 적용하기 전에 프로그래밍 중 오류를 식별하고 수정할 수 있어 로봇 시스템의 손상과 그로 인한 다운타임을 줄일 수 있다는 장점이 있다. The offline programming (OLP) method, which is one of the methods of programming an actual robot manipulator, uses a 3D model of the robot in a digital twin environment to identify and correct errors during programming before applying operations to the robot manipulator, thereby preventing damage to the robot system and its consequences. It has the advantage of reducing downtime.
또한 디지털 트윈 환경에서 경로 생성 알고리즘을 활용하여 장애물을 고려하고 궤적을 계산하여 사람의 개입 없이 로봇이 자동으로 작업을 수행할 수 있는 최적의 경로를 생성한다.Additionally, in a digital twin environment, a path generation algorithm is utilized to consider obstacles and calculate trajectories to create an optimal path for the robot to automatically perform tasks without human intervention.
본 발명의 실시예에 따른 프로그래밍 방법에서는 디지털 트윈 구축을 통해 오프라인 프로그래밍 방법을 지원한다. 각 조인트들의 관계와 주변 공정의 구성요소들과의 관계를 정리하여 주변을 감지하고 이 정보를 기반으로 충돌 여부를 미리 사전에 확인할 수 있는 기능인 Collision Checking 과, 로봇의 관절 각도와 링크 길이와 같은 요소들 간의 관계를 분석하여 로봇 매니퓰레이터의 관절이 목표 지점까지 어떻게 움직일지 계산하는 Kinematics, 그리고 경로생성 알고리즘을 활용하여 사람의 개입과 별도의 프로그래밍을 하지 않고 로봇 매니퓰레이터가 주변의 환경을 인식하고 안전하게 원하는 지점까지 도달할 수 있도록 하는 Motion Planning 등 로봇 제어를 위한 많은 기능들을 디지털 트윈을 구축하여 수행하게 된다. The programming method according to an embodiment of the present invention supports an offline programming method through building a digital twin. Collision Checking, a function that detects the surroundings by organizing the relationship between each joint and the components of the surrounding process and checks in advance whether there is a collision based on this information, and factors such as the robot's joint angle and link length Kinematics, which calculates how the joints of the robot manipulator will move to the target point by analyzing the relationships between them, and path creation algorithms, allow the robot manipulator to recognize the surrounding environment and safely reach the desired point without human intervention or separate programming. Many functions for robot control, such as motion planning, are performed by building a digital twin.
또한 구축한 디지털 트윈은 실제 로봇 매니퓰레이터와 연동되어 있어 디지털 트윈 환경에서 시뮬레이션 하고 바로 적용이 가능하여 가변적 환경에 유연하고 빠른 대처가 가능하다. In addition, the constructed digital twin is linked to the actual robot manipulator, so it can be simulated and applied immediately in the digital twin environment, enabling flexible and quick response to variable environments.
2.2 데이터 모델링(S220)2.2 Data Modeling (S220)
앞서 설명한 로봇 매니퓰레이터의 정보를 디지털 세계에서 표현하고 상호작용할 수 있도록 표준화된 데이터 모델링이 필요하다. 이에 Industry4.0에서 제안하는 실제 세계에 존재하는 모든 물리적 자산을 디지털 정보 모델로 표현하는 표준화 체계인 AAS를 기반으로 데이터 모델링을 진행해야한다.Standardized data modeling is needed so that the information of the robot manipulator described above can be expressed and interacted with in the digital world. Accordingly, data modeling should be conducted based on AAS, a standardization system proposed by Industry 4.0 that expresses all physical assets existing in the real world as a digital information model.
제안하는 시스템은 Industrial Digital Twin AASociation(이하 IDTA)에서 제안한 AAS 메타모델을 바탕으로 AAS 기반 데이터 모델링할 수 있다. IDTA에서는 객체지향방식의 UML 다이어그램으로 MetaModel을 규정하고 있다. The proposed system can model AAS-based data based on the AAS metamodel proposed by Industrial Digital Twin AASociation (IDTA). IDTA defines MetaModel as an object-oriented UML diagram.
MetaModel의 구조를 보면 AAS의 구조에는 제조사의 정보, 자산의 사양 정보, 제어를 위한 오퍼레이션 정보, 설계 도면 등과 같은 자산의 정보를 그룹화하는 Submodel을 가지고 있으며 하위에는 Submodel별로 자산의 정보를 가지고 있는 Property로 구성된 SubmodelElement가 존재한다. Submodel에서 그룹화한 자산의 실제 값을 정의하는 Property는 어느 곳에서도 동일한 의미로 해석되어야 하는데 이를위해 IEC61360의 CDD 또는 ECLAAS와 같은 고유 식별자를 참조하는 ConceptDescription에 연결되어 있다. 이를 통해 컴퓨터가 이해할 수 있는 온톨로지 정보모델 구축이 가능하다.Looking at the structure of MetaModel, the structure of AAS has a submodel that groups asset information such as manufacturer information, asset specification information, operation information for control, and design drawings. At the lower level, each submodel is divided into properties that contain asset information. A configured SubmodelElement exists. The Property that defines the actual value of the assets grouped in the Submodel must be interpreted with the same meaning everywhere, and for this purpose, it is linked to a ConceptDescription that references a unique identifier such as CDD or ECLAAS of IEC61360. Through this, it is possible to build an ontology information model that computers can understand.
위와 같이 IDTA에서 제안하는 MetaModel을 기반으로 로봇 매니퓰레이터에서 필요한 정보를 AAS 데이터 메타 모델 규격으로 모델링을 진행하고, 로봇 제어를 위해 사용자 정의 Submodel을 활용하여 표준화된 정보 모델을 구축할 수 있다. 이에 자산 간 또는 이해관계자 간의 상호운용성을 보장한 채 원활한 정보 공유 및 데이터 교환이 이뤄질 수 있다.Based on the MetaModel proposed by IDTA as above, the information required by the robot manipulator can be modeled using the AAS data meta model standard, and a standardized information model can be built using a user-defined submodel for robot control. As a result, smooth information sharing and data exchange can be achieved while ensuring interoperability between assets or stakeholders.
2.3 실시간 데이터 동기화(S230)2.3 Real-time data synchronization (S230)
모델링 된 로봇 매니퓰레이터 AAS에서 실시간 데이터를 공유하고 다른 모델의 데이터를 통해 로봇을 제어하기 위해서는 AAS 디지털 트윈 계층과 디지털 트윈 계층 간에 내부 인터페이스로 연결되어 동기화 되어야한다. In order to share real-time data from the modeled robot manipulator AAS and control the robot through data from other models, the AAS digital twin layer and the digital twin layer must be connected and synchronized through an internal interface.
이에 ROS2 표준 기반의 Topic 통신을 통해 AAS 정보 모델과 디지털 트윈 환경을 동기화할 수 있는 내부 인터페이스를 구축할 수 있다.Accordingly, it is possible to build an internal interface that can synchronize the AAS information model and the digital twin environment through Topic communication based on the ROS2 standard.
이를 통해 실제 로봇 매니퓰레이터의 동적 데이터를 AAS 정보 모델의 오퍼레이션 Submodel의 Property에 업데이트하여, AAS 모델을 통해 로봇 매니퓰레이터의 Joint의 움직이는 속도, 현재 위치 등 동적 데이터 확인이 가능하다. Through this, the dynamic data of the actual robot manipulator is updated in the property of the operation submodel of the AAS information model, making it possible to check dynamic data such as the moving speed and current position of the robot manipulator's joint through the AAS model.
또한 다른 공정의 요소로부터 받은 로봇 매니퓰레이터의 작업 내용을 실시간으로 반영하기 위해 내부 인터페이스 모듈을 통해 디지털 트윈의 Collision Checking, Kinematics, Motion Planning, Robot Control 등 오프라인 프로그래밍 기능과 연동하였고 작업 내용이 변경되면 디지털 트윈의 오프라인 프로그래밍 기능을 활용하여 로봇 매니퓰레이터가 제어되도록 할 수 있다.In addition, in order to reflect in real time the work contents of the robot manipulator received from other process elements, it was linked with offline programming functions such as Collision Checking, Kinematics, Motion Planning, and Robot Control of the digital twin through an internal interface module, and when the work contents are changed, the digital twin The robot manipulator can be controlled by utilizing its offline programming function.
2.4 표준 통신 프로토콜 적용(S240)2.4 Application of standard communication protocol (S240)
AAS 기반 데이터를 다른 모델들과 공유하고 상호작용하기 위해서는 자율적으로 데이터를 교환할 수 있는 통신 프로토콜이 필요하다. In order to share and interact with AAS-based data with other models, a communication protocol that can autonomously exchange data is needed.
IDTA 표준에서는 AAS를 기반으로 데이터를 교환하는 방법은 3가지의 유형이 있다고 표현하고 있다. 본 발명의 실시예에서는 세가지 Type의 방식 중 Type 2 Reactive AAS를 적용하기 위해 OPC UA의 Server/Client 구조를 채택한다.The IDTA standard expresses that there are three types of data exchange methods based on AAS. In the embodiment of the present invention, the Server/Client structure of OPC UA is adopted to apply Type 2 Reactive AAS among the three types of methods.
Type 2 Reactive AAS는 서버/클라이언트 구조의 API(HTTP, MQTT 등)를 통해 다른 AAS 혹은 어플리케이션과 데이터 교환이 가능하다. 실시간 데이터를 서버 클라이언트 구조를 통해 교환이 가능하도록 함으로 이기종 시스템 혹은 어플리케이션 간의 상호운용성을 유지하며 데이터 교환을 통한 상호 작용을 가능하게 하고 EndPoint를 제공하여 다른 서비스 및 어플리케이션으로의 확장이 가능하게 한다.Type 2 Reactive AAS can exchange data with other AAS or applications through server/client structured APIs (HTTP, MQTT, etc.). By enabling the exchange of real-time data through a server-client structure, it maintains interoperability between heterogeneous systems or applications, enables interaction through data exchange, and provides EndPoint to enable expansion to other services and applications.
3. Pick & Place 적용 시나리오 및 구성 절차3. Pick & Place application scenario and configuration procedure
본 발명의 실시예에 따른 로봇 매니퓰레이터 프로그래밍 시스템을 활용하여 사람의 개입 없이 로봇 매니퓰레이터를 프로그래밍 하기 위해 AAS로 모델링 된 공정 요소들로 비전 장비와 생산 제품을 상정한다.In order to program a robot manipulator without human intervention using the robot manipulator programming system according to an embodiment of the present invention, vision equipment and production products are assumed with process elements modeled in AAS.
Pick & Place에서 Place의 위치 정보를 가지고 있는 생산 제품 AAS와 생산 제품을 촬영할 수 있는 비전 AAS가 있다. In Pick & Place, there is a production product AAS that has place location information and a vision AAS that can photograph the produced product.
또한 다양한 생산 제품에 적용하기 위해 생산제품 AAS의 Endpoint를 가지고 있는 Product AAS Registry가 존재한다. 그리고 모든 시나리오의 흐름을 제어하고 데이터 교환이 이뤄지는 Workflow Manager가 있다. 데이터의 교환 과정과 동작 절차는 도 4와 같다.In addition, there is a Product AAS Registry that has the endpoint of the product AAS in order to apply it to various manufactured products. And there is a Workflow Manager that controls the flow of all scenarios and exchanges data. The data exchange process and operation procedure are shown in Figure 4.
(1) 비전 AAS에 생산제품 번호와 Pick 위치를 받아오기 위해 OPC UA Server에 접속하여 촬영을 요청한다.(1) In order to receive the production product number and pick location from Vision AAS, connect to the OPC UA Server and request a photo shoot.
(2) 비전 AAS에서 받아온 생산 제품의 Pick위치를 기반으로 본 발명에서 제안한 시스템에 Pick 명령을 내린다.(2) A pick command is issued to the system proposed in the present invention based on the pick position of the produced product received from vision AAS.
(3) 비전 AAS에서 받아온 생산 제품의 번호 정보를 기반으로 Product AAS Registry에 접속하여 생산 제품 AAS Endpoint를 받아온다.(3) Based on the production product number information received from Vision AAS, access the Product AAS Registry to receive the production product AAS Endpoint.
(4) Product AAS Registry를 통해 받아온 생산제품 AAS Endpoint로 접속하여 Place 위치를 받아온다.(4) Access the production product AAS Endpoint received through the Product AAS Registry and receive the place location.
(5) 로봇 AAS에 접속하여 생산 제품의 Place 위치를 기반으로 Place 명령을 내린다.(5) Connect to the robot AAS and issue a place command based on the place location of the manufactured product.
위 방법에 의하면, 로봇 매니퓰레이터가 Pick & Place 하는 제품의 스펙이나 제품의 팔레타이징 위치가 변경되더라도 표준 기반으로 모델링된 제품을 비전으로 인식할 수 있으며, 별도로 프로그래밍 수정 없이 변경된 작업 내용을 기반으로 디지털 트윈 계층에서 작업 내용을 시뮬레이션하고 로봇에 적용할 수 있다. According to the above method, even if the specifications of the product picked and placed by the robot manipulator or the palletizing position of the product are changed, the product modeled based on the standard can be recognized with vision, and the digital product can be digitalized based on the changed work contents without separate programming modification. Work content can be simulated in the twin layer and applied to the robot.
4. 변형예4. Variation example
지금까지, 자산관리쉘을 활용한 디지털 트윈 기반 로봇 프로그래밍 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, the digital twin-based robot programming method using the asset management shell has been explained in detail with preferred embodiments.
위 실시예에서는, AAS를 기반으로 공정의 요소들과 데이터를 교환하고 디지털 트윈을 통해 로봇 매니퓰레이터를 프로그래밍함으로써, 생산 공정 관련 데이터가 변경되어 로봇 매니퓰레이터의 작업 내용이 변경될 때 중단없이 작업 내용을 반영할 수 있도록 하였다.In the above embodiment, by exchanging data with process elements based on AAS and programming the robot manipulator through the digital twin, the work content is reflected without interruption when the work content of the robot manipulator changes due to changes in production process-related data. made it possible to do so.
로봇 매니퓰레이터의 정보 및 실시간 데이터를 표준화된 데이터 모델 구조로 모델링하고, 표준 통신 프로토콜을 활용하여 교환함으로써 상호운용성을 높이고 확장이 용이하며, 담당자가 로봇 매니퓰레이터를 프로그래밍하는 전문성이 부족하여도 활용가능하다.By modeling the information and real-time data of the robot manipulator in a standardized data model structure and exchanging it using standard communication protocols, interoperability is improved and expansion is easy, and it can be used even if the person in charge lacks expertise in programming the robot manipulator.
나아가, 오픈 소스 기반의 소프트웨어 플랫폼을 활용하여 로봇을 프로그래밍하기 때문에 로봇 벤더사에 상관없이 적용 가능하다.Furthermore, since the robot is programmed using an open source-based software platform, it can be applied regardless of the robot vendor.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, of course, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs the functions of the device and method according to this embodiment. Additionally, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable code recorded on a computer-readable recording medium. A computer-readable recording medium can be any data storage device that can be read by a computer and store data. For example, of course, computer-readable recording media can be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, etc. Additionally, computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the invention pertains without departing from the gist of the present invention as claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be understood individually from the technical idea or perspective of the present invention.
110 : 물리적 자산 계층 / 로봇 매니퓰레이터
120 : 디지털 트윈 계층 / 디지털 트윈 운용부
130 : AAS 디지털 트윈 모델 계층 / AAS 운용부110: Physical asset layer / robot manipulator
120: Digital twin layer / Digital twin operation department
130: AAS digital twin model layer / AAS operation department
Claims (12)
실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하고, 디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 디지털 트윈 운용부;를 포함하고,
디지털 트윈 운용부는,
가상 로봇 매니퓰레이터에 대한 시뮬레이션 결과를 기초로 실제 로봇 매니퓰레이터를 제어하기 위한 제어 데이터를 생성하고, 정보 모델을 통해 제어 데이터를 실제 로봇 매니퓰레이터에게 전달하며,
제조 현장을 구성하는 다른 요소들의 정보 모델들로부터 획득한 데이터들을 기초로 가상 로봇 매니퓰레이터의 제어 데이터를 생성하도록 작성된 프로그램을 이용하여, 가상 로봇 매니퓰레이터를 제어하고,
가상 로봇 매니퓰레이터와 주변 요소들 간의 충돌 여부를 사전에 확인하고, 가상 로봇 매니퓰레이터가 목표 지점까지 어떻게 움직일지 계산하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 시스템.
an information model operating unit that models the actual robot manipulator as an information model and receives motion data from the actual robot manipulator using the information model; and
It includes a digital twin operating unit that builds a virtual robot manipulator on the digital twin at the manufacturing site using the information model of the actual robot manipulator, and controls the actual robot manipulator using the digital twin;
The digital twin operation department,
Based on the simulation results for the virtual robot manipulator, control data for controlling the actual robot manipulator is generated, and the control data is transmitted to the actual robot manipulator through the information model.
Controlling the virtual robot manipulator using a program written to generate control data of the virtual robot manipulator based on data obtained from information models of other elements constituting the manufacturing site,
A robot manipulator control system that checks in advance whether there is a collision between the virtual robot manipulator and surrounding elements and calculates how the virtual robot manipulator will move to the target point.
다른 요소는,
로봇 매니퓰레이터가 Pick 하여야 하는 제품을 촬영하기 위한 비전 장비를 포함하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 시스템.
In claim 1,
Other factors are:
A robot manipulator control system comprising vision equipment for photographing products that the robot manipulator must pick.
실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하고, 디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 디지털 트윈 운용부;를 포함하고,
디지털 트윈 운용부는,
가상 로봇 매니퓰레이터에 대한 시뮬레이션 결과를 기초로 실제 로봇 매니퓰레이터를 제어하기 위한 제어 데이터를 생성하고, 정보 모델을 통해 제어 데이터를 실제 로봇 매니퓰레이터에게 전달하며,
제조 현장을 구성하는 다른 요소들의 정보 모델들로부터 획득한 데이터들을 기초로 가상 로봇 매니퓰레이터의 제어 데이터를 생성하도록 작성된 프로그램을 이용하여, 가상 로봇 매니퓰레이터를 제어하고,
다른 요소는,
로봇 매니퓰레이터가 Pick 하여야 하는 제품을 촬영하기 위한 비전 장비를 포함하며,
디지털 트윈 운용부는,
비전 장비의 정보 모델을 통해 획득한 제품 이미지로부터 제품 정보를 파악하고, 파악된 제품 정보를 기초로 제품의 정보 모델을 통해 제품의 목표 위치를 파악하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 시스템.
an information model operating unit that models the actual robot manipulator as an information model and receives motion data from the actual robot manipulator using the information model; and
It includes a digital twin operating unit that builds a virtual robot manipulator on the digital twin of the manufacturing site using the information model of the actual robot manipulator and controls the actual robot manipulator using the digital twin;
Digital twin operation department,
Based on the simulation results for the virtual robot manipulator, control data for controlling the actual robot manipulator is generated, and the control data is transmitted to the actual robot manipulator through the information model.
Controlling the virtual robot manipulator using a program written to generate control data of the virtual robot manipulator based on data obtained from information models of other elements constituting the manufacturing site,
Other factors are:
Includes vision equipment to photograph products that the robot manipulator must pick,
The digital twin operation department,
A robot manipulator control system characterized by identifying product information from a product image acquired through the information model of a vision equipment, and identifying the target position of the product through the product information model based on the identified product information.
정보 모델 운용부와 디지털 트윈 운용부는,
ROS2 표준 기반의 Topic 통신을 통해 정보 모델과 디지털 트윈 환경을 동기화하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 시스템.
In claim 1,
Information model operation department and digital twin operation department,
A robot manipulator control system that synchronizes the information model and digital twin environment through Topic communication based on the ROS2 standard.
정보 모델은,
AAS(Asset Administration Shell) 정보 모델인 것을 특징으로 하는 로봇 매니퓰레이터 제어 시스템.
In claim 1,
The information model is,
A robot manipulator control system characterized by an AAS (Asset Administration Shell) information model.
정보 모델 운용부는,
OPC UA(Open Platform Communication Unified Architecture)를 이용하여 실제 로봇 매니퓰레이터로 데이터를 전달하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 시스템.
In claim 1,
The information model operation department,
A robot manipulator control system characterized by transmitting data to an actual robot manipulator using OPC UA (Open Platform Communication Unified Architecture).
실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하는 단계:
정보 모델을 이용하여 실제 로봇 매니퓰레이터로부터 동작 데이터를 수신하는 단계;
디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 단계;를 포함하고,
제어 단계는,
가상 로봇 매니퓰레이터에 대한 시뮬레이션 결과를 기초로 실제 로봇 매니퓰레이터를 제어하기 위한 제어 데이터를 생성하고, 정보 모델을 통해 제어 데이터를 실제 로봇 매니퓰레이터에게 전달하며,
제조 현장을 구성하는 다른 요소들의 정보 모델들로부터 획득한 데이터들을 기초로 가상 로봇 매니퓰레이터의 제어 데이터를 생성하도록 작성된 프로그램을 이용하여, 가상 로봇 매니퓰레이터를 제어하고,
가상 로봇 매니퓰레이터와 주변 요소들 간의 충돌 여부를 사전에 확인하고, 가상 로봇 매니퓰레이터가 목표 지점까지 어떻게 움직일지 계산하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 방법.
modeling a real robot manipulator into an information model;
Steps to build a virtual robot manipulator on the digital twin of the manufacturing floor using the information model of the real robot manipulator:
Receiving motion data from an actual robot manipulator using an information model;
Comprising: controlling a real robot manipulator using a digital twin,
The control step is,
Based on the simulation results for the virtual robot manipulator, control data for controlling the actual robot manipulator is generated, and the control data is transmitted to the actual robot manipulator through the information model.
Controlling the virtual robot manipulator using a program written to generate control data of the virtual robot manipulator based on data obtained from information models of other elements constituting the manufacturing site,
A robot manipulator control method characterized by checking in advance whether there is a collision between the virtual robot manipulator and surrounding elements and calculating how the virtual robot manipulator will move to the target point.
실제 로봇 매니퓰레이터를 정보 모델로 모델링하고, 정보 모델을 이용하여 실제 로봇 매니퓰레이터로부터 동작 데이터를 수신하는 정보 모델 운용부; 및
실제 로봇 매니퓰레이터의 정보 모델을 이용하여 제조 현장의 디지털 트윈에 가상 로봇 매니퓰레이터를 구축하고, 디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 디지털 트윈 운용부;를 포함하고,
디지털 트윈 운용부는,
가상 로봇 매니퓰레이터에 대한 시뮬레이션 결과를 기초로 실제 로봇 매니퓰레이터를 제어하기 위한 제어 데이터를 생성하고, 정보 모델을 통해 제어 데이터를 실제 로봇 매니퓰레이터에게 전달하며,
제조 현장을 구성하는 다른 요소들의 정보 모델들로부터 획득한 데이터들을 기초로 가상 로봇 매니퓰레이터의 제어 데이터를 생성하도록 작성된 프로그램을 이용하여, 가상 로봇 매니퓰레이터를 제어하고,
가상 로봇 매니퓰레이터와 주변 요소들 간의 충돌 여부를 사전에 확인하고, 가상 로봇 매니퓰레이터가 목표 지점까지 어떻게 움직일지 계산하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 시스템.
Real robotic manipulators deployed on manufacturing floors;
an information model operating unit that models the actual robot manipulator as an information model and receives motion data from the actual robot manipulator using the information model; and
It includes a digital twin operating unit that builds a virtual robot manipulator on the digital twin of the manufacturing site using the information model of the actual robot manipulator and controls the actual robot manipulator using the digital twin;
The digital twin operation department,
Based on the simulation results for the virtual robot manipulator, control data for controlling the actual robot manipulator is generated, and the control data is transmitted to the actual robot manipulator through the information model.
Controlling the virtual robot manipulator using a program written to generate control data of the virtual robot manipulator based on data obtained from information models of other elements constituting the manufacturing site,
A robot manipulator control system that checks in advance whether there is a collision between the virtual robot manipulator and surrounding elements and calculates how the virtual robot manipulator will move to the target point.
정보 모델을 이용하여 실제 로봇 매니퓰레이터로부터 동작 데이터를 수신하는 단계;
디지털 트윈을 이용하여 실제 로봇 매니퓰레이터를 제어하는 단계;를 포함하고,
제어 단계는,
가상 로봇 매니퓰레이터에 대한 시뮬레이션 결과를 기초로 실제 로봇 매니퓰레이터를 제어하기 위한 제어 데이터를 생성하고, 정보 모델을 통해 제어 데이터를 실제 로봇 매니퓰레이터에게 전달하며,
제조 현장을 구성하는 다른 요소들의 정보 모델들로부터 획득한 데이터들을 기초로 가상 로봇 매니퓰레이터의 제어 데이터를 생성하도록 작성된 프로그램을 이용하여, 가상 로봇 매니퓰레이터를 제어하고,
가상 로봇 매니퓰레이터와 주변 요소들 간의 충돌 여부를 사전에 확인하고, 가상 로봇 매니퓰레이터가 목표 지점까지 어떻게 움직일지 계산하는 것을 특징으로 하는 로봇 매니퓰레이터 제어 방법.
Steps to build a virtual robot manipulator on the digital twin of the manufacturing floor using the information model of the real robot manipulator:
Receiving motion data from an actual robot manipulator using an information model;
Comprising: controlling a real robot manipulator using a digital twin,
The control step is,
Based on the simulation results for the virtual robot manipulator, control data for controlling the actual robot manipulator is generated, and the control data is transmitted to the actual robot manipulator through the information model.
Controlling the virtual robot manipulator using a program written to generate control data of the virtual robot manipulator based on data obtained from information models of other elements constituting the manufacturing site,
A robot manipulator control method characterized by checking in advance whether there is a collision between the virtual robot manipulator and surrounding elements and calculating how the virtual robot manipulator will move to the target point.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020230196565A KR102659118B1 (en) | 2023-12-29 | 2023-12-29 | Digital twin-based robot programming method using asset administration shell |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020230196565A KR102659118B1 (en) | 2023-12-29 | 2023-12-29 | Digital twin-based robot programming method using asset administration shell |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102659118B1 true KR102659118B1 (en) | 2024-04-19 |
Family
ID=90881839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020230196565A KR102659118B1 (en) | 2023-12-29 | 2023-12-29 | Digital twin-based robot programming method using asset administration shell |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102659118B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101026369B1 (en) * | 2009-08-05 | 2011-04-05 | (주)시뮬레이션연구소 | Integrated control system for real and virtual robot |
JP2020032481A (en) * | 2018-08-28 | 2020-03-05 | 株式会社東芝 | Robot control device, robot device, parameter adjustment method for robot control, and program |
JP2022500263A (en) * | 2018-09-10 | 2022-01-04 | ファナック アメリカ コーポレイション | Robot calibration for augmented reality and digital twins |
KR102420462B1 (en) * | 2021-12-13 | 2022-07-13 | 세종대학교산학협력단 | Collaborative learning method using digital twin |
-
2023
- 2023-12-29 KR KR1020230196565A patent/KR102659118B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101026369B1 (en) * | 2009-08-05 | 2011-04-05 | (주)시뮬레이션연구소 | Integrated control system for real and virtual robot |
JP2020032481A (en) * | 2018-08-28 | 2020-03-05 | 株式会社東芝 | Robot control device, robot device, parameter adjustment method for robot control, and program |
JP2022500263A (en) * | 2018-09-10 | 2022-01-04 | ファナック アメリカ コーポレイション | Robot calibration for augmented reality and digital twins |
KR102420462B1 (en) * | 2021-12-13 | 2022-07-13 | 세종대학교산학협력단 | Collaborative learning method using digital twin |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11638994B2 (en) | Robotic digital twin control with industrial context simulation | |
JP6875578B2 (en) | Systems and methods for flexible human-machine collaboration | |
CN112784328B (en) | System and method for developing an automated system model | |
US20220156433A1 (en) | Industrial network communication emulation | |
EP3864480B1 (en) | Object marking to support tasks by autonomous machines | |
KR102280440B1 (en) | Method for generating the Asset Administration Shell(AAS) in a smart manufacturing system | |
EP3974920A1 (en) | Unifying multiple simulation models | |
Liang et al. | Real-time state synchronization between physical construction robots and process-level digital twins | |
US20220083027A1 (en) | Industrial network emulation | |
Wang et al. | Augmented reality enabled human–robot collaboration | |
Rizzi et al. | Distributed coordination in modular precision assembly systems | |
Li et al. | Virtual monitoring system for a robotic manufacturing station in intelligent manufacturing based on Unity 3D and ROS | |
Wang et al. | Automatic high-level motion sequencing methods for enabling multi-tasking construction robots | |
Minoufekr et al. | Modelling of CNC Machine Tools for Augmented Reality Assistance Applications using Microsoft Hololens. | |
Martinez et al. | Setup of the yaskawa sda10f robot for industrial applications, using ros-industrial | |
Ko et al. | A study on manufacturing facility safety system using multimedia tools for cyber physical systems | |
KR102659118B1 (en) | Digital twin-based robot programming method using asset administration shell | |
Garcia et al. | Design of flexible cyber-physical production systems architecture for industrial robot control | |
Prasanth | Implementation of ROS-I on industrial robot simulation environment “ | |
Kirkpatrick | Digital Twins in Advanced Manufacturing to Enhance Manufacturing Efficiency | |
EP3974928B1 (en) | Wiring diagram manager and emulator | |
Passaro | Development of a multi-environment platform composed by a robot and an autonomous guided vehicle | |
CN116901073B (en) | Multi-mechanical-arm collaborative track planning method and device, electronic equipment and storage medium | |
Filipescu et al. | Digital Twin for a Mechatronics Line with Integrated Mobile Robotic Systems | |
Chen | High-level programming support and collision avoidance control for heterogeneous mobile robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |