KR102635350B1 - Autonomous robots for automating facility operation - Google Patents

Autonomous robots for automating facility operation Download PDF

Info

Publication number
KR102635350B1
KR102635350B1 KR1020230114497A KR20230114497A KR102635350B1 KR 102635350 B1 KR102635350 B1 KR 102635350B1 KR 1020230114497 A KR1020230114497 A KR 1020230114497A KR 20230114497 A KR20230114497 A KR 20230114497A KR 102635350 B1 KR102635350 B1 KR 102635350B1
Authority
KR
South Korea
Prior art keywords
touch
module
vision
axis direction
control unit
Prior art date
Application number
KR1020230114497A
Other languages
Korean (ko)
Inventor
신화수
김지훈
김대한
Original Assignee
스테코 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스테코 주식회사 filed Critical 스테코 주식회사
Priority to KR1020230114497A priority Critical patent/KR102635350B1/en
Application granted granted Critical
Publication of KR102635350B1 publication Critical patent/KR102635350B1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162Mobile manipulator, movable base with manipulator arm mounted on it
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

본 실시예에 따른 자율 주행 로봇은 협동 로봇 암(Arm); 상기 협동 로봇 암의 일단에 배치되는 그리퍼; 상기 그리퍼에 배치되는 비젼 모듈; 상기 그리퍼에 배치되는 터치 모듈; 및 상기 비젼 모듈로부터 수신된 비젼 정보를 통해 상기 터치 모듈이 설비 동작을 제어하도록 상기 협동 로봇 암을 제어하는 제어부를 포함한다.The self-driving robot according to this embodiment includes a collaborative robot arm; A gripper disposed at one end of the collaborative robot arm; A vision module disposed on the gripper; a touch module disposed on the gripper; and a control unit that controls the collaborative robot arm so that the touch module controls facility operations through the vision information received from the vision module.

Description

설비 작동 자동화를 위한 자율 주행 로봇{Autonomous robots for automating facility operation}Autonomous robots for automating facility operation}

본 발명은 설비 작동 자동화를 위한 자율 주행 로봇에 관한 것이다.The present invention relates to an autonomous robot for automating facility operations.

일반적으로 자율이동로봇(Autonomous mobile robot, AMR)은 자율주행이 가능하고 피킹(Picking)에 최적화되어 있어 스마트 팩토리(Smart Factory)의 무인 물류 이송을 위해 설비되고 있다.In general, autonomous mobile robots (AMR) are capable of autonomous driving and are optimized for picking, so they are equipped for unmanned logistics transfer in smart factories.

예컨대, 공장의 생산 라인에서는 공정 별 다양한 부품이 조립되고 있으며 유연하고 효율적인 부품의 이송을 위하여 AMR를 설비 운용하고 있다. 이러한 자동화된 생산 라인에 있어서 작업 중 부품 공급이 중단되는 것은 라인정지 및 수율에 영향을 주므로 적시 적소에 부품 이송을 최적화하는 것이 매우 중요하다. AMR은 생산계획에 따른 공정 별 부품 이송을 위하여 출발지점으로부터 경유지점을 통과하여 목표지점까지의 주행경로를 설정하고 이동된다.For example, in a factory's production line, various parts are assembled for each process, and AMR is installed and operated for flexible and efficient transfer of parts. In these automated production lines, interruption of parts supply during work can affect line stoppage and yield, so it is very important to optimize the transfer of parts at the right time and place. In order to transfer parts for each process according to the production plan, the AMR sets a driving route from the starting point, passes through the stopping point, and moves to the target point.

현재 및 향후 산업 분야에서는 AMR을 기반으로 한 자동화 시스템이 점점 더 많이 활용될 것으로 예상되며, 특히 반도체 산업과 같은 분야에서는 고가의 장비를 장기간 사용하게 된다. 초기에 개발된 설비들은 자동화를 고려하지 않아 AMR 도입 후에도 물류 이동 외에 설비의 Loading/Unloading, Start등이 어렵게 되는 문제가 있다.Automation systems based on AMR are expected to be increasingly used in current and future industrial fields, especially in fields such as the semiconductor industry, where expensive equipment is used for long periods of time. Equipment developed initially does not take automation into consideration, so even after AMR is introduced, there is a problem in that loading/unloading and starting of equipment in addition to logistics movement becomes difficult.

본 발명이 해결하고자 하는 기술적 과제는, 설비 작동 자동화를 위한 자율 주행 로봇을 제공하는 것이다. The technical problem to be solved by the present invention is to provide an autonomous robot for automating facility operation.

상기 기술적 과제를 해결하기 위하여, 본 실시예에 따른 자율 주행 로봇은 협동 로봇 암(Arm); 상기 협동 로봇 암의 일단에 배치되는 그리퍼; 상기 그리퍼에 배치되는 비젼 모듈; 상기 그리퍼에 배치되는 터치 모듈; 및 상기 비젼 모듈로부터 수신된 비젼 정보를 통해 상기 터치 모듈이 설비 동작을 제어하도록 상기 협동 로봇 암을 제어하는 제어부를 포함한다.In order to solve the above technical problem, the self-driving robot according to this embodiment includes a collaborative robot arm; A gripper disposed at one end of the collaborative robot arm; A vision module disposed on the gripper; a touch module disposed on the gripper; and a control unit that controls the collaborative robot arm so that the touch module controls facility operations through the vision information received from the vision module.

상기 제어부는 상기 비젼 모듈로부터 수신된 상기 비젼 정보를 통해 디스플레이 패널의 터치 버튼을 인식하고, 상기 터치 모듈이 상기 터치 버튼을 터치하도록 제어할 수 있다.The control unit may recognize the touch button of the display panel through the vision information received from the vision module and control the touch module to touch the touch button.

상기 제어부는 상기 비젼 모듈로부터 수신된 상기 비젼 정보를 통해 HMI(Human Machine Interface)의 터치 버튼을 인식하고, 상기 터치 모듈이 상기 터치 버튼을 가압하도록 제어할 수 있다.The control unit may recognize a touch button of a human machine interface (HMI) through the vision information received from the vision module and control the touch module to press the touch button.

상기 제어부는 상기 터치 모듈이 상기 터치 버튼을 터치한 이후, 상기 디스플레이 패널의 화면 전환이 이루어졌는지 여부를 통해 정상 동작 여부를 판단할 수 있다.The control unit may determine whether the display panel is operating normally by determining whether a screen change has occurred after the touch module touches the touch button.

상기 기술적 과제를 해결하기 위하여, 본 실시예에 따른 자율 주행 로봇은 협동 로봇 암(Arm); 상기 협동 로봇 암의 일단에 배치되는 그리퍼; 상기 그리퍼에 배치되는 비젼 모듈; 상기 협동 로봇 암의 일단에 배치되는 터치 모듈; 및 상기 비젼 모듈로부터 수신된 비젼 정보를 통해 상기 터치 모듈이 설비 동작을 제어하도록 상기 터치 모듈을 제어하는 제어부를 포함한다. In order to solve the above technical problem, the self-driving robot according to this embodiment includes a collaborative robot arm; A gripper disposed at one end of the collaborative robot arm; A vision module disposed on the gripper; a touch module disposed at one end of the collaborative robot arm; and a control unit that controls the touch module to control facility operations through the vision information received from the vision module.

상기 터치 모듈은 상기 제어부의 제어에 의해 제1축 방향, 상기 제1축 방향에 수직인 제2축 방향, 및 상기 제1축 방향 및 상기 제2축 방향에 수직인 제3축 방향 중 적어도 하나의 방향으로 동작할 수 있다.The touch module operates in at least one of a first axis direction, a second axis direction perpendicular to the first axis direction, and a third axis direction perpendicular to the first axis direction and the second axis direction under the control of the controller. It can operate in the direction of .

상기 제어부는 상기 비젼 모듈로부터 수신된 상기 비젼 정보를 통해 디스플레이 패널의 터치 버튼을 인식하고, 상기 터치 모듈이 상기 터치 버튼을 터치하도록 제어할 수 있다.The control unit may recognize the touch button of the display panel through the vision information received from the vision module and control the touch module to touch the touch button.

상기 제어부는 상기 비젼 모듈로부터 수신된 상기 비젼 정보를 통해 HMI(Human Machine Interface)의 터치 버튼을 인식하고, 상기 터치 모듈이 상기 터치 버튼을 가압하도록 제어할 수 있다. The control unit may recognize a touch button of a human machine interface (HMI) through the vision information received from the vision module and control the touch module to press the touch button.

상기 제어부는 상기 터치 모듈이 상기 터치 버튼을 터치한 이후, 상기 디스플레이 패널의 화면 전환이 이루어졌는지 여부를 통해 정상 동작 여부를 판단할 수 있다.The control unit may determine whether the display panel is operating normally by determining whether a screen change has occurred after the touch module touches the touch button.

본 실시예들에 따르면, AMR을 활용하여 설비 작동 터치 패널(Human Machine Interface, HMI)과 물리 버튼 동작을 AMR 자체적으로 운영할 수 있도록 협동 로봇의 그리퍼 부분을 개선할 수 있다. 이를 통해, 협동 로봇은 사람의 동작과 동일하게 터치 패널의 버튼 및 물리 버튼을 동작시킬 수 있다. According to these embodiments, the gripper part of the collaborative robot can be improved so that the facility operation touch panel (Human Machine Interface, HMI) and physical button operations can be operated by the AMR by utilizing the AMR. Through this, the collaborative robot can operate the buttons and physical buttons on the touch panel in the same way as a human would.

또한, 자재 이동 후 설비 Load port 안착 전/후 그리고 Start 등 설비 작동과 관련된 모든 작업을 자동화할 수 있는 원천적인 해결책을 제공할 수 있고, 물류에서 설비운영까지 자동화를 이룰 수 있다.In addition, it can provide a fundamental solution that can automate all tasks related to facility operation, such as moving materials, before/after seating the facility load port, and starting, and can achieve automation from logistics to facility operation.

도 1은 자율 주행 로봇을 설명하기 위한 도면이다.
도 2는 본 실시예에 따른 자율 주행 로봇을 설명하기 위한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 자율 주행 로봇을 설명하기 위한 도면이다.
Figure 1 is a diagram for explaining a self-driving robot.
Figure 2 is a diagram for explaining a self-driving robot according to this embodiment.
Figure 3 is a diagram for explaining a self-driving robot according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings.

다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합 또는 치환하여 사용할 수 있다.However, the technical idea of the present invention is not limited to some of the described embodiments, but may be implemented in various different forms, and as long as it is within the scope of the technical idea of the present invention, one or more of the components may be optionally used between the embodiments. It can be used by combining or replacing.

또한, 본 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.In addition, terms (including technical and scientific terms) used in this embodiment have meanings that can be generally understood by those skilled in the art in the technical field to which this embodiment belongs, unless specifically defined and described. The meaning of commonly used terms, such as terms defined in a dictionary, can be interpreted by considering the contextual meaning of the related technology.

또한, 본 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. Additionally, the terms used in this embodiment are for describing the embodiments and are not intended to limit the present invention.

본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.In this specification, the singular may also include the plural unless specifically stated in the phrase, and when described as "at least one (or more than one) of A and B and C", it is combined with A, B, and C. It can contain one or more of all possible combinations.

또한, 본 실시예의 구성 요소를 설명하는데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.Additionally, in describing the components of this embodiment, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and are not limited to the essence, order, or order of the component.

그리고, 어떤 구성 요소가 다른 구성 요소에 '연결', '결합', 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 '연결', '결합', 또는 '접속'되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합', 또는 '접속'되는 경우도 포함할 수 있다.And, when a component is described as being 'connected', 'coupled', or 'connected' to another component, that component is directly 'connected', 'coupled', or 'connected' to that other component. In addition to cases, it may also include cases where the component is 'connected', 'coupled', or 'connected' by another component between that component and that other component.

또한, 각 구성 요소의 "상(위)" 또는 "하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, "상(위)" 또는 "하(아래)"는 두 개의 구성 요소들이 서로 직접 접촉되는 경우 뿐만 아니라, 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위)" 또는 "하(아래)"로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함될 수 있다. Additionally, when described as being formed or disposed “on top” or “bottom” of each component, “top” or “bottom” means that the two components are directly adjacent to each other. This includes not only cases of contact, but also cases where one or more other components are formed or disposed between two components. In addition, when expressed as “top” or “bottom,” the meaning of not only the upward direction but also the downward direction can be included based on one component.

도 1은 자율 주행 로봇을 설명하기 위한 도면이고, 도 2는 본 실시예에 따른 자율 주행 로봇을 설명하기 위한 도면이고, 도 3은 본 발명의 다른 실시예에 따른 자율 주행 로봇을 설명하기 위한 도면이다. FIG. 1 is a drawing for explaining a self-driving robot, FIG. 2 is a drawing for explaining a self-driving robot according to an embodiment of the present invention, and FIG. 3 is a drawing for explaining a self-driving robot according to another embodiment of the present invention. am.

본 실시예에 따른 자율 주행 로봇은 협동 로봇 암(Arm), 그리퍼(Gripper), 비전 모듈, 터치 모듈 및 제어부를 포함할 수 있고, 다중 센서, 통신부를 더 포함할 수 있다. The self-driving robot according to this embodiment may include a collaborative robot arm, gripper, vision module, touch module, and control unit, and may further include multiple sensors and a communication unit.

자율 주행 로봇(Autonomous mobile robot, AMR)은 스마트 팩토리(Smart Factory)형 공장의 생산 라인은 부품 창고, 부품을 조립하는 공정 라인 및 부품 이송을 위해 운용될 수 있다. 자율 주행 로봇은 생산 라인에서의 부품 적재 랙을 이용하여 공급 및 회수하는데 활용될 수 있다. 자율 주행 로봇은 중앙 서버의 통제에 따라 동작이 제어될 수 있다. Autonomous mobile robots (AMRs) can be used in the production lines of smart factory-type factories for parts warehouses, process lines for assembling parts, and for parts transfer. Self-driving robots can be used for supply and retrieval using part loading racks on production lines. The movements of self-driving robots can be controlled under the control of a central server.

중앙 서버는 공장의 생산계획 및 공정 라인의 작업 스케줄에 따라 자율 주행 로봇을 통제할 수 있다. 자율 주행 로봇은 중앙 서버의 작업 명령에 따라 부품 창고에서 부품을 픽업하고, 공급 라인을 따라 하나 이상의 경유 지점을 거쳐 공정 라인으로 이송하여 부품을 공급할 수 있다. 이후, 자율 주행 로봇은 회수 라인을 따라 하나 이상의 경유 지점을 거쳐 부품 창고로 복귀할 수 있다. 이상에서는 자율 주행 로봇이 스마트 팩토리에서 운용되는 것을 기준으로 설명하였으나, 반드시 이에 한정하는 것은 아니고 물류 기업, 농업 비즈니스 및 의료 기관 등 다양한 분야에서 활용될 수 있음은 당연하다. The central server can control self-driving robots according to the factory's production plan and process line work schedule. Autonomous robots can supply parts by picking up parts from a parts warehouse according to work orders from a central server and transporting them to the process line through one or more transit points along the supply line. The self-driving robot can then return to the parts warehouse via one or more stops along the recovery line. In the above explanation, the self-driving robot is operated in a smart factory, but it is not necessarily limited to this, and it is natural that it can be used in various fields such as logistics companies, agricultural businesses, and medical institutions.

다중 센서는 주변을 탐지하여 주행경로 상에 존재하는 장애물을 감지할 수 있다. 장애물은 고정 장애물 또는 이동 장애물일 수 있고, 예를 들어, 물체, 사람 및 주변의 다른 자율 주행 로봇일 수 있다. 다중 센서는 라이다(lidar), 레이더(radar), 카메라, 초음파 등 장애물을 감지할 수 있는 공지의 장애물 감지 센서를 이용할 수 있다. Multiple sensors can detect the surroundings and detect obstacles in the driving path. Obstacles may be fixed or moving obstacles, for example, objects, people, and other autonomous robots nearby. The multi-sensor can use known obstacle detection sensors that can detect obstacles such as lidar, radar, camera, and ultrasonic waves.

통신부는 자율 주행 로봇을 관제하는 서버 및 주변의 다른 자율 주행 로봇과 통신을 통해 경로 정보를 송수신할 수 있다. 통신부는 V2V, V2I 인터페이스를 이용할 수 있다. 예를 들어, 저전력 블루투스(BLE), 와이 파이(WiFi) 등과 같은 근거리 무선 통신을 이용할 수 있다.The communication unit can transmit and receive route information through communication with the server that controls the self-driving robot and other surrounding self-driving robots. The communications department can use V2V and V2I interfaces. For example, short-range wireless communication such as Bluetooth Low Energy (BLE), Wi-Fi, etc. can be used.

협동 로봇 암은 사람의 팔 역할을 할 수 있다. 협동 로봇 암은 복수의 관절로 이루어질 수 있다. 협동 로봇 암은 자율 주행 로봇의 본체에 연결되고, 부품 적재 및 이송을 위하여 가동 범위 내에서 동작할 수 있다. Collaborative robot arms can function as human arms. A collaborative robot arm may be comprised of multiple joints. The collaborative robot arm is connected to the main body of the autonomous robot and can operate within a range of motion for loading and transferring parts.

그리퍼는 협동 로봇 암의 일단에 배치될 수 있다. 그리퍼는 사람의 손 역할을 할 수 있다. 그리퍼는 집게와 같은 형상으로 형성될 수 있다. 그리퍼는 이송하고자 하는 부품을 양 방향으로 가압하여 고정시킬 수 있다. The gripper may be placed at one end of the collaborative robot arm. The gripper can act as a human hand. The gripper may be formed in a tong-like shape. The gripper can pressurize and secure the part to be transported in both directions.

비전 모듈은 그리퍼에 배치될 수 있다. 비전 모듈은 설비 동작을 제어하기 위한 디스플레이 패널 또는 HMI(Human Machine Interface)을 인식할 수 있다. 비전 모듈은 디스플레이 패널 또는 HMI(Human Machine Interface)의 터치 버튼을 인식할 수 있다. 비전 모듈은 복수의 렌즈를 포함하는 카메라 모듈을 포함할 수 있다. 비전 모듈은 터치하고자 하는 대상과의 거리를 인식할 수 있다. The vision module can be placed in the gripper. The vision module can recognize a display panel or HMI (Human Machine Interface) to control facility operations. The vision module can recognize touch buttons on the display panel or HMI (Human Machine Interface). The vision module may include a camera module including a plurality of lenses. The vision module can recognize the distance to the object you want to touch.

터치 모듈은 그리퍼에 배치될 수 있다. 터치 모듈은 협동 로봇 암의 일단에 배치될 수 있다. 터치 모듈은 디스플레이 패널의 터치 버튼을 터치하여 설비 동작을 제어할 수 있다. 터치 모듈은 HMI(Human Machine Interface)의 물리적 버튼을 가압하여 설비 동작을 제어할 수 있다. 제어부는 비전 모듈로부터 수신되는 비젼 정보를 통해 터치 모듈이 설비 동작을 제어하도록 협동 로봇 암의 동작을 제어할 수 있다. The touch module may be placed on the gripper. The touch module may be placed at one end of the collaborative robot arm. The touch module can control facility operations by touching the touch button on the display panel. The touch module can control facility operations by pressing physical buttons on the Human Machine Interface (HMI). The control unit can control the operation of the collaborative robot arm so that the touch module controls facility operation through vision information received from the vision module.

터치 모듈은 제어부의 제어에 의해 제1축 방향, 제1축 방향에 수직인 제2축 방향, 제1 및 제2축 방향과 수직인 제3축 방향 중 적어도 하나의 방향으로 동작할 수 있다. 터치 모듈은 그리퍼로부터 제1축 방향으로 연장 동작할 수 있다. 터치 모듈은 협동 로봇 암으로부터 제1축 방향으로 연장 동작할 수 있다. 여기서, 제1축 방향은 비전 모듈의 광축 방향을 의미할 수 있다. 제1축 방향은 디스플레이 패널 또는 HMI를 향하는 방향을 의미할 수 있다. The touch module may operate in at least one direction among a first axis direction, a second axis direction perpendicular to the first axis direction, and a third axis direction perpendicular to the first and second axis directions under the control of the controller. The touch module may extend from the gripper in the first axis direction. The touch module may extend from the collaborative robot arm in the first axis direction. Here, the first axis direction may mean the optical axis direction of the vision module. The first axis direction may refer to a direction toward the display panel or HMI.

제어부는 비전 모듈로부터 수신되는 비젼 정보를 통해 디스플레이 패널의 터치 버튼을 인식하고, 터치 모듈이 터치 버튼을 터치하도록 제어할 수 있다. 제어부는 비전 모듈로부터 수신되는 비젼 정보를 통해 HMI(Human Machine Interface)의 터치 버튼을 인식하고, 터치 모듈이 터치 버튼을 가압하도록 제어할 수 있다. The control unit can recognize the touch button on the display panel through the vision information received from the vision module and control the touch module to touch the touch button. The control unit can recognize the touch button of the HMI (Human Machine Interface) through the vision information received from the vision module and control the touch module to press the touch button.

제어부는 터치 모듈이 디스플레이 패널의 터치 버튼을 터치한 이후, 디스플레이 패널의 화면 전환이 이루어졌는지 여부를 통해 정상 동작 여부를 판단할 수 있다. 제어부는 설비 동작 제어가 정상적으로 이루어졌다고 판단하는 경우, 다음 공정을 위한 설비 동작 제어 등을 할 수 있다. 제어부는 설비 동작 제어에 오류가 발생했다고 판단하는 경우, 터치 버튼을 재터치하기 위하여 터치 모듈의 위치를 보정한 후 터치 모듈이 터치 버튼을 터치하도록 제어할 수 있다. The control unit can determine whether the display panel is operating normally by determining whether a screen change has occurred after the touch module touches the touch button on the display panel. If the control unit determines that the facility operation control has been performed normally, it can control the facility operation for the next process. If the control unit determines that an error has occurred in facility operation control, the control unit may control the touch module to touch the touch button after correcting the position of the touch module in order to touch the touch button again.

본 실시예들에 따르면, AMR을 활용하여 설비 작동 터치 패널(Human Machine Interface, HMI)과 물리 버튼 동작을 AMR 자체적으로 운영할 수 있도록 협동 로봇의 그리퍼 부분을 개선할 수 있다. 이를 통해, 협동 로봇은 사람의 동작과 동일하게 터치 패널의 버튼 및 물리 버튼을 동작시킬 수 있다. 또한, 자재 이동 후 설비 Load port 안착 전/후 그리고 Start 등 설비 작동과 관련된 모든 작업을 자동화할 수 있는 원천적인 해결책을 제공할 수 있고, 물류에서 설비운영까지 자동화를 이룰 수 있다.According to these embodiments, the gripper part of the collaborative robot can be improved so that the facility operation touch panel (Human Machine Interface, HMI) and physical button operations can be operated by the AMR by utilizing the AMR. Through this, the collaborative robot can operate the buttons and physical buttons on the touch panel in the same way as a human would. In addition, it can provide a fundamental solution that can automate all tasks related to facility operation, such as moving materials, before/after seating the facility load port, and starting, and can achieve automation from logistics to facility operation.

본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Those skilled in the art related to this embodiment will understand that the above-described base material can be implemented in a modified form without departing from the essential characteristics. Therefore, the disclosed methods should be considered from an explanatory rather than a restrictive perspective. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

Claims (9)

삭제delete 삭제delete 삭제delete 삭제delete 협동 로봇 암(Arm);
상기 협동 로봇 암의 일단에 배치되는 그리퍼;
상기 그리퍼에 배치되는 비젼 모듈;
상기 협동 로봇 암의 일단에 배치되는 터치 모듈; 및
상기 비젼 모듈로부터 수신된 비젼 정보를 통해 상기 터치 모듈이 설비 동작을 제어하도록 상기 터치 모듈을 제어하는 제어부를 포함하고,
상기 터치 모듈은 상기 제어부의 제어에 의해 제1축 방향, 상기 제1축 방향에 수직인 제2축 방향, 및 상기 제1축 방향 및 상기 제2축 방향에 수직인 제3축 방향 중 적어도 하나의 방향으로 동작하고,
상기 제어부는 상기 비젼 모듈로부터 수신된 상기 비젼 정보를 통해 디스플레이 패널의 터치 버튼을 인식하고, 상기 터치 모듈이 상기 터치 버튼을 터치하도록 제어하고,
상기 제어부는 상기 비젼 모듈로부터 수신된 상기 비젼 정보를 통해 HMI(Human Machine Interface)의 터치 버튼을 인식하고, 상기 터치 모듈이 상기 터치 버튼을 가압하도록 제어하고,
상기 제어부는 상기 터치 모듈이 상기 터치 버튼을 터치한 이후, 상기 디스플레이 패널의 화면 전환이 이루어졌는지 여부를 통해 정상 동작 여부를 판단하는 자율 주행 로봇.
Collaborative robot arm;
A gripper disposed at one end of the collaborative robot arm;
A vision module disposed on the gripper;
a touch module disposed at one end of the collaborative robot arm; and
It includes a control unit that controls the touch module so that the touch module controls facility operations through vision information received from the vision module,
The touch module operates in at least one of a first axis direction, a second axis direction perpendicular to the first axis direction, and a third axis direction perpendicular to the first axis direction and the second axis direction under the control of the controller. operates in the direction of
The control unit recognizes the touch button of the display panel through the vision information received from the vision module and controls the touch module to touch the touch button,
The control unit recognizes a touch button of a human machine interface (HMI) through the vision information received from the vision module, and controls the touch module to press the touch button,
The self-driving robot determines whether the control unit is operating normally based on whether the screen of the display panel has been switched after the touch module touches the touch button.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020230114497A 2023-08-30 2023-08-30 Autonomous robots for automating facility operation KR102635350B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230114497A KR102635350B1 (en) 2023-08-30 2023-08-30 Autonomous robots for automating facility operation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230114497A KR102635350B1 (en) 2023-08-30 2023-08-30 Autonomous robots for automating facility operation

Publications (1)

Publication Number Publication Date
KR102635350B1 true KR102635350B1 (en) 2024-02-07

Family

ID=89872967

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230114497A KR102635350B1 (en) 2023-08-30 2023-08-30 Autonomous robots for automating facility operation

Country Status (1)

Country Link
KR (1) KR102635350B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101703587B1 (en) * 2015-08-03 2017-02-07 현대자동차 주식회사 apparatus and method for inspecting operation of electric goods in vehicle
KR102484768B1 (en) * 2022-08-25 2023-01-09 주식회사 엔에스로보텍 Touching Robot
KR20230044701A (en) * 2021-09-27 2023-04-04 경남대학교 산학협력단 Intelligent Robot for Moving and Transferring Articles in Manufacturing Process for Smart Factory

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101703587B1 (en) * 2015-08-03 2017-02-07 현대자동차 주식회사 apparatus and method for inspecting operation of electric goods in vehicle
KR20230044701A (en) * 2021-09-27 2023-04-04 경남대학교 산학협력단 Intelligent Robot for Moving and Transferring Articles in Manufacturing Process for Smart Factory
KR102484768B1 (en) * 2022-08-25 2023-01-09 주식회사 엔에스로보텍 Touching Robot

Similar Documents

Publication Publication Date Title
Culler et al. A prototype smart materials warehouse application implemented using custom mobile robots and open source vision technology developed using emgucv
ES2812568T3 (en) Autonomous mobile robot to execute work assignments in a physical environment in which there are stationary and non-stationary obstacles
US10759051B2 (en) Architecture and methods for robotic mobile manipulation system
EP2939798A1 (en) An automation system and a method for tending a production system
WO2018213931A1 (en) Systems and methods for process tending with a robot arm
CN107065861A (en) Robot collection intelligence is carried, is loaded and unloaded on integral method and apparatus
Cronin et al. State-of-the-art review of autonomous intelligent vehicles (AIV) technologies for the automotive and manufacturing industry
US11633852B2 (en) Computing device, machine learning method, and storage medium
CN113960997A (en) Mobile robot queuing and driving system and control method thereof
KR102000825B1 (en) Automatic freight transferring and picking system
CN202583831U (en) High-efficiency material transfer device intelligent control system based on RFID identification technology
Lynch et al. Integration of autonomous intelligent vehicles into manufacturing environments: Challenges
CN207281586U (en) A kind of Mobile Robotics Navigation control system
Dobrokvashina et al. Human robot interaction in collaborative manufacturing scenarios: prospective cases
Ghodsian et al. Toward designing an integration architecture for a mobile manipulator in production systems: Industry 4.0
KR102635350B1 (en) Autonomous robots for automating facility operation
Wurll et al. Production logistics with mobile robots
US11797906B2 (en) State estimation and sensor fusion switching methods for autonomous vehicles
Babic et al. Towards implementation and autonomous navigation of an intelligent automated guided vehicle in material handling systems
JP2023134605A (en) Transport system, control device, transport method and program
CN105835058A (en) Program generating system
Lourenço et al. On the design of the ROBO-PARTNER intra-factory logistics autonomous robot
Irawan et al. Vision-based alignment control for mini forklift system in confine area operation
CN204883360U (en) Stored goods inter -item transfer intelligent vehicle navigation
KR102563916B1 (en) Mobile Robot System for Logistics Distribution

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant