WO2019098429A1 - 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법 - Google Patents

비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법 Download PDF

Info

Publication number
WO2019098429A1
WO2019098429A1 PCT/KR2017/013230 KR2017013230W WO2019098429A1 WO 2019098429 A1 WO2019098429 A1 WO 2019098429A1 KR 2017013230 W KR2017013230 W KR 2017013230W WO 2019098429 A1 WO2019098429 A1 WO 2019098429A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
robot
information
press
human
Prior art date
Application number
PCT/KR2017/013230
Other languages
English (en)
French (fr)
Inventor
이원희
정명환
Original Assignee
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오토아이티(주) filed Critical 오토아이티(주)
Publication of WO2019098429A1 publication Critical patent/WO2019098429A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a safety enhancement system and method for a robot workplace using a vision system.
  • an automatic manufacturing system using a multi-axis driving robot has been used at a work site.
  • a plurality of robots corresponding to the respective component parts are provided for handling the component parts of the component parts and the respective component parts supplied in the preceding step, and a plurality of press machines are provided for component molding.
  • the press processing system includes a de-stacker 10 on which a material is loaded, a material transfer robot 20 for transferring the material loaded on the de-stacker 10 A positioner 30 on which the material transferred by the material transfer robot 20 is seated, a material supply robot 40 for picking up the material seated on the positioner 30 and supplying the material to the press machine 51, A press machine 51 for pressurizing and molding the mold by receiving a material from the press machine 40, 40 for supplying the molded product to the press machine 52, 53, 54 of the next step, 71 of the product take-out robot (70).
  • the molded product molded in the press machine 51 is supplied to the next press machine 52 through the molded product supply robot 61 and moves the slide of the press machine 51 downward to exchange the mold of the press machine 51 At the same time, after the molded product supply robot 61 is returned to the home position, the tool supply robot 61 is replaced with a tool for producing the next product.
  • the entire equipment contained in the press system is continuously operated without interruption to improve the productivity of the product.
  • the present invention provides a system and method for safety enhancement of a robot workplace using a vision system that allows a person to enter a robotic work place to safely exit the robotic work place and accurately inform the outside of the work place.
  • the present invention provides a system and method for safety enhancement of a robot workplace using a vision system that a central manager can create while checking the management log of the entire robot work place through an actual image.
  • a system for safely enhancing a robot workplace using a vision system comprising: a plurality of camera modules for photographing a plurality of surveillance regions set around a press; A person tracking device for detecting and tracking a person present in the vicinity of the press from the images input from the plurality of camera modules and generating motion information of a person including camera identification information and images; And a central management device for receiving and storing movement information of the person from the person tracking device, converting the information into screen information that can be recognized by a person, and outputting the information.
  • the safety work system for a robot workplace using a vision system according to the present invention is characterized in that a plurality of press lines including a press machine and a robot are divided by a fence and a plurality of gates are provided so as to be able to enter and exit the respective press lines
  • a safety enhancement system for a robot workplace As a safety enhancement system for a robot workplace,
  • each of the plurality of press lines includes a first camera module installed near a door, a plurality of second camera modules capturing a plurality of surveillance regions set around the press machine, Detects and tracks a person from the images input from the first and second camera modules, determines whether a person enters the robot work place, whether the robot is in operation in the robot work place, or leaves the robot, And a person tracking device for generating movement information of a person including any one of the exit information,
  • a line monitor device for receiving human tracker identification information and human motion information from each of the plurality of press lines and outputting the received information to an external device;
  • the person tracking device estimates the position of the person using the existing accumulated motion information Pan, Tilt, Zoom (Pan, Tilt, Zoom) control signal to the camera module.
  • the central management apparatus receives target information (e.g., trouble-shooting, periodic inspection, part replacement) in which a person enters the robot workplace in response to an administrator operation input, and generates and stores a robot workplace management log.
  • target information e.g., trouble-shooting, periodic inspection, part replacement
  • the robot workplace safety enhancement system using the vision system according to the present invention includes an alarm unit that receives an alarm signal corresponding to one of a human entry, a work, and a departure from a human tracking device and converts the alarm signal into a signal recognizable by a human being .
  • a method for enhancing robots workplace safety using a vision system comprising the steps of: receiving an image from a camera module for photographing a surveillance region around a press and a camera module installed near a door, Judging whether or not a detection signal has been detected; Tracking a position of a person in a plurality of surveillance regions when a person is detected;
  • a foreign substance does not stick to a mirror, and a cleaning and replacement work of a mirror can be quickly and conveniently performed.
  • 1 is an exemplary view for explaining an arrangement state of a press processing system.
  • FIGS. 2 and 3 are illustrations for explaining the arrangement and operation of the camera module for monitoring the periphery of the press machine.
  • FIG. 4 is an exemplary view for explaining a vision system installed in a press processing system.
  • FIG. 5 is a view for explaining a configuration of a safety system for enhancing robots workplace safety using a vision system according to the present invention.
  • FIG. 6 is a view for explaining a configuration of a human tracking device included in a safety system for enhancing robots workplace safety using a vision system according to the present invention.
  • FIG. 7 is a flowchart of a method for enhancing safety of a robot workplace using a vision system according to the present invention.
  • FIGS. 2 and 3 are illustrations for explaining the arrangement and operation of the camera modules 21, 22, 23 and 24 for monitoring the periphery of the press machine 50.
  • FIG. 1 is illustrations for explaining the arrangement and operation of the camera modules 21, 22, 23 and 24 for monitoring the periphery of the press machine 50.
  • the press machine 50 installed in the robot work place is a mechanical device for molding or cutting an iron plate by injecting an iron plate or the like as a working material between the upper and lower molds.
  • the robot 60 installed in the periphery of the press machine 50 is a material supplying robot for sucking the material seated on the positioner and supplying it to the press machine 50 or a molding machine for supplying the molded article molded in the press machine 50 to the press machine in the next step May be a supply robot.
  • the press machine 50 and the robot 60 installed in the robot work site continuously operate without interruption to improve the productivity of the product.
  • the camera modules 21, 22, 23 and 24 are installed to monitor the periphery of the press machine 50.
  • a plurality of surveillance regions A1, A2, A3, A41, and A42 photographed by the camera modules 21, 22, 23, and 24 in FIGS. 2 and 3 may overlap each other.
  • the camera modules 21, 22, 23, and 24 are controlled so as to face the periphery of the press machine 50, that is, the space where the probability of existence of a person is high.
  • the camera modules 21, 22, 23, and 24 may be operated only when the human presses or checks the press machine 50 and the robot 60, or is always operated to operate.
  • the camera modules 21, 22, 23 and 24 are connected to a plurality of surveillance areas A1, A2, and A3 according to a pan, tilt, zoom, A3, A41, and A42, as shown in Fig.
  • the vertical rotation range includes -90 ° to + 40 °
  • the horizontal rotation range includes 0.1 ° to 100 °, and can be automatically adjusted according to the degree of zoom.
  • only the camera modules 21 and 24 for photographing the surveillance areas A41 and A42 provided with the robot 60 around the press machine 50 can be rotated vertically or horizontally.
  • the camera modules 21, 22, 23, and 24 may be implemented by an analog camera, a digital camera, or an IP camera.
  • the analog camera uses a coaxial cable to generate and output a CVBS (composite video baseband signal) signal that can be transmitted up to 300 meters.
  • CVBS composite video baseband signal
  • Digital cameras support a high-definition serial digital interface (HD-SDI) that can be used to transmit uncompressed high-definition digital video over a coaxial cable at a 1.5Gbps rate. Cable distances up to 100 meters are supported at these high transfer rates. IP cameras transmit compressed high-definition digital video.
  • HDMI high-definition serial digital interface
  • a signal frequency band corresponding to a plurality of video signals output from the IP camera includes a composite video baseband signal (CVBS), a downstream stream, and an upstream stream.
  • the CVBS (composite video baseband signal) signal uses SD analog video up to 5MHz band and the downstream has 8MHz bandwidth around 18.75MHz and transmits HD IP video data at a transmission rate of 36Mbps.
  • Upstream has a 2.5MHz bandwidth around 39MHz and transmits data such as camera control signals at a transmission rate of up to 11Mbps.
  • the press processing system comprises a deformer 10 on which a material is loaded, a material transfer robot 20 for transferring the material loaded on the deformer 10, a positioner 30 on which the material transferred by the material transfer robot 20 is seated
  • a material supply robot 40 for picking up a material placed on the positioner 30 and supplying the material to the press machine 51, a press machine 51 for supplying the material from the material supply robot 40 and press-molding the metal mold, 62 and 63 to be supplied to the press machines 52, 53 and 54 of the next step and a product carry-out robot 70 for carrying out the molded products to the conveyor 71.
  • the press processing system is partitioned by a fence 1, and doors 2, 3, 4, 5, 6, 7 are provided in the fence 1.
  • the vision system installed in the press processing system includes a plurality of camera modules 311, 321, 331, 341, and 351 installed near the respective doors 2, 3, 4, 5, 6,
  • a plurality of camera modules 312 to 315, 322 to 325, 332 to 335 and 342 to 345 installed around the conveyor 71 and a plurality of camera modules 352 to 355 installed around the conveyor 71 can do.
  • a plurality of camera modules 311, 321, 331, 341, and 351 installed near each of the doors 2, 3, 4, 5, 6, and 7 are used to determine whether a person enters and exits the inside of the press processing system And provides the image information so that it can detect and track the information.
  • a plurality of camera modules 312 to 315, 322 to 325, 332 to 335, and 342 to 345 installed around the respective press machines 51, 52, 53 and 54 are disposed in the periphery of the press machine 50, And is controlled to face a high space.
  • a plurality of camera modules 312 to 315, 322 to 325, 332 to 335 and 342 to 345 installed around the respective press machines 51, 52, 53 and 54 are connected to the press machine and the robots 40, 61, 62, 63 and 70 ), Or may only be operated when a person enters for repair, or may be implemented to operate at all times.
  • a network video recorder (NVR) which is connected to a plurality of camera modules through an analog coaxial cable or a twisted pair cable, may be installed.
  • the network video recorder (NVR) is a device that automatically sets the IP address and performs communication with the camera module when the camera module is connected.
  • the network video recorder (NVR) 300 includes a plurality of ports PORT for inserting headers of analog coaxial cables connected to the camera module, a SLOC-R modem connected to the port PORT, an Ethernet switch, A video controller, and an analog video decoder.
  • the SLOC-R modem When a camera identification number and an output signal including a video signal are input from a camera module, the SLOC-R modem separates the baseband video signal and the digital video signal included in the output signal by frequency to remove distortion from the digital video signal And compensates for the attenuation of the baseband video signal and outputs it.
  • the Ethernet switch detects whether the header of the analog coaxial cable connected to the camera module is inserted into the port.
  • the host processor receives the digital video signal from the SLOC-R modem and stores it in a storage unit (HDD, USB), provides the digital video signal to the digital video decoder, and provides the upstream data to the SLOC-R modem.
  • FIG. 5 is a view for explaining a configuration of a safety system for enhancing robots workplace safety using a vision system according to the present invention
  • FIG. 6 is a view for explaining a configuration of a human being tracking system Fig.
  • the robot workplace safety enhancement system using the vision system according to the present invention is implemented by including a plurality of camera modules 411 to 415 and a human tracking device 416.
  • the camera modules 411 to 415 are installed so that there are no dead zones around the press machine and the robot.
  • the camera modules 411 to 415 may be operated only when the human being enters and working for checking or repairing the press machine and the robot, or may be implemented to always operate.
  • the camera modules 411 to 415 may be implemented by an analog camera, a digital camera, or an IP camera.
  • the person tracking device 416 detects a person around the press and the robot using the image information photographed from the camera modules 411 to 415, and tracks the movement of the detected person.
  • a plurality of press lines are partitioned by the fence (1) and managed for each production process.
  • a robot workplace safety enhancement system using a vision system may be implemented by including a plurality of line monitoring apparatuses 401, 402, 403 and a central management apparatus 500 .
  • Each of the line monitoring devices 401, 402, and 403 may be configured to receive human motion information and image information from a plurality of human tracking devices and display them on a separate monitor screen or to transmit them to the central management device 500.
  • the first line monitoring apparatus 401 may be configured to monitor human movement information (e.g., entering, working, leaving, etc.) at each person tracking device 416, 426, 436 installed in a plurality of press lines S1, S2, Is input, the time at which the motion information is generated and the image information can be displayed on the monitor screen.
  • human movement information e.g., entering, working, leaving, etc.
  • the central management apparatus 500 receives information on the time at which the motion information of the person is generated from the plurality of line monitoring apparatuses 401, 402, 403, the motion information of the person including the image information and the person tracking device identification information (e.g., Exits) is received and stored, and can be displayed on the surveillance screen.
  • the manager can use the information of the stored person's motion to input the entry information (eg, troubleshooting, periodic inspection, part replacement) to the robot workplace.
  • the central management apparatus 500 can generate and store management journals including the press machine of each robot work place, the state of the robot, parts replacement, and repair contents.
  • the human tracking device 416 includes an interface 4161 connected to a plurality of camera modules 411 through 415, an image processing unit 4162, an image storage unit 4163, a safety control unit 4164, a communication unit 4165, And an alarm unit 4166.
  • the interface 4161 may be implemented with a plurality of ports PORT into which the headers of the analog coaxial cable or twisted pair cable are inserted, a SLOC-R modem connected with the port PORT, and an Ethernet switch.
  • the SLOC-R modem separates the baseband video signal and the digital video signal included in the output signal by frequency to remove distortion from the digital video signal, And outputs the compensated signal.
  • the Ethernet switch detects whether the header of the cable connected to the camera module is inserted into the port.
  • the image processing unit 4162 stores the HD compressed image for recording among the data received via the interface 4161 in the image storage unit 4163.
  • the image processing unit 4162 includes a human detection unit for detecting a person from the reconstructed image after restoring the data received through the compressed image decoder and a position tracking unit for tracking the position of the detected person.
  • the human detection unit detects a motion region, which is a candidate region of human detection, from the image, and recognizes whether or not the detected motion region is a human region.
  • the motion region detection may be performed by calculating statistical characteristics of a background region from scenes having a predetermined length, and comparing the statistical characteristics of the background region with the statistical characteristics of a newly input image,
  • a moving object region can be divided into pixels using a connected component labeling technique, and the motion region can be detected by performing such an operation on each screen.
  • the motion area detection algorithm may use the color information of the object.
  • Various known techniques such as a Histogram of Oriented Gradients (HOG) algorithm can be applied to the motion region detection algorithm.
  • HOG Histogram of Oriented Gradients
  • the method of recognizing whether the detected motion region is a human region is performed by generating a slope histogram of a region from the head to the shoulder, which is a candidate region of human detection, to obtain the direction and size of the pixel unit slope, Value is normalized in units of cells to obtain a feature vector, and the feature vector is compared with a predefined person area feature vector to determine whether the feature vector is similar to a certain probability value or more.
  • the position tracking unit tracks the recognized human region by calculating the center coordinates of the human region as the locus of the human region over time.
  • the position locator can estimate the position of the person using the accumulated motion information if the person does not move or the occlusion occurs in the workplace.
  • the safety control unit 4164 transmits a camera control signal to the camera modules 411 to 415.
  • the safety control unit 4164 When the camera identification information and the human tracking information are inputted in the image processing unit, the safety control unit 4164 generates human motion information (e.g., entering, And transmits it to the first line monitoring apparatus 401 via the communication unit 4165.
  • the safety control unit 4164 outputs the motion information (e.g., entry, work, and exit) of the person through the alarm unit 4166.
  • the alarm unit 4166 is installed near the door, and receives an alarm signal corresponding to one of the entrance, the operation, and the exit from the safety control unit 4164 and converts it into a signal that can be recognized by a person. For example, an LED diode or an LCD display.
  • the safety controller 4164 generates a control signal for controlling the operation of the camera modules 411 to 415 and transmits the control signals to the camera modules 411 to 415 while tracking the position of a person entering through the door.
  • FIG. 7 is a flowchart of a method for enhancing safety of a robot workplace using a vision system according to the present invention.
  • the vision system installed in the press processing system includes a plurality of camera modules 311, 321, 331, and 332 installed near the respective doors 2, 3, 4, 5, And a plurality of camera modules 312 to 315, 322 to 325, 332 to 335, and 342 to 345 installed around the press machines 51, 52, 53 and 54 and around the conveyor 71 It is assumed that a plurality of camera modules 352 to 355 are included.
  • the method for safety enhancement of a robot workplace using a vision system drives a human tracking device connected to a plurality of camera modules 352 to 355, and then drives a camera module (S711).
  • the person tracking device can control the camera module to change from the idle mode to the active mode when the door open signal is input.
  • the camera module may be implemented to always operate.
  • the person tracking device receives the image from the camera module and stores the image in the image storage unit (S712), and determines whether a person is detected from the image (S713). As a result of the determination, if a person is detected, the position of the person is tracked in a plurality of surveillance regions (S714).
  • the person tracking device determines whether a person enters the robot worksite or exits the workplace from the image transmitted from the camera module installed near the door (S715, S721).
  • the person tracking device transmits the motion information (e.g., entry and exit) of the person to the external device in steps S715 and S721 (S716 and S722).
  • the external device may be an LED diode or LCD display installed near the door.
  • the external device may be a central management device.
  • the person tracking device determines whether human tracking has failed (S717). For example, when a person is not moving or a blind phenomenon occurs in the workplace, the human region in the current screen is compared with a previously defined human region feature vector, and the probability is below a certain probability value.
  • the position of the person is estimated within the plurality of audit areas (S718).
  • the position of a person can be estimated using existing accumulated motion information.
  • the human tracking device may transmit a pan, tilt, zoom (Pan, Tilt, Zoom) control signal to the camera module to change the photographing position of each camera module to detect and track the position of the person.
  • the technique according to the present disclosure is available in a robotic workplace vision inspection apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 로봇 작업장 내에 사람이 진입하여 안전하게 작업을 마치고 로봇 작업장을 벗어났음을 외부에 정확하게 알려줄 수 있는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법을 제공한다.

Description

비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법
본 발명은 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법에 관한 것이다.
최근에는 다축 구동 로봇을 이용한 자동 제조시스템이 작업 현장에서 이용되고 있다. 작업장에는 각 요소부품의 형상 차이와 앞선 공정에서 공급되는 각 요소부품을 핸들링하기 위해 각 요소부품에 부응하는 복수의 로봇이 설치되고 부품 성형을 위해 복수의 프레스기가 설치된다.
한국등록특허 제10-1487166호에 따르면, 도 1에 도시한 바와 같이, 프레스 가공 시스템은 재료가 적재되는 디스태커(10), 디스태커(10)에 적재된 재료를 이송하는 재료이송로봇(20), 재료이송로봇(20)에 의해 이송된 재료가 안착되는 포지셔너(30), 포지셔너(30)에 안착되는 재료를 흡착하여 프레스기(51)에 공급시키는 재료공급로봇(40), 재료공급로봇(40)으로부터 재료를 공급받아 금형을 가압성형하는 프레스기(51), 성형품을 다음 공정의 프레스기(52, 53, 54)에 공급하는 성형품공급로봇(61, 62, 63), 성형완료된 제품을 컨베이어(71)로 반출시키는 제품반출로봇(70)을 포함하여 구성된다.
프레스기(51)에서 성형된 성형품은 성형품공급로봇(61)을 통해 다음 순번의 프레스기(52)에 공급되고, 프레스기(51)의 금형을 교환시키기 위해 프레스기(51)의 슬라이드를 하방으로 이동시킴과 동시에 성형품공급로봇(61)을 홈위치로 귀속시킨 후 성형품공급로봇(61)에 다음 제품 생산을 위한 툴 교체가 이루어지도록 구현되고 있다. 프레스 가공 시스템에 포함된 전체 장비들은 제품의 생산성을 향상시키기 위해 중단없이 지속적으로 작동된다.
한편, 프레스 가공 시스템에 포함된 프레스기, 로봇, 또는 컨베이어 등을 점검, 또는 수리를 위해 사람이 펜스(1)에 의해 구획되고, 펜스(1)에 설치된 출입문(2, 3, 4, 5, 6, 7)을 통해 로봇 작업장 내에 진입한다. 그런데 로봇 작업장 내에 진입한 사람은 외부에서 잘 식별이 되지 않는다. 프레스 가공 시스템 작업자는 미처 로봇 작업장 내에 진입한 사람을 확인하지 못하고 프레스 가공 시스템을 작동함으로써 불의의 인명사고를 발생하는 문제가 있었다.
본 발명은 상기와 같은 배경에서 제안된 것으로, 로봇 작업장 내에 사람이 진입하여 안전하게 작업을 마치고 로봇 작업장을 벗어났음을 외부에 정확히 알려줄 수 있는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법을 제공한다.
또한, 본 발명은 중앙 관리자가 전체 로봇 작업장의 관리일지를 실제 영상을 통해 확인하면서 작성할 수 있는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법을 제공한다.
본 발명의 다른 목적들은 이하의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은, 프레스기 주변에 설정된 복수의 감시영역을 촬영하는 복수의 카메라모듈과; 상기 복수의 카메라모듈에서 입력받은 영상으로부터 프레스기 주변에 존재하는 사람을 검출 및 추적하며 카메라 식별정보와 영상을 포함하는 사람의 움직임 정보를 생성하는 사람 추적장치와; 상기 사람 추적장치로부터 사람의 움직임 정보를 입력받아 저장하고 사람이 인지할 수 있는 화면정보로 변환하여 출력하는 중앙 관리장치를 포함한다.
본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은, 프레스기와 로봇을 포함하는 복수의 프레스 라인이 펜스에 의해 구획되며, 상기 펜스에는 각 프레스 라인에 출입할 수 있도록 복수의 출입문이 이격되게 설치되는 로봇 작업장의 안전강화 시스템으로서,
상기 복수의 프레스 라인 각각은, 출입문 근처에 설치되는 제1 카메라모듈과, 프레스기 주변에 설정된 복수의 감시영역을 촬영하는 복수의 제2 카메라모듈과; 상기 제1, 제2 카메라모듈에서 입력받은 영상으로부터 사람을 검출 및 추적하며 로봇 작업장 내에 사람이 입장했는지, 로봇 작업장 내에서 작업중인지, 또는 퇴장했는지를 판단하고, 영상과 함께 사람 입장정보, 작업중 정보, 및 퇴장정보 중 어느 하나를 포함하는 사람의 움직임 정보를 생성하는 사람 추적장치를 포함하며,
상기 복수의 프레스 라인 각각으로부터 사람 추적장치 식별정보와 사람의 움직임 정보를 입력받아 외부장치로 출력하는 라인 감시장치와; 상기 라인 감시장치로부터 라인 감시장치 식별정보와 사람 추적장치 식별정보와 사람의 움직임 정보를 입력받아 저장하고 사람이 인지할 수 있는 화면정보로 변환하여 출력하는 중앙 관리장치를 포함한다.
본 발명에 따르면 사람 추적장치는, 사람이 로봇 작업장 내에 사람이 입장 후 퇴장 전에 프레스기 주변에 설정된 복수의 감시영역 내에서 사람 추적에 실패하면, 기존 누적된 움직임 정보를 이용하여 사람의 위치를 추정하거나 팬, 틸트, 줌(Pan, Tilt, Zoom) 제어신호를 카메라모듈로 전송한다.
본 발명에 따르면 중앙 관리장치는, 관리자 조작 입력에 따라 사람이 로봇 작업장에 진입한 목적정보(예: 고장수리, 정기점검, 부품교체)를 입력받아 로봇 작업장 관리일지를 생성하여 저장한다.
본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은, 사람 추적장치로부터 사람 입장, 작업중, 퇴장 중 어느 하나에 대응하는 알람신호를 입력받아 사람이 인지할 수 있는 신호로 변환하여 출력하는 알람부를 더 포함할 수 있다.
본 발명의 다른 양상에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 방법은, 프레스기 주변의 감시영역을 촬영하는 카메라모듈과 출입문 근처에 설치된 카메라모듈로부터 영상을 입력받아 영상저장부에 저장하고, 영상으로부터 사람이 검출되었는지를 판단하는 단계와; 판단결과 사람이 검출되면 복수의 감시영역 안에서 사람의 위치를 추적하는 단계와;
출입문 근처에 설치된 카메라모듈에서 사람 검출 및 추적정보가 입력되었는지를 판단하는 단계와; 판단결과 긍정이면 프레스기 주변의 감시영역을 촬영하는 카메라모듈로부터 사람 검출 및 추적정보가 입력되었는지를 판단하고 그 결과 긍정이면 사람이 로봇 작업장 내로 입장한 것으로 추정하고 사람 입장정보를 외부장치로 전송하는 단계와;
프레스기 주변의 감시영역을 촬영하는 카메라모듈과 출입문 근처에 설치된 카메라모듈로부터 영상을 입력받아 사람의 위치를 추적하면서 사람이 로봇 작업장 밖으로 퇴장하였는지를 판단하는 단계와; 판단결과 사람이 로봇 작업장 밖으로 퇴장하였다면, 사람 퇴장정보를 외부장치로 전송하는 단계를 포함한다.
본 발명에 따르면, 사용자가 카메라모듈의 교체 작업을 신속하고 편리하게 처리할 수 있 수 있다.
또한, 본 발명에 따르면 미러(mirror)에 이물질이 달라붙지 않으며, 미러(mirror)의 청소 및 교체 작업을 신속하고 편리하게 처리할 수 있다.
도 1 은 프레스 가공 시스템의 배치상태를 설명하기 위한 예시도이다.
도 2, 도 3 은 프레스기의 주변부를 감시하는 카메라모듈의 배치 및 동작을 설명하기 위한 예시도이다.
도 4 는 프레스 가공 시스템에 설치되는 비전 시스템을 설명하기 위한 예시도이다.
도 5 는 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템의 구성을 설명하기 위한 예시도이다.
도 6 은 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템에 포함된 사람 추적장치의 구성을 설명하기 위한 예시도이다.
도 7 은 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 방법에 관한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하, 첨부된 도면을 참조하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 2, 도 3 은 프레스기(50)의 주변부를 감시하는 카메라모듈(21, 22, 23,2 4)의 배치 및 동작을 설명하기 위한 예시도이다.
로봇 작업장에 설치된 프레스기(50)는 상, 하부 금형 사이에 가공소재인 철판 등을 투입하여 철판을 성형하거나 절단하는 기계장치이다. 프레스기(50)의 주변부에 설치되는 로봇(60)은 포지셔너에 안착되는 재료를 흡착하여 프레스기(50)에 공급시키는 재료공급로봇 또는 프레스기(50)에서 성형된 성형품을 다음 공정의 프레스기에 공급하는 성형품공급로봇일 수 있다. 로봇 작업장에 설치된 프레스기(50)와 로봇(60)은 제품의 생산성을 향상시키기 위해 중단없이 지속적으로 작동된다.
카메라모듈(21, 22, 23, 24)은 프레스기(50)의 주변부를 감시하기 위해 설치된다. 도 2, 3에서 카메라모듈(21, 22, 23, 24)이 촬영하는 복수의 감시영역(A1, A2, A3, A41, A42)은 서로 중복될 수 있다. 그러나 카메라모듈(21, 22, 23, 24)은 프레스기(50)의 주변부, 즉 사람이 존재할 확률이 높은 공간을 향하도록 제어된다.
카메라모듈(21, 22, 23, 24)은 프레스기(50)와 로봇(60)을 점검, 또는 수리를 위해 사람이 진입하여 작업을 하는 경우에만 동작할 수도 있고, 항상 동작하도록 구현될 수도 있다. 도 2, 3을 참조하면, 카메라모듈(21, 22, 23, 24)은 외부장치로부터 입력되는 팬, 틸트, 줌(Pan, Tilt, Zoom) 제어신호에 따라 복수의 감시영역(A1, A2, A3, A41, A42)을 촬영할 수 있도록 수직, 수평으로 회전하도록 모터 또는 작동기를 포함할 수 있다. 예를 들어, 수직 회전 범위는 -90°∼＋40°를 포함하고, 수평 회전 범위는 0.1°∼100°를 포함하며 줌(Zoom) 정도에 따라 자동 조정될 수 있다. 일례로, 프레스기(50) 주변에 로봇(60)이 설치된 감시영역(A41, A42)을 촬영하는 카메라모듈(21, 24)만을 수직 또는 수평으로 회전할 수 있다.
카메라모듈(21, 22, 23, 24)은 아날로그 카메라, 디지털 카메라, 또는 IP 카메라로 구현될 수 있다. 아날로그 카메라는 동축 케이블을 사용하여 300미터까지 전송될 수 있는 CVBS(composite video baseband signal) 신호를 생성하여 출력한다.
디지털 카메라는 1.5Gbps 레이트로 동축 케이블을 통해 비압축 고화질 디지털 비디오를 전송하는데 사용될 수 있는 고화질 직렬 디지털 인터페이스(HD-SDI)를 지원하는데, 이런 고 전송 레이트에서 지원 가능한 케이블 거리는 100미터까지이다. IP 카메라는 압축 고화질 디지털 비디오를 전송한다.
IP 카메라에서 출력되는 복수의 비디오 신호에 대응하는 신호 주파수 대역은 CVBS(composite video baseband signal), 다운스트림, 및 업스트림을 포함한다. CVBS(composite video baseband signal) 신호는 SD급 아날로그 영상을 5MHz 대역까지 사용하며, 다운스트림은 18.75MHz를 중심으로 8MHz bandwidth를 가지며, 36Mbps의 전송 속도로 HD IP 영상 데이터를 전송한다. 업스트림은 39MHz를 중심으로 2.5MHz bandwidth를 가지며, 최대 11Mbps의 전송 속도로 카메라 제어신호 등의 데이터를 전송한다.
도 4 는 프레스 가공 시스템에 설치되는 비전 시스템을 설명하기 위한 예시도이다. 프레스 가공 시스템은 재료가 적재되는 디스태커(10), 디스태커(10)에 적재된 재료를 이송하는 재료이송로봇(20), 재료이송로봇(20)에 의해 이송된 재료가 안착되는 포지셔너(30), 포지셔너(30)에 안착되는 재료를 흡착하여 프레스기(51)에 공급시키는 재료공급로봇(40), 재료공급로봇(40)으로부터 재료를 공급받아 금형을 가압성형하는 프레스기(51), 성형품을 다음 공정의 프레스기(52, 53, 54)에 공급하는 성형품공급로봇(61, 62, 63), 성형완료된 제품을 컨베이어(71)로 반출시키는 제품반출로봇(70)을 포함하여 구성될 수 있다.
프레스 가공 시스템은 펜스(1)에 의해 구획되며, 펜스(1)에는 출입문(2, 3, 4, 5, 6, 7)이 설치된다. 프레스 가공 시스템에 설치되는 비전 시스템은 각 출입문(2, 3, 4, 5, 6, 7) 근처에 설치되는 복수의 카메라모듈(311, 321, 331, 341, 351)과 각 프레스기(51, 52, 53, 54) 주변에 설치되는 복수의 카메라모듈(312 내지 315, 322 내지 325, 332 내지 335, 342 내지 345)과 컨베이어(71) 주변에 설치되는 복수의 카메라모듈(352 내지 355)을 포함할 수 있다.
각 출입문(2, 3, 4, 5, 6, 7) 근처에 설치되는 복수의 카메라모듈(311, 321, 331, 341, 351)은 사람이 프레스 가공 시스템 내부로 사람이 입장했는지 및 퇴장했는지에 대한 정보를 검출하고 추적할 수 있도록 영상정보를 제공한다. 각 프레스기(51, 52, 53, 54) 주변에 설치되는 복수의 카메라모듈(312 내지 315, 322 내지 325, 332 내지 335, 342 내지 345)은 프레스기(50)의 주변부, 즉 사람이 존재할 확률이 높은 공간을 향하도록 제어된다. 각 프레스기(51, 52, 53, 54) 주변에 설치되는 복수의 카메라모듈(312 내지 315, 322 내지 325, 332 내지 335, 342 내지 345)은 프레스기와 로봇(40, 61, 62, 63, 70)을 점검, 또는 수리를 위해 사람이 진입하는 경우에만 동작할 수도 있고, 항상 동작하도록 구현될 수도 있다.
도 4 에는 도시하지 않았지만, 복수의 카메라모듈과 아날로그 동축케이블 또는 트위스티드페어케이블을 통해 연결되는 네트워크 비디오 레코더(NVR)이 설치될 수 있다. 네트워크 비디오 레코더(NVR)는 카메라모듈이 연결되면, 카메라모듈과 자동으로 IP 어드레스를 셋팅하고 통신을 수행하는 장치이다. 네트워크 비디오 레코더(NVR)(300)는 카메라모듈과 연결되는 아날로그 동축케이블의 헤더가 삽입되는 복수개의 포트(PORT)와, 포트(PORT)와 연결되는 SLOC-R 모뎀과, 이더넷 스위치와, 호스트 프로세서와, 비디오 컨트롤러와, 아날로그 비디오 디코더를 포함하여 구현될 수 있다.
SLOC-R 모뎀은 카메라모듈로부터 카메라 식별번호와 비디오 신호를 포함하는 출력 신호가 입력되면, 출력 신호에 포함된 기저대역 비디오 신호 및 디지털 비디오 신호를 주파수에 의해 분리하여, 디지털 비디오 신호로부터 왜곡을 제거하고, 기저대역 비디오 신호의 감쇄를 보상하여 출력한다. 이더넷 스위치는 카메라모듈과 연결되는 아날로그 동축케이블의 헤더가 포트(PORT)에 삽입되었는지를 감지한다. 호스트 프로세서는 SLOC-R 모뎀으로부터 디지털 비디오 신호를 수신하여 저장부(HDD, USB)에 저장하며, 디지털 비디오 디코더로 디지털 비디오 신호를 제공하고, 업스트림 데이터를 SLOC-R 모뎀에 제공한다.
도 5 는 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템의 구성을 설명하기 위한 예시도이고, 도 6 은 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템에 포함된 사람 추적장치의 구성을 설명하기 위한 예시도이다.
본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은 복수의 카메라모듈(411 내지 415)과 사람 추적장치(416)를 포함하여 구현된다. 카메라모듈(411 내지 415)은 프레스기와 로봇 주변에 사각지대가 없도록 설치된다. 카메라모듈(411 내지 415)은 프레스기와 로봇을 점검, 또는 수리를 위해 사람이 진입하여 작업을 하는 경우에만 동작할 수도 있고, 항상 동작하도록 구현될 수도 있다. 카메라모듈(411 내지 415)은 아날로그 카메라, 디지털 카메라, 또는 IP 카메라로 구현될 수 있다. 사람 추적장치(416)는 카메라모듈(411 내지 415)로부터 촬영된 영상정보를 이용하여 프레스기와 로봇 주변에 사람을 검출하고 검출한 사람의 움직임을 추적한다.
로봇 작업장은 복수의 프레스 라인(S1 내지 S9)이 펜스(1)에 의해 구획되어 생산 공정별로 관리된다. 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은 예를 들어, 도 5에 도시한 바와 같이, 복수의 라인 감시장치(401, 402, 403)와 중앙 관리장치(500)를 포함하여 구현될 수 있다. 각 라인 감시장치(401, 402, 403)는 복수의 사람 추적장치로부터 사람의 움직임 정보와 영상정보를 입력받아 개별 모니터 화면에 표시하거나, 중앙 관리장치(500)로 전달하도록 구현될 수 있다. 예를 들어, 제1 라인 감시장치(401)는 복수의 프레스 라인(S1, S2, S3)에 설치된 각 사람 추적장치(416, 426, 436)에서 사람의 움직임 정보(예: 진입, 작업중, 퇴장)가 입력되면 움직임 정보가 발생한 시각과 영상정보를 모니터 화면에 표시할 수 있다.
중앙 관리장치(500)는 복수의 라인 감시장치(401, 402, 403)로부터 사람의 움직임 정보가 발생한 시각과 영상정보와 사람 추적장치 식별정보를 포함하는 사람의 움직임 정보(예: 진입, 작업중, 퇴장)를 입력받아 저장하며, 감시화면에 표시할 수 있다. 관리자는 저장된 사람의 움직임 정보를 이용하여 사람이 로봇 작업장에 진입 목적정보(예: 고장수리, 정기점검, 부품교체)를 입력할 수 있다. 이에 따라 중앙 관리장치(500)는 각 로봇 작업장의 프레스기 및 로봇의 상태점검, 부품교체, 및 수리내용을 포함하는 관리일지를 생성하여 저장할 수 있다.
이하, 본 발명에 따른 사람 추적장치를 도 6을 참조하여 설명하기로 한다. 도 6에서 사람 추적장치(416)는 복수의 카메라모듈(411 내지 415)과 연결되는 인터페이스(4161)와 영상처리부(4162)와 영상저장부(4163)와 안전제어부(4164)와 통신부(4165)와 알람부(4166)를 포함하여 구현될 수 있다.
인터페이스(4161)는 일례로 아날로그 동축케이블 또는 트위스티드페어케이블의 헤더가 삽입되는 복수의 포트(PORT)와, 포트(PORT)와 연결되는 SLOC-R 모뎀과, 이더넷 스위치로 구현될 수 있다. SLOC-R 모뎀은 IP 카메라(100)로부터 출력 신호가 입력되면, 출력 신호에 포함된 기저대역 비디오 신호 및 디지털 비디오 신호를 주파수에 의해 분리하여, 디지털 비디오 신호로부터 왜곡을 제거하고, 기저대역 비디오 신호의 감쇄를 보상하여 출력한다. 이더넷 스위치는 카메라모듈과 연결되는 케이블의 헤더가 포트(PORT)에 삽입되었는지를 감지한다.
영상처리부(4162)는 인터페이스(4161)를 통해 수신된 데이터 중 녹화용 HD 압축 영상을 영상저장부(4163)에 저장한다. 영상처리부(4162)는 압축 영상 복호기를 통해 수신된 데이터를 복원한 후 복원된 영상으로부터 사람을 검출하는 사람 검출부와 검출된 사람의 위치를 추적하는 위치 추적부를 포함한다.
사람 검출부는 영상으로부터 사람 검출의 후보영역인 움직임 영역을 검출하고, 검출한 움직임 영역이 사람영역인지 아닌지 인식한다. 일례로, 움직임 영역 검출은 배경만이 존재하는 일정 길이의 화면들로부터 배경영역에 관한 통계적 특성을 계산한 다음, 새로이 입력되는 영상의 통계적 특성과 서로 비교하여 움직임이 있다고 판단되는 화소들을 검출하고, 이 화소들로 연결성분표식(connected component labeling) 기법을 이용하여 이동 물체의 영역을 분할하고, 이러한 동작을 화면마다 실시하여 움직임 영역을 검출할 수 있다. 추가로, 움직임 영역 검출 알고리즘은 물체의 색상정보를 이용할 수 있다. 이러한 움직임 영역 검출 알고리즘은 HOG(Histogram of Oriented Gradients) 알고리즘 등 공지된 다양한 기법을 적용할 수 있다.
검출한 움직임 영역이 사람영역인지를 인지하는 방법은 사람 검출의 후보 영역인 머리에서 어깨까지 영역의 기울기 히스토그램을 생성하여 화소 단위 기울기의 방향 및 크기를 구하고, 추출된 화소 단위 기울기의 방향 및 크기의 값을 셀 단위로 정규화하는 과정을 거쳐 특징벡터를 구하고, 미리 정의한 사람영역 특징벡터와 비교하여 일정한 확률값 이상으로 유사한지를 판단하는 방법으로 구현될 수 있다.
위치 추적부는 사람영역의 중심 좌표를 시간에 따른 사람영역의 궤적으로 계산하여 인식된 사람영역을 추적한다. 위치 추적부는 작업장 내에서 사람이 움직이지 않거나 가림 현상이 발생하였으면 기존 누적된 움직임 정보를 이용하여 사람의 위치를 추정할 수 있다.
안전제어부(4164)는 카메라모듈(411 내지 415)로 카메라 제어신호를 전송하며, 영상처리부에서 카메라 식별정보와 사람 추적 정보가 입력되면 사람의 움직임 정보(예: 진입, 작업중, 퇴장)를 생성하여 통신부(4165)를 통해 제1 라인 감시장치(401)로 전송한다. 또한 안전제어부(4164)는 사람의 움직임 정보(예: 진입, 작업중, 퇴장)를 알람부(4166)를 통해 출력한다. 알람부(4166)는 출입문 근처에 설치되며, 안전제어부(4164)로부터 사람 입장, 작업중, 퇴장 중 어느 하나에 대응하는 알람신호를 입력받아 사람이 인지할 수 있는 신호로 변환하여 출력한다. 일례로 LED 다이오드 또는 LCD 디스플레이로 구현될 수 있다.
안전제어부(4164)는 출입문을 통해 진입하는 사람의 위치를 추적하면서 카메라모듈(411 내지 415)의 동작을 제어하는 제어신호를 생성하고 이를 카메라모듈(411 내지 415)로 전송할 수 있다.
도 7 은 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 방법에 관한 흐름도이다. 예를 들어 프레스 가공 시스템에 설치되는 비전 시스템은 도 4에 도시한 바와 같이, 각 출입문(2, 3, 4, 5, 6, 7) 근처에 설치되는 복수의 카메라모듈(311, 321, 331, 341, 351)과 각 프레스기(51, 52, 53, 54) 주변에 설치되는 복수의 카메라모듈(312 내지 315, 322 내지 325, 332 내지 335, 342 내지 345)과 컨베이어(71) 주변에 설치되는 복수의 카메라모듈(352 내지 355)을 포함하는 것을 가정한다.
먼저, 비전 시스템을 이용한 로봇 작업장 안전강화 방법은 복수의 카메라모듈(352 내지 355)과 연결되는 사람 추적장치를 구동한 후, 카메라모듈을 구동한다(S711). 일례로 사람 추적장치는 출입문 오픈신호가 입력되면 카메라모듈을 휴면모드(Idle Mode)에서 활성모드(Active Mode)로 변환되도록 제어할 수 있다. 다른 예로, 카메라모듈은 항상 구동하도록 구현될 수 있다.
이후, 사람 추적장치는 카메라모듈로부터 영상을 입력받아 영상저장부에 저장하고(S712), 영상으로부터 사람이 검출되었는지를 판단한다(S713). 판단결과 사람이 검출되면 복수의 감시영역 안에서 사람의 위치를 추적한다(S714).
이후, 사람 추적장치는 출입문 근처에 설치된 카메라모듈에서 전송된 영상으로부터 사람이 로봇 작업장 내로 입장하였는지, 작업장 밖으로 퇴장하였는지를 판단한다(S715, S721). 사람 추적장치는 단계 S715 또는 단계 S721에서 사람의 움직임 정보(예: 입장, 퇴장)를 외부장치로 전송한다(S716, S722). 일례로, 외부장치는 출입문 근처에 설치되는 LED 다이오드 또는 LCD 디스플레이일 수 있다. 다른 예로, 외부장치는 중앙 관리장치가 될 수 있다.
단계 S716 이후 사람 추적장치는 사람 추적이 실패하였는지를 판단한다(S717). 사람 추적 실패는 예를 들어, 작업장 내에서 사람이 움직이지 않거나 가림 현상이 발생하여 현재 화면에서의 사람영역을 미리 정의한 사람영역 특징벡터와 비교하여 일정한 확률값 이하가 되는 것이다.
사람 추적장치는 사람 추적에 실패하였다면 복수의 감사 영역 안에서 사람의 위치를 추정한다(S718). 일례로, 기존 누적된 움직임 정보를 이용하여 사람의 위치를 추정할 수 있다. 다른 예로, 사람 추적장치는 팬, 틸트, 줌(Pan, Tilt, Zoom) 제어신호를 카메라모듈로 전송하여 각 카메라모듈의 촬영위치를 변경하여 사람을 검출하고 위치를 추적할 수 있다.
지금까지, 본 명세서에는 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자가 본 발명을 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌 자라면 본 발명의 실시예들로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위에 의해서만 정해져야 할 것이다.
<부호의 설명>
50 : 프레스기
60 : 성형품공급로봇
21, 22, 23, 24 : 카메라모듈
발명의 실시를 위한 형태는 전술한 바와 같이, 발명의 실시를 위한 최선의 형태로 상술되었다.
본 명세서에 따른 기술은 로봇 작업장 비전검사장치에서 이용 가능하다.

Claims (6)

  1. 프레스기 주변에 설정된 복수의 감시영역을 촬영하는 복수의 카메라모듈과;
    상기 복수의 카메라모듈에서 입력받은 영상으로부터 프레스기 주변에 존재하는 사람을 검출 및 추적하며 카메라 식별정보와 영상을 포함하는 사람의 움직임 정보를 생성하는 사람 추적장치와;
    상기 사람 추적장치로부터 사람의 움직임 정보를 입력받아 저장하고 사람이 인지할 수 있는 화면정보로 변환하여 출력하는 중앙 관리장치;
    를 포함하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  2. 프레스기와 로봇을 포함하는 복수의 프레스 라인이 펜스에 의해 구획되며, 상기 펜스에는 각 프레스 라인에 출입할 수 있도록 복수의 출입문이 이격되게 설치되는 로봇 작업장의 안전강화 시스템으로서,
    상기 복수의 프레스 라인 각각은,
    출입문 근처에 설치되는 제1 카메라모듈과, 프레스기 주변에 설정된 복수의 감시영역을 촬영하는 복수의 제2 카메라모듈과;
    상기 제1, 제2 카메라모듈에서 입력받은 영상으로부터 사람을 검출 및 추적하며 로봇 작업장 내에 사람이 입장했는지, 로봇 작업장 내에서 작업중인지, 또는 퇴장했는지를 판단하고, 영상과 함께 사람 입장정보, 작업중 정보, 및 퇴장정보 중 어느 하나를 포함하는 사람의 움직임 정보를 생성하는 사람 추적장치를 포함하며,
    상기 복수의 프레스 라인 각각으로부터 사람 추적장치 식별정보와 사람의 움직임 정보를 입력받아 외부장치로 출력하는 라인 감시장치와;
    상기 라인 감시장치로부터 라인 감시장치 식별정보와 사람 추적장치 식별정보와 사람의 움직임 정보를 입력받아 저장하고 사람이 인지할 수 있는 화면정보로 변환하여 출력하는 중앙 관리장치;
    를 포함하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  3. 청구항 1 또는 청구항 2 에 있어서,
    상기 사람 추적장치는,
    사람이 로봇 작업장 내에 사람이 입장 후 퇴장 전에 프레스기 주변에 설정된 복수의 감시영역 내에서 사람 추적에 실패하면, 기존 누적된 움직임 정보를 이용하여 사람의 위치를 추정하거나 팬, 틸트, 줌(Pan, Tilt, Zoom) 제어신호를 카메라모듈로 전송하는 것,
    을 특징으로 하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  4. 청구항 1 또는 청구항 2 에 있어서,
    상기 중앙 관리장치는,
    관리자 조작 입력에 따라 사람이 로봇 작업장에 진입한 목적정보를 입력받아 로봇 작업장 관리일지를 생성하여 저장하는 것,
    을 특징으로 하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  5. 청구항 1 또는 청구항 2 에 있어서,
    상기 사람 추적장치로부터 사람 입장, 작업중, 퇴장 중 어느 하나에 대응하는 알람신호를 입력받아 사람이 인지할 수 있는 신호로 변환하여 출력하는 알람부;
    를 더 포함하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  6. 프레스기 주변의 감시영역을 촬영하는 카메라모듈과 출입문 근처에 설치된 카메라모듈로부터 영상을 입력받아 영상저장부에 저장하고, 영상으로부터 사람이 검출되었는지를 판단하는 단계와;
    판단결과 사람이 검출되면 복수의 감시영역 안에서 사람의 위치를 추적하는 단계와;
    출입문 근처에 설치된 카메라모듈에서 사람 검출 및 추적정보가 입력되었는지를 판단하는 단계와;
    판단결과 긍정이면 프레스기 주변의 감시영역을 촬영하는 카메라모듈로부터 사람 검출 및 추적정보가 입력되었는지를 판단하고 그 결과 긍정이면 사람이 로봇 작업장 내로 입장한 것으로 추정하고 사람 입장정보를 외부장치로 전송하는 단계와;
    프레스기 주변의 감시영역을 촬영하는 카메라모듈과 출입문 근처에 설치된 카메라모듈로부터 영상을 입력받아 사람의 위치를 추적하면서 사람이 로봇 작업장 밖으로 퇴장하였는지를 판단하는 단계와;
    판단결과 사람이 로봇 작업장 밖으로 퇴장하였다면, 사람 퇴장정보를 외부장치로 전송하는 단계;
    를 포함하는 비전 시스템을 이용한 로봇 작업장 안전강화 방법.
PCT/KR2017/013230 2017-11-15 2017-11-21 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법 WO2019098429A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0152179 2017-11-15
KR1020170152179A KR101989461B1 (ko) 2017-11-15 2017-11-15 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2019098429A1 true WO2019098429A1 (ko) 2019-05-23

Family

ID=66539080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013230 WO2019098429A1 (ko) 2017-11-15 2017-11-21 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101989461B1 (ko)
WO (1) WO2019098429A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383753A (zh) * 2020-11-12 2021-02-19 江苏数字看点科技有限公司 一种产业园区的三维可视化管理系统
CN113033361A (zh) * 2021-03-13 2021-06-25 杭州翔毅科技有限公司 一种基于环境可视的智能人机交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005121599A (ja) * 2003-10-20 2005-05-12 Komatsu Ltd プレス成形品の欠陥検査装置
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2007007841A (ja) * 2005-05-30 2007-01-18 Riken Keiki Co Ltd 入退出監視システム
JP2011145839A (ja) * 2010-01-13 2011-07-28 Nippon Steel Corp 監視システム、装置、方法及びプログラム
JP2013071217A (ja) * 2011-09-28 2013-04-22 Nippon Steel & Sumitomo Metal Corp 危険区域への入退管理システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471910B2 (en) * 2005-08-11 2013-06-25 Sightlogix, Inc. Methods and apparatus for providing fault tolerance in a surveillance system
KR101487166B1 (ko) 2014-06-13 2015-01-29 아진산업(주) 텐덤 프레스 가공 시스템 및 금형교환방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005121599A (ja) * 2003-10-20 2005-05-12 Komatsu Ltd プレス成形品の欠陥検査装置
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2007007841A (ja) * 2005-05-30 2007-01-18 Riken Keiki Co Ltd 入退出監視システム
JP2011145839A (ja) * 2010-01-13 2011-07-28 Nippon Steel Corp 監視システム、装置、方法及びプログラム
JP2013071217A (ja) * 2011-09-28 2013-04-22 Nippon Steel & Sumitomo Metal Corp 危険区域への入退管理システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383753A (zh) * 2020-11-12 2021-02-19 江苏数字看点科技有限公司 一种产业园区的三维可视化管理系统
CN112383753B (zh) * 2020-11-12 2022-09-27 江苏数字看点科技有限公司 一种产业园区的三维可视化管理系统
CN113033361A (zh) * 2021-03-13 2021-06-25 杭州翔毅科技有限公司 一种基于环境可视的智能人机交互系统

Also Published As

Publication number Publication date
KR101989461B1 (ko) 2019-06-14
KR20190055446A (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
WO2011087278A2 (ko) 지역별 데이터 수집ㆍ기록 장치를 이용한 시설물 통합 관리시스템
WO2013085148A1 (en) Apparatus and method for eliminating noise in stereo image
WO2018048219A1 (ko) 무선통신망을 이용한 공장설비 관리 시스템 및 방법
CN103986855B (zh) 一种煤矿综采工作面用具有自除尘功能的摄像仪
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2014069812A1 (ko) 카메라 제어 방법과 그를 위한 카메라 제어 장치
WO2019098429A1 (ko) 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법
WO2019146849A1 (ko) 설비 진단 시스템을 이용한 설비 진단 방법
WO2020054905A1 (ko) 스마트글라스를 활용한 증강현실 설비 조립 가이드 시스템
JP2018185570A (ja) 遠隔支援システム
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
CN111126417A (zh) 一种数据中心机房管理方法及装置
WO2018117310A1 (ko) 이상소음 측정에 의한 사고예지 기능을 갖는 취출 로봇장치
CN209273445U (zh) 基于多视角视觉检测的机械臂急停保护装置
WO2021261905A1 (ko) 영상 분석 기반 작업 동작 인식 및 생산량 측정 장치와 그 방법
CN111923042B (zh) 机柜栅格的虚化处理方法及系统、巡检机器人
CN114565870A (zh) 一种基于视觉的生产线管控方法及装置、系统、电子设备
CN114152282A (zh) 一种可故障定位的通信机房自动巡检设备
CN107920207B (zh) 基于ppc软体改进aoi系统的图像传输系统及方法
KR20190028213A (ko) 스마트 모니터링 및 도장 시스템
WO2019124632A1 (ko) 압축영상에 대한 신택스 기반의 객체 배회 감지 방법
CN111901570A (zh) 皮带机岗位机器人
CN113358020A (zh) 一种机器视觉检测系统及方法
CN212096381U (zh) 监控工业机器人的奇点预测装置和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17932357

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17932357

Country of ref document: EP

Kind code of ref document: A1