KR20190055446A - 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법 - Google Patents

비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법 Download PDF

Info

Publication number
KR20190055446A
KR20190055446A KR1020170152179A KR20170152179A KR20190055446A KR 20190055446 A KR20190055446 A KR 20190055446A KR 1020170152179 A KR1020170152179 A KR 1020170152179A KR 20170152179 A KR20170152179 A KR 20170152179A KR 20190055446 A KR20190055446 A KR 20190055446A
Authority
KR
South Korea
Prior art keywords
person
robot
information
press
tracking
Prior art date
Application number
KR1020170152179A
Other languages
English (en)
Other versions
KR101989461B1 (ko
Inventor
이원희
정명환
김희년
Original Assignee
오토아이티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오토아이티(주) filed Critical 오토아이티(주)
Priority to KR1020170152179A priority Critical patent/KR101989461B1/ko
Priority to PCT/KR2017/013230 priority patent/WO2019098429A1/ko
Publication of KR20190055446A publication Critical patent/KR20190055446A/ko
Application granted granted Critical
Publication of KR101989461B1 publication Critical patent/KR101989461B1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Abstract

본 발명은 로봇 작업장 내에 사람이 진입하여 안전하게 작업을 마치고 로봇 작업장을 벗어났음을 외부에 정확하게 알려줄 수 있는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법을 제공한다.

Description

비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법{Safety system and Method for Robot working environment using vision system}
본 발명은 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법에 관한 것이다.
최근에는 다축 구동 로봇을 이용한 자동 제조시스템이 작업 현장에서 이용되고 있다. 작업장에는 각 요소부품의 형상 차이와 앞선 공정에서 공급되는 각 요소부품을 핸들링하기 위해 각 요소부품에 부응하는 복수의 로봇이 설치되고 부품 성형을 위해 복수의 프레스기가 설치된다.
한국등록특허 제10-1487166호에 따르면, 도 1에 도시한 바와 같이, 프레스 가공 시스템은 재료가 적재되는 디스태커(10), 디스태커(10)에 적재된 재료를 이송하는 재료이송로봇(20), 재료이송로봇(20)에 의해 이송된 재료가 안착되는 포지셔너(30), 포지셔너(30)에 안착되는 재료를 흡착하여 프레스기(51)에 공급시키는 재료공급로봇(40), 재료공급로봇(40)으로부터 재료를 공급받아 금형을 가압성형하는 프레스기(51), 성형품을 다음 공정의 프레스기(52, 53, 54)에 공급하는 성형품공급로봇(61, 62, 63), 성형완료된 제품을 컨베이어(71)로 반출시키는 제품반출로봇(70)을 포함하여 구성된다.
프레스기(51)에서 성형된 성형품은 성형품공급로봇(61)을 통해 다음 순번의 프레스기(52)에 공급되고, 프레스기(51)의 금형을 교환시키기 위해 프레스기(51)의 슬라이드를 하방으로 이동시킴과 동시에 성형품공급로봇(61)을 홈위치로 귀속시킨 후 성형품공급로봇(61)에 다음 제품 생산을 위한 툴 교체가 이루어지도록 구현되고 있다. 프레스 가공 시스템에 포함된 전체 장비들은 제품의 생산성을 향상시키기 위해 중단없이 지속적으로 작동된다.
한편, 프레스 가공 시스템에 포함된 프레스기, 로봇, 또는 컨베이어 등을 점검, 또는 수리를 위해 사람이 펜스(1)에 의해 구획되고, 펜스(1)에 설치된 출입문(2, 3, 4, 5, 6, 7)을 통해 로봇 작업장 내에 진입한다. 그런데 로봇 작업장 내에 진입한 사람은 외부에서 잘 식별이 되지 않는다. 프레스 가공 시스템 작업자는 미처 로봇 작업장 내에 진입한 사람을 확인하지 못하고 프레스 가공 시스템을 작동함으로써 불의의 인명사고를 발생하는 문제가 있었다.
한국등록특허 제10-1487166호(등록일 2015.01.22)
본 발명은 종래의 문제점을 해결하기 위해 제안된 것으로, 로봇 작업장 내에 사람이 진입하여 안전하게 작업을 마치고 로봇 작업장을 벗어났음을 외부에 정확히 알려줄 수 있는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법을 제공한다.
또한, 본 발명은 중앙 관리자가 전체 로봇 작업장의 관리일지를 실제 영상을 통해 확인하면서 작성할 수 있는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법을 제공한다.
본 발명의 다른 목적들은 이하의 실시예에 대한 설명을 통해 쉽게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 양상에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은, 프레스기 주변에 설정된 복수의 감시영역을 촬영하는 복수의 카메라모듈과; 상기 복수의 카메라모듈에서 입력받은 영상으로부터 프레스기 주변에 존재하는 사람을 검출 및 추적하며 카메라 식별정보와 영상을 포함하는 사람의 움직임 정보를 생성하는 사람 추적장치와; 상기 사람 추적장치로부터 사람의 움직임 정보를 입력받아 저장하고 사람이 인지할 수 있는 화면정보로 변환하여 출력하는 중앙 관리장치를 포함한다.
본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은, 프레스기와 로봇을 포함하는 복수의 프레스 라인이 펜스에 의해 구획되며, 상기 펜스에는 각 프레스 라인에 출입할 수 있도록 복수의 출입문이 이격되게 설치되는 로봇 작업장의 안전강화 시스템으로서,
상기 복수의 프레스 라인 각각은, 출입문 근처에 설치되는 제1 카메라모듈과, 프레스기 주변에 설정된 복수의 감시영역을 촬영하는 복수의 제2 카메라모듈과; 상기 제1, 제2 카메라모듈에서 입력받은 영상으로부터 사람을 검출 및 추적하며 로봇 작업장 내에 사람이 입장했는지, 로봇 작업장 내에서 작업중인지, 또는 퇴장했는지를 판단하고, 영상과 함께 사람 입장정보, 작업중 정보, 및 퇴장정보 중 어느 하나를 포함하는 사람의 움직임 정보를 생성하는 사람 추적장치를 포함하며,
상기 복수의 프레스 라인 각각으로부터 사람 추적장치 식별정보와 사람의 움직임 정보를 입력받아 외부장치로 출력하는 라인 감시장치와; 상기 라인 감시장치로부터 라인 감시장치 식별정보와 사람 추적장치 식별정보와 사람의 움직임 정보를 입력받아 저장하고 사람이 인지할 수 있는 화면정보로 변환하여 출력하는 중앙 관리장치를 포함한다.
본 발명에 따르면 사람 추적장치는, 사람이 로봇 작업장 내에 사람이 입장 후 퇴장 전에 프레스기 주변에 설정된 복수의 감시영역 내에서 사람 추적에 실패하면, 기존 누적된 움직임 정보를 이용하여 사람의 위치를 추정하거나 팬, 틸트, 줌(Pan, Tilt, Zoom) 제어신호를 카메라모듈로 전송한다.
본 발명에 따르면 중앙 관리장치는, 관리자 조작 입력에 따라 사람이 로봇 작업장에 진입한 목적정보(예: 고장수리, 정기점검, 부품교체)를 입력받아 로봇 작업장 관리일지를 생성하여 저장한다.
본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은, 사람 추적장치로부터 사람 입장, 작업중, 퇴장 중 어느 하나에 대응하는 알람신호를 입력받아 사람이 인지할 수 있는 신호로 변환하여 출력하는 알람부를 더 포함할 수 있다.
본 발명의 다른 양상에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 방법은, 프레스기 주변의 감시영역을 촬영하는 카메라모듈과 출입문 근처에 설치된 카메라모듈로부터 영상을 입력받아 영상저장부에 저장하고, 영상으로부터 사람이 검출되었는지를 판단하는 단계와; 판단결과 사람이 검출되면 복수의 감시영역 안에서 사람의 위치를 추적하는 단계와;
출입문 근처에 설치된 카메라모듈에서 사람 검출 및 추적정보가 입력되었는지를 판단하는 단계와; 판단결과 긍정이면 프레스기 주변의 감시영역을 촬영하는 카메라모듈로부터 사람 검출 및 추적정보가 입력되었는지를 판단하고 그 결과 긍정이면 사람이 로봇 작업장 내로 입장한 것으로 추정하고 사람 입장정보를 외부장치로 전송하는 단계와;
프레스기 주변의 감시영역을 촬영하는 카메라모듈과 출입문 근처에 설치된 카메라모듈로부터 영상을 입력받아 사람의 위치를 추적하면서 사람이 로봇 작업장 밖으로 퇴장하였는지를 판단하는 단계와; 판단결과 사람이 로봇 작업장 밖으로 퇴장하였다면, 사람 퇴장정보를 외부장치로 전송하는 단계를 포함한다.
본 발명에 따르면, 로봇 작업장 내에 사람이 진입하여 안전하게 작업을 마치고 로봇 작업장을 벗어났음을 외부에 정확히 알려줄 수 있다.
또한, 중앙 관리자가 전체 로봇 작업장의 관리일지를 실제 영상을 통해 확인하면서 작성할 수 있다.
도 1 은 프레스 가공 시스템의 배치상태를 설명하기 위한 예시도이다.
도 2, 도 3 은 프레스기의 주변부를 감시하는 카메라모듈의 배치 및 동작을 설명하기 위한 예시도이다.
도 4 는 프레스 가공 시스템에 설치되는 비전 시스템을 설명하기 위한 예시도이다.
도 5 는 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템의 구성을 설명하기 위한 예시도이다.
도 6 은 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템에 포함된 사람 추적장치의 구성을 설명하기 위한 예시도이다.
도 7 은 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 방법에 관한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에서 사용한 용어는 단지 특정 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하, 첨부된 도면을 참조하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 2, 도 3 은 프레스기(50)의 주변부를 감시하는 카메라모듈(21, 22, 23,2 4)의 배치 및 동작을 설명하기 위한 예시도이다.
로봇 작업장에 설치된 프레스기(50)는 상, 하부 금형 사이에 가공소재인 철판 등을 투입하여 철판을 성형하거나 절단하는 기계장치이다. 프레스기(50)의 주변부에 설치되는 로봇(60)은 포지셔너에 안착되는 재료를 흡착하여 프레스기(50)에 공급시키는 재료공급로봇 또는 프레스기(50)에서 성형된 성형품을 다음 공정의 프레스기에 공급하는 성형품공급로봇일 수 있다. 로봇 작업장에 설치된 프레스기(50)와 로봇(60)은 제품의 생산성을 향상시키기 위해 중단없이 지속적으로 작동된다.
카메라모듈(21, 22, 23, 24)은 프레스기(50)의 주변부를 감시하기 위해 설치된다. 도 2, 3에서 카메라모듈(21, 22, 23, 24)이 촬영하는 복수의 감시영역(A1, A2, A3, A41, A42)은 서로 중복될 수 있다. 그러나 카메라모듈(21, 22, 23, 24)은 프레스기(50)의 주변부, 즉 사람이 존재할 확률이 높은 공간을 향하도록 제어된다.
카메라모듈(21, 22, 23, 24)은 프레스기(50)와 로봇(60)을 점검, 또는 수리를 위해 사람이 진입하여 작업을 하는 경우에만 동작할 수도 있고, 항상 동작하도록 구현될 수도 있다. 도 2, 3을 참조하면, 카메라모듈(21, 22, 23, 24)은 외부장치로부터 입력되는 팬, 틸트, 줌(Pan, Tilt, Zoom) 제어신호에 따라 복수의 감시영역(A1, A2, A3, A41, A42)을 촬영할 수 있도록 수직, 수평으로 회전하도록 모터 또는 작동기를 포함할 수 있다. 예를 들어, 수직 회전 범위는 -90°∼＋40°를 포함하고, 수평 회전 범위는 0.1°∼100°를 포함하며 줌(Zoom) 정도에 따라 자동 조정될 수 있다. 일례로, 프레스기(50) 주변에 로봇(60)이 설치된 감시영역(A41, A42)을 촬영하는 카메라모듈(21, 24)만을 수직 또는 수평으로 회전할 수 있다.
카메라모듈(21, 22, 23, 24)은 아날로그 카메라, 디지털 카메라, 또는 IP 카메라로 구현될 수 있다. 아날로그 카메라는 동축 케이블을 사용하여 300미터까지 전송될 수 있는 CVBS(composite video baseband signal) 신호를 생성하여 출력한다.
디지털 카메라는 1.5Gbps 레이트로 동축 케이블을 통해 비압축 고화질 디지털 비디오를 전송하는데 사용될 수 있는 고화질 직렬 디지털 인터페이스(HD-SDI)를 지원하는데, 이런 고 전송 레이트에서 지원 가능한 케이블 거리는 100미터까지이다. IP 카메라는 압축 고화질 디지털 비디오를 전송한다.
IP 카메라에서 출력되는 복수의 비디오 신호에 대응하는 신호 주파수 대역은 CVBS(composite video baseband signal), 다운스트림, 및 업스트림을 포함한다. CVBS(composite video baseband signal) 신호는 SD급 아날로그 영상을 5MHz 대역까지 사용하며, 다운스트림은 18.75MHz를 중심으로 8MHz bandwidth를 가지며, 36Mbps의 전송 속도로 HD IP 영상 데이터를 전송한다. 업스트림은 39MHz를 중심으로 2.5MHz bandwidth를 가지며, 최대 11Mbps의 전송 속도로 카메라 제어신호 등의 데이터를 전송한다.
도 4 는 프레스 가공 시스템에 설치되는 비전 시스템을 설명하기 위한 예시도이다. 프레스 가공 시스템은 재료가 적재되는 디스태커(10), 디스태커(10)에 적재된 재료를 이송하는 재료이송로봇(20), 재료이송로봇(20)에 의해 이송된 재료가 안착되는 포지셔너(30), 포지셔너(30)에 안착되는 재료를 흡착하여 프레스기(51)에 공급시키는 재료공급로봇(40), 재료공급로봇(40)으로부터 재료를 공급받아 금형을 가압성형하는 프레스기(51), 성형품을 다음 공정의 프레스기(52, 53, 54)에 공급하는 성형품공급로봇(61, 62, 63), 성형완료된 제품을 컨베이어(71)로 반출시키는 제품반출로봇(70)을 포함하여 구성될 수 있다.
프레스 가공 시스템은 펜스(1)에 의해 구획되며, 펜스(1)에는 출입문(2, 3, 4, 5, 6, 7)이 설치된다. 프레스 가공 시스템에 설치되는 비전 시스템은 각 출입문(2, 3, 4, 5, 6, 7) 근처에 설치되는 복수의 카메라모듈(311, 321, 331, 341, 351)과 각 프레스기(51, 52, 53, 54) 주변에 설치되는 복수의 카메라모듈(312 내지 315, 322 내지 325, 332 내지 335, 342 내지 345)과 컨베이어(71) 주변에 설치되는 복수의 카메라모듈(352 내지 355)을 포함할 수 있다.
각 출입문(2, 3, 4, 5, 6, 7) 근처에 설치되는 복수의 카메라모듈(311, 321, 331, 341, 351)은 사람이 프레스 가공 시스템 내부로 사람이 입장했는지 및 퇴장했는지에 대한 정보를 검출하고 추적할 수 있도록 영상정보를 제공한다. 각 프레스기(51, 52, 53, 54) 주변에 설치되는 복수의 카메라모듈(312 내지 315, 322 내지 325, 332 내지 335, 342 내지 345)은 프레스기(50)의 주변부, 즉 사람이 존재할 확률이 높은 공간을 향하도록 제어된다. 각 프레스기(51, 52, 53, 54) 주변에 설치되는 복수의 카메라모듈(312 내지 315, 322 내지 325, 332 내지 335, 342 내지 345)은 프레스기와 로봇(40, 61, 62, 63, 70)을 점검, 또는 수리를 위해 사람이 진입하는 경우에만 동작할 수도 있고, 항상 동작하도록 구현될 수도 있다.
도 4 에는 도시하지 않았지만, 복수의 카메라모듈과 아날로그 동축케이블 또는 트위스티드페어케이블을 통해 연결되는 네트워크 비디오 레코더(NVR)이 설치될 수 있다. 네트워크 비디오 레코더(NVR)는 카메라모듈이 연결되면, 카메라모듈과 자동으로 IP 어드레스를 셋팅하고 통신을 수행하는 장치이다. 네트워크 비디오 레코더(NVR)(300)는 카메라모듈과 연결되는 아날로그 동축케이블의 헤더가 삽입되는 복수개의 포트(PORT)와, 포트(PORT)와 연결되는 SLOC-R 모뎀과, 이더넷 스위치와, 호스트 프로세서와, 비디오 컨트롤러와, 아날로그 비디오 디코더를 포함하여 구현될 수 있다.
SLOC-R 모뎀은 카메라모듈로부터 카메라 식별번호와 비디오 신호를 포함하는 출력 신호가 입력되면, 출력 신호에 포함된 기저대역 비디오 신호 및 디지털 비디오 신호를 주파수에 의해 분리하여, 디지털 비디오 신호로부터 왜곡을 제거하고, 기저대역 비디오 신호의 감쇄를 보상하여 출력한다. 이더넷 스위치는 카메라모듈과 연결되는 아날로그 동축케이블의 헤더가 포트(PORT)에 삽입되었는지를 감지한다. 호스트 프로세서는 SLOC-R 모뎀으로부터 디지털 비디오 신호를 수신하여 저장부(HDD, USB)에 저장하며, 디지털 비디오 디코더로 디지털 비디오 신호를 제공하고, 업스트림 데이터를 SLOC-R 모뎀에 제공한다.
도 5 는 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템의 구성을 설명하기 위한 예시도이고, 도 6 은 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템에 포함된 사람 추적장치의 구성을 설명하기 위한 예시도이다.
본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은 복수의 카메라모듈(411 내지 415)과 사람 추적장치(416)를 포함하여 구현된다. 카메라모듈(411 내지 415)은 프레스기와 로봇 주변에 사각지대가 없도록 설치된다. 카메라모듈(411 내지 415)은 프레스기와 로봇을 점검, 또는 수리를 위해 사람이 진입하여 작업을 하는 경우에만 동작할 수도 있고, 항상 동작하도록 구현될 수도 있다. 카메라모듈(411 내지 415)은 아날로그 카메라, 디지털 카메라, 또는 IP 카메라로 구현될 수 있다. 사람 추적장치(416)는 카메라모듈(411 내지 415)로부터 촬영된 영상정보를 이용하여 프레스기와 로봇 주변에 사람을 검출하고 검출한 사람의 움직임을 추적한다.
로봇 작업장은 복수의 프레스 라인(S1 내지 S9)이 펜스(1)에 의해 구획되어 생산 공정별로 관리된다. 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 시스템은 예를 들어, 도 5에 도시한 바와 같이, 복수의 라인 감시장치(401, 402, 403)와 중앙 관리장치(500)를 포함하여 구현될 수 있다. 각 라인 감시장치(401, 402, 403)는 복수의 사람 추적장치로부터 사람의 움직임 정보와 영상정보를 입력받아 개별 모니터 화면에 표시하거나, 중앙 관리장치(500)로 전달하도록 구현될 수 있다. 예를 들어, 제1 라인 감시장치(401)는 복수의 프레스 라인(S1, S2, S3)에 설치된 각 사람 추적장치(416, 426, 436)에서 사람의 움직임 정보(예: 진입, 작업중, 퇴장)가 입력되면 움직임 정보가 발생한 시각과 영상정보를 모니터 화면에 표시할 수 있다.
중앙 관리장치(500)는 복수의 라인 감시장치(401, 402, 403)로부터 사람의 움직임 정보가 발생한 시각과 영상정보와 사람 추적장치 식별정보를 포함하는 사람의 움직임 정보(예: 진입, 작업중, 퇴장)를 입력받아 저장하며, 감시화면에 표시할 수 있다. 관리자는 저장된 사람의 움직임 정보를 이용하여 사람이 로봇 작업장에 진입 목적정보(예: 고장수리, 정기점검, 부품교체)를 입력할 수 있다. 이에 따라 중앙 관리장치(500)는 각 로봇 작업장의 프레스기 및 로봇의 상태점검, 부품교체, 및 수리내용을 포함하는 관리일지를 생성하여 저장할 수 있다.
이하, 본 발명에 따른 사람 추적장치를 도 6을 참조하여 설명하기로 한다. 도 6에서 사람 추적장치(416)는 복수의 카메라모듈(411 내지 415)과 연결되는 인터페이스(4161)와 영상처리부(4162)와 영상저장부(4163)와 안전제어부(4164)와 통신부(4165)와 알람부(4166)를 포함하여 구현될 수 있다.
인터페이스(4161)는 일례로 아날로그 동축케이블 또는 트위스티드페어케이블의 헤더가 삽입되는 복수의 포트(PORT)와, 포트(PORT)와 연결되는 SLOC-R 모뎀과, 이더넷 스위치로 구현될 수 있다. SLOC-R 모뎀은 IP 카메라(100)로부터 출력 신호가 입력되면, 출력 신호에 포함된 기저대역 비디오 신호 및 디지털 비디오 신호를 주파수에 의해 분리하여, 디지털 비디오 신호로부터 왜곡을 제거하고, 기저대역 비디오 신호의 감쇄를 보상하여 출력한다. 이더넷 스위치는 카메라모듈과 연결되는 케이블의 헤더가 포트(PORT)에 삽입되었는지를 감지한다.
영상처리부(4162)는 인터페이스(4161)를 통해 수신된 데이터 중 녹화용 HD 압축 영상을 영상저장부(4163)에 저장한다. 영상처리부(4162)는 압축 영상 복호기를 통해 수신된 데이터를 복원한 후 복원된 영상으로부터 사람을 검출하는 사람 검출부와 검출된 사람의 위치를 추적하는 위치 추적부를 포함한다.
사람 검출부는 영상으로부터 사람 검출의 후보영역인 움직임 영역을 검출하고, 검출한 움직임 영역이 사람영역인지 아닌지 인식한다. 일례로, 움직임 영역 검출은 배경만이 존재하는 일정 길이의 화면들로부터 배경영역에 관한 통계적 특성을 계산한 다음, 새로이 입력되는 영상의 통계적 특성과 서로 비교하여 움직임이 있다고 판단되는 화소들을 검출하고, 이 화소들로 연결성분표식(connected component labeling) 기법을 이용하여 이동 물체의 영역을 분할하고, 이러한 동작을 화면마다 실시하여 움직임 영역을 검출할 수 있다. 추가로, 움직임 영역 검출 알고리즘은 물체의 색상정보를 이용할 수 있다. 이러한 움직임 영역 검출 알고리즘은 HOG(Histogram of Oriented Gradients) 알고리즘 등 공지된 다양한 기법을 적용할 수 있다.
검출한 움직임 영역이 사람영역인지를 인지하는 방법은 사람 검출의 후보 영역인 머리에서 어깨까지 영역의 기울기 히스토그램을 생성하여 화소 단위 기울기의 방향 및 크기를 구하고, 추출된 화소 단위 기울기의 방향 및 크기의 값을 셀 단위로 정규화하는 과정을 거쳐 특징벡터를 구하고, 미리 정의한 사람영역 특징벡터와 비교하여 일정한 확률값 이상으로 유사한지를 판단하는 방법으로 구현될 수 있다.
위치 추적부는 사람영역의 중심 좌표를 시간에 따른 사람영역의 궤적으로 계산하여 인식된 사람영역을 추적한다. 위치 추적부는 작업장 내에서 사람이 움직이지 않거나 가림 현상이 발생하였으면 기존 누적된 움직임 정보를 이용하여 사람의 위치를 추정할 수 있다.
안전제어부(4164)는 카메라모듈(411 내지 415)로 카메라 제어신호를 전송하며, 영상처리부에서 카메라 식별정보와 사람 추적 정보가 입력되면 사람의 움직임 정보(예: 진입, 작업중, 퇴장)를 생성하여 통신부(4165)를 통해 제1 라인 감시장치(401)로 전송한다. 또한 안전제어부(4164)는 사람의 움직임 정보(예: 진입, 작업중, 퇴장)를 알람부(4166)를 통해 출력한다. 알람부(4166)는 출입문 근처에 설치되며, 안전제어부(4164)로부터 사람 입장, 작업중, 퇴장 중 어느 하나에 대응하는 알람신호를 입력받아 사람이 인지할 수 있는 신호로 변환하여 출력한다. 일례로 LED 다이오드 또는 LCD 디스플레이로 구현될 수 있다.
안전제어부(4164)는 출입문을 통해 진입하는 사람의 위치를 추적하면서 카메라모듈(411 내지 415)의 동작을 제어하는 제어신호를 생성하고 이를 카메라모듈(411 내지 415)로 전송할 수 있다.
도 7 은 본 발명에 따른 비전 시스템을 이용한 로봇 작업장 안전강화 방법에 관한 흐름도이다. 예를 들어 프레스 가공 시스템에 설치되는 비전 시스템은 도 4에 도시한 바와 같이, 각 출입문(2, 3, 4, 5, 6, 7) 근처에 설치되는 복수의 카메라모듈(311, 321, 331, 341, 351)과 각 프레스기(51, 52, 53, 54) 주변에 설치되는 복수의 카메라모듈(312 내지 315, 322 내지 325, 332 내지 335, 342 내지 345)과 컨베이어(71) 주변에 설치되는 복수의 카메라모듈(352 내지 355)을 포함하는 것을 가정한다.
먼저, 비전 시스템을 이용한 로봇 작업장 안전강화 방법은 복수의 카메라모듈(352 내지 355)과 연결되는 사람 추적장치를 구동한 후, 카메라모듈을 구동한다(S711). 일례로 사람 추적장치는 출입문 오픈신호가 입력되면 카메라모듈을 휴면모드(Idle Mode)에서 활성모드(Active Mode)로 변환되도록 제어할 수 있다. 다른 예로, 카메라모듈은 항상 구동하도록 구현될 수 있다.
이후, 사람 추적장치는 카메라모듈로부터 영상을 입력받아 영상저장부에 저장하고(S712), 영상으로부터 사람이 검출되었는지를 판단한다(S713). 판단결과 사람이 검출되면 복수의 감시영역 안에서 사람의 위치를 추적한다(S714).
이후, 사람 추적장치는 출입문 근처에 설치된 카메라모듈에서 전송된 영상으로부터 사람이 로봇 작업장 내로 입장하였는지, 작업장 밖으로 퇴장하였는지를 판단한다(S715, S721). 사람 추적장치는 단계 S715 또는 단계 S721에서 사람의 움직임 정보(예: 입장, 퇴장)를 외부장치로 전송한다(S716, S722). 일례로, 외부장치는 출입문 근처에 설치되는 LED 다이오드 또는 LCD 디스플레이일 수 있다. 다른 예로, 외부장치는 중앙 관리장치가 될 수 있다.
단계 S716 이후 사람 추적장치는 사람 추적이 실패하였는지를 판단한다(S717). 사람 추적 실패는 예를 들어, 작업장 내에서 사람이 움직이지 않거나 가림 현상이 발생하여 현재 화면에서의 사람영역을 미리 정의한 사람영역 특징벡터와 비교하여 일정한 확률값 이하가 되는 것이다.
사람 추적장치는 사람 추적에 실패하였다면 복수의 감사 영역 안에서 사람의 위치를 추정한다(S718). 일례로, 기존 누적된 움직임 정보를 이용하여 사람의 위치를 추정할 수 있다. 다른 예로, 사람 추적장치는 팬, 틸트, 줌(Pan, Tilt, Zoom) 제어신호를 카메라모듈로 전송하여 각 카메라모듈의 촬영위치를 변경하여 사람을 검출하고 위치를 추적할 수 있다.
지금까지, 본 명세서에는 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자가 본 발명을 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술분야에 통상의 지식을 지닌 자라면 본 발명의 실시예들로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위에 의해서만 정해져야 할 것이다.
50 : 프레스기
60 : 성형품공급로봇
21, 22, 23, 24 : 카메라모듈

Claims (6)

  1. 프레스기 주변에 설정된 복수의 감시영역을 촬영하는 복수의 카메라모듈과;
    상기 복수의 카메라모듈에서 입력받은 영상으로부터 프레스기 주변에 존재하는 사람을 검출 및 추적하며 카메라 식별정보와 영상을 포함하는 사람의 움직임 정보를 생성하는 사람 추적장치와;
    상기 사람 추적장치로부터 사람의 움직임 정보를 입력받아 저장하고 사람이 인지할 수 있는 화면정보로 변환하여 출력하는 중앙 관리장치;
    를 포함하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  2. 프레스기와 로봇을 포함하는 복수의 프레스 라인이 펜스에 의해 구획되며, 상기 펜스에는 각 프레스 라인에 출입할 수 있도록 복수의 출입문이 이격되게 설치되는 로봇 작업장의 안전강화 시스템으로서,
    상기 복수의 프레스 라인 각각은,
    출입문 근처에 설치되는 제1 카메라모듈과, 프레스기 주변에 설정된 복수의 감시영역을 촬영하는 복수의 제2 카메라모듈과;
    상기 제1, 제2 카메라모듈에서 입력받은 영상으로부터 사람을 검출 및 추적하며 로봇 작업장 내에 사람이 입장했는지, 로봇 작업장 내에서 작업중인지, 또는 퇴장했는지를 판단하고, 영상과 함께 사람 입장정보, 작업중 정보, 및 퇴장정보 중 어느 하나를 포함하는 사람의 움직임 정보를 생성하는 사람 추적장치를 포함하며,
    상기 복수의 프레스 라인 각각으로부터 사람 추적장치 식별정보와 사람의 움직임 정보를 입력받아 외부장치로 출력하는 라인 감시장치와;
    상기 라인 감시장치로부터 라인 감시장치 식별정보와 사람 추적장치 식별정보와 사람의 움직임 정보를 입력받아 저장하고 사람이 인지할 수 있는 화면정보로 변환하여 출력하는 중앙 관리장치;
    를 포함하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  3. 청구항 1 또는 청구항 2 에 있어서,
    상기 사람 추적장치는,
    사람이 로봇 작업장 내에 사람이 입장 후 퇴장 전에 프레스기 주변에 설정된 복수의 감시영역 내에서 사람 추적에 실패하면, 기존 누적된 움직임 정보를 이용하여 사람의 위치를 추정하거나 팬, 틸트, 줌(Pan, Tilt, Zoom) 제어신호를 카메라모듈로 전송하는 것,
    을 특징으로 하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  4. 청구항 1 또는 청구항 2 에 있어서,
    상기 중앙 관리장치는,
    관리자 조작 입력에 따라 사람이 로봇 작업장에 진입한 목적정보를 입력받아 로봇 작업장 관리일지를 생성하여 저장하는 것,
    을 특징으로 하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  5. 청구항 1 또는 청구항 2 에 있어서,
    상기 사람 추적장치로부터 사람 입장, 작업중, 퇴장 중 어느 하나에 대응하는 알람신호를 입력받아 사람이 인지할 수 있는 신호로 변환하여 출력하는 알람부;
    를 더 포함하는 비전 시스템을 이용한 로봇 작업장 안전강화 시스템.
  6. 프레스기 주변의 감시영역을 촬영하는 카메라모듈과 출입문 근처에 설치된 카메라모듈로부터 영상을 입력받아 영상저장부에 저장하고, 영상으로부터 사람이 검출되었는지를 판단하는 단계와;
    판단결과 사람이 검출되면 복수의 감시영역 안에서 사람의 위치를 추적하는 단계와;
    출입문 근처에 설치된 카메라모듈에서 사람 검출 및 추적정보가 입력되었는지를 판단하는 단계와;
    판단결과 긍정이면 프레스기 주변의 감시영역을 촬영하는 카메라모듈로부터 사람 검출 및 추적정보가 입력되었는지를 판단하고 그 결과 긍정이면 사람이 로봇 작업장 내로 입장한 것으로 추정하고 사람 입장정보를 외부장치로 전송하는 단계와;
    프레스기 주변의 감시영역을 촬영하는 카메라모듈과 출입문 근처에 설치된 카메라모듈로부터 영상을 입력받아 사람의 위치를 추적하면서 사람이 로봇 작업장 밖으로 퇴장하였는지를 판단하는 단계와;
    판단결과 사람이 로봇 작업장 밖으로 퇴장하였다면, 사람 퇴장정보를 외부장치로 전송하는 단계;
    를 포함하는 비전 시스템을 이용한 로봇 작업장 안전강화 방법.


KR1020170152179A 2017-11-15 2017-11-15 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법 KR101989461B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170152179A KR101989461B1 (ko) 2017-11-15 2017-11-15 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법
PCT/KR2017/013230 WO2019098429A1 (ko) 2017-11-15 2017-11-21 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170152179A KR101989461B1 (ko) 2017-11-15 2017-11-15 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190055446A true KR20190055446A (ko) 2019-05-23
KR101989461B1 KR101989461B1 (ko) 2019-06-14

Family

ID=66539080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170152179A KR101989461B1 (ko) 2017-11-15 2017-11-15 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101989461B1 (ko)
WO (1) WO2019098429A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383753B (zh) * 2020-11-12 2022-09-27 江苏数字看点科技有限公司 一种产业园区的三维可视化管理系统
CN113033361A (zh) * 2021-03-13 2021-06-25 杭州翔毅科技有限公司 一种基于环境可视的智能人机交互系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035627A1 (en) * 2005-08-11 2007-02-15 Cleary Geoffrey A Methods and apparatus for providing fault tolerance in a surveillance system
JP2011145839A (ja) * 2010-01-13 2011-07-28 Nippon Steel Corp 監視システム、装置、方法及びプログラム
JP2013071217A (ja) * 2011-09-28 2013-04-22 Nippon Steel & Sumitomo Metal Corp 危険区域への入退管理システム
KR101487166B1 (ko) 2014-06-13 2015-01-29 아진산업(주) 텐덤 프레스 가공 시스템 및 금형교환방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005121599A (ja) * 2003-10-20 2005-05-12 Komatsu Ltd プレス成形品の欠陥検査装置
JP4759988B2 (ja) * 2004-11-17 2011-08-31 株式会社日立製作所 複数カメラを用いた監視システム
JP5014657B2 (ja) * 2005-05-30 2012-08-29 理研計器株式会社 入退出監視システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035627A1 (en) * 2005-08-11 2007-02-15 Cleary Geoffrey A Methods and apparatus for providing fault tolerance in a surveillance system
JP2011145839A (ja) * 2010-01-13 2011-07-28 Nippon Steel Corp 監視システム、装置、方法及びプログラム
JP2013071217A (ja) * 2011-09-28 2013-04-22 Nippon Steel & Sumitomo Metal Corp 危険区域への入退管理システム
KR101487166B1 (ko) 2014-06-13 2015-01-29 아진산업(주) 텐덤 프레스 가공 시스템 및 금형교환방법

Also Published As

Publication number Publication date
KR101989461B1 (ko) 2019-06-14
WO2019098429A1 (ko) 2019-05-23

Similar Documents

Publication Publication Date Title
EP2903005A1 (en) Video event recording system
JP2002049414A (ja) 産業用機械の保全方法及び保全システム
CN109996182B (zh) 一种基于uwb定位与监控结合的定位方法、装置及系统
KR101989461B1 (ko) 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법
CN110995808B (zh) 基于泛在电力物联网的电网基建现场安全动态管控系统
KR20090026937A (ko) 복수의 이벤트 영상을 표시하는 통합 감시 시스템 및 이를이용한 복수의 이벤트 영상 표시 방법
KR20190052580A (ko) 변전소 화상 감시 장치 및 방법
CN111126417A (zh) 一种数据中心机房管理方法及装置
KR102202629B1 (ko) 지능형 로봇 안전관리 시스템 및 그것의 동작 방법
CN113344965A (zh) 基于图像采集的安全管理系统
CN112911221A (zh) 一种基于5g和vr视频的远程实景仓储监管系统
JP2008217608A (ja) 産業機械の遠隔監視システム及び方法
CN106846302B (zh) 一种工具正确取件的检测方法及基于此方法的考核台
CN114565870A (zh) 一种基于视觉的生产线管控方法及装置、系统、电子设备
CN113570580A (zh) 基于机器视觉的电力设备部件松动识别系统及方法
KR20190028213A (ko) 스마트 모니터링 및 도장 시스템
CN114387542A (zh) 一种基于便携布控球的视频采集单元异常识别系统
Stankov et al. An application of deep neural networks in industrial robotics for detection of humans
KR101332820B1 (ko) 객체 추적 시스템 및 방법, 객체관리장치 및 그 장치의 구동방법, 촬영장치 및 그 장치의 구동방법
WO2022234668A1 (ja) 稼働管理装置
CN110666792A (zh) 一种基于信息融合的多点位协操控制作装配装置及装配方法
CN212096381U (zh) 监控工业机器人的奇点预测装置和系统
KR20020015505A (ko) 지능형 로보틱 카메라 및 그 분산 제어장치
JP2015204506A (ja) カメラ制御システム
KR20220138890A (ko) 도장공정

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant