KR102202629B1 - 지능형 로봇 안전관리 시스템 및 그것의 동작 방법 - Google Patents

지능형 로봇 안전관리 시스템 및 그것의 동작 방법 Download PDF

Info

Publication number
KR102202629B1
KR102202629B1 KR1020200047708A KR20200047708A KR102202629B1 KR 102202629 B1 KR102202629 B1 KR 102202629B1 KR 1020200047708 A KR1020200047708 A KR 1020200047708A KR 20200047708 A KR20200047708 A KR 20200047708A KR 102202629 B1 KR102202629 B1 KR 102202629B1
Authority
KR
South Korea
Prior art keywords
image information
management system
safety management
human body
intelligent robot
Prior art date
Application number
KR1020200047708A
Other languages
English (en)
Inventor
박부영
이종훈
송광호
권태익
Original Assignee
(주)시그너스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)시그너스 filed Critical (주)시그너스
Priority to KR1020200047708A priority Critical patent/KR102202629B1/ko
Application granted granted Critical
Publication of KR102202629B1 publication Critical patent/KR102202629B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00362—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06K2209/055—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Manipulator (AREA)

Abstract

본 일 실시 예에 따른 지능형 로봇 안전관리 시스템은, 감지영역과 연관된 제1 이미지 정보를 캡처하는 카메라 장치; 제1 이미지 정보를 기반으로 이미지 전처리를 수행하여 제2 이미지 정보를 생성하고, 제2 이미지 정보를 기반으로 감지 영역 내 미리 설정된 적어도 하나의 위험 영역에서 복수의 관절점을 추적하고, 추적된 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과하는지 여부에 따라 알람 신호를 생성하는 제어 장치; 및 알람 신호에 따라 알람 경보를 제공하는 경고 장치를 포함한다.

Description

지능형 로봇 안전관리 시스템 및 그것의 동작 방법{INTELLIGENT ROBOT SAFETY MANAGEMENT SYSTEM AND OPERATING METHOD THEREFOR}
본 명세서는 지능형 로봇 안전관리 시스템 및 그것의 동작 방법에 관한 것으로, 더 구체적으로는 카메라로부터 획득된 이미지에 대하여 딥러닝(deep learning) 기반 골격 추출 알고리즘을 적용하여 작업 환경 내 위험영역에 사람의 존재 여부를 판단할 뿐만 아니라 특정 조건이 만족되면 경보 신호를 생성할 수 있는 지능형 로봇 안전관리 시스템 및 그것의 동작 방법에 관한 것이다.
제조공정의 대형화·라인화·자동화 등 자동화 설비가 크게 증가하고 있으나 그에 상응하여 관련 재해 사고 위험성 역시 증가하고 있다. 특히, 일정규모 이상 컨베이어와 사고위험성이 높은 산업용 로봇에 대한 안전검사 도입이 필요하다.
종래 대부분의 작업장에는 작업자의 출입을 방지를 위한 안전매트 또는 근로자의 임의출입이 불가능한 개구부가 없는 1.8m 이상의 방책을 설치하여 왔으나, 자동화 설비의 동작 오류를 유발하는 원자재 또는 제품의 재조정, 로봇 주변의 청소, 지그 등에 이물질 제거 및 공구 등의 교환 등을 위하여 가동범위 내로 사물을 진입시켜야 할 필요가 있다.
종래 제안으로 유압 로봇들 부근에 있을 때 움직임을 탐지하기 위한 인간 모션 센서들의 사용에 관한 공개특허 제10-2018-0013757 호를 참조할 수 있다.
본 명세서의 목적은, 카메라로부터 획득된 이미지에 대하여 딥러닝(deep learning) 기반 골격 추출 알고리즘을 적용하여 작업 환경 내 위험영역에 사람의 존재 여부에 관한 판단을 기반으로 경보 신호를 제공하여 작업자의 안전 확보에 유리한 지능형 로봇 안전관리 시스템 및 그것의 동작 방법이 제공될 수 있다.
본 일 실시 예에 따른 지능형 로봇 안전관리 시스템은, 감지영역과 연관된 제1 이미지 정보를 캡처하는 카메라 장치; 제1 이미지 정보를 기반으로 이미지 전처리를 수행하여 제2 이미지 정보를 생성하고, 제2 이미지 정보를 기반으로 감지 영역 내 미리 설정된 적어도 하나의 위험 영역에서 복수의 관절점을 추적하고, 추적된 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과하는지 여부에 따라 알람 신호를 생성하는 제어 장치; 및 알람 신호에 따라 알람 경보를 제공하는 경고 장치를 포함한다.
한편, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템의 동작 방법은, 카메라 장치로부터 감지영역과 연관된 제1 이미지 정보를 캡처하는 단계; 제1 이미지 정보를 기반으로 이미지 전처리를 수행하여 제2 이미지 정보를 생성하는 단계; 제2 이미지 정보를 기반으로 감지영역 내 미리 설정된 적어도 하나의 위험 영역에서 복수의 관절점을 추적하는 단계; 복수의 관절점이 추적될 때, 추적된 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과하는지 여부를 판단하는 단계; 및 유사도가 임계 값을 초과할 때, 알람 경보를 제공하는 단계를 포함한다.
본 일 실시 예에 따르면, 기존 상용화된 안전센서의 설치가 어려운 자동화 공정에서 산업용 로봇의 운전 중 수행되는 교시, 수리, 검사, 조정, 청소, 급유 또는 작업 결과에 대한 확인 과정에서 발생할 수 있는 협착 사고의 발생 가능성을 감소시켜 작업자의 안전 확보에 유리한 지능형 로봇 안전관리 시스템 및 그것의 동작 방법이 제공될 수 있다.
또한, 본 일 실시 예에 따르면, 작업자와 사물의 구분이 가능하기 때문에 원자재 투입 공정 또는 제품 재조정 공정 시 생산 가동 중단 없이 로봇의 가동 범위 내로 사물 진입이 가능하기 때문에 공장 가동률 손실을 최소화할 수 있는 지능형 로봇 안전관리 시스템 및 그것의 동작 방법이 제공될 수 있다.
또한, 본 일 실시 예에 따르면, 작업 환경 내 위험영역의 설정 및 변경이 손쉽고 간편하게 설치가 가능할 뿐만 아니라 산업용 로봇, 협동용 로봇, 건설 현장 및 보호 지역 등 다양한 산업현장에 적용될 수 있는 지능형 로봇 안전관리 시스템 및 그것의 동작 방법이 제공될 수 있다.
도 1은 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템의 전체 시스템 블록도를 보여준다.
도 2는 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템의 위험구역의 편집 기능을 설명하기 위한 도면이다.
도 3은 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템의 동작 방법을 보여주는 순서도이다.
도 4 및 도 5는 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템의 사람인식 동작을 설명하기 위한 도면이다.
도 6는 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템에 의해 제공되는 유저 인터페이스의 예시적인 화면이다.
전술한 특성 및 이하 상세한 설명은 모두 본 명세서의 설명 및 이해를 돕기 위한 예시적인 사항이다. 즉, 본 명세서는 이와 같은 실시 예에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 명세서를 완전히 개시하기 위한 예시이며, 본 명세서가 속하는 기술 분야의 통상의 기술자들에게 본 명세서를 전달하기 위한 설명이다. 따라서, 본 명세서의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이들 방법 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 명세서의 구현이 가능함을 분명히 할 필요가 있다.
본 명세서에서 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 명세서의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.
본 명세서에서 사용되는 용어들은 본 명세서가 속하는 기술 분야의 통상의 기술자들이 일반으로 이해하는 의미를 갖는다. 보편적으로 사용되는 용어들은 본 명세서의 맥락에 따라 일관적인 의미로 해석되어야 한다. 또한, 본 명세서에서 사용되는 용어들은, 그 의미가 명확히 정의된 경우가 아니라면, 지나치게 이상적이거나 형식적인 의미로 해석되지 않아야 한다. 이하 첨부된 도면을 통하여 본 명세서의 실시 예가 설명된다.
도 1은 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템의 전체 시스템 블록도를 보여준다.
도 1을 참조하면, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템(100)은 카메라 장치(110), 제어 장치(120), 경고 장치(130) 및 비상 스위치(140)를 포함할 수 있다.
카메라 장치(110)는 감지 영역과 연관된 제1 이미지 정보를 캡처할 수 있다. 예를 들어, 카메라 장치(110)는 미리 설정된 초당 프레임 수(Frames Per Second)에 따라 제1 이미지 정보를 캡처할 수 있다.
카메라 장치(110)는 감지 영역과 연관된 제1 이미지 정보를 제어 장치(120)로 전달할 수 있다. 즉, 카메라 장치(110)는 작업 설비가 동작하는 제조 현장에서 감시가 필요한 감지 영역으로부터 영상을 획득하는 장치로 이해될 수 있다.
기존 모션 인식 기능이 복수의 비전 센서를 기반으로 구현되는 반면, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템은 단일 센서인 카메라 장치(110)만 요구되기 때문에, 기존 센서 대비 단순한 회로로 인하여 설비 오작동의 가능성이 줄어들 수 있다.
제어장치(120)는 지능형 로봇 안전관리 시스템(100)의 전반적인 동작을 제어할 수 있다.
예를 들어, 제어 장치(120)는 카메라 장치(110)와 연결되고, 카메라 장치(110)로부터 수신된 제1 이미지 정보에 대한 전처리(preprocessing)를 수행하여 제2 이미지 정보를 생성할 수 있다. 여기서, 제2 이미지 정보는 인체 추출 알고리즘에 적합한 상태로 처리된 2차원 화면 이미지로 이해될 수 있다.
제어 장치(120)와 카메라 장치(110)는 이더넷 전원 장치(Power of Ethernet, 이하 'PoE')에 상응하고, 제어 장치(120)와 카메라 장치(110) 간 연결은 IEEE 802.3af 및 802.3at 표준문서에서 정의된 프로토콜을 기반으로 구현될 수 있다. 이 경우, 제어 장치(120)는 전원을 공급하는 장비이고, 카메라 장치(110)는 전원을 공급받는 장치로 이해될 수 있다.
또한, 제어 장치(120)에는 인체 추출 알고리즘이 탑재되고, 제어 장치(120)는 인체 추출 알고리즘을 위해 적어도 하나의 위험 영역에서 인체와 연관된 복수의 관절점을 추적할 수 있다.
여기서, 적어도 하나의 위험 영역은 카메라 장치(110)로부터 캡처된 감지 영역과 관련된 제1 이미지 정보를 기반으로 관리자의 모니터 상에 구현된 영상에서 다각형 또는 원형으로 설정되는 영역으로 이해될 수 있다.
일 예로, 복수의 관절점이 추적될 때, 제어 장치(120)는 해당 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과하는지 여부를 판단할 수 잇다.
만일 추적된 복수의 관절점과 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과한다고 판단될 때, 제어 장치(120)는 알람 신호를 경고 장치(130)로 전달할 수 있다.
한편, 제어 장치(120)는 카메라 장치(110)에 의해 캡처되는 감지 영역 내에서 적어도 하나의 위험 영역을 설정할 수 있는 기능뿐만 아니라 위험 영역을 편집할 수 있는 기능을 제공할 수 있다.
도 1에서 언급되는 제어 장치(120)는 모니터 및 개인용 컴퓨터(Personal Computer)를 포함할 수 있다.
또한, 제어 장치(120)는 지능형 로봇 안전관리 시스템과 로봇 장치에 상응하는 PLC 장치(1)와 연동을 위한 데이터 게더링(data gathering)을 수행할 뿐만 아니라 PLC 장치(1)를 위한 제어 신호를 전달할 수 있다.
일 예로, 추적된 복수의 관절점과 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과한다고 판단될 때, 제어 장치(120)는 PLC 장치(1)의 동작을 정지시킬 수 있는 제어 신호를 PLC 장치(1)로 전달할 수 있다.
경고 장치(130)는 알람 신호에 따라 알람 경보를 제공할 수 있으며, 램프(lamp) 및 사이렌(siren) 동작을 수행하도록 구현될 수 있다. 경고 장치(130)는 별도의 전원 장치로부터 직류 전원을 공급받아 동작할 수 있음은 이해될 것이다.
비상 스위치(140)는 정상 작동 시에는 OFF 상태에 위치하며, 작업자가 위험 구역 내에 접근한 것을 관리자가 육안으로 확인한 경우와 같은 긴급 상황에서 ON 버튼을 누름으로써 PLC 장치(1)의 동작을 수동으로 정지시킬 수 있는 구성으로 이해될 수 있다.
본 일 실시 예에 따르면, 기존 개구부 출입 감지를 위해 광 센서로 구현된 라이트 커튼 방식이 지닌 변칙 사용 및 작업 파렛트와 사람이 함께 출입 시 사람 인식이 불가능한 한계를 극복할 수 있기 때문에 작업자의 안전 확보에 유리할 뿐만 아니라 공장 가동률의 손실을 최소화할 수 있는 지능형 로봇 안전관리 시스템이 제공될 수 있다.
도 2는 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템의 위험구역의 편집 기능을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 모니터(200)는 도 1의 제어장치(120)에 포함된 구성으로 이해될 수 있다.
모니터(200)는 자동화 공정 설비의 전부 또는 일부에 관련된 감지 영역(A)의 영상을 관리자에게 제공할 수 있다. 이 경우, 모니터(200)를 제공되는 감지 영역(A)의 영상은 카메라 장치(110)로부터 캡처된 제1 이미지 정보에 대하여 전처리를 수행하여 생성된 제2 이미지 정보를 기반으로 구현될 수 있다.
한편, 관리자는 모니터(200)를 통해 제공되는 감지 영역(A)의 영상에 대하여 적어도 하나의 위험 영역(B)를 설정할 수 있다. 예를 들어, 적어도 하나의 위험 영역(B)은 다각형 또는 원형으로 자유롭게 설정 가능할 뿐만 아니라 복수의 영역으로 설정될 수도 있다.
또한, 적어도 하나의 위험 영역(B)은 인체 추출 알고리즘이 적용되는 영역으로 이해될 수 있다.
도 3은 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템의 동작 방법을 보여주는 순서도이다.
도 1 내지 도 3을 참조하면, S310 단계에서, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템(100)은 카메라 장치(110)가 감지영역과 연관된 제1 이미지 정보를 캡처하도록 제어할 수 있다.
예를 들어, 제1 이미지 정보는 카메라 장치(110)에 의해 초당 16프레임 이상으로 캡처될 수 있다.
S320 단계에서, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템(100)은 제어 장치(120)가 제1 이미지 정보를 기반으로 이미지 전처리를 수행하여 제2 이미지 정보를 생성하도록 제어할 수 있다.
예를 들어, 제2 이미지 정보는 조도 및 외부의 환경에 민감하지 않도록 하기 위하여 R, G, B 칼라 영상 각각에 평활화(Equalization) 기법이 적용된 이미지로 이해될 수 있다.
S330 단계에서, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템(100)은 제어 장치(120)가 제2 이미지 정보를 기반으로 감지영역 내 미리 설정된 적어도 하나의 위험 영역(B)에서 복수의 관절점을 추적하도록 제어할 수 있다.
구체적으로, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템(100)은 제어 장치(120)가 제2 이미지 정보와 저장 장치(미도시)에 미리 저장된 학습모델을 비교하도록 제어할 수 있다.
예를 들어, 미리 저장된 학습모델은 양성 리스트(positive list) 정보와 음성 리스트(negative list) 정보를 포함할 수 있다.
여기서, 양성 리스트 정보는 작업자의 신체를 전부 또는 일부 인식하기 위한 다수의 데이터 셋을 포함할 수 있다. 또한, 음성 리스트 정보는 작업 장비의 전부 또는 일부를 인식하기 위한 다수의 데이터 셋을 포함할 수 있다.
S340 단계에서, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템(100)은 제어 장치(120)가 복수의 관절점이 추적되는지 여부를 판단하도록 제어할 수 있다.
만일 제어 장치(120)에 의해 복수의 관절점이 추적되지 않는다고 판단될 때(예를 들어, 관절점이 아예 추적되지 않거나 관절점이 1개만 추적될 때), 수순은 종료된다.
만일 제어 장치(120)에 의해 복수의 관절점이 추적된다고 판단될 때, 수순은 S350 단계로 진행된다.
S350 단계에서, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템(100)은 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과하는지 여부를 판단하도록 제어할 수 있다.
이 경우, 인체 패턴 정보는 머신 러닝 기법으로 기 학습된 사람의 머리, 팔 및 다리를 포함하는 주요 골격 정보를 포함할 수 있다. 여기서, 인체 패턴 정보는 앞서 언급한 양성 리스트 정보와 상응할 수 있다.
구체적으로, 양성 리스트 정보에 포함된 다수의 데이터 셋 중 적어도 하나 이상에 대한 평균 값과 미리 결정된 임계 값을 비교할 수 있다. 한편, 본 일 실시 예에 따르면, 양성 리스트 정보와 음성 리스트 정보 중 어느 리스트에 가중치를 부여하는지 여부는 작업자의 환경을 종합적으로 고려하여 정해질 수 있다.
만일 제어 장치(120)에 의해 유사도가 임계 값을 초과하지 못한다고 판단될 때, 수순은 종료된다.
만일 제어 장치(120)에 의해 유사도가 임계 값을 초과한다고 판단될 때, 수순은 S360 단계로 진행된다.
S360 단계에서, 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템(100)은 알람 신호를 경고 장치(130)로 전달하여 알람 경보를 발생하도록 제어할 수 있을 뿐만 아니라 제어 신호를 PLC 장치(1)로 전달하여 PLC 장치(1)의 작업을 긴급하게 정지하도록 제어할 수 있다.
예를 들어, 추적된 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 상기 임계 값을 초과하는 시간이 소정의 시간을 경과할 때, 알람 신호가 생성되도록 구현될 수 있다.
예를 들어, 추적된 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 상기 임계 값을 초과하는 시간이 소정의 시간을 경과하지 않을 때, 알람 신호가 생성되지 않도록 구현될 수 있다.
본 일 실시 예에 따르면, 기존 상용화된 안전센서의 설치가 어려운 자동화 공정에서 산업용 로봇의 운전 중 수행되는 교시, 수리, 검사, 조정, 청소, 급유 또는 작업 결과에 대한 확인 과정에서 발생할 수 있는 협착 사고의 발생 가능성을 감소시켜 작업자의 안전 확보에 유리한 지능형 로봇 안전관리 시스템이 제공될 수 있다.
또한, 본 일 실시 예에 따르면, 작업자와 사물의 구분이 가능하기 때문에 원자재 투입 공정 또는 제품 재조정 공정 시 생산 가동 중단 없이 로봇의 가동 범위 내로 사물 진입이 가능하기 때문에 공장 가동률 손실을 최소화할 수 있는 지능형 로봇 안전관리 시스템이 제공될 수 있다.
또한, 본 일 실시 예에 따르면, 작업 환경 내 위험영역의 설정 및 변경이 손쉽고 간편하게 설치가 가능할 뿐만 아니라 산업용 로봇, 협동용 로봇, 건설 현장 및 보호 지역 등 다양한 산업현장에 적용될 수 있는 지능형 로봇 안전관리 시스템이 제공될 수 있다.
도 4 및 도 5는 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템에 의해 제공되는 인체와 사물을 구별하는 기능을 설명하기 위한 도면이다.
도 4를 참조하면, 도 4의 적어도 하나의 위험 영역(B)에 사물이 진입한 경우, 복수의 관절점이 추적되지 않는 상황이기 때문에, 작업자를 위한 별도의 알람 경보가 발생하지 않음은 이해될 것이다.
도 5를 참조하면, 도 5의 적어도 하나의 위험 영역(B)에 사물이 진입한 경우, 복수의 관절점(예로, 도 5의 P1~P7)이 추적될 수 있다.
구체적으로, 적어도 하나의 위험 영역(B)내에서 작업자의 오른팔의 일부와 연관된 제1 내지 제3 관절점(P1~P3), 작업자의 왼팔의 일부와 연관된 제4 및 제5 관절점(P4, P5) 및 작업자의 왼발의 일부와 연관된 제6 및 제7 관절점(P6, P7)이 추적될 수 있다.
예를 들어, 제1 내지 제3 관절점(P1~P3), 제4 및 제5 관절점(P4, P5) 그리고 제6 및 제7 관절점(P6, P7)에 대한 유사도 값이 도출될 수 있다.
예를 들어, 제1 내지 제3 관절점(P1~P3), 제4 및 제5 관절점(P4, P5) 그리고 제6 및 제7 관절점(P6, P7) 중 적어도 하나의 유사도 값이 미리 설정된 임계 값을 초과할 때, 작업자를 위한 알람 경보가 제공될 수 있음은 이해될 것이다.한편, 도 4 및 도 5에서는 한 명의 작업자만이 도시되나, 본 명세서가 이에 한정되는 것이 아님은 이해될 것이다. 즉, 본 일 실시 예에 따르면, 추적되는 복수의 관절점에 따라 복수의 작업자를 인식하는 것도 가능하다.
본 일 실시 예에 따른 인체 패턴 정보는 작업자의 전신을 커버할 수 있도록 구비되기 때문에, 적어도 하나의 위험 영역(B)에 작업자의 신체의 일부(예로, 손목 등)만 진입한 경우에도 작업자를 위한 알람 경보를 제공하는 것이 가능하다. 이에 따라, 작업자의 안전확보에 유리한 지능형 로봇 안전관리 시스템이 제공될 수 있다.
도 6는 본 일 실시 예에 따른 지능형 로봇 안전관리 시스템에 의해 제공되는 유저 인터페이스의 예시적인 화면이다. 도 1 내지 도 6을 참조하면, 유저 인터페이스(1000) 화면은 기반으로 적어도 하나의 위험 영역(B)에 대한 설정 기능 또는 편집 기능을 관리자에게 제공할 수 있다.
본 명세서의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 명세서의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 명세서의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 지능형 로봇 안전관리 시스템 110: 카메라 장치
120: 제어장치 130: 경고 장치
140: 릴레이 제어 장치 145: 비상 작동 스위치
310: 감지 영역 320: 위험 영역

Claims (10)

  1. 작업 설비가 동작하는 제조 현장의 영상 획득을 위한 감지영역과 연관된 제1 이미지 정보를 캡처하는 카메라 장치;
    상기 제1 이미지 정보를 기반으로 이미지 전처리를 수행하여 제2 이미지 정보를 생성하고, 상기 제2 이미지 정보를 기반으로 상기 감지 영역 내 미리 설정된 적어도 하나의 위험 영역에서 사람의 신체 일부와 연관된 복수의 관절점을 추적하고, 상기 추적된 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과하는지 여부에 따라 알람 신호를 생성하는 제어 장치; 및
    상기 알람 신호에 따라 알람 경보를 제공하는 경고 장치를 포함하되,
    상기 위험 영역은 상기 복수의 관절점을 추적하기 위해 미리 설정된 인체 추출 알고리즘이 적용되는 영역인, 지능형 로봇 안전관리 시스템.
  2. 제1 항에 있어서,
    상기 유사도가 상기 임계 값을 초과할 때, 상기 알람 신호가 생성되도록 구현되는 지능형 로봇 안전관리 시스템.
  3. 제1 항에 있어서,
    상기 유사도가 상기 임계 값을 초과하는 시간이 소정의 시간을 경과할 때, 상기 알람 신호가 생성되도록 구현되는 지능형 로봇 안전관리 시스템.
  4. 제1 항에 있어서,
    상기 인체 패턴 정보는 머신 러닝 기법으로 기 학습된 사람의 머리, 팔 및 다리를 포함하는 주요 골격 정보에 상응하는 지능형 로봇 안전관리 시스템.
  5. 제1 항에 있어서,
    상기 적어도 하나의 위험 영역은 다각형 또는 원형으로 설정되는 지능형 로봇 안전관리 시스템.
  6. 지능형 로봇 안전관리 시스템의 동작 방법에 있어서,
    카메라 장치로부터 작업 설비가 동작하는 제조 현장의 영상 획득을 위한 감지영역과 연관된 제1 이미지 정보를 캡처하는 단계;
    상기 제1 이미지 정보를 기반으로 이미지 전처리를 수행하여 제2 이미지 정보를 생성하는 단계;
    상기 제2 이미지 정보를 기반으로 상기 감지영역 내 미리 설정된 적어도 하나의 위험 영역에서 사람의 신체 일부와 연관된 복수의 관절점을 추적하는 단계;
    상기 복수의 관절점이 추적될 때, 상기 추적된 복수의 관절점과 미리 저장된 인체 패턴 정보 간 유사도가 미리 결정된 임계 값을 초과하는지 여부를 판단하는 단계; 및
    상기 유사도가 상기 임계 값을 초과할 때, 알람 경보를 제공하되,
    상기 위험 영역은 상기 복수의 관절점을 추적하기 위해 미리 설정된 인체 추출 알고리즘이 적용되는 영역인, 단계를 포함하는 방법.
  7. 제6 항에 있어서,
    상기 유사도가 상기 임계 값을 초과하는 시간이 소정의 시간을 경과할 때, 상기 알람 경보가 생성되도록 구현되는 방법.
  8. 제6 항에 있어서,
    상기 유사도가 상기 임계 값을 초과하지 않을 때, 상기 알람 경보를 제공하지 않는 단계를 더 포함하는 방법.
  9. 제6 항에 있어서,
    상기 인체 패턴 정보는 머신 러닝 기법으로 기 학습된 사람의 머리, 팔 및 다리를 포함하는 주요 골격 정보에 상응하는 방법.
  10. 제6 항에 있어서,
    상기 적어도 하나의 위험 영역은 다각형 또는 원형으로 설정되는 방법.
KR1020200047708A 2020-04-20 2020-04-20 지능형 로봇 안전관리 시스템 및 그것의 동작 방법 KR102202629B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200047708A KR102202629B1 (ko) 2020-04-20 2020-04-20 지능형 로봇 안전관리 시스템 및 그것의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200047708A KR102202629B1 (ko) 2020-04-20 2020-04-20 지능형 로봇 안전관리 시스템 및 그것의 동작 방법

Publications (1)

Publication Number Publication Date
KR102202629B1 true KR102202629B1 (ko) 2021-01-15

Family

ID=74126935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200047708A KR102202629B1 (ko) 2020-04-20 2020-04-20 지능형 로봇 안전관리 시스템 및 그것의 동작 방법

Country Status (1)

Country Link
KR (1) KR102202629B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230089667A (ko) 2021-12-14 2023-06-21 한국에너지기술연구원 통합 안전관리 시스템
KR102591118B1 (ko) * 2023-03-27 2023-10-19 주식회사 아라(Ara) 작업 로봇의 안전관리 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080044812A (ko) * 2008-04-30 2008-05-21 현운혁 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
JP2018049592A (ja) * 2016-07-28 2018-03-29 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 人間運動センサを使用して油圧ロボットの近くにいるときの動きを検出すること

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080044812A (ko) * 2008-04-30 2008-05-21 현운혁 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
JP2018049592A (ja) * 2016-07-28 2018-03-29 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 人間運動センサを使用して油圧ロボットの近くにいるときの動きを検出すること

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230089667A (ko) 2021-12-14 2023-06-21 한국에너지기술연구원 통합 안전관리 시스템
KR102591118B1 (ko) * 2023-03-27 2023-10-19 주식회사 아라(Ara) 작업 로봇의 안전관리 방법

Similar Documents

Publication Publication Date Title
US9489730B2 (en) Method and device for safeguarding a hazardous working area of an automated machine
EP3275604B1 (en) Using human motion sensors to detect movement when in the vicinity of hydraulic robots
KR102202629B1 (ko) 지능형 로봇 안전관리 시스템 및 그것의 동작 방법
CN104102185B (zh) 具有人和物体区分的基于识别的工业自动化控制的系统和方法
CN107932560B (zh) 一种人机安全防护系统和防护方法
JP6402469B2 (ja) 安全制御装置および安全制御システム
KR101723283B1 (ko) 작업자 행동기반 안전 관리 시스템 및 방법
US20130245825A1 (en) Safety device for the safe use of industrial apparatuses and robots, and control method for realtime verification of the kinematic state values of a robotized apparatus
US20160184945A1 (en) Machining device with visual sensor for locating contaminants
JP4057324B2 (ja) ロボット警備システム
KR20180122246A (ko) 물류 창고 내 이상 상황 판단 장치 및 방법
CN110908355B (zh) 引导信息提示装置及服务器、引导信息提示系统及方法、计算机可读介质
CN111230854A (zh) 一种智能协作机器人安全控制软件系统
Csokmai et al. A comprehensive approach to off-line advanced error troubleshooting in intelligent manufacturing systems
US20200246974A1 (en) Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program
KR101535804B1 (ko) 작업자의 동작인식을 이용한 생산 자동화 시스템
KR101989461B1 (ko) 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법
KR20180036188A (ko) 무인 이동체를 이용한 제조설비 내 공정관리 시스템
KR102064712B1 (ko) 웨어러블 디바이스와 인체 감지 모듈을 결합한 설비 안전 관리 시스템
US11376728B2 (en) Method of handling safety, control system and industrial system
CN112053526A (zh) 一种监控系统及监控方法
WO2023157380A1 (ja) ロボット監視システム、監視装置、監視装置の制御方法およびプログラム
WO2019198502A1 (ja) 異常検知装置、異常検知方法、および異常検知プログラム
Marvel et al. Test methods for the evaluation of manufacturing mobile manipulator safety
JP2005153104A (ja) コンピュータメンテナンスロボットシステム及びコールによる保守作業方法及び巡回点検方法及びそのプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant