KR102664328B1 - 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치 - Google Patents

작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치 Download PDF

Info

Publication number
KR102664328B1
KR102664328B1 KR1020210113406A KR20210113406A KR102664328B1 KR 102664328 B1 KR102664328 B1 KR 102664328B1 KR 1020210113406 A KR1020210113406 A KR 1020210113406A KR 20210113406 A KR20210113406 A KR 20210113406A KR 102664328 B1 KR102664328 B1 KR 102664328B1
Authority
KR
South Korea
Prior art keywords
worker
area
interest
work space
point cloud
Prior art date
Application number
KR1020210113406A
Other languages
English (en)
Other versions
KR20230031037A (ko
Inventor
박재일
김동해
라찬엽
Original Assignee
(주)서울로보틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)서울로보틱스 filed Critical (주)서울로보틱스
Priority to KR1020210113406A priority Critical patent/KR102664328B1/ko
Priority to EP22861631.4A priority patent/EP4394727A1/en
Priority to PCT/KR2022/012340 priority patent/WO2023027421A1/ko
Publication of KR20230031037A publication Critical patent/KR20230031037A/ko
Priority to US18/585,903 priority patent/US20240192366A1/en
Application granted granted Critical
Publication of KR102664328B1 publication Critical patent/KR102664328B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0233—System arrangements with pre-alarms, e.g. when a first distance is exceeded
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Development Economics (AREA)

Abstract

3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득하는 센서부, 메모리, 및 메모리에 저장된 하나 이상의 명령어들을 실행함으로써, 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정하고, 관심 영역에 대한 점군에 기초하여, 공작 기계를 운전하는 작업자의 자세를 추적하고, 추적된 작업자의 자세에 기초하여, 작업 공간에서의 위험 상황을 감지하는 프로세서를 포함하는 센싱 장치가 개시된다.

Description

작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치{METHOD AND SENSING DEVICE FOR MONITORING REGION OF INTEREST IN WORKSPACE}
작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치에 관한 것이다.
공작 기계를 사용하는 작업 공간에서 작업자들의 안전 사고가 매년 발생하고 있다. 안전 사고를 사전에 방지하거나 안전 사고가 발생하였을 경우 빠르게 대처하는 것이 필요하다. 이를 위해, 작업 공간을 빠르고 정확하게 센싱하는 기술이 필요하다.
라이다(Light Detection And Ranging, LiDAR) 기술과 같은 센싱 기술의 발전에 따라, 최근 다양한 산업 기술 분야에서 센싱 기술이 접목된 첨단 제어 기능들이 활용되고 있다. 라이다는 3차원 공간의 객체에 광을 방출한 후 반사된 광을 수신하여, 이로부터 3차원 공간에 대한 정보를 획득하는 기술이다.
공작 기계를 운전하는 작업자의 자세를 추적하여 작업 공간에서의 위험 상황을 감지하기 위해 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치에 관한 것이다.
제1 측면에 따른 작업 공간에서의 관심 영역을 모니터링하는 방법은 3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득하는 명령어들, 상기 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정하는 명령어들, 상기 관심 영역에 대한 점군에 기초하여, 상기 공작 기계를 운전하는 작업자의 자세를 추적하는 명령어들, 및 상기 추적된 작업자의 자세에 기초하여, 상기 작업 공간에서의 위험 상황을 감지하는 명령어들을 포함한다.
제2 측면에 따른 컴퓨터 판독 가능 저장매체는, 3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득하는 명령어들, 상기 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정하는 명령어들, 상기 관심 영역에 대한 점군에 기초하여, 상기 공작 기계를 운전하는 작업자의 자세를 추적하는 명령어들, 및 상기 추적된 작업자의 자세에 기초하여, 상기 작업 공간에서의 위험 상황을 감지하는 명령어들을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 저장한다.
제3 측면에 따른 작업 공간에서의 관심 영역을 모니터링하는 센싱 장치는, 3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득하는 센서부, 하나 이상의 명령어들을 저장하는 메모리, 및 상기 하나 이상의 명령어들을 실행함으로써, 상기 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정하고, 상기 관심 영역에 대한 점군에 기초하여, 상기 공작 기계를 운전하는 작업자의 자세를 추적하고, 상기 추적된 작업자의 자세에 기초하여, 상기 작업 공간에서의 위험 상황을 감지하는 프로세서를 포함한다.
도 1은 작업 공간에 설치된 센싱 장치 및 서버를 포함하는 위험 상황 감지 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 센싱 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 작업 공간에 대한 점군 및 관심 영역을 설명하기 위한 도면이다.
도 4는 작업자의 자세를 추적하기 위해 위험 영역과 서브 관찰 영역들에 작업자에 대응되는 점군이 존재하는지 판단하는 프로세스의 일 예를 설명하기 위한 도면이다.
도 5a, 도 5b, 도 5c, 및 도 5d는 위험 영역과 서브 관찰 영역들 중 작업자에 대응되는 점군이 존재하는 영역들의 조합에 기초하여 작업자의 자세를 결정한 예들을 설명하기 위한 도면이다.
도 6은 작업자의 자세를 추적하기 위해 작업자에 대응되는 점군으로부터 스켈레톤 정보를 추출하는 프로세스의 일 예를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 서버의 구성 및 동작을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 작업 공간에서의 관심 영역을 모니터링하는 방법을 설명하기 위한 흐름도이다.
도 9는 작업 공간에서의 위험 상황을 감지하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
도 10은 작업 공간에서의 위험 상황을 예측하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.
한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 실시예들은 작업 공간을 모니터링하는 방법 및 센싱 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 작업 공간에 설치된 센싱 장치(100) 및 서버(200)를 포함하는 위험 상황 감지 시스템을 설명하기 위한 도면이다.
센싱 장치(100)는 3차원 공간에 대한 공간 정보로서 점군(point cloud data)을 획득할 수 있는 장치로서, 3차원 공간을 감지하는 3D 센서를 포함할 수 있다. 센싱 장치(100)는 3차원 공간에 광을 방출하고, 이에 대한 응답으로 수신된 광에 기초하여 3차원 공간에 대한 점군을 획득할 수 있다.
센싱 장치(100)는 3차원 공간을 감지하는 3D 센서로써 라이다(Light Detection and Ranging) 센서를 구비할 수 있으며, 체적형 점군(volumetric point cloud data)을 획득할 수 있다. 라이다 센서는 3차원 공간의 객체들의 컬러를 감지할 수 없으나, 형태, 크기, 위치를 감지할 수 있다. 3차원 공간에 대한 정보를 수집할 수 있는 다채널 라이다 센서는 객체의 컬러나 텍스쳐를 감지할 수 없지만, 객체의 대략적인 형태와 크기, 체적을 활용할 수 있는 분야에 적합하다.
센싱 장치(100)는 실내 또는 실외에서, 관심 영역에 해당하는 공간을 감지할 수 있는 곳에 설치될 수 있다. 예를 들어, 공작 기계가 배치된 작업 공간에서의 관심 영역을 모니터링하기 위해서는, 센싱 장치(100)는 공작 기계를 운전하는 작업자의 신체를 확인할 수 있고, 작업자의 신체가 공작 기계 내부로 진입하는지 판단할 수 있는 위치와 각도에 설치될 수 있다. 센싱 장치(100)는 사물 인터넷(Internet of Things, IoT) 기술이 적용되어, 공작 기계와 연결될 수 있다.
서버(200)는 센싱 장치(100)로부터 수신된 데이터 또는 정보를 이용하여, 위험 상황을 인지하고, 관리자 단말(300)이나 외부 서버에 위험 상황에 관한 정보를 전송할 수 있다. 서버(200)는 복수의 센싱 장치(100)들로부터 수신된 데이터 또는 정보를 이용하는 위험 상황 관리 서비스를 제공할 수 있다. 위험 상황 관리 서비스는 한 사업장 내에서 공작 기계들을 사용하는 작업자(operator)들이 위험 상황인지 확인하고, 위험 상황에 해당 시 정해진 프로토콜에 따른 서비스를 제공할 수 있다. 서버(200)는 사업장 별로 위험 상황 관리 가상 머신을 두어, 각 사업장 별로 위험 상황 관리 서비스를 제공할 수 있다.
서버(200)는 상황 관리실이나 통제 센터의 서버(200)일 수 있다. 서버(200)는 클라우드 컴퓨팅과 같은 기술로 구현될 수 있다.
관리자 단말(300)는 관리자 또는 감독관 같은 사용자가 이용하는 사용자 단말일 수 있다. 관리자 단말(300)은 센싱 장치(100)가 설치된 작업 공간의 위험 상황 관리를 위한 사전 설정 정보를 서버(200)에 등록하고, 서버(200)로부터 위험 상황 관리와 관련된 알림이나 정보를 비롯한 각종 레포트를 수신할 수 있다.
도 1에서는 위험 상황 감지 시스템이 센싱 장치(100)와 서버(200)를 포함하는 형태로 구현되어 있으나, 센싱 장치(100)는 서버(200)의 동작까지 수행할 수 있는 형태로 구현될 수 있다. 이 경우, 센싱 장치(100)가 관리자 단말(300)에 위험 상황 관리와 관련된 알림이나 정보를 제공할 수 있다.
도 1에 도시한 바와 같이, 센싱 장치(100)는 작업 공간에 배치된 공작 기계와 공작 기계를 운전하는 작업자를 모니터링할 수 있도록, 고정된 구조물과 같은 인프라에 적절한 높이와 각도로 설치될 수 있다. 이하, 작업 공간에서 공작 기계를 운전하는 작업자에게 위험 상황이 발생하지 않도록 작업 공간을 모니터링하고, 위험 상황이 발생한 경우 신속하게 조치가 이루어질 수 있도록, 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치(100)에 대해 설명한다.
도 2는 일 실시예에 따른 센싱 장치(100)의 구성 및 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 일 실시예에 따른 센싱 장치(100)는 메모리(110), 프로세서(120), 센서부(130), 통신 인터페이스(140)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다.
프로세서(120)는 메모리(110)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(110)에 저장할 수 있다. 프로세서(120)는 메모리(110)에 저장된 명령어들을 실행할 수 있다. 프로세서(120)는 센싱 장치(100)에 설치된 컴퓨터 프로그램을 실행할 수 있다. 또한, 프로세서(120)는 외부로부터 수신한 컴퓨터 프로그램 또는 애플리케이션을 메모리(110)에 저장하고 실행시킬 수 있다. 프로세서(120)는 적어도 하나의 프로세싱 모듈을 실행하여, 소정의 동작을 수행할 수 있다. 예를 들어, 프로세서(120)는 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 모니터링하는 프로그램을 실행하는 프로세싱 모듈을 실행 또는 제어할 수 있다. 프로세서(120)는 명령어 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 센싱 장치(100)에 포함된 다른 구성들을 제어할 수 있다.
센서부(130)는 3차원 공간을 감지하기 위한 적어도 하나의 센서를 포함할 수 있다. 센서부(130)는 3차원 공간에 광을 방출하는 발광부와 광을 수신하는 수광부를 포함할 수 있으며, 수광부에 수신된 광의 세기에 기초하여 3차원 공간에 대한 점군을 획득하는 전용 프로세서를 더 포함할 수도 있다. 센서부(130)는 감지 영역 내의 작업 공간에 위치한 객체를 추적하기 위해, 작업 공간에 대한 점군을 획득할 수 있다.
센서부(130)는 라이다(Light Detection and Ranging) 센서일 수 있으며, 적어도 하나의 3차원 라이다 센서를 포함하여 소정의 범위의 작업 공간에 대한 데이터를 획득할 수 있다. 센서부(130)는 환경에 따라, 레이더(radar) 센서, 적외선 영상 센서, 초음파 센서, 이미지 센서 등과 같은 다양한 종류의 센서를 더 포함할 수도 있다. 예를 들어, 센서부(130)는 라이다 센서를 이용하여 작업 공간의 관심 영역을 모니터링하다가, 관심 영역에서 위험 상황이 발생하는 경우, 카메라와 같은 이미지 센서를 실행하여, 위험 상황이 발생한 작업 공간에 대한 추가 정보를 획득할 수 있다.
통신 인터페이스(140)는 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스(140)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, RFID(Radio Frequency Identification), NFC(Near Field Communication), 블루투스(Bluetooth)와 같은 근거리 통신, 다양한 종류의 무선 통신 또는 동축 케이블이나 광케이블 등을 이용하는 유선 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스(140)는 센싱 장치(100)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 센싱 장치(100)는 통신 인터페이스(140)를 통해 상황 관리실과 같은 위험 상황 관리 서비스를 제공하는 서버(200)나 관리자 단말(300)과 통신을 수행하여, 감지된 위험 상황을 통지할 수 있다. 또한, 센싱 장치(100)는 통신 인터페이스(140)를 통해 작업 공간에 대한 점군을 이용하여 기기의 제어에 활용하거나 소정의 서비스를 제공하는 외부 서버와 연결될 수 있다.
센싱 장치(100)는 상기한 구성 외에, GPS와 같은 위치 센서를 더 포함할 수 있고, 센싱 장치(100)의 설치 환경에 따라 센싱 성능을 향상시키기 위한 구성들이 더 포함될 수 있다.
상기한 구성에 따른 일 예의 프로세서(120)는 메모리(110)에 저장된 하나 이상의 명령어들을 실행함으로써, 작업 공간에 대한 점군을 획득하고, 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정하고, 관심 영역에 대한 점군에 기초하여, 관심 영역 내의 객체를 추적할 수 있다.
센싱 장치(100)가 작업 공간을 모니터링하기 위해, 작업 공간을 연속적으로 감지하는 경우, 프로세서(120)는 센서부(130)를 통해 작업 공간에 대한 시간별 점군을 획득할 수 있다. 프로세서(120)는 작업 공간에 대해 시간별로 누적된 점군에 기초하여, 작업 공간 특히, 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 모니터링할 수 있다
프로세서(120)는 메모리(110)에 저장된 하나 이상의 명령어들을 실행함으로써, 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정할 수 있다. 프로세서(120)는 획득된 작업 공간에 대한 점군에 기초하여, 작업 공간에 있는 객체를 검출하여, 작업 공간에 대한 공간 정보 맵을 생성할 수 있다. 프로세서(120)는 사전에 설정된 정보나 공간 정보 맵에 입력된 사용자 입력 정보에 기초하여, 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정할 수 있다.
도 3은 작업 공간에 대한 점군 및 관심 영역을 설명하기 위한 도면이다.
도 3을 참조하면, 센싱 장치(100)가 획득한 작업 공간에 대한 점군에 기초하여 생성된 3차원 뷰의 공간 정보 맵을 확인할 수 있다. 작업 공간에 있는 객체는 정적 객체와 동적 객체로 구분될 수 있다. 작업 공간을 나타내는 공간 정보 맵에서, 작업자와 같은 동적 객체는 검출되었다가 사라지기도 하고, 작업 공간 내에서 위치를 이동하거나 자세를 변경하는 반면, 공작 기계와 같은 정적 객체는 작업 공간 내의 같은 위치에서 연속적으로 검출될 수 있다.
센싱 장치(100)는 작업 공간 내에서 센싱 장치(100)에 대응되는 공작 기계와 그 공작 기계를 운전하는 작업자를 더욱 정확하게 검출 및 추적할 필요가 있다. 하나의 센싱 장치(100)가 복수 개의 공작 기계를 검출할 수 있도록 설치될 수도 있지만, 보다 정확한 모니터링을 위해, 각 공작 기계마다 전용의 센싱 장치(100)를 두고, 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정할 수 있다.
관심 영역은 공작 기계의 위험 영역과 공작 기계를 운전시 작업자의 신체가 위치하는 관찰 영역을 포함하는 3차원 공간에 대응되는 영역일 수 있다. 공작 기계의 위험 영역은 공작 기계의 종류에 따라 공작 기계 내에서 그 위치 및 범위가 다를 수 있다. 공작 기계의 종류에 따라 작업자의 운전 위치와 동작 범위가 다르므로, 관찰 영역의 위치 및 범위도 다를 수 있다.
센싱 장치(100)의 프로세서(120)는 작업 공간에 대한 점군에 기초하여 생성되는 공간 정보 맵에 공작 기계의 종류에 따라 사전에 정해진 위험 영역과 작업자의 유저 프로파일에 기초한 신체 정보에 따라 결정된 관찰 영역을 관심 영역으로써 설정할 수 있다. 또는, 센싱 장치(100)가 외부로부터 관심 영역에 대한 사용자의 입력 정보를 수신할 수도 있다.
도 3의 공간 정보 맵을 보면, 공작 기계에 대응되는 점군과 작업자에 대응되는 점군에 기초한 공작 기계와 작업자의 위치를 확인할 수 있고, 공작 기계의 앞면 쪽에 서 있는 작업자의 자세를 추적하기 위한 관심 영역이 설정된 모습을 확인할 수 있다.
다시 도 2를 참조하면, 프로세서(120)는 작업 공간 내에 설정된 관심 영역에 대한 점군에 기초하여, 공작 기계를 운전하는 작업자의 자세를 추적할 수 있다. 프로세서(120)는 작업 공간에 대한 점군을 획득한 각 프레임 별로 또는 복수의 프레임들을 축적하여, 관심 영역에 대한 점군에 기초하여, 공작 기계를 운전하는 작업자의 자세를 추적할 수 있다. 프로세서(120)는 복수의 프레임들에서 관심 영역에 대한 점군을 객체별로 클러스터링함으로써, 공작 기계와 같은 정적 객체와 작업자와 같은 동적 객체를 식별할 수 있다. 프로세서(120)는 관심 영역 내의 동적 점군을 확인할 수 있고, 이를 작업자에 대응되는 점군으로 판단할 수 있다. 이하, 도 4 내지 도 6을 참조하여, 작업자의 자세를 추정하는 알고리즘들을 설명한다.
도 4는 작업자의 자세를 추적하기 위해 위험 영역과 서브 관찰 영역들에 작업자에 대응되는 점군이 존재하는지 판단하는 프로세스의 일 예를 설명하기 위한 도면이다.
도 4에서는, 작업 공간 내에 공작 기계가 배치되어 있고, 공작 기계를 운전시 공작 기계의 전면에 작업자가 위치하는 경우로서, 공작 기계의 위험 영역이 운전자의 상체 앞쪽에 위치하는 경우를 예로 들어 설명한다.
프로세서(120)는 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 도 4에 도시된 바와 같이, 다섯 개의 영역들로 설정할 수 있다. 프로세서(120)는 각 영역에 어떤 객체가 진입 또는 이탈하거나, 위치하는지를 해당 영역에 점군이 생성 또는 소멸하거나, 존재하는지 추적함으로써 판단할 수 있다.
도 4를 참조하면, 관심 영역은 다섯 개의 영역들로 구분되어 설정될 수 있다. 관심 영역은 공작 기계의 위험 영역과 공작 기계를 운전시 작업자의 신체가 위치할 수 있는 관찰 영역을 포함하도록 설정될 수 있다. 관찰 영역은 작업자의 신체 부위별로 서브 관찰 영역들로 구분될 수 있다. 관찰 영역은 작업자의 실제 신체 조건에 맞게 적절히 조절될 수 있다.
도 4에서 제1 관심 영역(1), 제2 관심 영역(2), 제3 관심 영역(3), 및 제4 관심 영역(4)은 서브 관찰 영역이고, 제5 관심 영역(5)은 서브 관찰 영역이자 공작 기계의 위험 영역에 해당한다.
프로세서(120)는 공작 기계의 위험 영역과 작업자의 신체 부위 별로 구분된 서브 관찰 영역들에 작업자에 대응되는 점군이 존재하는지 판단하고, 위험 영역과 서브 관찰 영역들 중 작업자에 대응되는 점군이 존재하는 영역들의 조합에 기초하여, 작업자의 자세를 결정할 수 있다.
제1 관심 영역(1)은 사람의 전신이 검출될 수 있는 공간에 대응되는 서브 관찰 영역이다. 센싱 장치(100)는 제1 관심 영역(1)에 점군이 존재하면, 공작 기계를 운전시 작업자가 위치하는 곳에 작업자가 위치한다고 판단할 수 있다. 제1 관심 영역(1)에 점군이 존재하지 않다가 생성되면, 센싱 장치(100)는 작업자가 제1 관심 영역(10) 내로 진입하였다고 판단할 수 있다. 반대로, 제1 관심 영역(1)에 점군이 존재하다가 소멸되면, 센싱 장치(100)는 작업자가 제1 관심 영역(10) 밖으로 이탈하였다고 판단할 수 있다.
제2 관심 영역(2)은 사람의 머리가 검출될 수 있는 공간에 대응되는 서브 관찰 영역이다. 센싱 장치(100)는 제2 관심 영역(2)에 점군이 존재하면, 작업자의 머리가 위치한다고 판단할 수 있다. 센싱 장치(100)는 제1 관심 영역(1)의 어느 일부 공간에 작업자에 대응되는 점군이 존재하나, 제2 관심 영역(2)에 점군이 존재하지 않으면, 작업자가 머리를 숙이거나 허리를 구부렸다고 판단할 수 있다.
제3 관심 영역(3)은 사람의 몸통이 검출될 수 있는 공간에 대응되는 서브 관찰 영역이다. 센싱 장치(100)는 제3 관심 영역(3)에 점군이 존재하면, 작업자의 몸통이 위치한다고 판단할 수 있다. 센싱 장치(100)는 제1 관심 영역(1)의 어느 일부 공간에 작업자에 대응되는 점군이 존재하나, 제2 관심 영역(2)과 제3 관심 영역(3)에 점군이 존재하지 않으면, 작업자가 주저 앉았거나, 바닥에 누워있다고 판단할 수 있다.
제4 관심 영역(4)은 사람의 다리가 검출될 수 있는 공간에 대응되는 서브 관찰 영역이다. 센싱 장치(100)는 제4 관심 영역(4)에 점군이 존재하면, 작업자의 다리가 위치한다고 판단할 수 있다. 제1 관심 영역(1)의 어느 일부 공간에 작업자에 대응되는 점군이 존재하나, 제4 관심 영역(4)에 점군이 존재하지 않으면, 작업자가 공중에 떠있거나 매달려 있다고 판단할 수 있다.
제5 관심 영역(5)은 사람의 손 또는 신체 일부가 검출될 수 있는 공간에 대응되는 서브 관찰 영역이자, 공작 기계를 운전하는 작업자에게 위험한 상황이 발생할 수 있는 공간에 대응되는 위험 영역이다. 센싱 장치(100)는 제5 관심 영역(5)에 작업자에 대응되는 점군이 존재하면, 공작 기계의 위험 영역에 작업자의 손이나 신체 일부가 위치한다고 판단할 수 있다. 제1 관심 영역(1)의 어느 일부 공간에 작업자에 대응되는 점군이 존재하나, 제5 관심 영역(5)에 작업자에 대응되는 점군이 존재하지 않으면, 공작 기계의 위험 영역에 작업자의 손이나 신체가 위치하지 않는다고 판단할 수 있다.
도 5a, 도 5b, 도 5c, 및 도 5d는 위험 영역과 서브 관찰 영역들 중 작업자에 대응되는 점군이 존재하는 영역들의 조합에 기초하여 작업자의 자세를 결정한 예들을 설명하기 위한 도면이다.
도 5a에는 제1 관심 영역(1), 제2 관심 영역(2), 제3 관심 영역(3), 및 제4 관심 영역(4)에 점군이 존재하고, 제5 관심 영역(5)에는 점군이 존재하지 않으므로, 프로세서(120)는 공작 기계의 위험 영역 앞에 작업자가 서있음을 판단할 수 있다.
도 5b에는 제1 관심 영역(1), 제2 관심 영역(2), 제3 관심 영역(3), 제4 관심 영역(4), 및 제5 관심 영역(5) 모두에 점군이 존재하므로, 프로세서(120)는 공작 기계의 위험 영역 앞에 작업자가 서서, 위험 영역 쪽에 손을 위치시키고 있음을 판단할 수 있다.
도 5c에는 제1 관심 영역(1) 및 제4 관심 영역(4)에 점군이 존재하고, 제2 관심 영역(2), 제3 관심 영역(3), 및 제5 관심 영역(5)에는 점군이 존재하지 않으므로, 프로세서(120)는 공작 기계의 위험 영역 앞에 작업자가 주저 앉아 있거나 쓰러져있다고 판단할 수 있다.
도 5d에는 제1 관심 영역(1), 제3 관심 영역(3), 제4 관심 영역(4), 및 제5 관심 영역(5)에 점군이 존재하고, 제2 관심 영역(2)에는 점군이 존재하지 않으므로, 프로세서(120)는 공작 기계의 위험 영역에 작업자가 머리와 손을 넣고 있음을 판단할 수 있다.
도 6은 작업자의 자세를 추적하기 위해 작업자에 대응되는 점군으로부터 스켈레톤 정보를 추출하는 프로세스의 일 예를 설명하기 위한 도면이다.
앞서 설명한 도 4 및 도 5의 룰 기반 자세 추정 알고리즘과 달리, 도 6에서는 머신 러닝 기반 자세 추정 알고리즘을 이용하여, 작업자의 자세를 추적하는 것에 대해 설명한다.
프로세서(120)는 머신 러닝 기반의 신경망 모델을 이용하여 작업자에 대응되는 점군으로부터 스켈레톤 정보를 획득하고, 스켈레톤 정보의 관절(joint) 위치에 따라 구분되는 작업자의 신체 부위와 공작 기계의 위험 영역에 기초하여, 작업자의 자세를 결정할 수 있다.
도 6을 참조하면, 프로세서(120)는 공작 기계의 위험 영역과 공작 기계를 운전시 작업자의 신체가 위치하는 관찰 영역을 포함하는 관심 영역에 대한 점군에 기초한 바디 트랙킹(body tracking)을 통해, 작업자의 자세를 확인할 수 있는 스켈레톤 정보를 획득할 수 있다. 도 6에 도시된 바와 같이, 스켈레톤 정보는 작업자의 신체 부위가 서로 이어지는 관절 위치에 대응되는 조인트 좌표를 제공하므로, 프로세서(120)는 관절 위치에 따라 구분되는 작업자의 신체 부위를 확인할 수 있다. 프로세서(120)는 확인된 작업자의 신체 부위와 공작 기계의 위험 영역에 기초하여, 작업자의 자세를 추적할 수 있다.
다시 도 2를 참조하면, 프로세서(120)는 추적된 작업자의 자세에 기초하여, 작업 공간에서의 위험 상황을 감지할 수 있다. 앞서 설명한 도 5a 내지 도 5d의 예를 다시 참조하면, 도 5a의 경우, 공작 기계 앞에 작업자가 서있으나, 위험 영역에서 작업자에 대응되는 점군이 발견되지 않으므로, 프로세서(120)는 위험 상황이 발생하지 않은 것으로 판단할 수 있다. 도 5b의 경우, 위험 영역에서 작업자의 손에 대응되는 점군이 발견되므로, 프로세서(120)는 잠재적인 위험 상황이라고 판단하고, 계속해서 모니터링하고, 해당 사실을 서버(200)로 통지할 수 있다. 도 5c의 경우, 위험 영역에서 작업자에 대응되는 점군이 발견되지 않으므로, 프로세서(120)는 공작 기계에 의한 위험 상황이 발생하지 않은 것으로 판단할 수 있으나, 공작 기계를 운전하는 작업자로부터 기대할 수 있는 일반적인 자세가 아니므로, 위험 상황에 준하는 상황으로 판단하고, 해당 사실을 서버(200)로 통지할 수 있다. 도 5d의 경우, 공작 기계의 위험 영역에 작업자의 머리와 손이 들어가 있으므로, 프로세서(120)는 위험 상황이라고 판단하고, 위험 상황이 감지되었음을 서버(200)로 통지할 수 있다.
더 나아가, 위험 상황을 보다 체계적으로 관리할 수 있도록, 프로세서(120)는 추적된 작업자의 자세에 대응되는 작업자의 체적과 공작 기계의 체적이 서로 겹치는 정도에 따라, 위험 상황의 수준을 결정하고, 결정된 위험 상황의 수준에 따라 위험 상황인지 결정할 수 있다.
이에 따라, 프로세서(120)는 통신 인터페이스(140)를 통해, 결정된 위험 상황의 수준이 제1 기준값 이상이면, 서버(200)에 잠재적 위험 상황이 감지됨을 통지하고, 결정된 위험 상황의 수준이 제1 기준값 보다 큰 제2 기준값 이상이면, 서버(200)에 위험 상황이 발생됨을 통지할 수 있다.
한편, 프로세서(120)는 추적된 작업자의 자세 변화에 따라 작업자의 움직임을 예측하고, 예측된 움직임에 따라 작업 공간에서의 위험 상황을 예측할 수도 있다.
도 7은 일 실시예에 따른 서버(200)의 구성 및 동작을 설명하기 위한 도면이다. 서버(200)는 컴퓨팅 디바이스, 오퍼레이터, 콘솔 장치 등으로 대체될 수 있다.
앞서 설명한 바와 같이, 센싱 장치(100)는 3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득하고, 작업 공간에서의 관심 영역의 객체를 검출 및 추적하여, 작업 공간을 모니터링할 수 있는 프로세서를 탑재할 수 있으나, 이에 한정되는 것은 아니다. 센싱 장치(100)에서 획득된 작업 공간에 대한 점군을 센싱 장치(100)가 서버(200)에 전송하면, 서버(200)가 작업 공간상의 정적 객체나 동적 객체를 검출하고, 검출된 객체를 추적하는 일련의 프로세싱을 처리할 수 있다. 서버(200)는 클라우드 컴퓨팅과 같은 기술로 구현될 수 있다. 서버(200)는 센싱 장치(100)와 고속의 데이터 통신을 수행할 수 있다.
도 7을 참조하면, 서버(200)는 메모리(210), 프로세서(220), 통신 인터페이스(230)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 7에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다. 앞서, 센싱 장치(100)에 대하여 설명한 내용은 이하 생략된 내용이라 하더라도, 서버(200)의 동일한 명칭의 구성에 대해서 그대로 적용될 수 있다.
도 7의 블록도의 각 구성요소는 서버(200)의 구현 방식에 따라 분리, 추가, 또는 생략될 수 있다. 즉, 구현 방식에 따라 하나의 구성요소가 2 이상의 구성요소로 세분화되거나, 2 이상의 구성요소가 하나의 구성요소로 합쳐질 수도 있고, 일부 구성요소가 더 추가되거나 제거될 수 있다.
메모리(210)는 프로세서(220)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(210)는 소프트웨어 또는 프로그램을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 명령어들을 실행할 수 있다. 프로세서(220)는 서버(200)의 전반적인 제어를 수행할 수 있다. 프로세서(220)는 통신 인터페이스(230)를 통해 수신되는 정보 및 요청 사항을 획득하고, 수신되는 정보를 스토리지(미도시)에 저장할 수 있다. 또한, 프로세서(220)는 수신되는 정보를 가공할 수 있다. 예를 들어, 프로세서(220)는 센싱 장치(100)로부터 수신되는 데이터 또는 정보로부터 위험 상황 관리 서비스를 제공하는데 이용되는 정보를 획득하거나, 수신되는 데이터 또는 정보들을 관리하기 위한 가공행위를 수행하여, 스토리지(미도시)에 저장할 수 있다. 또한, 프로세서(220)는 관리자 단말(300)로부터 획득된 요청 사항에 대한 응답으로써, 스토리지(미도시)에 저장된 데이터 또는 정보를 이용하여, 통신 인터페이스(230)를 통해 관리자 단말(300)에 요청 사항에 대응되는 정보를 전송할 수 있다. 예를 들어, 프로세서(220)는 위험상황 발생 현황이나 통계 자료 등을 스토리지에 저장할 수 있고, 위험상황과 관련된 리포트를 생성하여, 통신 인터페이스(230)를 통해 관리자 단말(300)과 같은 외부 장치에 전송할 수 있다.
통신 인터페이스(230)는 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 통신 인터페이스(230)는 서버(200)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 서버(200)는 통신 인터페이스(230)를 통해 센싱 장치(100)와 통신을 수행하거나, 네트워크로 연결된 다른 서버와도 연결될 수 있다.
스토리지(미도시)는 서버(200)가 기기의 제어에 활용하거나 소정의 서비스를 제공하기 위해 필요한 각종 소프트웨어 및 정보들을 저장할 수 있다. 예를 들어, 스토리지(미도시)는 서버(200)에서 실행되는 프로그램, 애플리케이션, 및 소정의 서비스에 이용되는 각종 데이터 또는 정보를 저장할 수 있다.
서버(200)는 부하 분산 서버와 소정의 서비스를 제공하는 기능 서버들로 구성될 수 있다. 서버(200)는 기능별로 나눠진 복수의 서버들로 구성되거나, 하나로 통합된 형태의 서버가 될 수도 있다.
상기 구성에 따라, 서버(200)는 통신 인터페이스(230)를 통해 센싱 장치(100)로부터 작업 공간에 대한 점군을 획득하거나, 센싱 장치(100)가 위험 상황을 감지한 결과를 수신할 수 있다. 서버(200)는 센싱 장치(100)로부터 위험 상황의 종류 정보, 위험 상황이 발생한 작업 공간의 위치 정보, 작업 공간의 현재 상황을 촬영한 카메라 영상 등을 수신할 수 있다.
도 8은 일 실시예에 따른 작업 공간에서의 관심 영역을 모니터링하는 방법을 설명하기 위한 흐름도이다. 이상에서 센싱 장치(100)에 대하여 설명한 내용과 중복되는 내용에 대해서는 이하 그 상세한 설명을 생략한다.
810 단계에서, 센싱 장치(100)는 3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득할 수 있다. 예를 들어, 센싱 장치(100)는 라이다 센서를 이용하여 3차원 공간에 대한 점군을 연속적으로 획득할 수 있다.
820 단계에서, 센싱 장치(100)는 작업 공간에 배치된 공작 기계에 대응되는 관심 영역을 설정할 수 있다. 관심 영역은 공작 기계의 위험 영역과 공작 기계를 운전시 작업자의 신체가 위치하는 관찰 영역을 포함할 수 있다. 센싱 장치(100)는 작업 공간에 대한 점군에 기초하여 생성되는 공간 정보 맵에 공작 기계의 종류에 따라 사전에 정해진 위험 영역과 작업자의 유저 프로파일에 기초한 신체 정보에 따라 결정된 관찰 영역을 관심 영역으로써 설정할 수 있다.
830 단계에서, 센싱 장치(100)는 관심 영역에 대한 점군에 기초하여, 공작 기계를 운전하는 작업자의 자세를 추적할 수 있다.
예를 들어, 센싱 장치(100)는 공작 기계의 위험 영역과 작업자의 신체 부위 별로 구분된 서브 관찰 영역들에 작업자에 대응되는 점군이 존재하는지 판단하고, 위험 영역과 서브 관찰 영역들 중 작업자에 대응되는 점군이 존재하는 영역들의 조합에 기초하여, 작업자의 자세를 결정할 수 있다.
다른 예를 들어, 센싱 장치(100)는 머신 러닝 기반의 신경망 모델을 이용하여 작업자에 대응되는 점군으로부터 스켈레톤 정보를 획득하고, 스켈레톤 정보의 관절(joint) 위치에 따라 구분되는 작업자의 신체 부위와 공작 기계의 위험 영역에 기초하여, 작업자의 자세를 결정할 수 있다.
840 단계에서, 센싱 장치(100)는 추적된 작업자의 자세에 기초하여, 작업 공간에서의 위험 상황을 감지할 수 있다. 센싱 장치(100)는 추적된 작업자의 자세가 공작 기계의 위험 영역을 침범하는지, 작업자의 어떤 신체 부위까지 위험 영역에 위치하는지에 따라, 작업 공간에서의 위험 상황을 감지할 수 있다.
더 나아가, 센싱 장치(100)는 위험 상황의 수준을 더 세분화된 기준에 따라 결정하고, 결정된 위험 상황의 수준에 따라 위험 상황인지 결정할 수 있다.
도 9는 작업 공간에서의 위험 상황을 감지하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
910 단계에서, 센싱 장치(100)는 추적된 작업자의 자세에 대응되는 작업자의 체적과 공작 기계의 체적이 서로 겹치는 정도에 따라, 위험 상황의 수준을 결정할 수 있다. 센싱 장치(100)는 작업자의 체적 중 공작 기계의 위험 영역과 겹치는 체적의 수치와 세분화된 기준을 비교하여, 위험 상황의 수준을 결정할 수 있다.
920 단계에서, 센싱 장치(100)는 결정된 위험 상황의 수준에 따라 위험 상황인지 결정할 수 있다. 센싱 장치(100)는 결정된 위험 상황의 수준에 따라, 위험 상황이 아니라고 결정하거나, 잠재적인 위험 상황 또는 위험 상황이라고 결정할 수 있다.
센싱 장치(100)는 감지된 위험 상황을 위험 상황 관리 서비스를 제공하는 서버(200)에 통지할 수 있다. 예를 들어, 센싱 장치(100)는 결정된 위험 상황의 수준이 제1 기준값 이상이면, 서버(200)에 잠재적 위험 상황이 감지됨을 통지하고, 제1 기준값 보다 큰 제2 기준값 이상이면, 서버(200)에 위험 상황이 발생됨을 통지할 수 있다.
도 10은 작업 공간에서의 위험 상황을 예측하는 프로세스의 일 예를 설명하기 위한 상세 흐름도이다.
1010 단계에서, 센싱 장치(100)는 추적된 작업자의 자세 변화에 따라 작업자의 움직임을 예측할 수 있다. 센싱 장치(100)는 작업 공간을 연속적으로 모니터링하여, 작업자의 자세 변화를 확인할 수 있다. 예를 들어, 센싱 장치(100)는 작업자가 정위치에서 작업하다가 주저 앉기를 반복하는 패턴을 보이거나 공작 기계의 위험 영역쪽으로 작업자의 몸이 점점 기울어지는 추세를 보이는 경우, 그 패턴 또는 추세에 따른 작업자의 움직임을 예측할 수 있다.
1020 단계에서, 센싱 장치(100)는 예측된 움직임에 따라 작업 공간에서의 위험 상황을 예측할 수 있다. 센싱 장치(100)는 작업자의 자세 변화에 따라 결정된 패턴이나 추세를 이용하여, 작업자에게 위험 상황이 발생할 시기나 어떤 위험 상황이 발생할지를 예측할 수 있다.
상술한 실시예들 각각은 작업 공간에서의 관심 영역을 모니터링하는 방법을 수행하는 소정의 단계들을 실행시키기 위하여, 매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다. 다시 말해서, 상술한 실시예들 각각은 센싱 장치(100)의 적어도 하나의 프로세서로 하여금, 작업 공간에서의 관심 영역을 모니터링하는 방법을 수행하는 소정의 단계들을 수행하도록 하는, 매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다.
상술한 실시예들은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 명령어 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 명령어를 실행할 수 있도록 프로세서나 컴퓨터에 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.
이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

  1. 3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득하는 단계;
    상기 작업 공간에 배치된 공작 기계의 위험 영역과 상기 공작 기계를 운전시 작업자의 신체가 위치하는 관찰 영역을 포함하는 관심 영역을 설정하는 단계;
    상기 관심 영역에 대한 점군에 기초하여, 상기 공작 기계를 운전하는 작업자의 신체 부위 별 영역들과 상기 위험 영역의 조합에 기초한, 상기 작업자의 자세를 추적하는 단계; 및
    상기 추적된 작업자의 자세에 기초하여, 상기 작업 공간에서의 위험 상황을 감지하는 단계;
    를 포함하는, 작업 공간에서의 관심 영역을 모니터링하는 방법.
  2. 삭제
  3. 제1 항에 있어서,
    상기 관심 영역을 설정하는 단계는,
    상기 작업 공간에 대한 점군에 기초하여 생성되는 공간 정보 맵에 상기 공작 기계의 종류에 따라 사전에 정해진 상기 위험 영역과 상기 작업자의 유저 프로파일에 기초한 신체 정보에 따라 결정된 상기 관찰 영역을 설정하는, 작업 공간에서의 관심 영역을 모니터링하는 방법.
  4. 제1 항에 있어서,
    상기 작업자의 자세를 추적하는 단계는,
    상기 위험 영역과 상기 작업자의 신체 부위 별로 구분된 서브 관찰 영역들에 상기 작업자에 대응되는 점군이 존재하는지 판단하는 단계; 및
    상기 위험 영역과 상기 서브 관찰 영역들 중 상기 작업자에 대응되는 점군이 존재하는 영역들의 조합에 기초하여, 상기 작업자의 자세를 결정하는 단계;
    를 포함하는, 작업 공간에서의 관심 영역을 모니터링하는 방법.
  5. 제1 항에 있어서,
    상기 작업자의 자세를 추적하는 단계는,
    머신 러닝 기반의 신경망 모델을 이용하여 상기 작업자에 대응되는 점군으로부터 스켈레톤 정보를 획득하는 단계; 및
    상기 스켈레톤 정보의 관절(joint) 위치에 따라 구분되는 상기 작업자의 상기 신체 부위 별 영역들과 상기 위험 영역에 기초하여, 상기 작업자의 자세를 결정하는 단계;
    를 포함하는, 작업 공간에서의 관심 영역을 모니터링하는 방법.
  6. 제1 항에 있어서,
    상기 작업 공간에서의 위험 상황을 감지하는 단계는,
    상기 추적된 작업자의 자세에 대응되는 상기 작업자의 체적과 상기 공작 기계의 체적이 서로 겹치는 정도에 따라, 상기 위험 상황의 수준을 결정하는 단계; 및
    상기 결정된 위험 상황의 수준에 따라 상기 위험 상황인지 결정하는 단계;
    를 포함하는, 작업 공간에서의 관심 영역을 모니터링하는 방법.
  7. 제6 항에 있어서,
    상기 감지된 위험 상황을 위험 상황 관리 서비스를 제공하는 서버에 통지하는 단계를 더 포함하고,
    상기 서버에 통지하는 단계는,
    상기 결정된 위험 상황의 수준이 제1 기준값 이상이면, 상기 서버에 잠재적 위험 상황이 감지됨을 통지하고, 상기 제1 기준값 보다 큰 제2 기준값 이상이면, 상기 서버에 위험 상황이 발생됨을 통지하는, 작업 공간에서의 관심 영역을 모니터링하는 방법.
  8. 제1 항에 있어서,
    상기 추적된 작업자의 자세 변화에 따라 상기 작업자의 움직임을 예측하는 단계; 및
    상기 예측된 움직임에 따라 상기 작업 공간에서의 위험 상황을 예측하는 단계;
    를 더 포함하는, 작업 공간에서의 관심 영역을 모니터링하는 방법.
  9. 3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득하는 명령어들;
    상기 작업 공간에 배치된 공작 기계의 위험 영역과 상기 공작 기계를 운전시 작업자의 신체가 위치하는 관찰 영역을 포함하는 관심 영역을 설정하는 명령어들;
    상기 관심 영역에 대한 점군에 기초하여, 상기 공작 기계를 운전하는 작업자의 신체 부위 별 영역들과 상기 위험 영역의 조합에 기초한, 상기 작업자의 자세를 추적하는 명령어들; 및
    상기 추적된 작업자의 자세에 기초하여, 상기 작업 공간에서의 위험 상황을 감지하는 명령어들;
    을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 저장한 컴퓨터 판독 가능 저장매체.
  10. 3차원 공간을 감지하는 3D 센서를 이용하여 작업 공간에 대한 점군을 획득하는 센서부;
    하나 이상의 명령어들을 저장하는 메모리; 및
    상기 하나 이상의 명령어들을 실행함으로써, 상기 작업 공간에 배치된 공작 기계의 위험 영역과 상기 공작 기계를 운전시 작업자의 신체가 위치하는 관찰 영역을 포함하는 관심 영역을 설정하고, 상기 관심 영역에 대한 점군에 기초하여, 상기 공작 기계를 운전하는 작업자의 신체 부위 별 영역들과 상기 위험 영역의 조합에 기초한, 상기 작업자의 자세를 추적하고, 상기 추적된 작업자의 자세에 기초하여, 상기 작업 공간에서의 위험 상황을 감지하는 프로세서;
    를 포함하는, 작업 공간에서의 관심 영역을 모니터링하는 센싱 장치.
  11. 삭제
  12. 제10 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 작업 공간에 대한 점군에 기초하여 생성되는 공간 정보 맵에 상기 공작 기계의 종류에 따라 사전에 정해진 상기 위험 영역과 상기 작업자의 유저 프로파일에 기초한 신체 정보에 따라 결정된 상기 관찰 영역을 설정하는, 센싱 장치.
  13. 제10 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 위험 영역과 상기 작업자의 신체 부위 별로 구분된 서브 관찰 영역들에 상기 작업자에 대응되는 점군이 존재하는지 판단하고, 상기 위험 영역과 상기 서브 관찰 영역들 중 상기 작업자에 대응되는 점군이 존재하는 영역들의 조합에 기초하여, 상기 작업자의 자세를 결정하는, 센싱 장치.
  14. 제10 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    머신 러닝 기반의 신경망 모델을 이용하여 상기 작업자에 대응되는 점군으로부터 스켈레톤 정보를 획득하고, 상기 스켈레톤 정보의 관절 위치에 따라 구분되는 상기 작업자의 상기 신체 부위 별 영역들과 상기 위험 영역에 기초하여, 상기 작업자의 자세를 결정하는, 센싱 장치.
  15. 제10 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 추적된 작업자의 자세에 대응되는 상기 작업자의 체적과 상기 공작 기계의 체적이 서로 겹치는 정도에 따라, 상기 위험 상황의 수준을 결정하고, 상기 결정된 위험 상황의 수준에 따라 상기 위험 상황인지 결정하는, 센싱 장치.
  16. 제15 항에 있어서,
    상기 감지된 위험 상황을 위험 상황 관리 서비스를 제공하는 서버에 통지하는 통신 인터페이스를 더 포함하고,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 통신 인터페이스를 통해, 상기 결정된 위험 상황의 수준이 제1 기준값 이상이면, 상기 서버에 잠재적 위험 상황이 감지됨을 통지하고, 상기 제1 기준값 보다 큰 제2 기준값 이상이면, 상기 서버에 위험 상황이 발생됨을 통지하는, 센싱 장치.
  17. 제10 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 추적된 작업자의 자세 변화에 따라 상기 작업자의 움직임을 예측하고, 상기 예측된 움직임에 따라 상기 작업 공간에서의 위험 상황을 예측하는, 센싱 장치.
KR1020210113406A 2021-08-26 2021-08-26 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치 KR102664328B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210113406A KR102664328B1 (ko) 2021-08-26 2021-08-26 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치
EP22861631.4A EP4394727A1 (en) 2021-08-26 2022-08-18 Method and sensing device for monitoring region of interest in workspace
PCT/KR2022/012340 WO2023027421A1 (ko) 2021-08-26 2022-08-18 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치
US18/585,903 US20240192366A1 (en) 2021-08-26 2024-02-23 Method and sensing device for monitoring region of interest in workspace

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210113406A KR102664328B1 (ko) 2021-08-26 2021-08-26 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치

Publications (2)

Publication Number Publication Date
KR20230031037A KR20230031037A (ko) 2023-03-07
KR102664328B1 true KR102664328B1 (ko) 2024-05-08

Family

ID=85323274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210113406A KR102664328B1 (ko) 2021-08-26 2021-08-26 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치

Country Status (4)

Country Link
US (1) US20240192366A1 (ko)
EP (1) EP4394727A1 (ko)
KR (1) KR102664328B1 (ko)
WO (1) WO2023027421A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102597652B1 (ko) * 2023-03-17 2023-11-03 주식회사 와따 3d 포인트 클라우드 군집화 및 딥러닝 융합 객체 검출 강화 인식방법, 장치 및 컴퓨터프로그램
KR102578864B1 (ko) * 2023-06-07 2023-09-14 주식회사 성원 철강 제조 작업자의 모션 데이터를 이용한 인공신경망 학습 장치 및 방법
KR102624439B1 (ko) * 2023-06-07 2024-01-12 주식회사 성원 작업자 포즈 기반의 위험상황 감지 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332463A1 (en) * 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
KR102065975B1 (ko) * 2019-11-04 2020-01-14 주식회사 영신 라이다를 이용한 중장비 안전관리 시스템
KR102093477B1 (ko) * 2018-10-26 2020-03-25 오토아이티(주) 이종 카메라 기반의 위험지역 안전관리 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10099372B2 (en) * 2017-02-07 2018-10-16 Veo Robotics, Inc. Detecting and classifying workspace regions for safety monitoring
CA3136732A1 (en) * 2019-04-12 2020-10-15 University Of Iowa Research Foundation System and method to predict, prevent, and mitigate workplace injuries
KR20210030791A (ko) * 2019-09-10 2021-03-18 주식회사 케이티 모니터링 대상 영상에서 이상 상황을 탐지하는 서버, 방법 및 컴퓨터 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332463A1 (en) * 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
KR102093477B1 (ko) * 2018-10-26 2020-03-25 오토아이티(주) 이종 카메라 기반의 위험지역 안전관리 방법 및 장치
KR102065975B1 (ko) * 2019-11-04 2020-01-14 주식회사 영신 라이다를 이용한 중장비 안전관리 시스템

Also Published As

Publication number Publication date
EP4394727A1 (en) 2024-07-03
WO2023027421A1 (ko) 2023-03-02
US20240192366A1 (en) 2024-06-13
KR20230031037A (ko) 2023-03-07

Similar Documents

Publication Publication Date Title
KR102664328B1 (ko) 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치
JP5641445B2 (ja) 監視システム、監視方法、及び監視プログラム
JP4802112B2 (ja) トラッキング方法及びトラッキング装置
Hwang Ultra-wide band technology experiments for real-time prevention of tower crane collisions
JP2014078254A (ja) 移動ロボット環境の同時局在化およびマッピング方法および装置
CN103377471B (zh) 物体定位方法和装置、最优摄像机对确定方法和装置
JP2014078254A5 (ko)
JP2015524560A (ja) ３ｄ走査および位置決めのインターフェース
US20210104006A1 (en) Keepout zone detection and active safety system
JP5654110B2 (ja) 監視方法およびカメラ
JP2021093146A (ja) 転倒検知及び支援
US10012729B2 (en) Tracking subjects using ranging sensors
US10120057B1 (en) System and method for determining the direction of an actor
Genders et al. Smartphone construction safety awareness system: A cyber-physical system approach
JP2022125973A (ja) 位置推定装置および位置推定プログラム並びに位置推定方法
KR102067079B1 (ko) IoT에 기반한 주변 기기 탐색 방법 및 장치
KR20230105967A (ko) 작업 현장을 모니터링하는 방법 및 장치
EP4394440A1 (en) Method for sensing installation abnormality of sensing device, and sensing device for performing same
CN112344966A (zh) 一种定位失效检测方法、装置、存储介质及电子设备
EP4394700A1 (en) Method and server for matching point groups in three-dimensional space
Day et al. A depth sensing display for bomb disposal robots
US20230384751A1 (en) Systems and methods for determining thickness and/or diameter using computer vision
JP2024042984A (ja) 作業者管理システム及びコンピュータ・プログラム
US10351154B2 (en) Shopping cart measurement system and associated methods
KR20190087981A (ko) 행동 특징량 해석 시스템 및 행동 특징량 해석 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant