KR102635901B1 - Ai 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법 - Google Patents

Ai 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR102635901B1
KR102635901B1 KR1020230052922A KR20230052922A KR102635901B1 KR 102635901 B1 KR102635901 B1 KR 102635901B1 KR 1020230052922 A KR1020230052922 A KR 1020230052922A KR 20230052922 A KR20230052922 A KR 20230052922A KR 102635901 B1 KR102635901 B1 KR 102635901B1
Authority
KR
South Korea
Prior art keywords
information
robot
work
worker
frames
Prior art date
Application number
KR1020230052922A
Other languages
English (en)
Inventor
박권환
박상은
Original Assignee
소니드로보틱스 주식회사
서울미디어대학원대학교 산학협력단
뉴코리아전자통신(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니드로보틱스 주식회사, 서울미디어대학원대학교 산학협력단, 뉴코리아전자통신(주) filed Critical 소니드로보틱스 주식회사
Priority to KR1020230052922A priority Critical patent/KR102635901B1/ko
Application granted granted Critical
Publication of KR102635901B1 publication Critical patent/KR102635901B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311Scheduling, planning or task assignment for a person or group
    • G06Q10/063114Status monitoring or status determination for a person or group
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0633Workflow analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0635Risk analysis of enterprise or organisation activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 건설 현장에서의 이동 경로를 맵핑하여 이동 경로 정보를 생성하는 위치 확인 모듈과, 상기 건설 현장의 상황을 영상 정보로 수집하는 영상 정보 수집 모듈과, 상기 건설 현장에 위험 객체, 또는 생명체의 존재 여부 및 위치 정보를 감지하는 센서부와, AI 로봇의 구동을 제어하고, 상기 영상 정보와 작업 공정 정보를 비교 및 분석하여 건설 현장의 작업 구역, 또는 이동 경로 상에 위험 객체가 존재하는지 여부를 확인하며, 상기 위험 객체에 대한 위험도를 분석하는 로봇 제어부와, 상기 로봇 제어부로부터 전송되는 정보들을 표시하는 디스플레이부를 포함하는 AI 로봇;을 이용하여 건설 현장의 위험 객체를 인식하여 이 위험 객체로 인한 사고가 발생하는 것을 사전에 방지하고, 사고 발생시에도 신속한 대처가 이루어지도록 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법을 제공하는 것이다.

Description

AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법{Hazardous object recognition system and method at construction site using AI robot}
본 발명은 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 방법은 AI 로봇이 건설 시공 공정별로 작업 상태 및 현황 정보를 실시간 수집한 데이터를 바탕으로 건설 현장에서의 위험 요소 및 사고 발생 여부를 파악하여 건설 현장 내에서 발생할 수 있는 사고나 재해에 대한 실시간 안전 예방 활동이 가능함에 따라 보다 안전한 건설 시공이 가능하도록 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 방법에 관한 것이다.
일반적으로 건설산업은 노동집약적인 산업으로서, 다양한 공종과 수많은 작업 인력이 투입되어 동시에 여러 작업이 진행되므로 투입되는 인력에 대한 체계적이며 효과적인 관리와 운용, 그리고 이러한 투입인력에 대한 확실한 안전관리가 무엇보다도 중요하다.
그러나, 건설현장은 현장 자체에 내재되어 있는 다양한 환경으로부터 기인하는 위험성이나 작업자의 사소한 부주의로 인하여 안전사고가 빈번하게 발생하여 귀중한 인적자원이 손실되는 치명적인 문제점을 가지고 있다
이를 해결하기 위해 대한민국 등록특허 제10-1759916호(이하, '특허문헌 1'이라 함.)에는, 관리서버에서의 공정 및 작업 위험도에 의한 위험지도 기반의 안전관리방법에 있어서, 공정에 포함된 복수의 지역에 대한 지역 위험 지수를 계산하는 단계; 상기 공정에 포함된 복수의 작업에 대한 작업 위험 지수를 계산하는 단계; 및 상기 지역 위험 지수 및 상기 작업 위험 지수에 기초하여, 상기 공정에 대한 위험도를 산출하는 단계를 포함하되, 상기 지역 위험 지수를 계산하는 단계는, 상기 지역에 대한 사고 시나리오를 설정하는 단계; HAZOP(hazard and operability review) 위험 평가에 기초하여 상기 복수의 지역에 대한 위험 요소를 추출하는 단계; 상기 추출된 위험 요소 및 상기 설정된 사고 시나리오에 기초하여 상기 복수의 지역에 대한 피해 위험도를 평가하는 단계; 및 상기 평가된 피해 위험도에 기초하여 상기 복수의 지역에 대한 지역 위험 지수를 계산하는 단계를 포함하는 공정 및 작업 위험도에 의한 위험지도 기반의 안전관리를 위한 서버, 시스템이 게재된 바 있다.
하지만, 전술한 특허문헌 1은 공정 및 작업에 대한 위험도를 산출하고, 산출된 공정 및 작업 위험도에 의한 위험지도 기반의 안전관리를 수행하도록 구성되는 것으로서, 작업자에 대한 안전 관리가 가능하나, 위험한 작업을 진행하는 도중에 발생하는 사고에 대한 신속한 대처가 어려울 뿐만 아니라, 사업장내의 장소별 또는 설비별 위험 요인을 알지 못하는 방문자가 위험 장소 또는 설비에 접근하는 경우, 다양한 안전사고에 노출될 우려가 있는 문제점이 있었다.
또한, 허가되지 않은 사람이 위험 장소 또는 설비에 접근하는 것을 차단하기 위한 수단이 구비되지 못함에 따라 나쁜 의도를 가지고 위험 장소 또는 설비에 접근하여 설비를 임의로 조작하는 행위를 방지하는 것이 불가능한 문제점이 있었다.
또한, 작업자는 작업을 위한 건물에 출입시 정해진 규칙에 따른 행동요령을 지켜야 하는데, 이를 확인하기 위한 수단이 구비되지 못함에 따라 작업자가 정해진 규칙에 따른 행동요령을 정확하게 준수하고 있는지를 확인하는 것이 어려운 문제점이 있었다.
여기서 전술한 배경기술 또는 종래기술은 본 발명의 기술적 의의를 이해하는데 도움이 되기 위한 것일 뿐, 본 발명의 출원 전에 이 발명이 속하는 기술분야에서 널리 알려진 기술을 의미하는 것은 아니다.
대한민국 등록특허 제10-1759916호
이와 같은 문제점을 해결하기 위하여 본 발명은 전술한 배경기술에 의해서 안출된 것으로, AI 로봇이 건설 시공 공정별로 작업 상태 및 현황 정보를 실시간 수집한 데이터를 바탕으로 건설 현장에서의 위험 요소 및 사고 발생 여부를 파악하여 건설 현장 내에서 발생할 수 있는 사고나 재해에 대한 실시간 안전 예방 활동이 가능함에 따라 보다 안전한 건설 시공이 가능하도록 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 위험 요소 및 사고 발생 여부에 대한 정보를 분석하여 건설 시공 공정별 위험 분포도 및 위험도별 등급 데이터를 생성하고, 생성한 데이터를 안전 관리 시스템으로 전송하여 건설 현장에서 발생할 수 있는 사고 및 재난 등을 예방할 수 있는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 AI 로봇이 실시간 자율 주행이 이루어지면서 건설 현장 내에서 작업자의 작업 상태, 위험 개체 존재 여부를 파악하여 작업자, 또는 외부 인원이 위험도가 높은 지역으로 접근하는 방지하고, 위험도가 높은 지역 내의 인원에 대한 경고와 현장 관리자에게 보고함으로써, 재해 발생을 원천 예방할 수 있는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
다만, 본 발명의 목적은 이에만 제한되는 것은 아니며, 명시적으로 언급하지 않더라도 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 이에 포함됨은 물론이다.
이와 같은 과제를 달성하기 위한 본 발명의 일 실시예에 따르면, 건설 현장에서의 이동 경로를 맵핑하여 이동 경로 정보를 생성하는 위치 확인 모듈과, 상기 건설 현장의 상황을 영상 정보로 수집하는 영상 정보 수집 모듈과, 상기 건설 현장에 위험 객체, 또는 생명체의 존재 여부 및 위치 정보를 감지하는 센서부와, AI 로봇의 구동을 제어하고, 상기 영상 정보와 작업 공정 정보를 비교 및 분석하여 건설 현장의 작업 구역, 또는 이동 경로 상에 위험 객체가 존재하는지 여부를 확인하며, 상기 위험 객체에 대한 위험도를 분석하는 로봇 제어부와, 상기 로봇 제어부로부터 전송되는 정보들을 표시하는 디스플레이부를 포함하는 AI 로봇;을 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 작업자, 또는 현장 관리자의 고유 등록 정보가 저장되고, 상기 AI 로봇과 상기 고유 등록 정보의 송수신이 이루어지도록 구성되며, 작업자가 당일 수행할 작업 공정을 포함하는 당일 작업일지의 입력이 이루어지도록 구성되는 작업자 단말; 및 시공 설계도면을 포함하는 건설 현장 정보, 시공시 수행되는 작업 공정 정보 및 작업 공정별 특성 정보와, 상기 당일 작업일지 정보가 저장되고, 건설 현장 정보와 작업 공정 정보를 분석하여 작업 공정이 수행되는 구역을 설정하고, 설정한 구역정보로 이루어지는 작업 구역 정보와, 작업 공정별 특성 정보를 분석하여 작업 공정을 수행하는 작업자의 행동에 대한 정보와, 작업 공정에 사용되는 작업용 장비들에 대한 위험도를 등급별로 분류하고, 분류한 등급별 위험도로 이루어지는 위험요소 데이터를 생성하여 상기 AI 로봇으로 전송하는 상황 인식 시스템;을 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 센서부는, 상기 위치 확인 모듈에 의해 형성된 이동 경로 정보를 따라 이동할 때, 건설 현장의 작업 구역이나 이동 경로 상에 위험 객체나, 사람, 또는 동물을 포함하는 생명체가 존재하는지 여부와, 감지한 위험 객체나, 생명체의 위치정보를 로봇 메모리로 전송하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 디스플레이부는, 상기 로봇 제어부의 제어에 따라 고유 등록 정보를 가지는 작업자의 현재 위치가 당일 작업일지에 기록된 작업 공정 구역의 위치와 상이한 경우, 상기 작업자가 현재 수행해야 할 작업 구역 정보와 위치 정보를 표시하는 것을 특징을 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 로봇 제어부는, 상기 영상 정보를 기반으로, 건설 현장의 작업 구역, 또는 이동 경로 상에 위험 객체가 존재하는지 여부를 분석하여 상황 정보 데이터와, 작업자의 작업 상태에 대한 작업 상태 데이터를 생성하며, 상기 AI 로봇의 구동을 제어하는 제어 프로세서; 및 상기 AI 로봇의 구동을 위한 프로그램 및 상기 프로그램이 수행중에 발생하는 데이터를 저장하고, 상기 상황 인식 시스템으로부터 전송되는 정보들을 저장하는 로봇 메모리;를 포함하는 것을 특징으로 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.
또한, 본 발명의 일 실시예에 따르면, 상기 제어 프로세서는, 상기 영상 정보로부터 작업 구역별 영상 정보와 이동 경로 영상 정보로 분할하고, 분할한 각각의 영상 정보로부터 다수의 프레임을 추출할 영상 구간을 선택하고, 선택한 영상 구간으로부터 다수의 프레임을 추출하는 영상 정보 분석부와, 상기 다수의 프레임들과 상기 로봇 메모리에 저장된 작업 공정 정보를 비교 및 분석하여 상기 상황 정보 데이터를 생성하는 위험 객체 분석부와, 상기 다수의 프레임들을 분석하여 상기 작업자의 행동이 작업 공정을 수행하는 행동에 대비하여 적법한 행동인지, 아니면 해당 작업자가 위험한 상태인지 여부를 판단하여, 상기 작업자의 작업 상태 데이터를 생성하는 작업자 행동 분석부와, 상기 상황 정보 데이터 및 작업 상태 데이터를 바탕으로 상기 AI 로봇의 구동을 제어하는 구동 프로세서를 포함하는 것을 특징으로 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.
또한, 본 발명의 일 실시예에 따르면, 상기 영상 정보 분석부는, Yolo v5를 포함하는 딥러닝 검출 모델을 이용하여, 추출된 다수의 프레임들 중에서 생명체가 존재하는 프레임과, 존재하지 않는 프레임을 분류하여 추출하고, 사람이 포함된 프레임들 중에서 작업자가 존재하는 프레임과, 일반인이 존재하는 프레임으로 분류하여 추출하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 영상 정보 분석부는, 상기 작업자와 일반인이 존재하는 프레임들을 분류 및 추출할 때, 해당 인물이 착용중인 복장이나 안전장비의 착용 유무를 판단하여 안전장비를 착용한 인물이 작업자라고 판단하여 선별하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 위험 객체 분석부는, 작업 공정 정보와 추출된 다수의 프레임들을 비교하여 상기 작업 공정 정보에 포함되어 있는 작업용 장비가 존재하는 프레임들을 선별하고, 선별한 프레임들이 해당하는 구역을 분석하며, 분석한 구역에 상기 작업용 장비가 존재하는 것이 맞는지 여부를 분석하여, 해당 프레임에 위험 객체가 존재하는지 여부를 판단하고, 판단 결과에 대한 상황 정보 데이터를 생성하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 위험 객체 분석부는, 상기 작업용 장비가 포함되어 있는 프레임들을 선별할 때, 추출된 다수의 프레임들을 작업 공정별로 분류한 후, 공정별 작업용 장비의 존재 여부를 분석하고, 분석한 프레임 상에 상기 작업용 장비에 해당하지 않은 사물이 존재하는 경우, 해당 사물의 위험도를 분석하며, 상기 사물에 대한 위험도가 높다고 판단되는 경우, 해당 작업 공정에서는 상기 사물을 위험 객체로 구분하고, 상기 작업 공정에 해당하는 다수의 프레임들로부터 위험도가 높은 사물에 대한 픽셀을 추출하여 패치정보를 생성하여 로봇 메모리에 저장된 위험요소 데이터를 업데이트하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 위험 객체 분석부는, 상기 사물에 대한 위험도의 분석시 상기 로봇 메모리에 저장된 위험요소 데이터를 기반으로 위험도를 분석하며, 상기 위험요소 데이터에 상기 사물에 대한 정보가 존재하지 않는 경우에는 안전 관리 시스템으로 해당 사물에 대한 정보를 이미지 정보로 변환하여 전송하고, 해당 사물에 대한 정보가 상기 로봇 메모리의 위험요소 데이터에 업데이트되면, 위험도에 대한 분석을 재실시하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 위험 객체 분석부는, 위험요소 데이터의 생성시 센서부를 통해 감지한 위험 요소의 위치 정보를 수신받아 상기 사물의 위치정보를 포함하는 위험요소 데이터를 생성하는 것을 특징으로 한다.
또한, 본 발명의 다른 일 실시예에 따르면, AI 로봇을 이용한 건설 현장의 위험 객체 인식 방법에 있어서, (a) 건설 현장에 대한 영상정보를 수집하고, Yolo v5를 이용하여, 수집한 영상정보로부터 추출된 다수의 프레임들 중에서 생명체가 존재하는 프레임과, 존재하지 않는 프레임을 분류하여 추출하고, 사람이 포함된 프레임들 중에서 작업자가 존재하는 프레임과, 일반인이 존재하는 프레임으로 분류하여 추출하는 단계; (b) 추출된 다수의 프레임들과 작업용 장비 정보를 포함하는 작업 공정 정보를 비교하여 상기 작업 공정 정보에 포함되어 있는 작업용 장비가 존재하는 프레임들을 선별하는 단계; (c) 선별한 프레임들이 해당하는 구역을 분석하고, 분석한 구역에 상기 작업용 장비가 존재하는 것이 맞는지 여부를 분석하여, 해당 프레임에 위험 객체가 존재하는지 여부를 판단하는 단계; (d) 분석한 프레임 상에 상기 작업용 장비에 해당하지 않은 사물이 존재하는 경우에 해당 사물의 위험도를 분석하여, 상기 사물에 대한 위험도가 높다고 판단되면, 해당 작업 공정에서는 상기 사물을 위험 객체로 구분하는 단계; 및 (e) 상기 위험 객체로 구분된 사물에 대한 픽셀을 추출하여 패치정보를 생성하여 위험요소 데이터를 업데이트하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 일 실시예에 따르면, 상기 사물에 대한 위험도의 분석시 위험요소 데이터를 기반으로 위험도를 분석하며, 상기 위험요소 데이터에 상기 사물에 대한 정보가 존재하지 않는 경우, 해당 사물에 대한 정보를 이미지 정보로 변환하여 위험요소 데이터를 업데이트한 다음, 위험도에 대한 분석을 재실시하는 것을 특징으로 한다.
이와 같은 본 발명의 실시예에 의하면, AI 로봇이 건설 시공 공정별로 작업 상태 및 현황 정보를 실시간 수집한 데이터를 바탕으로 건설 현장에서의 위험 요소 및 사고 발생 여부를 파악하여 건설 현장 내에서 발생할 수 있는 사고나 재해에 대한 실시간 안전 예방 활동이 가능함에 따라 보다 안전한 건설 시공이 가능한 효과가 있다.
또한, 본 발명의 실시예에 의하면, 위험 요소 및 사고 발생 여부에 대한 정보를 분석하여 건설 시공 공정별 위험 분포도 및 위험도별 등급 데이터를 생성하고, 생성한 데이터를 안전 관리 시스템으로 전송하여 건설 현장에서 발생할 수 있는 사고 및 재난 등을 예방할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 의하면, AI 로봇이 실시간 자율 주행이 이루어지면서 건설 현장 내에서 작업자의 작업 상태, 위험 개체 존재 여부를 파악하여 작업자, 또는 외부 인원이 위험도가 높은 지역으로 접근하는 방지하고, 위험도가 높은 지역 내의 인원에 대한 경고와 현장 관리자에게 보고함으로써, 재해 발생을 원천 예방할 수 있는 효과가 있다.
더불어, 본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템을 개략적으로 나타낸 구성 블록도,
도 2 및 도 3은 본 발명의 일 실시예에 따른 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템의 AI 로봇을 나타낸 구성 블록도,
도 4는 본 발명의 일 실시예에 따른 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템의 작업 공정별 특성 정보를 나타낸 예시도,
도 5는 본 발명의 일 실시예에 따른 AI 로봇을 이용한 건설 현장의 위험 객체 인식 인식 과정을 나타낸 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.
또한, 본 발명을 설명함에 있어, 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 하며, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 본 발명을 설명함에 있어, 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 하고, 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.
또한, 본 발명을 설명함에 있어, "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것으로, 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 하고, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 식별부호를 사용할 수 있다. 이러한 식별부호는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것이고, 설명의 편의를 위하여 사용되는 것일 뿐, 그 식별부호에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정하는 것은 아니다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 발명에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수 있다. 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
또한, 본 발명의 각 실시예에 기재된 각각의 서버는, 단말, 장치 또는 디바이스와 네트워크를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현되는 시스템일 수 있으며, 메모리, 프로세서, 통신 인터페이스, 입출력 인터페이스 및 데이터베이스를 포함할 수 있다.
이하, 첨부된 도면을 참고하여 본 발명의 실시예들을 상세히 설명하도록 한다.
도시된 바와 같이, 본 발명의 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템은, AI 로봇(100), 작업자 단말(200), 상황 인식 시스템(300) 및 안전 관리 시스템(400)을 포함하여 구성된다.
AI 로봇(100)은, 상황 인식 시스템(300)으로부터 전송되는 작업 구역 정보를 기반으로 건설 현장에서의 AI 로봇(100)의 이동 경로를 맵핑하여 이동 경로 정보를 생성하는 위치 확인 모듈(110)과, 건설 현장의 상황 정보를 수집하는 영상 정보 수집 모듈(120)과, 건설 현장에 위험 객체와 사람이나 동물을 포함하는 생명체의 존재 여부를 판단하는 센서부(130)와, 로봇 제어부(150)로부터 전송되는 정보들을 표시하는 디스플레이부(140)와, 상황 인식 시스템(300) 및 안전 관리 시스템(400)와 네트워크를 통해 연결되어 데이터의 송수신이 이루어지도록 구성되며, AI 로봇(100)의 구동을 제어하고, AI 로봇(100)을 통해 수집된 정보들을 분석하여 건설 현장에서의 사고 및 재난 발생 여부를 판단하는 로봇 제어부(150)를 포함하여 구성된다.
위치 확인 모듈(110)은 로봇 제어부(150)를 통해 제어되며, 이 로봇 제어부(150)의 로봇 메모리(154)에 저장된 작업 구역 정보를 기반으로 건설 현장을 맵핑하고, 맵핑 결과 정보를 기반으로 AI 로봇(100)이 이동해야 할 이동 경로 정보를 생성하여 로봇 메모리(154)로 전송하여 저장한다.
또한, 위치 확인 모듈(110)은 이동 경로 정보의 맵핑시 작업 공정별 구역 정보를 생성하고, 생성한 작업 공정별 구역 정보로 이동하기 위한 AI 로봇(100)의 이동 경로를 맵핑하여 작업 공정별 구역으로 이동하기 위한 이동 경로 정보를 생성하여 로봇 메모리(154)로 전송하여 저장한다.
이러한 위치 확인 모듈(110)은 이동 경로 정보를 따라 이동하기 위하여 좌표 및 방위를 가지는 마커를 건설 현장의 작업 공정별 구역에 표시할 수 있다.
영상 정보 수집 모듈(120)은 통상의 카메라로 구성될 수 있으며, 로봇 제어부(150)의 제어에 의해 건설 현장을 촬영하여 로봇 제어부(150)로 전송한다.
센서부(130)는 AI 로봇(100)이 위치 확인 모듈(110)에 의해 형성된 이동 경로 정보를 따라 이동할 때, 건설 현장의 작업 구역이나 이동 경로 상에 위험 객체나, 사람, 또는 동물을 포함하는 생명체가 존재하는지 여부와, 감지한 위험 객체나, 생명체의 위치정보를 로봇 메모리(154)로 전송한다.
이러한 센서부(130)는 건설 현장의 주변 온도 및 습도를 감지하고, 작업 구역에 대한 작업 환경 상태 및 AI 로봇(100)의 작동 상태를 감지하여 감지한 결과에 대한 결과 데이터를 로봇 메모리(154)로 전송한다.
이와 같은 센서부(130)는 예를 들면, GPS, 자이로 센서(gyro sensor), 마그네틱 센서(magnetic sensor), 가속도 센서(acceleration sensor), 근접 센서(proximity sensor), IR(infrared) 센서, 생체 센서(biometric sensor), 온도 센서(temperature sensor), 습도 센서(humidity sensor), 또는 조도 센서(illuminance sensor)를 포함할 수 있다.
디스플레이부(140)는 위치 확인 모듈(110)에서 생성한 이동 경로 정보와, 센서부(130)에서 감지한 감지 결과 데이터를 표시할 수 있으며, 로봇 제어부(150)의 제어에 의해 건설 현장에 위치하는 미동록된 작업자, 예를 들면 외부 사람 등과 같이 건설 현장에 존재하지 않아야 할 사람이 존재하는 경우, 이에 대한 경고 메세지의 송출이 이루어지도록 구성되고, 건설 현장의 다른 작업 구역이나 이동 경로 상에서 발생한 안전사고에 대한 정보를 표시하도록 구성될 수 있다.
또한, 디스플레이부(140)는 로봇 제어부(150)의 제어에 따라 고유 등록 정보를 가지는 작업자의 현재 위치가 당일 작업일지에 기록된 작업 공정 구역의 위치와 상이한 경우, 이 작업자가 현재 수행해야 할 작업 구역 정보와 위치 정보를 표시한다.
이때, 디스플레이부(140)에는 스피커 등과 같은 송출장치가 더 구비될 수 있으며, 표시되는 정보를 소리로 출력이 가능하도록 구성될 수도 있을 것이다.
로봇 제어부(150)는 작업자 단말(200), 상황 인식 시스템(300) 및 안전 관리 시스템(400)과 네트워크로 연결되어 데이터 및 이 데이터를 포함하는 각종 정보들의 송수신이 이루어지도록 구성되고, 위치 확인 모듈(110)을 통해 생성된 이동 경로 정보를 바탕으로 AI 로봇(100)의 구동을 제어하며, 상황 인식 시스템(300)으로부터 전송되는 작업 구역 정보 및 작업 공정 특성 정보와 영상 정보 수집 모듈(120) 및 센서부(130)에서 전송되는 영상 정보 및 감지 데이터들을 비교 및 분석하여 해당 영상 정보의 상황을 인식하여 사고 발생 여부를 판단하여, 판단 결과 정보를 작업자 단말(200) 및 안전 관리 시스템(400)으로 전송하는 것으로, 제어 프로세서(152) 및 로봇 메모리(154)를 포함하여 구성된다.
제어 프로세서(152)는 작업자 단말(200), 상황 인식 시스템(300) 및 안전 관리 시스템(400)과 네트워크로 연결될 수 있도록 통신모듈이 구비될 수 있다.
제어 프로세서(152)는 영상 정보 수집부(120)에서 수집한 영상 정보를 분석하여 해당 영상 정보에 포함된 건설 현장의 작업 구역, 또는 이동 경로 상의 상황을 판단할 수 있도록 상기 영상 정보로부터 다수의 프레임들을 추출하는 영상 정보 분석부(152a)와, 상기 다수의 프레임들로부터 건설 현장의 작업 구역, 또는 이동 경로 상에 위험 객체가 존재하는지 여부를 분석하여 상황 정보 데이터를 생성하는 위험 객체 분석부(152b)와, 상기 다수의 프레임들과 작업 구역 정보를 비교 및 분석하여 상기 작업 구역, 또는 이동 경로 상에 존재하는 작업자의 작업 상태에 대한 작업 상태 데이터를 생성하는 작업자 행동 분석부(152c)와, AI 로봇(100)이 이동 경로 정보를 따라 구동할 수 있도록 제어하고, 상기 영상 정보 분석부(152a), 위험 객체 분석부(152b) 및 작업자 행동 분석부(152c)의 결과 데이터를 기반으로 건설 현장의 상황에 따라 작업자 단말(200) 및 안전 관리 시스템(400)으로 상기 결과 데이터를 전송하는 구동 프로세서(152d)를 포함하여 구성된다.
영상 정보 분석부(152a)는, 영상 정보 수집부(120)에서 수집한 영상정보로부터 작업 구역별 영상 정보와 이동 경로 영상 정보로 분할하고, 분할한 각각의 영상 정보로부터 다수의 프레임(이미지)를 추출한다.
이러한 영상 정보 분석부(152a)는 수집한 영상 정보로부터 다수의 프레임을 추출할 영상 구간을 선택하고, 선택한 영상 구간으로부터 다수의 프레임을 추출하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다.
여기서, 영상 정보 분석부(152a)는 상기 다수의 프레임을 추출할 영상 구간을 선택하는 것으로 설명하였으나, 이에 한정하는 것은 아니고, 수집한 영상 정보를 모두 탐색하여 다수의 프레임 추출이 이루어지도록 구성될 수도 있다.
이때, 영상 정보 분석부(152a)는 Yolo v5와 같은 딥러닝 검출 모델을 이용하여, 추출된 다수의 프레임들 중에서 사람, 동물 등을 포함하는 생명체가 존재하는 프레임과, 존재하지 않는 프레임을 분류하여 추출하고, 사람이 포함된 프레임들 중에서 작업자가 존재하는 프레임과, 일반인(외부 인원)이 존재하는 프레임으로 분류하여 추출한다.
이러한 영상 정보 분석부(152a)는, 작업자와 일반인이 존재하는 프레임들을 분류 및 추출할 때, 단순히 인물이 있는 프레임을 찾는 것이 아니라 해당 인물이 착용중인 복장이나 안전장비의 착용 유무를 판단하여 안전장비를 착용한 인물이 작업자라고 판단하여 선별하도록 구성될 수 있다.
위험 객체 분석부(152b)는, 영상 정보 분석부(152a)를 통해 추출된 다수의 프레임들과 로봇 메모리(154)에 저장된 작업 공정 정보를 비교 및 분석하여 건설 현장의 작업 구역, 또는 이동 경로 상에 위험 객체가 존재하는지 여부를 판단하고, 판단 결과에 대응하는 상황 정보 데이터를 생성한다.
이러한 위험 객체 분석부(152b)는, 상기 작업 공정 정보와 추출된 다수의 프레임들을 비교하여 상기 작업 공정 정보에 포함되어 있는 작업용 장비가 존재하는 프레임들을 선별하고, 선별한 프레임들이 해당하는 구역을 분석하며, 분석한 구역에 상기 작업용 장비가 존재하는 것이 맞는지 여부를 분석하여, 해당 프레임에 위험 객체가 존재하는지 여부를 판단하고, 판단 결과에 대한 상황 정보 데이터를 생성하여 구동 프로세스(152d) 및 로봇 메모리(154)로 전송한다.
이때, 위험 객체 분석부(152b)는, 상기 작업용 장비가 포함되어 있는 프레임들의 선별시 추출된 다수의 프레임들을 작업 공정별로 분류한 후, 공정별 작업용 장비의 존재 여부를 분석할 수 있으며, 분석한 프레임 상에 상기 작업용 장비에 해당하지 않은 사물이 존재하는 경우, 해당 사물의 위험도를 분석할 수 있다.
여기서, 위험 객체 분석부(152b)는 상기 사물에 대한 위험도의 분석시 로봇 메모리(154)에 저장된 위험요소 데이터를 기반으로 위험도를 분석할 수 있으며, 상기 위험요소 데이터에 상기 사물에 대한 정보가 존재하지 않는 경우에는 안전 관리 시스템(400)으로 해당 사물에 대한 정보를 이미지 정보로 변환하여 구동 프로세서(152d)를 통해 전송하고 해당 사물에 대한 정보가 로봇 메모리(154)에 업데이트되는 경우, 위험도에 대한 분석을 재실시하도록 구성될 수 있다.
아울러, 위험 객체 분석부(152b)는 상기 사물이 위험하다고 판단되는 경우, 해당 작업 공정에서는 상기 사물을 위험 객체로 구분하고, 상기 작업 공정에 해당하는 다수의 프레임들로부터 위험 객체로 구분된 사물에 대한 픽셀을 추출하여 패치정보를 생성하여 로봇 메모리(154)에 저장된 위험요소 데이터의 업데이트가 이루어지도록 구성될 수 있다.
한편, 위험 객체 분석부(152b)는 위험요소 데이터의 생성시 센서부(130)를 통해 감지한 위험 요소의 위치 정보를 로봇 메모리(154)로부터 수신받아 상기 사물의 위치정보를 포함하는 위험요소 데이터를 생성할 수 있다.
작업자 행동 분석부(152c)는, 영상 정보 분석부(152a)를 통해 분류된 작업자가 존재하는 다수의 프레임들을 분석하여 상기 작업자의 행동이 작업 공정을 수행하는 행동에 대비하여 적법한 행동인지, 아니면 해당 작업자가 위험한 상태인지 여부를 판단하여, 상기 작업자에 대한 상태 데이터를 생성하고, 생성한 작업자 상태 데이터를 로봇 메모리(154)에 저장한다.
이러한 작업자 행동 분석부(152c)는 상기 작업자 상태 데이터가 위험 상태인 경우, 구동 프로세서(152d)를 통해 안전 관리 시스템(400)으로 전송하는 한편, 상기 작업자의 작업자 단말(200)과 인접한 위치에 있는 다수의 작업자 단말(200)로도 전송하여 신속한 대응이 이루어지도록 구성될 수 있다.
이때, 작업자 행동 분석부(152c)는, 상황 인식 시스템(300)으로부터 전송되는 작업 공정 특성 정보와 상기 다수의 프레임에 존재하는 작업자의 행동 정보를 비교하여 작업자 상태 데이터의 생성이 이루어지도록 구성될 수 있다.
구동 프로세서(152d)는, 로봇 메모리(154)에 저장된 이동 경로 정보에 따라 AI 로봇(100)에 구성된 구동 장치의 구동을 제어한다.
이러한 구동 프로세서(152d)는 AI 로봇(100)을 이루는 구성 요소들로부터 수신된 명령 또는 데이터를 로봇 메모리(154)에 로드(load)하고, 이 로봇 메모리(154)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 로봇 메모리(154)에 저장함과 동시에 작업자 단말(200) 및 안전 관리 서버(400)로 전송할 수 있다.
한편, 구동 프로세서(152d)는 공정별 구역 내에 등록되지 않은 작업자, 또는 외부 인원에 대한 존재 여부를 확인하는 통신모듈을 더 구비할 수 있다.
이때, 구동 프로세서(152d)는, 영상 정보 분석부(152a)를 통해 분석한 영상 정보에 일반인이 존재하는 경우, 이 일반인이 있는 위치까지 이동한 후, 디스플레이부(140)를 통해 일반인의 단말장치와 네트워크로 연결 여부를 확인하고, 상기 단말장치와 네트워크로 연결되면, 상기 단말장치로 고유 등록 정보를 요청할 수 있다.
여기서, 상기 고유 등록 정보가 상기 단말장치로부터 전송되지 않는다면, 해당 구역으로부터 이탈을 요청하는 이탈 요청 신호를 송출하도록 구성될 수 있다.
구동 프로세서(152d)는 위험 객체 분석부(152b)로부터 전송되는 상황 정보 데이터에 위험 객체가 존재하는 경우, 디스플레이부(140)를 통해 위험 객체가 존재함을 알리는 경고음의 송출이 이루어지도록 제어하는 한편, 상기 위험 객체와 가장 인접한 위치에 있는 다수의 작업자 단말(200)로 위험 객체의 제거를 요청하는 신호를 전송하도록 구성될 수 있다.
또한, 구동 프로세서(152d)는, 고유 등록 정보를 가지는 작업자의 현재 위치가 당일 작업일지에 기록된 작업 공정 구역의 위치와 상이한 경우, 이 작업자의 작업자 단말(200)로 현재 수행해야 할 작업 구역 정보와 위치 정보를 전송한다.
로봇 메모리(154)는 AI 로봇(100)의 구동을 위한 프로그램을 저장하며, 이 프로그램이 수행중에 발생하는 데이터를 저장하는 것으로, 위치 확인 모듈(110), 영상 정보 수집 모듈(120) 및 센서부(130)를 통해 각각 생성한 정보 및 센싱 결과 데이터를 저장하고, 건설 현장에서 작업을 수행하는 작업자 단말(200)의 고유 등록 정보, 상황 인식 시스템(300)에서 전송되는 작업 구역 정보 및 작업 공정 특성 정보를 저장한다.
또한, 로봇 메모리(154)는 상황 인식 시스템(300)과 구동 프로세서(152d)를 통해 네트워크로 연결될 수 있으며, 이 상황 인식 시스템(300)으로부터 전송되는 위험요소 데이터를 저장한다.
이때, 로봇 메모리(154)에 저장되는 프로그램은 소프트웨어로서 저장될 수 있으며, 운영체제(OS, operating system), 미들 웨어(middleware) 또는 프로그램을 포함할 수 있다.
작업자 단말(200)은 건설 현장에서 시공 공정들을 수행하는 작업자들, 또는 건설 현장을 관리하는 관리자들이 소지하는 단말장치로, 안전 관리 시스템(400)과 네트워크로 연결되며, 이 안전 관리 시스템(400)로부터 고유 등록 정보를 발급받은 단말장치이다.
이러한 작업자 단말(200)은 AI 로봇(100)과 근거리 무선 통신 방식을 통해 고유 등록 정보의 송수신이 이루어지도록 구성될 수 있다.
이에, AI 로봇(100)은 이동 경로 정보를 따라 이동하면서 작업자, 또는 외부인으로 판단되는 사람을 감지하는 경우, 작업자 단말(200)과 네트워크 연결을 요청한 후, 고유 등록 정보를 수신받을 수 있으며, 이때 고유 등록 정보의 수신이 이루어지지 않는 경우에는 감지한 사람이 외부인이라고 판단하고, 고유 등록 정보의 수신이 이루어지는 경우, 감지한 사람을 작업자로 판단하면서 이 작업자가 당일 작업일지에 기록된 작업 공정 및 해당 공정을 수행할 위치에 있는지를 판단할 수도 있다.
또한, 작업자 단말(200)은 작업자가 당일 수행할 작업 공정을 포함하는 당일 작업일지를 작성하고, 작성이 완료된 당일 작업일지를 상황 인식 시스템(300)으로 전송한다.
상황 인식 시스템(300)은 시공전 계획된 건축물이나 다리, 도로, 터널 공사 등의 설계도면과 건설 현장의 면적 등과 같은 건설 현장 정보가 저장되고, 시공시 수행되는 작업 공정 정보 및 작업 공정별 특성 정보와, 작업자 단말(200)로부터 전송되는 당일 작업일지 정보가 저장된다.
이때, 상기 건설 현장 정보, 작업 공정 정보 및 작업 공정별 특성 정보는 2D, 또는 3D 이미지로 저장될 수 있다.
또한, 상황 인식 시스템(300)은 건설 현장 정보와 작업 공정 정보를 분석하여 작업 공정이 수행되는 구역을 설정하고, 설정한 구역정보로 이루어지는 작업 구역 정보를 생성하여 AI 로봇(100) 및 안전 관리 시스템(400)으로 전송한다.
이때, 상황 인식 시스템(300)은 작업자 단말(200)로부터 당일 작업일지를 수신받아 상기 작업 구역 정보와 비교하여 당일 작업일지에 포함된 작업 공정에 대한 구역 및 해당 구역에 대한 위치 정보와, 당일 수행할 작업 공정에 사용되는 작업용 장비에 대한 정보를 생성하여 AI 로봇(100)으로 전송할 수 있다.
즉, 상황 인식 시스템(300)은 당일 작업일지를 기반으로 매일 수행되는 작업 공정에 대한 구역 및 이 구역의 위치 정보와, 작업용 장비 정보를 생성하여 AI 로봇(100)으로 전송함으로써, AI 로봇(100)이 매일 변경되는 당일 작업 공정에 따라 이동 경로 정보의 생성이 이루어지도록 구성되는 것이다.
또한, 상황 인식 시스템(300)은 작업 공정별 특성 정보를 분석하여 작업 공정을 수행하는 작업자의 행동에 대한 정보를 생성하여 AI 로봇(100)으로 전송하고, 작업 공정 및 이 작업 공정에 사용되는 작업용 장비들에 대한 위험도를 등급별로 분류하고, 분류한 등급별 위험도로 이루어지는 위험요소 데이터를 생성하여 AI 로봇(100)으로 전송할 수 있다.
여기서, 작업 공정별 특성 정보는, 도 4에 도시된 바와 같이, 작업 공정별로 작업자가 취해야 할 행동에 대한 정보와, 작업 공정 수행시 사용되는 작업용 장비에 대한 정보를 포함할 수 있으며, 작업 공정 수행시 착용할 안전장비에 대한 정보를 포함할 수 있다.
아울러, 상황 인식 시스템(300)은, AI 로봇(100)을 통해 촬영한 영상 정보 및 이 영상 정보를 분석한 분석 결과 정보를 상기 AI 로봇(100)으로 요청하여 수신받을 수 있으며, 수신받은 영상 정보 및 분석 결과 정보를 확인하여 사고, 재난, 위험 요소에 대한 분석이 이루어지도록 구성될 수 있다.
안전 관리 시스템(400)은 건설 현장에 투입될 작업자의 고유 등록 정보를 생성하여 이 작업자가 소지하고 있는 작업자 단말(200)과 AI 로봇(100)으로 각각 전송하여 건설 현장에서 상기 작업자 단말(200)과 AI 로봇(100)이 서로 근거리 무선 통신을 통해 등록된 고유 등록 정보의 공유가 이루어지도록 함으로써, AI 로봇(100)을 통해 작업자와 일반인의 구분이 이루어지도록 하고, 안전사고 발생시 해당 작업자를 신속하게 파악하여 대처가 이루어지도록 구성된다.
즉, 안전 관리 시스템(400)은 AI 로봇(100), 또는 작업자 단말(200)로부터 위험 상황, 또는 사고 발생 상황에 대한 신호가 전송되는 경우, 작업자의 고유 등록 정보를 바탕으로 해당 작업자의 현재 위치를 신속하게 파악하여 사고 발생에 대한 대처가 이루어지도록 구성되는 것이다.
또한, 안전 관리 시스템(400)은 AI 로봇(100)으로부터 영상 정보를 분석한 분석 결과 정보로 이루어지는 결과 데이터를 수신받을 수 있으며, 수신받은 결과 데이터를 분석하여 현재 건설 현장에서의 상황을 실시간 파악하여 안전 사고의 발생을 예측하며, 예측 결과에 따라 안전 사고의 발생 여부를 예방할 수 있도록 구성된다.
도 5는 본 발명의 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템을 통해 위험 객체를 인식하는 과정을 나타낸 흐름도이다.
도시된 바와 같이, 건설 현장에 위험 객체가 존재하는지 여부를 확인하기 위해 상기 건설 현장에 대한 영상정보를 수집하고, 수집한 영상정보에 상응하는 다수의 프레임을 추출한다.(S10)
이때, 다수의 프레임을 추출할 때 작업 구역별 영상 정보와 이동 경로 영상 정보로 분할하고, 분할한 각각의 영상 정보로부터 다수의 프레임을 추출할 수 있으며, 바람직하게는 수집한 영상 정보로부터 다수의 프레임을 추출할 영상 구간을 선택하고, 선택한 영상 구간으로부터 다수의 프레임을 추출할 수 있다.
또한, 다수의 프레임을 추출할 때, Yolo v5와 같은 딥러닝 검출 모델을 이용하여, 추출된 다수의 프레임들 중에서 사람, 동물 등을 포함하는 생명체가 존재하는 프레임과, 존재하지 않는 프레임을 분류하여 추출하고, 사람이 포함된 프레임들 중에서 작업자가 존재하는 프레임과, 일반인(외부 인원)이 존재하는 프레임으로 분류하여 추출한다.
여기서, 작업자와 일반인이 존재하는 프레임들을 분류 및 추출할 때, 단순히 인물이 있는 프레임을 찾는 것이 아니라 해당 인물이 착용중인 복장이나 안전장비의 착용 유무를 판단하여 안전장비를 착용한 인물이 작업자라고 판단하여 선별한다.
다음으로, 상기 S10 단계를 통해 추출된 다수의 프레임들과 작업용 장비 정보를 포함하는 작업 공정 정보를 비교하여 상기 작업 공정 정보에 포함되어 있는 작업용 장비가 존재하는 프레임들을 선별한다.(S20)
다음으로, 선별한 프레임들이 해당하는 구역을 분석하고, 분석한 구역에 상기 작업용 장비가 존재하는 것이 맞는지 여부를 분석하여, 해당 프레임에 위험 객체가 존재하는지 여부를 판단한다.(S30)
이때, 상기 작업용 장비가 포함되어 있는 프레임들의 선별하는 경우, 추출된 다수의 프레임들을 작업 공정별로 분류한 후, 공정별 작업용 장비의 존재 여부를 분석할 수 있다.
이후, 분석한 프레임 상에 상기 작업용 장비에 해당하지 않은 사물이 존재하는 경우에 해당 사물의 위험도를 분석한다.(S40)
상기 사물에 대한 위험도의 분석시 위험요소 데이터를 기반으로 위험도를 분석하며, 상기 위험요소 데이터에 상기 사물에 대한 정보가 존재하지 않는 경우,해당 사물에 대한 정보를 이미지 정보로 변환하여 안전 관리 시스템(400)으로 전송하고, 해당 사물에 대한 정보를 로봇 메모리(154)에 업데이트한 다음, 위험도에 대한 분석을 재실시할 수 있다.
위험도에 대한 분석 결과, 상기 사물에 대한 위험도가 높다고 판단되는 경우, 해당 작업 공정에서는 상기 사물을 위험 객체로 구분하고, 상기 작업 공정에 해당하는 다수의 프레임들로부터 위험도가 높은 사물에 대한 픽셀을 추출하여 패치정보를 생성하여 로봇 메모리(154)에 저장된 위험요소 데이터를 업데이트한다.(S50)
이때, 상기 위험요소 데이터의 업데이트시 위험도가 높다고 판단되는 위험 요소의 위치 정보가 함께 업데이트시킬 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: AI 로봇
110: 위치 확인 모듈
120: 영상 정보 수집 모듈
130: 센서부
140: 디스플레이부
150: 로봇 제어부
152: 제어 프로세서
152a: 영상 정보 분석부
152b: 위험 객체 분석부
152c: 작업자 행동 분석부
152d: 구동 프로세서
154: 로봇 메모리
200: 작업자 단말
300: 상황 인식 시스템
400: 안전 관리 시스템

Claims (13)

  1. 건설 현장에서의 이동 경로를 맵핑하여 이동 경로 정보를 생성하는 위치 확인 모듈과, 상기 건설 현장의 상황을 영상 정보로 수집하는 영상 정보 수집 모듈과, 상기 건설 현장에 위험 객체, 또는 생명체의 존재 여부 및 위치 정보를 감지하는 센서부와, AI 로봇의 구동을 제어하고, 상기 영상 정보와 작업 공정 정보를 비교 및 분석하여 건설 현장의 작업 구역, 또는 이동 경로 상에 위험 객체가 존재하는지 여부를 확인하며, 상기 위험 객체에 대한 위험도를 분석하는 로봇 제어부와, 상기 로봇 제어부로부터 전송되는 정보들을 표시하는 디스플레이부를 포함하는 AI 로봇;
    작업자, 또는 현장 관리자의 고유 등록 정보가 저장되고, 상기 AI 로봇과 상기 고유 등록 정보의 송수신이 이루어지도록 구성되며, 작업자가 당일 수행할 작업 공정을 포함하는 당일 작업일지의 입력이 이루어지도록 구성되는 작업자 단말; 및
    시공 설계도면을 포함하는 건설 현장 정보, 시공시 수행되는 작업 공정 정보 및 작업 공정별 특성 정보와, 상기 당일 작업일지 정보가 저장되고, 건설 현장 정보와 작업 공정 정보를 분석하여 작업 공정이 수행되는 구역을 설정하고, 설정한 구역정보로 이루어지는 작업 구역 정보와, 작업 공정별 특성 정보를 분석하여 작업 공정을 수행하는 작업자의 행동에 대한 정보와, 작업 공정에 사용되는 작업용 장비들에 대한 위험도를 등급별로 분류하고, 분류한 등급별 위험도로 이루어지는 위험요소 데이터를 생성하여 상기 AI 로봇으로 전송하는 상황 인식 시스템;을 포함하고,
    상기 로봇 제어부는,
    상기 영상 정보로부터 작업 구역별 영상 정보와 이동 경로 영상 정보로 분할하고, 분할한 각각의 영상 정보로부터 다수의 프레임을 추출할 영상 구간을 선택하고, 선택한 영상 구간으로부터 다수의 프레임을 추출하는 영상 정보 분석부와, 상기 다수의 프레임들과 로봇 메모리에 저장된 작업 공정 정보를 비교 및 분석하여 상황 정보 데이터를 생성하는 위험 객체 분석부와, 상기 다수의 프레임들을 분석하여 상기 작업자의 행동이 작업 공정을 수행하는 행동에 대비하여 적법한 행동인지, 아니면 해당 작업자가 위험한 상태인지 여부를 판단하여, 상기 작업자의 작업 상태 데이터를 생성하는 작업자 행동 분석부와, 상기 상황 정보 데이터 및 작업 상태 데이터를 바탕으로 상기 AI 로봇의 구동을 제어하는 구동 프로세서를 포함하는 제어 프로세서; 및 상기 AI 로봇의 구동을 위한 프로그램 및 상기 프로그램이 수행중에 발생하는 데이터를 저장하고, 상기 상황 인식 시스템으로부터 전송되는 정보들을 저장하는 로봇 메모리;를 포함하며,
    상기 위험 객체 분석부는,
    작업 공정 정보와 추출된 다수의 프레임들을 비교하여 상기 작업 공정 정보에 포함되어 있는 작업용 장비가 존재하는 프레임들을 선별하고, 선별한 프레임들이 해당하는 구역을 분석하며, 분석한 구역에 상기 작업용 장비가 존재하는 것이 맞는지 여부를 분석하여, 해당 프레임에 위험 객체가 존재하는지 여부를 판단하고, 판단 결과에 대한 상황 정보 데이터를 생성하되,
    상기 위험 객체 분석부는,
    상기 작업용 장비가 포함되어 있는 프레임들을 선별할 때, 추출된 다수의 프레임들을 작업 공정별로 분류한 후, 공정별 작업용 장비의 존재 여부를 분석하고,
    분석한 프레임 상에 상기 작업용 장비에 해당하지 않은 사물이 존재하는 경우, 해당 사물의 위험도를 분석하며,
    상기 사물이 위험하다고 판단되는 경우, 해당 작업 공정에서는 상기 사물을 위험 객체로 구분하고,
    상기 작업 공정에 해당하는 다수의 프레임들로부터 위험 객체로 구분된 사물에 대한 픽셀을 추출하여 패치정보를 생성하여 로봇 메모리에 저장된 위험요소 데이터를 업데이트하는 것을 더 포함하고,
    상기 구동 프로세서는,
    상기 위험 객체 분석부로부터 전송되는 상황 정보 데이터에 위험 객체가 존재하는 경우, 상기 위험 객체와 가장 인접한 위치에 있는 다수의 작업자 단말로 위험 객체의 제거를 요청하는 신호를 전송하고,
    상기 고유 등록 정보를 가지는 작업자의 현재 위치가 당일 작업일지에 기록된 작업 공정 구역의 위치와 상이한 경우, 상기 작업자의 작업자 단말로 현재 수행해야 할 작업 구역 정보와 위치 정보를 전송하는 것을 특징으로 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.
  2. 제1항에 있어서,
    상기 센서부는,
    상기 위치 확인 모듈에 의해 형성된 이동 경로 정보를 따라 이동할 때, 건설 현장의 작업 구역이나 이동 경로 상에 위험 객체나, 사람, 또는 동물을 포함하는 생명체가 존재하는지 여부와, 감지한 위험 객체나, 생명체의 위치정보를 로봇 메모리로 전송하는 것을 특징으로 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.
  3. 제1항에 있어서,
    상기 디스플레이부는,
    상기 로봇 제어부의 제어에 따라 고유 등록 정보를 가지는 작업자의 현재 위치가 당일 작업일지에 기록된 작업 공정 구역의 위치와 상이한 경우, 상기 작업자가 현재 수행해야 할 작업 구역 정보와 위치 정보를 표시하는 것을 특징을 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 영상 정보 분석부는,
    Yolo v5를 포함하는 딥러닝 검출 모델을 이용하여, 추출된 다수의 프레임들 중에서 생명체가 존재하는 프레임과, 존재하지 않는 프레임을 분류하여 추출하고, 사람이 포함된 프레임들 중에서 작업자가 존재하는 프레임과, 일반인이 존재하는 프레임으로 분류하여 추출하는 것을 특징으로 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.
  7. 제1항에 있어서,
    상기 영상 정보 분석부는,
    상기 작업자와 일반인이 존재하는 프레임들을 분류 및 추출할 때, 해당 인물이 착용중인 복장이나 안전장비의 착용 유무를 판단하여 안전장비를 착용한 인물이 작업자라고 판단하여 선별하는 것을 특징으로 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.
  8. 삭제
  9. 삭제
  10. 제1항에 있어서,
    상기 위험 객체 분석부는,
    상기 사물에 대한 위험도의 분석시 상기 로봇 메모리에 저장된 위험요소 데이터를 기반으로 위험도를 분석하며,
    상기 위험요소 데이터에 상기 사물에 대한 정보가 존재하지 않는 경우에는 안전 관리 시스템으로 해당 사물에 대한 정보를 이미지 정보로 변환하여 전송하고,
    해당 사물에 대한 정보가 상기 로봇 메모리의 위험요소 데이터에 업데이트되면,
    위험도에 대한 분석을 재실시하는 것을 특징으로 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.
  11. 제10항에 있어서,
    상기 위험 객체 분석부는,
    위험요소 데이터의 생성시 센서부를 통해 감지한 위험 요소의 위치 정보를 수신받아 상기 사물의 위치정보를 포함하는 위험요소 데이터를 생성하는 것을 특징으로 하는 AI 로봇을 이용한 건설 현장의 위험 객체 인식 시스템.

  12. 삭제
  13. 삭제
KR1020230052922A 2023-04-21 2023-04-21 Ai 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법 KR102635901B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230052922A KR102635901B1 (ko) 2023-04-21 2023-04-21 Ai 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230052922A KR102635901B1 (ko) 2023-04-21 2023-04-21 Ai 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102635901B1 true KR102635901B1 (ko) 2024-02-14

Family

ID=89896141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230052922A KR102635901B1 (ko) 2023-04-21 2023-04-21 Ai 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102635901B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101759916B1 (ko) 2016-05-20 2017-07-20 주식회사 세이프티아 공정 및 작업 위험도에 의한 위험지도 기반의 안전관리를 위한 서버, 시스템 및 방법
KR20200036544A (ko) * 2018-09-28 2020-04-07 진현미 건설현장 작업환경 개선시스템 및 그 제공방법
KR20210015942A (ko) * 2018-06-04 2021-02-10 쓰리엠 이노베이티브 프로퍼티즈 캄파니 능동적 작업자 감지 및 평가를 갖는 개인 보호 장비 및 안전 관리 시스템
KR102398841B1 (ko) * 2021-10-12 2022-05-17 주식회사 스마트인사이드에이아이 영상 분석에 기반하여 건설 현장의 위험을 판단하기 위한 방법 및 시스템
KR20220064128A (ko) * 2020-11-11 2022-05-18 현대건설주식회사 건설현장 내 작업자의 안전모 컬러 판별 방법 및 이를 수행하기 위한 장치
KR102468597B1 (ko) * 2022-04-14 2022-11-21 주식회사 네오에스앤씨 키오스크 및 비콘-신호를 이용한 공사현장용 작업자 관리시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101759916B1 (ko) 2016-05-20 2017-07-20 주식회사 세이프티아 공정 및 작업 위험도에 의한 위험지도 기반의 안전관리를 위한 서버, 시스템 및 방법
KR20210015942A (ko) * 2018-06-04 2021-02-10 쓰리엠 이노베이티브 프로퍼티즈 캄파니 능동적 작업자 감지 및 평가를 갖는 개인 보호 장비 및 안전 관리 시스템
KR20200036544A (ko) * 2018-09-28 2020-04-07 진현미 건설현장 작업환경 개선시스템 및 그 제공방법
KR20220064128A (ko) * 2020-11-11 2022-05-18 현대건설주식회사 건설현장 내 작업자의 안전모 컬러 판별 방법 및 이를 수행하기 위한 장치
KR102398841B1 (ko) * 2021-10-12 2022-05-17 주식회사 스마트인사이드에이아이 영상 분석에 기반하여 건설 현장의 위험을 판단하기 위한 방법 및 시스템
KR102468597B1 (ko) * 2022-04-14 2022-11-21 주식회사 네오에스앤씨 키오스크 및 비콘-신호를 이용한 공사현장용 작업자 관리시스템

Similar Documents

Publication Publication Date Title
KR102005188B1 (ko) 실시간 위치 추적 및 gis를 이용한 인공지능 기반 산업현장 안전관리 시스템, 그리고 산업현장 안전관리 방법
Guo et al. Computer vision technologies for safety science and management in construction: A critical review and future research directions
Fang et al. A deep learning-based method for detecting non-certified work on construction sites
KR101846537B1 (ko) Cctv 자동선별 모니터링 시스템, cctv 자동선별 모니터링 관리서버 및 관리방법
EP4036886A2 (en) Method and apparatus for monitoring vehicle, cloud control platform and system for vehicle-road collaboration
CN115061430A (zh) 安全管理系统、方法、设备、存储介质、信息处理云平台
Chian et al. Computer vision approaches for detecting missing barricades
Arslan et al. Visualizing intrusions in dynamic building environments for worker safety
CN114973140A (zh) 基于机器视觉的危险区域人员闯入监测方法及系统
Xu et al. Dynamic safety prewarning mechanism of human–machine–environment using computer vision
KR102635902B1 (ko) Ai 로봇을 이용한 건설 현장의 작업 공정별 상황 인식 및 안전 관리 시스템
Chian et al. Dynamic identification of crane load fall zone: A computer vision approach
CN111178828A (zh) 一种建筑消防安全预警的方法和系统
CN112288320A (zh) 一种地铁运行风险监控和管理系统
CN115410354B (zh) 工业厂区的安全预警方法、装置和安全预警系统
Piao et al. Dynamic fall risk assessment framework for construction workers based on dynamic Bayesian network and computer vision
KR20220077404A (ko) 근로자 안전을 위한 다단계 작업현장 안전 관제 방법 및 시스템
CN113569682A (zh) 一种智能捕捉矿井识别要素的视频监测方法及装置
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
JP2022526071A (ja) 状況認識監視
Kulinan et al. Advancing construction site workforce safety monitoring through BIM and computer vision integration
KR102635901B1 (ko) Ai 로봇을 이용한 건설 현장의 위험 객체 인식 시스템 및 그 방법
CN113554364A (zh) 灾害应急管理方法、装置、设备及计算机存储介质
CN115223091A (zh) 基于ai的工地隐患监测方法、装置、设备及存储介质
CN114332695A (zh) 电梯开关门的识别方法、设备及存储介质

Legal Events

Date Code Title Description
GRNT Written decision to grant