KR20230164790A - 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템 - Google Patents

산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템 Download PDF

Info

Publication number
KR20230164790A
KR20230164790A KR1020220064059A KR20220064059A KR20230164790A KR 20230164790 A KR20230164790 A KR 20230164790A KR 1020220064059 A KR1020220064059 A KR 1020220064059A KR 20220064059 A KR20220064059 A KR 20220064059A KR 20230164790 A KR20230164790 A KR 20230164790A
Authority
KR
South Korea
Prior art keywords
work
unit
worker terminal
worker
construction area
Prior art date
Application number
KR1020220064059A
Other languages
English (en)
Inventor
노진송
Original Assignee
주식회사 메타뷰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메타뷰 filed Critical 주식회사 메타뷰
Priority to KR1020220064059A priority Critical patent/KR20230164790A/ko
Priority to US17/826,146 priority patent/US20230385725A1/en
Publication of KR20230164790A publication Critical patent/KR20230164790A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063114—Status monitoring or status determination for a person or group
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/009—Transmission of differential positioning data to mobile
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W2201/00—Weather detection, monitoring or forecasting for establishing the amount of global warming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W2203/00—Real-time site-specific personalized weather information, e.g. nowcasting
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Architecture (AREA)
  • Emergency Management (AREA)
  • Public Health (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)

Abstract

본 발명은 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템에 관한 것으로서, 기설정된 작업자 단말을 착용한 작업자의 산업현장 내 시공 작업 영상촬영, 작업자 위치정보 표시, 알림 데이터 송수신 및 음성 데이터 송수신을 수행하는 작업자단말부, 작업 매뉴얼, 주의사항, 유사 작업 수행 영상 재생, 작업 순서, 작업 방법 중 적어도 하나 이상의 작업 데이터를 상기 작업자단말부에 제공하는 작업데이터 제공부, 상기 작업자단말부에서 수집한 상기 건축물 시공 작업 영상을 이용하여 상기 산업현장 내 시공 영역을 3차원 모델링 영상으로 생성하는 시공영역 생성부, 상기 3차원 영상에 대응하여 차기 작업 진행 여부를 판단하여 상기 작업자단말부에 전송하는 작업판단부, 상기 기설정된 작업자 단말로부터 실시간 영상을 수집하여 모니터링하고 기설정된 이상동작이 감지되는 경우 구조 요청을 전송하는 모니터링부, 상기 산업현장 내 시공 영역을 세분화하고, 세분화된 시공 영역에 대응하는 개별 좌표를 할당하여 상기 기설정된 작업자 단말에 표시하는 좌표할당부 및 상기 좌표할당부에서 할당한 개별 좌표를 이용하여 비가시 영역의 상기 상기 시공 영역의 외형을 표시하는 객체외형 표시부를 포함하는 것을 특징으로 한다.

Description

산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템{A WORK ASSISTANCE SYSTEM USING THE IMAGE RECOGNITION-BASED VIRTUAL OBJECT REGISTRATION METHOD IN THE INDUSTRIAL FIELD}
본 발명은 실제 공간과 가상공간을 정합하여 산업현장 내 작업을 보조하는 시스템에 관한 것으로서, 보다 상세하게는 기설정된 작업자 단말을 이용하여 건축물 시공 작업자로부터 산업현장 영상을 수신하고 3차원 영상으로 매핑하여 작업 진행상황, 작업 수행 시간, 작업방법, 작업 수행 여부 등을 전달하여 체계적인 건축물 시공을 보조하는 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템에 관한 것이다.
산업현장의 대표적인 결과물인 건축물은 사람이나 물품, 기계설비 등을 수용하기 위한 구축물의 총칭으로, 용도라는 목적성에 적합하며 목적과 주변환경에 따라 가장 적절한 재료를 가장 합리적인 형식을 취하여 안정성을 기반하여 마련될 수 있으며, 일각에서는 하나의 공간예술로써 의미되기도 한다.
또한, 기본적으로 건축물의 가장 기본적인 기능은 비, 바람, 추위 등의 외부 기상 환경으로부터 실내에 미치는 영향을 최소화하여 사람들에게 안정적인 쉼터를 제공하는 것에 그 목적이 있으나, 현재는 안락함을 영위하는 것은 기본이고 경제적인 가치까지 지니는 재산인 부동산으로써의 의미가 더 커지고 있다.
이러한, 사회적 현상에 따라 건축물의 경제적인 가치에 따라 수요가 집중되는 만큼 국토에는 전국민의 건축물의 구매 수요를 모두 해결할 토지가 부족하기 때문에 그 가치가 현재에도 점점 상승하고 있으며, 동일한 건축지역에 더 많은 층수를 포함하기 위해 더 높게 건축물이 지어지고 있다.
그러나, 건축물의 높이가 점점 높아질수록 건축물이 하중과 외부 기상 환경으로부터 충격을 흡수하고 버티는 견고함이 점점 요구되고 있으나, 부실공사로 인해 지반 침식, 균열 심지어 붕괴까지 이르러 많은 사람들이 다치거나 사망하는 경우가 많았고, 특히나 고층 건물의 경우 그 피해규모가 상당히 큰 편이었다.
이러한, 건축물 사고를 예방하기 위해서 많은 전문가들이 건축물의 건축과정에서 다양한 재료와 공법을 사용하여 해결방안을 마련하고 있으나, 실제 시공에 참여하는 작업자들이 매뉴얼대로 수행하지 않는 경우도 많고, 현장 관리자 조차도 작업자에 비해 턱없이 부족한 수준이라 철저한 관리감독 및 품질관리에 많은 어려움이 발생한다.
따라서, 기설정된 작업자 단말을 착용한 현장 작업자로부터 작업 영상을 수집하여 동일영역의 작업 시간 순서에 따라 3차원 영상으로 매핑하여 작업 시간 및 작업 상황을 공유하여 차기 작업 지시, 올바른 작업 방법 및 수행 작업에 따른 비가시 영역을 작업자에게 제공하고, 작업자가 작업한 영역을 지속적으로 갱신하여 건축물의 시공 상태를 지속적으로 확인하고 보조하는 산업현장 작업보조 시스템에 대한 연구가 요구된다.
한국공개특허 제10-1798165호
본 발명은 산업현장 내 작업자의 개인별 시야 영상을 수집함으로써, 다수 개의 지점에서 발생하는 산업현장에서의 시공(작업) 상황을 상세히 파악함에 목적이 있다.
또한, 작업자가 착용한 기설정된 작업자 단말에 작업내용, 작업 주의 사항, 유사 작업 영상 등 해당 작업과 관련된 다양한 정보를 제공함으로써, 작업자의 정확하고 안전한 작업을 유도함에 목적이 있다.
또한, 작업자가 착용한 기설정된 작업자 단말을 이용하여 작업자간 또는 작업자와 관리자간 데이터 송수신 및 음성 송수신 기능을 제공함으로써, 전체 알림사항, 긴급상황 및 재해상황을 빠르게 전달함에 목적이 있다.
또한, 철근, 배수관, 가스관 등의 산업현장 내 건축물 시공 작업이 진행됨에 따라 육안으로 보이지 않는 영역을 모델링하여 상기 기설정된 작업자 단말의 화면에 표시함으로써, 건축물 시공 작업 진행 상태와 작업 수행과 관련된 정보를 데이터화하여 기록함에 목적이 있다.
본 발명의 일 실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템은, 기설정된 작업자 단말을 착용한 작업자의 산업현장 내 시공 작업 영상촬영, 작업자 위치정보 표시, 알림 데이터 송수신 및 음성 데이터 송수신을 수행하는 작업자단말부, 작업 매뉴얼, 주의사항, 유사 작업 수행 영상 재생, 작업 순서, 작업 방법 중 적어도 하나 이상의 작업 데이터를 상기 작업자단말부에 제공하는 작업데이터 제공부, 상기 작업자단말부에서 수집한 상기 건축물 시공 작업 영상을 이용하여 상기 산업현장 내 시공 영역을 3차원 모델링 영상으로 생성하는 시공영역 생성부, 상기 3차원 영상에 대응하여 차기 작업 진행 여부를 판단하여 상기 작업자단말부에 전송하는 작업판단부, 상기 기설정된 작업자 단말로부터 실시간 영상을 수집하여 모니터링하고 기설정된 이상동작이 감지되는 경우 구조 요청을 전송하는 모니터링부, 상기 산업현장 내 시공 영역을 세분화하고, 세분화된 시공 영역에 대응하는 개별 좌표를 할당하여 상기 기설정된 작업자 단말에 표시하는 좌표할당부 및 상기 좌표할당부에서 할당한 개별 좌표를 이용하여 비가시 영역의 상기 상기 시공 영역의 외형을 상기 기설정된 사용자 단말에 표시하는 객체외형 표시부를 포함할 수 있다.
또한, 상기 작업자단말부는, 상기 시공 작업 영상촬영 전 마커의 배치를 유도하는 안내 문구를 상기 기설정된 작업자 단말에 표시하고, 상기 시공영역 생성부에서 생성한 전기 케이블, 철근, 콘크리트 타설 구역, 배수관, 수도관, 가스관 및 단열재 중 적어도 하나 이상의 모델링 영상을 수신하여 상기 기설정된 작업자 단말의 현재 영상에 대응하는 상기 모델링 영상을 화면에 표시할 수 있다.
또한, 상기 시공영역 생성부는, 상기 작업자단말부에서 수집한 산업현장의 시공 작업 영상 내 마커를 기준하여 시공 영역을 구분하는 시공영역 구분부, 상기 구획한 시공 영역을 3차원 영상으로 모델링한 모델링 영상을 생성하는 모델링부 및 상기 작업자단말부에서 수집한 영상과 상기 3차원 영상으로 모델링 작업한 영상을 이용하여 실공간과 매칭시키되, 시간순서에 대응하여 갱신된 모델링 영상을 상기 작업자 단말에 표시하는 시공 영역 갱신부를 포함할 수 있다.
또한, 상기 작업판단부는, 상기 시공영역 생성부에서 모델링한 시공 영역에 대응하여 차기 작업 진행 시점을 결정하는 작업 결정부, 상기 차기 작업 시점이 결정된 경우, 상기 작업자에게 차기 작업 시작 날짜, 작업 내용 및 작업 주의사항을 상기 작업자단말부에 전달하는 작업 알림부, 상기 차기 작업 진행 시점이 결정된 날짜의 온도, 습도, 풍량, 미세먼지 농도, 자외선, 일조량, 강수량 및 강설량을 포함하는 기상데이터를 수집하여 상기 모니터링부에 전송하는 환경데이터 전송부 및 상기 모니터링부에서 전송한 작업 진행 가능 여부 신호에 대응하여 상기 차기 작업 진행 수행 여부를 상기 작업자단말부에 전달하는 작업지시부를 포함할 수 있다.
또한, 상기 모니터링부는, 상기 기설정된 작업자 단말과 연동되어 작업 중단, 휴식시간, 작업 정리 시간, 환자 발생, 긴급 상황 발생 및 재해상황 발생 알림을 상기 작업자단말부에 전달하고, 상기 작업자단말부로부터 수신된 기설정된 요청에 대응하여 품질관리자 및 건축전문가 검토 요청, 구조기관 신고 및 현장관리자와 통화연결을 중계할 수 있다.
본 발명에 따르면, 산업현장 내 작업자의 개인별 시야 영상을 수집함으로써, 다수 개의 지점에서 발생하는 산업현장에서의 시공(작업) 상황을 상세히 파악할 수 있다.
또한, 작업자가 착용한 기설정된 작업자 단말에 작업내용, 작업 주의 사항, 유사 작업 영상 등 해당 작업과 관련된 다양한 정보를 제공함으로써, 작업자의 정확하고 안전한 작업을 유도할 수 있다.
또한, 작업자가 착용한 기설정된 작업자 단말을 이용하여 작업자간 또는 작업자와 관리자간 데이터 송수신 및 음성 송수신 기능을 제공함으로써, 전체 알림사항, 긴급상황 및 재해상황을 빠르게 전달할 수 있다.
또한, 철근, 배수관, 가스관 등의 산업현장 내 건축물 시공 작업이 진행됨에 따라 육안으로 보이지 않는 영역을 모델링하여 상기 기설정된 작업자 단말의 화면에 표시함으로써, 건축물 시공 작업 진행 상태와 작업 수행과 관련된 정보를 데이터화하여 기록할 수 있다.
도 1은 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템의 블록도를 도시한 도면이다.
도 2는 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템 내 시공영역 생성부의 중간블록도를 도시한 도면이다.
도 3은 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템 내 작업판단부의 중간블록도를 도시한 도면이다.
도 4는 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템을 이용하여 시공 영역에 좌표를 할당하여 기설정된 작업자 단말 내 점, 선 및 면으로 표시되는 것을 도시한 도면이다.
도 5는 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템을 이용하여 할당한 좌표를 이용하여 비가시 시공 영역에 객체외형을 표시한 도면이다.
이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시례 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다.
본 발명의 권리범위는 이하에서 설명하는 실시례에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 당해 기술분야의 통상적인 지식을 가진자에 의하여 다양하게 변형 실시될 수 있다.
이하, 본 발명인 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템은 첨부된 도 1 내지 도 5를 참고로 상세하게 설명한다.
우선, 도 1은 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템의 블록도를 도시한 도면이고, 도 2는 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템 내 시공영역 생성부의 중간블록도를 도시한 도면이며, 도 3은 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템 내 작업판단부의 중간블록도를 도시한 도면이고, 도 4는 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템을 이용하여 시공 영역에 좌표를 할당하여 기설정된 작업자 단말 내 점, 선 및 면으로 표시되는 것을 도시한 도면이며, 도 5는 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템을 이용하여 할당한 좌표를 이용하여 비가시 시공 영역에 객체외형을 표시한 도면이다.
도 1을 참고하면, 본 발명의 일실시례에 따른 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템은 작업자단말부(110), 작업데이터 제공부(120), 시공영역 생성부(130), 작업판단부(140), 작업자 모니터링부(150), 좌표할당부(160) 및 객체외형 표시부(170)를 포함할 수 있다.
상기 작업자단말부(110)는, 기설정된 작업자 단말을 착용한 작업자의 산업현장 내 시공 작업 영상촬영, 작업자 위치정보 표시, 알림 데이터 송수신 및 음성 데이터 송수신을 수행할 수 있다.
여기서, 상기 기설정된 작업자 단말은 영상촬영과 무선통신을 이용한 타 사용자 단말과 통신이 가능한 스마트폰, 태블릿PC, 스마트글래스 및 HMD(Head Mounted Display) 등의 장치를 의미하며, 상기 HMD 또는 스마트 글래스와 같이 사용자의 눈이나 얼굴이 위치한 신체부위에 장착되는 단말을 사용하는 것이 가장 이상적이다.
또한, 상기 작업자단말부(110)는 상기 작업자의 눈 또는 얼굴 등 상기 작업자의 정면 시야의 영상 촬영이 가능한 위치에 마련되고, 작업자 단말을 착용한 상태에서 작업자가 산업현장 중 건축물 시공 작업을 수행하는 경우, 건축물 시공 작업 영상을 촬영하여 영상 데이터를 수집할 수 있다.
이때, 상기 작업자 단말에 내장된 GPS모듈을 이용하여 영상 촬영 시점에서의 작업자 위치정보를 더 수집하여, 작업 수행 영상을 위치 정보에 따라 분류하여 저장할 수 있다.
또한, 상기 작업자단말부(110)는, 작업자 단말의 화면 내 마련된 작업 탭 내에서 작업자가 수행할 작업의 명칭과 동일하거나 유사한 작업을 선택하여 입력할 수 있다.
일례로, 상기 작업자가 건축물을 시공하는 산업현장에서 기초철근을 균일하게 배열하는 배근 작업이 예정되어있는 경우, 작업자 단말 내 상기 작업자단말부(110)의 화면 작업 탭에서 '기초철근 배근 작업'을 선택하여 상기 작업자의 작업 수행 영상을 촬영하여 '기초철근 배근 작업'을 태그할 수 있다. 이때, 상기 작업 수행 영상이 녹화된 시점의 위치정보를 동시에 기록하여 상기 작업자의 위치정보 및 작업정보를 저장할 수 있다.
한편, 상기 작업자단말부(110)는, 상기 작업판단부(140) 및 상기 모니터링부(150)에서 전송하는 알림과 수신받은 음성메세지를 출력하고, 텍스트로 구성된 문구를 표시할 수 있다.
또한, 상기 작업자단말부(110)는, 2명 이상의 작업자가 동일한 작업을 수행하는 팀 단위의 작업에서 팀 작업에 소속된 작업자들 간 무선통신을 이용한 실시간 음성데이터 송수신 기능을 제공하여 팀 작업에서의 원거리에 위치한 팀원들간에 의사소통을 보조하여 작업 수행의 정확성과 효율성을 향상시킬 수 있다.
한편, 상기 작업자단말부(110)는, 시공 작업 영상촬영 전 영상인식을 위해 사용되는 인식용 흑백 문양인 마커의 배치를 유도하는 안내 문구를 작업자 단말에 표시하여 영상 내 상대적 좌표를 추출하고 가상정보를 구현하는 기준점을 반영하여 영상촬영할 수 있다.
한편, 상기 작업자단말부(110)는, 상기 시공영역 생성부(130)에서 생성한 시공영역에 해당하는 전기 케이블, 철근, 콘크리트 타설 구역, 배수관, 수도관, 가스관 및 단열재 중 적어도 하나 이상의 모델링 영상을 수신하여 작업자 단말의 현재 영상에 대응하는 모델링 영상을 화면에 표시할 수 있다.
일례로, 건축물 시공 산업현장에서 오수, 배관, 전기 및 수도설비 작업이 포함된 설비공사가 동시에 진행되고 있는 상황에서 작업자가 미장공사를 진행하는 경우, 상기 작업자의 작업자 단말을 통해 촬영되는 시야에서 육안으로 보이지 않는 배관을 상기 시공지역 생성부(130)에서 모델링한 영상을 수신하여 표시할 수 있다.
또한, 배관 설비공사 작업자가 업로드한 배관설비공사의 진행도와 차후 시공 예정 위치를 상기 미장공사 작업자가 확인하여 겹치는 영역을 피해서 작업할 수 있다.
상기 작업데이터 제공부(120)는, 작업 매뉴얼, 주의사항, 유사 작업 수행 영상 재생, 작업 순서, 작업 방법 중 적어도 하나 이상의 작업 데이터를 상기 작업자단말부(110)에 제공할 수 있다.
여기서, 상기 작업 매뉴얼은, 작업자가 상기 작업자단말부(110)를 통해 선택한 작업 내용과 작업도구 사용법을 영상 및 텍스트 자료를 작업자 단말로 제공하는 것을 의미할 수 있다.
또한, 상기 유사 작업 수행 영상은, 현재 작업자가 선택한 작업에 대응하여 이전 동일 작업 영상을 작업자 단말에 제공하여 작업자의 실수와 오작업 수행 가능성을 감소시켜 효율적인 작업 수행을 유도할 수 있다.
상기 시공영역 생성부(130)는, 상기 작업자단말부(110)에서 수집한 상기 건축물 시공 작업 영상을 기초하여 건축물의 시공 영역 내 구조물을 3차원 모델링 영상으로 생성할 수 있다.
여기서, 상기 시공영역 생성부(130)는 도 2를 참고하여 더욱 자세히 설명한다,
상기 도 2를 참고하면, 상기 시공영역 생성부(130)는, 시공영역 구분부(131), 모델링부(132), 시공영역 갱신부(133)를 포함할 수 있다.
상기 시공영역 구분부(131)는, 상기 작업자단말부에서 수집한 산업현장의 시공 작업 영상 내 마커를 기준하여 시공 영역을 구분할 수 있다.
보다 상세하게는, 상기 시공영역 구분부(131)는, 상기 작업자단말부(110)를 이용하여 촬영한 영상 내 마커 위치를 시공영역의 중심으로 판단하여 상기 시공영역의 중심으로부터 작업자가 설정한 거리만큼의 영역을 시공 영역으로 구분할 수 있다.
일례로, 작업자가 시공할 영역이 가로2.5M, 세로2.5M의 정사각형 면적의 바닥면인 경우, 정사각형 영역의 중심과 4개의 꼭지점에 해당하는 지점에 마커를 위치시키고, 중심으로부터 2.5M의 거리수치를 입력한 후 상기 작업자단말부(110)를 이용하여 영상촬영을 수행할 수 있다. 이후 상기 시공영역 구분부(131)는, 마커위치를 기준하여 작업자가 입력한 2.5M의 거리수치에 해당하는 정사각형 면적만을 시공영역으로 구분할 수 있다.
이때, 시공 영역으로 구분한 영상에 작업자의 위치정보를 더 포함시켜 저장할 수 있다.
상기 모델링부(132)는, 상기 구획한 시공 영역을 3차원 영상으로 모델링한 모델링 영상을 생성할 수 있다.
보다 상세하게는, 상기 모델링부(132)는, 상기 작업자단말부(110)에서 촬영한 마커가 위치한 작업 영상을 이용하여 3차원 가상공간을 생성 및 매핑하여 모델링을 수행하고, 상기 가상공간 내 상기 시공영역 구분부(131)에서 구분한 시공 영역의 작업 전, 후 영상에서 작업 이후 변화가 생긴 영역을 더 반영하여 모델링을 수행하여 모델링 영상을 생성할 수 있다.
일례로, 건축물 시공 산업현장에서 작업자가 전날에 작업 전 마커를 위치시키고 기초철근 배근 작업을 한 경우, 상기 모델링부(132)는 상기 작업자의 작일 작업 수행 영상에서 시작시점에서의 영상과 작업 종료 시점(작일 작업)에서 기초철근이 배근되어 변화가 발생한 영역에 대하여 배열된 기초철근 모델링이 반영된 모델링 영상을 생성할 수 있다.
즉, 작일 기초철근 배근작업 시작 시점인 09시에 철근이 하나도 배근되지 않은 지점을 기준하여 작업 종료 시점에 철근 10개가 1m간격으로 배근된 경우, 상기 모델링부(132)는 10개의 철근이 1m간격으로 마련되도록 모델링 작업을 수행할 수 있다.
상기 시공영역 갱신부(133)는, 상기 작업자단말부(110)에서 수집한 영상과 상기 3차원 영상으로 모델링 작업한 영상을 이용하여 실공간과 매칭시키되, 시간순서에 대응하여 갱신된 모델링 영상을 상기 작업자 단말에 표시할 수 있다.
즉, 상기 작업자단말부(110)에서 수집한 작업 영상을 이용하여 구획된 시공영역을 상기 모델링부(132)에서 모델링한 이후 상기 작업자단말부(110)에서 지속적으로 수집되어 최신화되는 영상 내 시공영역에 대응하여 변화되는 시공영역 모델링 영상을 최초 작업 시작 시점부터 최신 시점까지의 영상으로 갱신할 수 있다.
일례로, 건축물을 시공하는 산업현장에서 상기 모델링부(132)를 통해 10개의 철근이 이틀 전 1m간격으로 배근되어, 하루 전 상기 10개의 철근이 1m간격으로 배근된 모델링 영상을 상기 작업자단말부(110)에 갱신할 수 있다. 이후, 작업 수행 마지막 영상에서 격자형태로 10개의 철근이 1m간격으로 더 배근되어 모델링 영상이 추가된 경우, 상기 시공영역 갱신부(133)는, 금일 20개의 철근이 1m간격의 격자모양으로 배근되어 있는 모델링이 반영된 작업 영상을 갱신하여 작업자 단말에 표시할 수 있다.
상기 작업판단부(140)는, 작업자 단말에 표시되는 현재 작업자 시야 영상, 3차원 영상 및 작업자가 선택한 작업 내용에 대응하여 차기 작업 진행 여부를 판단하여 상기 작업자단말부(110)에 전송할 수 있다.
여기서, 상기 작업판단부(140)는 도 3을 참고하여 더욱 자세히 설명할 수 있다.
상기 도 3을 참고하면, 상기 작업판단부(140)는, 작업 결정부(141), 작업 알림부(142), 환경데이터 전송부(143) 및 작업지시부(144)를 포함할 수 있다.
상기 작업 결정부(141)는, 상기 시공영역 생성부(130)에서 모델링한 시공 영역에 대응하여 차기 작업 진행 시점을 결정할 수 있다.
보다 상세하게는, 상기 시공영역 생성부(130)에서 해당 시공 영역을 모델링함과 동시에 상기 시공 영역 이후에 추가 작업 예정 시간 정보를 상기 시공 영역 작업자 단말로부터 수집하여 상기 작업 결정부(141)에 제공하여 차기 작업 진행 시점을 결정할 수 있다.
여기서, 차기 작업 진행 시점은, 해당 작업 영역에 가장 우선되는 작업을 수행하는 작업자의 단말로부터 전송받은 차기 작업시간을 우선하여 결정될 수 있다.
상기 작업 알림부(142)는, 차기 작업 시점이 결정된 경우, 작업자에게 차기 작업 시작 날짜, 작업 내용 및 작업 주의사항을 전달할 수 있다.
이때, 상기 작업자는 작업 알림부(142)에서 전달하는 내용을 작업자 단말을 통해 제공받을 수 있다.
또한, 상기 차기 작업 시작 날짜는, 상기 작업 결정부(141)에서 결정된 날짜를 의미할 수 있다.
한편, 상기 작업 내용은, 작업 구역별 작업자가 작성한 작업 내용 데이터를 의미하고, 상기 각 작업자들은 작업관리자에게 기설정된 주기로 작업 내용 데이터를 전송할 수 있다.
이때, 상기 작업자가 작업관리자에게 작업내용 데이터를 전송하는 주기는 매일 작업 종료시점 이후에 전송하는 것이 가장 이상적이다.
상기 환경데이터 전송부(143)는, 상기 차기 작업 진행 시점이 결정된 날짜의 온도, 습도, 풍량, 미세먼지 농도, 자외선, 일조량, 강수량 및 강설량을 포함하는 기상데이터를 수집하여 상기 모니터링부(150)에 전송할 수 있다.
여기서, 기상데이터는 산업현장에서 작업자가 작업을 수행하는 위치를 중심으로한 기상정보를 기상청과 같은 기상데이터 수집 전문기관으로부터 수집할 수 있다.
이를 이용하여, 상기 작업 결정부(141)에서 차기 작업 수행 여부를 결정하는 근거 자료로 활용될 수 있다.
상기 작업지시부(144)는, 상기 모니터링부(150)에서 전송한 작업 진행 가능 여부 신호에 대응하여 상기 차기 작업 진행 수행 여부를 상기 작업자단말부(110)에 전달할 수 있다.
일례로, 산업현장이 건축물 시공 작업을 수행하는 현장이고, 상기 시공영역 생성부(130)에서 2022년 02월 11일에 콘크리트 타설 시공 영역 정보를 이용하여 상기 콘크리트 타설을 모델링하여 시공 영역을 생성한 경우, 상기 작업자단말부(110)를 통해 수집된 영상을 이용하여 상기 콘크리트 타설 모델링에 2022년 02월 11일 14:00시 C동 2층 A-13구역 콘크리트 최초 타설, 2022년 02월 11일 16:00 C동 2층 A-13구역 콘크리트 타설 완료 정보를 수집할 수 있다.
이때, 상기 작업 결정부(141)는, 상기 타설한 콘크리트가 보통포틀랜드 시멘트인 경우, 최소 습윤 양생 기간의 평균일자인 7일 이후인 2022년 02월 18일에 차기 작업을 하는 것으로 결정할 수 있다.
여기서, 상기 작업 알림부(142)는, 상기 해당 시공 영역 작업자 단말에 상기 작업 결정부(141)에서 결정한 날짜와 작업 내용 및 작업 주의사항인 '2022년 02월 18일 내부단열재 설치작업, 작업 시 안전모, 안전화, 각반 필수 착용 및 2인 1조 근무 실시, 내부단열재 설치 시 끼임사고 및 깔림사고 주의' 문구를 전송할 수 있다.
한편, 상기 작업지시부(144)는, 상기 작업 결정부(141)에서 결정된 2022년 02월 18일이 되기 전 2022년 02월 14일부터 0도 이하의 한파가 3일간 지속되는 기상데이터를 상기 환경데이터 전송부(143)에서 수신한 경우, 상기 작업지시부(144)에서 2022년 02월 18일 작업을 연기하는 알림과 동시에 상기 모니터링부(150)에서 결정한 상기 한파가 지속된 날짜를 더한 날짜인 2022년 02월 21일에 차기 작업 진행 수행하는 것으로 작업자 단말에 전송할 수 있다.
상기 모니터링부(150)는, 작업자 단말로부터 실시간 영상을 수집하여 모니터링하되, 기설정된 이상동작이 감지되는 경우 산업현장 내 의료팀 또는 구조기관에 구조 요청 신호를 전송할 수 있다.
여기서, 상기 기설정된 이상동작은, 상기 기설정된 작업자 단말이 정상 종료되지 않은 상태에서 화면의 30%이상이 블랙아웃되는 시간이 3초이상 유지되는 경우, 기준치인 70dB이상의 소음이 발생되어 측정되는 경우, 50분 내지 1시간마다 기설정된 작업자 단말의 영상 촬영장치에 손으로 하는 제스처를 유도하여 3분 내지 5분내 응답하지 않거나 제스처가 틀린 경우를 이상동작으로 감지하여 건축물 시공 의료팀 또는 구조기관에 구조 요청 신호를 전송할 수 있다.
이때, 상기 구조 요청 신호는, 최초에는 상기 이상동작이 감지되는 작업자의 위치정보에서 가장 가까운 타 작업자의 기설정된 단말에 상기 작업자의 위치와 이름을 전달하여 구조요청 또는 상태확인요청 신호를 더 전달하되, 가장 가까운 타 작업자의 위치가 도보로 5분거리 이상인 경우, 즉시 건축물 시공 의료팀에 구조신호 및 위치정보를 전송하며, 상기 의료팀으로부터 5분내 응답이 없는 경우 즉시 구조기관에 구조신호를 전송할 수 있다.
또한, 상기 모니터링부(150)는, 작업자 단말과 연동되어 작업 중단, 휴식시간, 작업 정리 시간, 환자 발생, 긴급 상황 발생 및 재해상황 발생 알림을 상기 작업자단말부(110)에 전달할 수 있다.
여기서, 상기 휴식시간, 작업 정리 시간은 현재시간에 대응하여 일정한 시간에 알림전송할 수 있다.
또한, 환자 발생, 긴급 상황 발생 및 재해 상황 발생 시, 작업자 단말의 화면에 빨간색 아이콘의 점멸 또는 전체 화면 점멸 신호를 전송하여 상기 작업자가 빠르게 알아챌 수 있도록 다양하게 표시할 수 있다.
한편, 상기 모니터링부(150)는, 상기 작업자단말부(110)로부터 수신된 기설정된 요청에 대응하여 품질관리자 및 건축전문가 검토 요청, 구조기관 신고 및 현장관리자와의 핫라인을 중계할 수 있다.
일례로, 산업현장이 건축물 시공 현장이고, 상기 작업자가 작업 중 실수가 발생한 경우, 작업자 단말을 이용하여 상기 모니터링부(150)에 현재 영상과 함께 상황을 전달하고, 상기 모니터링부(150)에서 상기 상황에 대응가능한 품질전문가 또는 건축전문가와 통화 연결을 수행하여 상기 작업자가 수행가능한 보수방법 또는 재시공 여부를 작업자에게 전달하여 빠른 복구작업을 수행을 유도할 수 있다.
또한, 안전사고 발생 시, 상기 모니터링부(150)는, 상기 작업자가 구조가 요구되는 상황 또는 타 사용자가 다친 경우 기설정된 구조 기관과 연결하되, 상기 연결된 구조 기관에 작업자의 단말을 통한 실시간 영상을 제공할 수 있다.
이때, 안전사고가 발생한 작업자를 타 작업자가 먼저 도착하여 구조중인 경우, 구조중인 타 작업자의 단말과 구조기관의 통화연결을 통해 음성으로 현재 상황에 따른 응급처치방법을 구조기관 담당자로부터 전달받을 수 있다.
이를 통해, 안전사고가 발생한 작업자에 대한 빠른 응급처치 수행을 유도할 수 있다.
상기 좌표할당부(160)는, 상기 시공영역 생성부(130)에서 구분한 시공 영역을 세분화하고, 세분화된 시공 영역에 대한 개별 좌표를 할당하여 작업자 단말에 표시할 수 있다.
보다 상세하게는, 상기 좌표할당부(160)는, 작업자 단말의 시야에서 촬영되는 영상 중 상기 시공영역 구분부(131)에서 구분한 시공영역 내 마커를 기준한 중심을 원점(0, 0, 0)으로 지정하여 개별 좌표를 할당할 수 있다.
여기서, 할당한 개별 좌표는, x축, y축, z축으로 이루어진 3축 좌표를 의미하며, 상기 구분한 시공영역과 모델링 영상에 한정하여 개별좌표를 할당할 수 있다.
또한, 상기 할당된 개별좌표를 작업자 단말에 표시하여 추후 타 시공작업이 예정된 작업자의 단말 및 시공을 감리하는 작업자의 단말에 공유할 수 있다.
상기 객체외형 표시부(170)는, 상기 좌표할당부(160)에서 할당한 개별 좌표를 이용하여 비가시(非可視) 영역의 시공 영역 외형을 작업자 단말에 표시할 수 있다.
여기서, 상기 비가시 영역은, 상기 시공영역으로 구분되어 모델링된 객체가 위치하고 있으나, 산업현장에서 작업을 진행함에 있어서, 외벽 또는 콘크리트 타설 등으로 전체 영역 중 일부만 보이는 영역이나 내부가 가려진 영역을 의미할 수 있다.
이때, 상기 객체외형 표시부(170)는, 도 4 내지 도 5를 참고하여 더욱 상세히 설명한다.
상기 도 4 내지 도 5를 참고하면, 상기 객체외형 표시부(170)는, 작업자 단말을 통해 수집되는 영상 내 시공영역이 포함되는 객체외형에 상기 모델링부(132)에서 모델링한 영상의 일부가 촬영되는 경우, 상기 좌표할당부(160)를 이용하여 개별 좌표를 할당할 수 있다.
여기서, 모델링 영상에 할당된 개별 좌표와 상기 시공영역 생성부(130)에서 수집한 시공영역 객체와 매칭하여 해당 시공영역 내부에 위치한 객체의 외형 및 구조를 작업자 단말에 표시하고 개별좌표를 더 할당할 수 있다.
일례로, 산업현장이 건축물 시공 현장이고, 작업자 단말을 착용한 사용자가 기초 철근 배근 후 기초 콘크리트가 타설 작업을 하는 경우, 상기 기설정된 작업자 단말을 이용하여 상기 작업 대상이 되는 콘크리트 타설 지점의 시야에서 철근의 일부가 보여져 촬영될 수 있다.
여기서, 상기 철근을 시공영역 객체로 판단된 경우, 작업자 단말의 시야 내 보여지는 철근에 상기 좌표할당부(160)에서 제1 좌표점(411), 제2 좌표점(412), 제3 좌표점(413) 및 제4 좌표점(414) 등 개별 좌표를 할당하여 상기 기설정된 작업자 단말의 화면에 표시될 수 있다.
이때, 상기 객체외형 표시부(170)는, 상기 제1 좌표점(411), 제2 좌표점(412), 제3 좌표점(413) 및 제4 좌표점을 이어 원으로 표시하고, 상기 표시한 원을 제1 좌표면(431)으로 마련하며, 상기 언급한 좌표점 외 상기 철근의 일부에 할당된 좌표점을 이어 원기둥 옆면 형상의 제2 좌표면(432)를 표시할 수 있다.
이를 통해, 현재 사용자 단말의 시야에 포함되는 철근에 좌표점, 좌표선 및 좌표면으로 이루어진 원기둥형상의 객체외형(철근)과 상기 시공영역 생성부(130)에서 모델링한 시공영역 객체를 매칭하여 일치하는 객체로 판단된 경우, 상기 객체외형(철근)에 해당하는 모델링을 기초하여 상기 좌표점, 좌표선 및 좌표면으로 이루어진 비가시 영역의 객체외형을 작업자 단말에 표시할 수 있다.
한편, 상기 객체외형이 표시된 객체외형(철근)에 상기 사용자가 콘크리트 타설작업을 진행하는 경우, 시공시작일, 시공참여자, 시공내용 및 개별 좌표를 포함하는 시공 영역을 기록하여 추후 동일 시공 영역 또는 인근 시공 영역에서 진행하는 시공에 타 사용자가 참고할 수 있도록 공유할 수 있다.
상기와 같은 과정을 통해, 상기 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템은 각 작업자들에게 마련된 기설정된 작업자 단말을 이용하여 산업현장의 시공 현장에서 다수의 지점에서 시공하는 작업영상을 촬영하여 작업날짜, 작업 담당자, 작업 위치 등을 수집하여 작업 진행상황을 모니터링하고, 상기 작업 영상을 이용하여 시간순서에 따라 시공 영역을 모델링하되, 시공 영역에 대응하는 작업자와 작업 일시 등을 기록하여 건축물의 작업 상태를 한눈에 알 수 있다.
본 발명의 일실시례에 따르면, 산업현장 내 작업자의 개인별 시야 영상을 수집함으로써, 다수 개의 지점에서 발생하는 산업현장에서의 시공(작업) 상황을 상세히 파악할 수 있다.
또한, 작업자가 착용한 기설정된 작업자 단말에 작업내용, 작업 주의 사항, 유사 작업 영상 등 해당 작업과 관련된 다양한 정보를 제공함으로써, 작업자의 정확하고 안전한 작업을 유도할 수 있다.
또한, 작업자가 착용한 기설정된 작업자 단말을 이용하여 작업자간 또는 작업자와 관리자간 데이터 송수신 및 음성 송수신 기능을 제공함으로써, 전체 알림사항, 긴급상황 및 재해상황을 빠르게 전달할 수 있다.
또한, 철근, 배수관, 가스관 등의 산업현장 내 건축물 시공 작업이 진행됨에 따라 육안으로 보이지 않는 영역을 모델링하여 상기 기설정된 작업자 단말의 화면에 표시함으로써, 건축물 시공 작업 진행 상태와 작업 수행과 관련된 정보를 데이터화하여 기록할 수 있다.
이상과 같이 본 발명의 일실시례는 비록 한정된 실시례와 도면에 의해 설명되었으나, 본 발명의 일실시례는 상기 설명된 실시례에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서 본 발명의 일실시례는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템
110 : 작업자단말부
120 : 작업데이터 제공부
130 : 시공영역 생성부
131 : 시공영역 구분부
132 : 모델링부
133 : 시공 영역 갱신부
140 : 작업판단부
141 : 작업 결정부
142 : 작업 알림부
143 : 환경데이터 전송부
144 : 작업지시부
150 : 모니터링부
160 : 좌표할당부
170 : 객체외형 표시부
411 : 제1 좌표점
412 : 제2 좌표점
413 : 제3 좌표점
414 : 제4 좌표점
421 : 제1 좌표선
422 : 제2 좌표선
431 : 제1 좌표면
432 : 제2 좌표면

Claims (5)

  1. 기설정된 작업자 단말을 착용한 작업자의 산업현장 내 시공 작업 영상촬영, 작업자 위치정보 표시, 알림 데이터 송수신 및 음성 데이터 송수신을 수행하는 작업자단말부;
    작업 매뉴얼, 주의사항, 유사 작업 수행 영상 재생, 작업 순서, 작업 방법 중 적어도 하나 이상의 작업 데이터를 상기 작업자단말부에 제공하는 작업데이터 제공부;
    상기 작업자단말부에서 수집한 상기 건축물 시공 작업 영상을 이용하여 상기 산업현장 내 시공 영역을 3차원 모델링 영상으로 생성하는 시공영역 생성부;
    상기 3차원 영상에 대응하여 차기 작업 진행 여부를 판단하여 상기 작업자단말부에 전송하는 작업판단부;
    상기 기설정된 작업자 단말로부터 실시간 영상을 수집하여 모니터링하고 기설정된 이상동작이 감지되는 경우 구조 요청을 전송하는 모니터링부;
    상기 산업현장 내 시공 영역을 세분화하고, 세분화된 시공 영역에 대응하는 개별 좌표를 할당하여 상기 기설정된 작업자 단말에 표시하는 좌표할당부; 및
    상기 좌표할당부에서 할당한 개별 좌표를 이용하여 비가시 영역의 상기 상기 시공 영역의 외형을 상기 기설정된 사용자 단말에 표시하는 객체외형 표시부;
    를 포함하는 것을 특징으로 하는 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템.
  2. 제1항에 있어서,
    상기 작업자단말부는,
    상기 시공 작업 영상촬영 전 마커의 배치를 유도하는 안내 문구를 상기 기설정된 작업자 단말에 표시하고,
    상기 시공영역 생성부에서 생성한 전기 케이블, 철근, 콘크리트 타설 구역, 배수관, 수도관, 가스관 및 단열재 중 적어도 하나 이상의 모델링 영상을 수신하여 상기 기설정된 작업자 단말의 현재 영상에 대응하는 상기 모델링 영상을 화면에 표시하는 것을 특징으로 하는 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템.
  3. 제1항에 있어서,
    상기 시공영역 생성부는,
    상기 작업자단말부에서 수집한 산업현장의 시공 작업 영상 내 마커를 기준하여 시공 영역을 구분하는 시공영역 구분부;
    상기 구획한 시공 영역을 3차원 영상으로 모델링한 모델링 영상을 생성하는 모델링부; 및
    상기 작업자단말부에서 수집한 영상과 상기 3차원 영상으로 모델링 작업한 영상을 이용하여 실공간과 매칭시키되, 시간순서에 대응하여 갱신된 모델링 영상을 상기 작업자 단말에 표시하는 시공 영역 갱신부;
    를 포함하는 것을 특징으로 하는 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템.
  4. 제1항에 있어서,
    상기 작업판단부는,
    상기 시공영역 생성부에서 모델링한 시공 영역에 대응하여 차기 작업 진행 시점을 결정하는 작업 결정부;
    상기 차기 작업 시점이 결정된 경우, 상기 작업자에게 차기 작업 시작 날짜, 작업 내용 및 작업 주의사항을 상기 작업자단말부에 전달하는 작업 알림부;
    상기 차기 작업 진행 시점이 결정된 날짜의 온도, 습도, 풍량, 미세먼지 농도, 자외선, 일조량, 강수량 및 강설량을 포함하는 기상데이터를 수집하여 상기 모니터링부에 전송하는 환경데이터 전송부; 및
    상기 모니터링부에서 전송한 작업 진행 가능 여부 신호에 대응하여 상기 차기 작업 진행 수행 여부를 상기 작업자단말부에 전달하는 작업지시부;
    를 포함하는 것을 특징으로 하는 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템.
  5. 제1항에 있어서,
    상기 모니터링부는,
    상기 기설정된 작업자 단말과 연동되어 작업 중단, 휴식시간, 작업 정리 시간, 환자 발생, 긴급 상황 발생 및 재해상황 발생 알림을 상기 작업자단말부에 전달하고,
    상기 작업자단말부로부터 수신된 기설정된 요청에 대응하여 품질관리자 및 건축전문가 검토 요청, 구조기관 신고 및 현장관리자와 통화연결을 중계하는 것을 특징으로 하는 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템.
KR1020220064059A 2022-05-25 2022-05-25 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템 KR20230164790A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220064059A KR20230164790A (ko) 2022-05-25 2022-05-25 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템
US17/826,146 US20230385725A1 (en) 2022-05-25 2022-05-26 Work assistance system using the image recognition-based virtual object registration method in the industrial field

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220064059A KR20230164790A (ko) 2022-05-25 2022-05-25 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템

Publications (1)

Publication Number Publication Date
KR20230164790A true KR20230164790A (ko) 2023-12-05

Family

ID=88876378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220064059A KR20230164790A (ko) 2022-05-25 2022-05-25 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템

Country Status (2)

Country Link
US (1) US20230385725A1 (ko)
KR (1) KR20230164790A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117631090B (zh) * 2024-01-25 2024-05-14 南京信息工程大学 一种寒潮识别方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101798165B1 (ko) 2016-06-29 2017-11-15 경북대학교 산학협력단 증강현실 기반 건축물 시공 시스템 및 방법.

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050283294A1 (en) * 2004-06-16 2005-12-22 Lehman Allen A Jr Method and apparatus for machine guidance at a work site
DE102015010726A1 (de) * 2015-08-17 2017-02-23 Liebherr-Werk Biberach Gmbh Verfahren zur Baustellenüberwachung, Arbeitsmaschine und System zur Baustellenüberwachung
US20200034766A1 (en) * 2018-07-27 2020-01-30 Gabriel Borges System and method to increase productivity

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101798165B1 (ko) 2016-06-29 2017-11-15 경북대학교 산학협력단 증강현실 기반 건축물 시공 시스템 및 방법.

Also Published As

Publication number Publication date
US20230385725A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
KR102170748B1 (ko) ＩｏＴ 기반 스마트 건설을 위한 3차원 공간정보 현장 관리 플랫폼 시스템
KR102273691B1 (ko) 드론을 이용한 건설현장 공정관리 시스템 및 그를 이용한 건설현장 공정관리 방법
CN109557934B (zh) 一种基于装配式建筑平台的无人机巡航的控制方法及装置
US20210349476A1 (en) Method and apparatus for controlling cruise of unmanned air vehicle based on prefabricated construction platform
CN101742255B (zh) 电力现场作业视频自动监控系统
KR101934315B1 (ko) Ｉｃｔ 기반 ａｒ을 이용한 건설 유지 관리 원스톱 시스템
KR20160149406A (ko) 재난 관리 장치 및 재난 관리 방법
KR101720857B1 (ko) 안전 관제 시스템
CN107818430A (zh) 一种基于bim的建筑工程施工进度信息管理方法及系统
CN104808610A (zh) 基于bim建筑信息模型的机械控制系统及方法
CN113724105A (zh) 建筑施工现场监控系统及其监控方法
KR102371336B1 (ko) 3d 통합관제 및 증강현실과 가상현실을 이용한 스마트 공장 모니터링 시스템
CN109559006A (zh) 一种基于无人机的施工现场的监控方法、装置及终端设备
CN104966154A (zh) 一种基于bim技术的临水临电管理方法及系统
KR20230164790A (ko) 산업현장에서의 영상인식기반 가상물체 정합방법을 활용한 작업보조 시스템
CN106500651A (zh) 一种结构几何变形的安全监控方法
CN113110221A (zh) 一种管廊系统的综合智能监控方法及系统
US6244015B1 (en) Method of assembling plant
CN105260491A (zh) 管道综合布管建模方法
CN111563680A (zh) 基于bim的装配式建筑施工安全防护方法、装置、电子设备
CN114186011A (zh) 基于电子围栏的管理方法、装置、计算机设备和存储介质
TWM607740U (zh) 智慧工地管理設備
CN114219429A (zh) 基于rfid的工程质量、进度管理方法及系统
Yu et al. Unmanned aircraft path planning for construction safety inspections
CN107219825A (zh) 自我控制