KR20230062122A - 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 - Google Patents

이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20230062122A
KR20230062122A KR1020210147080A KR20210147080A KR20230062122A KR 20230062122 A KR20230062122 A KR 20230062122A KR 1020210147080 A KR1020210147080 A KR 1020210147080A KR 20210147080 A KR20210147080 A KR 20210147080A KR 20230062122 A KR20230062122 A KR 20230062122A
Authority
KR
South Korea
Prior art keywords
crane
deep learning
image segmentation
hook
operating system
Prior art date
Application number
KR1020210147080A
Other languages
English (en)
Inventor
윤효식
권순도
옥진성
홍성민
마한석
Original Assignee
대우조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대우조선해양 주식회사 filed Critical 대우조선해양 주식회사
Priority to KR1020210147080A priority Critical patent/KR20230062122A/ko
Publication of KR20230062122A publication Critical patent/KR20230062122A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/04—Safety gear for preventing collisions, e.g. between cranes or trolleys operating on the same track
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

본 발명은 센서 및 비전 카메라 영상에 대한 이미지 세그멘테이션 모델의 구축 및 학습을 이용하여 관심영역을 설정하여 관심영역의 상황에 따라 크레인을 자동으로 운영할 수 있도록 하는 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템에 관한 것으로, 크레인 작업 시 크레인의 후크 주변 및 크레인이 설치된 작업장 주변의 영상을 생성하는 비전 카메라 및 작업장 주변의 영상을 이용하여 딥 러닝 세그멘테이션 모델을 구축하여 딥 러닝 학습을 수행하고, 후크의 이동 예상경로 상에 존재하는 구조물 및 작업자를 포함하는 오브젝트에 대한 이미지 세그멘테이션을 수행하고, 이미지 세그멘테이션을 이용하여 오브젝트를 중심으로 관심영역(Region Of Interest)을 설정하는 서버를 포함한다.

Description

이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체{SYSTEM AND METHOD FOR OPERATING AUTOMATIC CRANE USING IMAGE SEGMENTATION AND DEEP LEARNING AND COMPUTER-READABLE RECORDING MEDIUM INCLUDING THE SAME}
본 발명은 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 특히, 센서 및 비전 카메라 영상에 대한 이미지 세그멘테이션 모델의 구축 및 학습을 이용하여 관심영역을 설정하여 관심영역의 상황에 따라 크레인을 자동으로 운영할 수 있도록 하는 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
선박은 블록 단위로 조립하여 건조하는데, 각 블록을 만들기 위해서는 강재를 필요로 한다. 블록은 선박의 종류와 크기, 용도에 따라 다른 두께, 폭, 및 길이를 가지는 강재를 용접하여 사용한다. 제조사로부터 전달받은 강재들은 작업자가 일일이 수작업으로 확인하고 분류한 후 정상적으로 입고되는데, 수작업으로 인해 소비되는 입고 작업시간은 무시할 수 없을 정도로 길다.
도 1은 종래의 크레인 및 크레인 작업장의 사진이다.
도 1을 참조하면, 무거운 강재가 입고될 때 사용하는 크레인(100)은 크레인의 운전자가 수동으로 또는 리모콘을 이용하여 조작하였기 때문에, 작업자가 직접 육안으로 강재와 같은 구조물이 이동을 정확하게 유도하고, 또한 이동경로 상의 주변의 장애물이나 타 작업자를 확인하여야 했으며, 따라서 작업자의 피로도가 높고, 작업자의 숙련도에 따라 작업 시간도 결정되는 단점이 있었다.
특히, 크레인 운전자의 부주의 또는 미숙련으로 인해 발생하는 사고는 인명의 손실도 포함되는 문제가 있었다.
한국 공개특허공보 제10-2021-0095337호(실시간 크레인 충돌방지 모니터링 장치 및 그 방법, 2021.8.2.)
본 발명이 해결하고자 하는 기술적 과제는, 센서 및 비전 카메라 영상에 대한 이미지 세그멘테이션 모델의 구축 및 학습을 이용하여 관심영역을 설정하여 관심영역의 상황에 따라 크레인을 자동으로 운영할 수 있도록 하는 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템을 제공하는 것에 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 센서 및 비전 카메라 영상에 대한 이미지 세그멘테이션 모델의 구축 및 학습을 이용하여 관심영역을 설정하여 관심영역의 상황에 따라 크레인을 자동으로 운영할 수 있도록 하는 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체를 제공하는 것에 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템은, 크레인 작업 시 작업장 주변의 영상을 생성하는 비전 카메라; 및 상기 작업장 주변의 영상을 이용하여 딥 러닝 세그멘테이션 모델을 구축하여 딥 러닝 학습을 수행하고, 상기 크레인의 후크의 이동 예상경로 상에 존재하는 오브젝트에 대한 이미지 세그멘테이션을 수행하고, 상기 이미지 세그멘테이션을 이용하여 상기 오브젝트를 중심으로 관심영역(Region Of Interest)을 설정하는 서버;를 포함한다.
또한, 상기 작업장 주변의 영상은, 상기 크레인의 후크 주변 및 상기 크레인이 설치된 상기 작업장 주변의 영상을 포함할 수 있다.
또한, 상기 오브젝트는, 구조물 및 작업자를 포함할 수 있다.
또한, 상기 서버는, 상기 딥 러닝 세그멘테이션 모델을 구축하고 상기 관심영역을 설정하는 미들웨어 서버 및 상기 딥 러닝 세그멘테이션 모델을 학습하는 학습 서버를 포함할 수 있다.
또한, 상기 후크의 위치를 감지하는 센서를 더 포함하며, 상기 서버는 상기 딥 러닝 세그멘테이션 모델의 구축 시, 상기 센서의 감지 결과를 반영할 수 있다.
또한, 상기 비전 카메라 및 상기 센서는 상기 크레인에 설치될 수 있다.
또한, 상기 비전 카메라는 상기 크레인의 상부 양 측면에 각각 하나 이상 설치되고, 상기 센서는 상기 크레인의 후크가 위치하는 곳에 설치될 수 있다.
또한, 상기 비전 카메라는, 상기 후크를 중심으로 FoV 120도 촬영을 수행할 수 있다.
또한, 상기 딥 러닝 세그멘테이션 모델은, 수정된(modified) DeepLab v3를 사용할 수 있다.
또한, 상기 작업장 주변의 영상을 저장하는 데이터베이스를 더 포함할 수 있다.
또한, 상기 비전 카메라 및 상기 서버는 근거리 무선 통신으로 정보를 송수신할 수 있다.
한편, 상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법은, 비전 카메라를 이용하여 크레인 작업 시 작업장 주변의 영상을 생성하는 단계; 서버에서 수행하며, 상기 작업장 주변의 영상을 이용하여 딥 러닝 세그멘테이션 모델을 구축하여 딥 러닝 학습을 수행하는 단계; 상기 서버에서 수행하며, 상기 딥 러닝 세그멘테이션 모델을 이용하여 상기 후크의 이동 예상경로 상에 존재하는 오브젝트에 대한 이미지 세그멘테이션을 수행하는 단계; 및 상기 서버에서 수행하며, 상기 이미지 세그멘테이션을 이용하여 상기 오브젝트를 중심으로 관심영역을 설정하는 단계;를 포함한다.
또한, 상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법, 크레인 작업을 수행하는 단계; 작업 중인 상기 크레인의 후크의 예상 이동 경로 상에 오브젝트가 존재하는가를 판단하는 단계; 및 상기 오브젝트가 상기 크레인의 후크의 예상 경로 상에 존재한다고 판단한 때에는, 미리 설정된 상기 오브젝트를 중심으로 생성한 관심영역을 이용하여 상기 오브젝트를 회피하는 단계를 포함하고, 상기 오브젝트가 상기 크레인의 후크의 예상 경로 상에 존재하지 않는다고 판단한 때에는, 상기 오브젝트를 회피하는 단계를 수행한 후 상기 크레인 작업을 수행하는 단계를 포함한다.
이때, 상기 오브젝트를 회피하는 단계 후, 상기 크레인이 오브젝트를 회피하는 단계를 수행하였음을 외부에 통보하는 단계를 더 포함할 수 있다.
또한, 상기 외부는, 상기 크레인의 작업자, 상기 크레인 작업을 관리하는 모니터, 및 상기 크레인 주위의 작업자 중 어느 하나 이상을 포함할 수 있다.
한편, 상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 전술한 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된다.
상술한 바와 같이, 본 발명에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체는 자동으로 크레인 후크 이동 경로 상의 구조물 관심영역을 설정하고, 관심영역 내 진입금지를 자동으로 수행할 수 있으므로, 기존에 관리 요원이나 운전자에 의해 직접 육안으로 크레인을 조작함으로써 작업의 피로도, 운전자의 부주의 등으로 발생할 수 있는 사고를 감소할 수 있는 장점이 있다.
도 1은 종래의 크레인 및 크레인 작업장의 사진이다.
도 2는 본 발명에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템의 일 실시예다.
도 3은 본 발명에 따른 크레인 자동 운영 시스템이 적용되는 크레인의 예이다.
도 4는 본 발명에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법 중 관심영역을 생성하는 단계를 설명한다.
도 5는 본 발명에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법 중 관심영역 기반 오브젝트 회피단계를 설명한다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템의 일 실시예다.
도 3은 본 발명에 따른 크레인 자동 운영 시스템이 적용되는 크레인의 예이다.
도 2 및 도 3을 참조하면, 본 발명에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템(200)(이하, 크레인 자동 운영 시스템)은 비전 카메라(210), 센서(220), 데이터베이스(230), 서버(240) 및 제어장치(250)를 포함한다.
비전 카메라(210)는 크레인(310)에 적어도 하나 설치되며, 크레인(310) 작업 시 크레인(310)의 후크(330) 주변 및 크레인(310)이 설치된 작업장 주변의 영상(이하, 작업장 주변의 영상)을 생성한다. 일 실시예에 따르면, 크레인(310) 상부 양측에 각각 하나씩 설치되어 크레인(310)을 구성하는 후크(330)를 중심으로 FoV(Field Of View) 120도 촬영을 수행하여 작업장 주변의 영상을 생성하는 것이 바람직하다.
센서(220)는 크레인(310)에 설치되어 물체를 인양하는데 사용되는 후크(330)의 위치를 감지한다. 센서(220)는 크레인(310)에 설치되는 것이 일반적이지만, 크레인(310)의 외부에 설치되는 실시예도 가능하다.
데이터베이스(230)는 비전 카메라(210)에서 생성한 작업장 주변의 영상 및 센서(220)에서 감지한 후크(330)의 위치 정보를 저장한다.
버(240)는 비전 카메라(210)가 생성한 작업장 주변의 영상을 이용하여 딥 러닝 세그멘테이션 모델을 구축하여 딥 러닝 학습을 수행하고, 후크(330)의 이동 예상경로 상에 존재하는 구조물 및 작업자를 포함하는 오브젝트(object)에 대한 이미지 세그멘테이션(Image Segmentation)을 수행하고, 이미지 세그멘테이션을 이용하여 오브젝트를 중심으로 관심영역(Region Of Interest)을 설정한다.
일 실시예에 따르면, 서버(240)는 딥 러닝 세그멘테이션 모델을 구축하고 관심영역을 설정하는 미들웨어 서버(미도시) 및 딥 러닝 세그멘테이션 모델을 학습하는 학습 서버(미도시)로 포함할 수 있다.
상기 미들웨어 서버는 딥 러닝 세그멘테이션 모델의 구축 시, 센서(220)의 감지 결과를 반영하는 것이 바람직하다.
제어장치(250)는 비전 카메라(210), 센서(220), 데이터 베이스(230) 및 서버(240)의 동작을 제어한다.
비전 카메라(210) 및 서버(240)는 근거리 무선 통신으로 정보를 송수신할 수 있다.
일 실시예에 따르면, 다양한 작업장 주변의 영상을 획득하기 위하여 하루 30분씩 적어도 10일 정도를 촬영하는 것이 바람직하다. 촬영된 영상을 프레임 단위로 추출하여, 예를 들면, 30,000장으로 구성된 자료를 준비하고, 준비된 영상을 기반으로 딥 러닝 세그멘테이션 학습을 수행하도록 한다. 이렇게 함으로써, 후크(330)가 인양물을 인양하여 이동할 때 예상 경로를 중심으로 관심영역을 생성하여, 관심영역에 장애물이 존재할 경우 인양물의 이동을 중지시킬 수 있게 된다.
세그멘테이션 학습을 위한 모델로는, DeepLab v3를 기반으로 개선한 수정된 DeepLab v3를 사용하는 것이 바람직하다. 이는 종래의 DeepLab v3와 다르게 백본 네트워크(Backbone Network)로 ResNet-152 모델을 이용하여 피쳐(Feature)를 추출하며, 각 레이어마다 피쳐를 연결(concatenate)하여 레이어가 깊어져도 유의미한 피쳐를 효과적으로 추출할 수 있도록 하기 위함이다.
도 3을 참조하면, 크레인(310)의 양측에는 각각 비전 카메라(210)가 한 대씩 설치되어 있고, 중앙부에는 크레인 후크 구동부(320)에 연결된 후크(330)가 설치되어 있으며, 크레인 후크 구동부(320)의 상부에는 후크(330)의 위치를 감지하는 센서(220)이 설치되어 있다는 것을 알 수 있다. 도 3은 본 발명의 개념을 설명하기 위한 것으로, 비전 카메라(210) 및 센서(220)의 설치 위치는 실시예에 따라 다양하게 변경될 수 있다.
예를 들면, 도 3에는 비전 카메라(210)가 크레인(310)의 전방을 촬영하는 것으로 도시되어 있지만, 회전 또는 이동 가능한 경우 촬영 방향 및 촬영 지역의 넓이를 다양하게 선택할 수 있으며, 어안 렌즈 등을 적용하여 광각 촬영이 가능하도록 할 수 있다.
도 4는 본 발명에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법 중 관심영역을 생성하는 단계를 설명한다.
도 4를 참조하면, 관심영역을 생성하는 단계(400)는, 크레인 작업(410)을 수행하면서, 비전 카메라(210)를 이용하여 크레인(310) 작업 시 크레인(310)의 후크(330) 주위 및 크레인(310)이 설치된 작업장 주위를 촬영하여 작업장의 주변 영상을 생성하는 단계(420), 서버에서 수행하며, 비전 카메라(210)로부터 취득한 작업장의 주변 영상에 대하여 딥 러닝 세그멘테이션 모델을 구축하여 딥 러닝 학습을 수행하는 단계(430), 서버에서 수행하며, 딥 러닝 세그멘테이션 모델을 이용하여 후크(330)의 이동 예상경로 상에 존재하는 구조물 및 작업자를 포함하는 오브젝트에 대한 이미지 세그멘테이션을 수행하는 단계(440) 및 서버에서 수행하며, 이미지 세그멘테이션을 이용하여 오브젝트를 중심으로 관심영역을 설정하는 단계(450)를 포함한다.
도 5는 본 발명에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법 중 관심영역 기반 오브젝트 회피단계를 설명한다.
도 5를 참조하면, 관심영역 기반 오브젝트 회피단계(500)는, 크레인(310) 작업을 수행하는 단계(510), 크레인(310) 작업 중 크레인(310)의 후크(330)의 예상 이동 경로 상에 구조물 및 작업자를 포함하는 오브젝트가 존재하는가를 판단하는 단계(520), 오브젝트가 예상 경로 상에 존재한다고 판단한 때(Yes)에는 미리 설정된 오브젝트를 중심으로 생성한 관심영역을 이용하여 오브젝트를 회피하는 단계(530) 및 오브젝트를 회피하는 단계 후, 크레인(310)이 오브젝트를 회피하는 단계를 수행하였음을 외부에 통보하는 단계(540)를 포함한다.
오브젝트가 존재하는가를 판단하는 단계(520)에서, 오브젝트가 예상 경로 상에 존재하지 않는다고 판단한 경우(520, No) 및 오브젝트를 회피하는 단계(540)를 수행한 후 크레인 작업(510)을 수행한다.
여기서 외부는, 크레인 작업자, 크레인 작업을 관리하는 모니터, 크레인 주위의 작업자 중 적어도 한곳을 포함할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 기술자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다.
200: 크레인 자동 운영 시스템 210: 비전 카메라
220: 센서 230: 데이터베이스(D/B)
240: 서버 250: 제어장치
310: 크레인 320: 크레인 후크 구동부
330: 후크

Claims (16)

  1. 크레인 작업 시 작업장 주변의 영상을 생성하는 비전 카메라; 및
    상기 작업장 주변의 영상을 이용하여 딥 러닝 세그멘테이션 모델을 구축하여 딥 러닝 학습을 수행하고, 상기 크레인의 후크의 이동 예상경로 상에 존재하는 오브젝트에 대한 이미지 세그멘테이션을 수행하고, 상기 이미지 세그멘테이션을 이용하여 상기 오브젝트를 중심으로 관심영역(Region Of Interest)을 설정하는 서버;를 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  2. 제 1 항에 있어서,
    상기 작업장 주변의 영상은,
    상기 크레인의 후크 주변 및 상기 크레인이 설치된 상기 작업장 주변의 영상을 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  3. 제 1 항에 있어서,
    상기 오브젝트는,
    구조물 및 작업자를 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  4. 제 1 항에 있어서,
    상기 서버는,
    상기 딥 러닝 세그멘테이션 모델을 구축하고 상기 관심영역을 설정하는 미들웨어 서버 및
    상기 딥 러닝 세그멘테이션 모델을 학습하는 학습 서버를 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  5. 제 1 항에 있어서,
    상기 후크의 위치를 감지하는 센서를 더 포함하며,
    상기 서버는 상기 딥 러닝 세그멘테이션 모델의 구축 시, 상기 센서의 감지 결과를 반영하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  6. 제 5 항에 있어서,
    상기 비전 카메라 및 상기 센서는 상기 크레인에 설치되는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  7. 제 6 항에 있어서,
    상기 비전 카메라는 상기 크레인의 상부 양 측면에 각각 하나 이상 설치되고,
    상기 센서는 상기 크레인의 후크가 위치하는 곳에 설치되는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  8. 제 1 항에 있어서,
    상기 비전 카메라는,
    상기 후크를 중심으로 FoV 120도 촬영을 수행하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  9. 제 1 항에 있어서,
    상기 딥 러닝 세그멘테이션 모델은,
    수정된(modified) DeepLab v3를 사용하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  10. 제 1 항에 있어서,
    상기 작업장 주변의 영상을 저장하는 데이터베이스를 더 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  11. 제 1 항에 있어서,
    상기 비전 카메라 및 상기 서버는 근거리 무선 통신으로 정보를 송수신하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템.
  12. 비전 카메라를 이용하여 크레인 작업 시 작업장 주변의 영상을 생성하는 단계;
    서버에서 수행하며, 상기 작업장 주변의 영상을 이용하여 딥 러닝 세그멘테이션 모델을 구축하여 딥 러닝 학습을 수행하는 단계;
    상기 서버에서 수행하며, 상기 딥 러닝 세그멘테이션 모델을 이용하여 상기 후크의 이동 예상경로 상에 존재하는 오브젝트에 대한 이미지 세그멘테이션을 수행하는 단계; 및
    상기 서버에서 수행하며, 상기 이미지 세그멘테이션을 이용하여 상기 오브젝트를 중심으로 관심영역을 설정하는 단계;를 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법.
  13. 크레인 작업을 수행하는 단계;
    작업 중인 상기 크레인의 후크의 예상 이동 경로 상에 오브젝트가 존재하는가를 판단하는 단계; 및
    상기 오브젝트가 상기 크레인의 후크의 예상 경로 상에 존재한다고 판단한 때에는, 미리 설정된 상기 오브젝트를 중심으로 생성한 관심영역을 이용하여 상기 오브젝트를 회피하는 단계를 포함하고,
    상기 오브젝트가 상기 크레인의 후크의 예상 경로 상에 존재하지 않는다고 판단한 때에는, 상기 오브젝트를 회피하는 단계를 수행한 후 상기 크레인 작업을 수행하는 단계를 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법.
  14. 제 13 항에 있어서,
    상기 오브젝트를 회피하는 단계 후, 상기 크레인이 오브젝트를 회피하는 단계를 수행하였음을 외부에 통보하는 단계를 더 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법.
  15. 제 14 항에 있어서,
    상기 외부는,
    상기 크레인의 작업자, 상기 크레인 작업을 관리하는 모니터, 및 상기 크레인 주위의 작업자 중 어느 하나 이상을 포함하는,
    이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법.
  16. 제 12 항 내지 제 15 항 중 어느 한 항에 따른 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록매체.
KR1020210147080A 2021-10-29 2021-10-29 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체 KR20230062122A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210147080A KR20230062122A (ko) 2021-10-29 2021-10-29 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210147080A KR20230062122A (ko) 2021-10-29 2021-10-29 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Publications (1)

Publication Number Publication Date
KR20230062122A true KR20230062122A (ko) 2023-05-09

Family

ID=86409430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210147080A KR20230062122A (ko) 2021-10-29 2021-10-29 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR20230062122A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118470648A (zh) * 2024-07-09 2024-08-09 齐鲁高速公路股份有限公司 一种吊钩脱钩识别方法、装置、电子设备及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210095337A (ko) 2020-01-23 2021-08-02 (주)넷믹스 실시간 크레인 충돌방지 모니터링 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210095337A (ko) 2020-01-23 2021-08-02 (주)넷믹스 실시간 크레인 충돌방지 모니터링 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118470648A (zh) * 2024-07-09 2024-08-09 齐鲁高速公路股份有限公司 一种吊钩脱钩识别方法、装置、电子设备及程序产品

Similar Documents

Publication Publication Date Title
EP3409629B2 (en) Image analytics for elevator maintenance
CN107134147B (zh) 基于摄像机与传感器管理杆下车位的方法、装置及系统
JP4630137B2 (ja) 対象物監視システム、対象物監視方法および対象物監視プログラム
KR101723283B1 (ko) 작업자 행동기반 안전 관리 시스템 및 방법
CN111275923B (zh) 施工现场的人机碰撞预警方法及系统
CN110733983B (zh) 一种塔吊安全控制系统及其控制方法
KR102477061B1 (ko) 주차장 내 차량 모니터링 장치 및 방법
US20230242380A1 (en) Information processing apparatus for cranes
JP2012203677A (ja) 安全管理システム
KR100990433B1 (ko) 무인 크레인의 후크 체결 방법 및 그 무인 크레인 시스템
Chian et al. Dynamic identification of crane load fall zone: A computer vision approach
JP6766516B2 (ja) 障害物検出装置
KR20230062122A (ko) 이미지 세그멘테이션 및 딥 러닝을 이용한 크레인 자동 운영 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
JP7251407B2 (ja) センサ設置支援装置、センサ設置支援方法およびプログラム
IT201600108172A1 (it) Dispositivo e metodo di monitoraggio di un'area operativa
KR102361798B1 (ko) 호이스트를 이용한 공종별 작업자 투입 현황 모니터링 시스템 및 방법
JP2017079019A (ja) 建築分野用システム
JP2007179366A (ja) 警備システム
JP2019031811A (ja) 足場工事安全監視システム
KR20120050830A (ko) 크레인 제어 장치 및 방법
KR102366590B1 (ko) 중장비 차량 안전 관리 시스템
JP6562722B2 (ja) 侵入監視装置及び侵入監視システム
KR20230062139A (ko) 딥 러닝을 기반으로 하는 크레인 장애물 인식 시스템 및 방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR102121423B1 (ko) 카메라 영상을 이용한 도로선형인지서버 및 그 인지 방법
KR102418943B1 (ko) 타워크레인 정보 처리 방법 및 이를 위한 프로그램

Legal Events

Date Code Title Description
A201 Request for examination