KR20220168299A - 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법 - Google Patents

반송시스템을 위한 이송차량 및 그 이송차량의 구동방법 Download PDF

Info

Publication number
KR20220168299A
KR20220168299A KR1020210077854A KR20210077854A KR20220168299A KR 20220168299 A KR20220168299 A KR 20220168299A KR 1020210077854 A KR1020210077854 A KR 1020210077854A KR 20210077854 A KR20210077854 A KR 20210077854A KR 20220168299 A KR20220168299 A KR 20220168299A
Authority
KR
South Korea
Prior art keywords
distance
points
transport vehicle
transport system
vehicle
Prior art date
Application number
KR1020210077854A
Other languages
English (en)
Other versions
KR102492161B1 (ko
Inventor
김세은
신훈섭
김재훈
김영태
신현우
Original Assignee
주식회사 에스에프에이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스에프에이 filed Critical 주식회사 에스에프에이
Priority to KR1020210077854A priority Critical patent/KR102492161B1/ko
Publication of KR20220168299A publication Critical patent/KR20220168299A/ko
Application granted granted Critical
Publication of KR102492161B1 publication Critical patent/KR102492161B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations
    • H01L21/67703—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations between different workstations
    • H01L21/67724—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations between different workstations by means of a cart or a vehicule
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/0457—Storage devices mechanical with suspended load carriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/06—Arrangements or use of warning devices
    • B66C15/065—Arrangements or use of warning devices electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C17/00—Overhead travelling cranes comprising one or more substantially horizontal girders the ends of which are directly supported by wheels or rollers running on tracks carried by spaced supports
    • B66C17/06—Overhead travelling cranes comprising one or more substantially horizontal girders the ends of which are directly supported by wheels or rollers running on tracks carried by spaced supports specially adapted for particular purposes, e.g. in foundries, forges; combined with auxiliary apparatus serving particular purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67259—Position monitoring, e.g. misposition detection or presence detection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations
    • H01L21/67703—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations between different workstations
    • H01L21/67706—Mechanical details, e.g. roller, belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60—Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

반송시스템을 위한 이송차량 및 그 이송차량의 구동방법이 개시된다. 본 발명에 따른 반송시스템의 이송차량은 반송 시스템의 레일을 운행할 때 전방 영역을 3차원 촬영하는 촬영부; 및 촬영한 촬영 이미지로부터 지정 객체를 인식하고, 인식 결과 지정 객체가 사람 객체일 때, 촬영시 획득되는 깊이 데이터를 근거로 사람 객체와의 거리를 측정해 측정값을 근거로 비상 신호를 발생시키는 제어부를 포함한다.

Description

반송시스템을 위한 이송차량 및 그 이송차량의 구동방법{Transfer Vehicle for Transfer System and Driving Method Thereof}
본 발명은 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법에 관한 것으로서, 보다 상세하게는, 가령 저가형 3차원(3D) 깊이 지각 및 컬러 카메라 센서를 사용하여 장애물 중 하나인 작업자를 딥러닝 학습 및 객체인식(Object Detection)을 수행하여 구별하고, 구별된 작업자와 이송체 간의 거리를 측정하여 일정 거리 이하로 가까워지면 경고 신호를 전송하여 이송차량을 멈춰 안전사고를 예방하는 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법에 관한 것이다.
천장 반송 시스템(Overhead Hoist Transport System)은 이송할 대상물이 많은 대형병원, 반도체, LCD, OLED, 태양광 패널, 생산공장 등에 설치되며, 대상물을 운반하는 OHT(Overhead Hoist Transfer)(혹은 반송대차, 반송차, 이송차량, 천정 이송차량)와 OHT의 안내를 위한 레일 등을 포함한다. 반송대차 즉 OHT는 천장에 설치된 레일을 따라 주행한다. OHT는 반송명령을 지령하는 OCS(OHT Control System)에 의해서 통합 제어 관리된다. 천장 반송 시스템이 LCD나 OLED 생산 라인에 설치될 경우, 클린룸 내의 천장 공간을 이용해서 레일이 배치되는데, 레일 상에서 구동되는 OHT는 LCD나 OLED 기판 등의 반송 대상물을 처리장치나 검사장치의 반송 포트 사이에서 운반한다. 주행 레일은 지주 등에 의해 클린룸의 천장 등으로부터 지지되고, 주행 레일 본체와 급전 레일로 이루어진다. OHT는 주행 구동부가 있어 주행 레일 본체 내를 주행할 수 있고, 수전부에 의해 급전 레일로부터 신호를 수전(受電)하여 OCS와 통신한다. 천장 반송 시스템은 복수의 OHT가 궤도 위를 주행함으로써 대상물을 반송한다. 궤도는 OHT가 직선으로 주행 중 다른 궤도로 이동이 가능하도록 분기하는 분기 구간과 분기 구간에서 이동하여 오는 OHT를 다른 궤도에 진입을 허용하는 합류 구간을 가진다. OHT가 여러 장소로 분기되어 연결된 궤도 위를 주행함으로써 원하는 위치까지 대상물을 반송하게 된다.
종래에는 AGV(Automatied Guided vehicles), OHT, OHS(Over Head Shuttle System) 등 산업용 이송체의 경우 전방 장애물 감지를 위해 대부분 레이저 스캐너 형식의 센서를 사용한다. 이 센서는 평면으로 레이저를 조사하는 방식이어서 이송체가 지나다니는 공간 중 어느 한 평면만 검사할 수 있다. 그런데 이로 인해 장애물 감지 사각지역(혹은 감지 음영영역)이 감지영역보다 넓어 현장에서 사람이나 작업용 지그, 사다리와 종종 충돌하는 사고가 발생한다.
한국등록특허공보 제10-0729986호(2007.06.13) 한국등록특허공보 제10-0790817호(2007.12.26) 한국등록특허공보 제10-2010772호(2019.08.08) 한국등록특허공보 제10-2153050호(2020.09.01) 한국등록특허공보 제10-2062548호(2019.12.30)
따라서 본 발명이 이루고자 하는 기술적 과제는, 가령 저가형 3차원(3D) 깊이 지각 및 컬러 카메라 센서를 사용하여 장애물 중 하나인 작업자를 딥러닝 학습 및 객체인식을 수행하여 구별하고, 구별된 작업자와 이송체 간의 거리를 측정하여 일정 거리 이하로 가까워지면 경고 신호를 전송하여 이송차량을 멈춰 안전사고를 예방하는 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 반송 시스템의 레일을 운행할 때 전방 영역을 3차원 촬영하는 촬영부; 및 상기 촬영한 촬영 이미지로부터 지정 객체를 인식하고, 인식 결과 상기 지정 객체가 사람 객체일 때 상기 촬영시 획득되는 깊이(depth) 데이터를 근거로 상기 사람 객체와의 거리를 측정해 측정값을 근거로 비상 신호를 발생시키는 제어부를 포함하는 것을 특징으로 하는 반송시스템의 이송차량이 제공될 수 있다.
상기 제어부는, 상기 촬영 이미지로부터 지정 객체를 추출하며, 상기 추출한 지정 객체를 인공지능(AI)의 딥러닝 분석을 통해 상기 사람 객체의 여부를 판단할 수 있다.
상기 제어부는, 상기 사람 객체에 기설정되는 복수의 포인트에 대하여 거리를 각각 계산하며, 상기 각각 계산한 거리값들을 평균하여 상기 거리의 측정값으로 이용할 수 있다.
상기 제어부는, 상기 계산한 복수의 포인트 중 다른 포인트와 비교하여 차이값이 기준값 이상인 포인트는 배제하여 상기 평균을 수행할 수 있다.
상기 제어부는, 상기 복수의 포인트에 대한 거리값을 히스토그램화한 후 히스토그램화한 상태에서 상기 포인트들의 차이값을 비교할 수 있다.
상기 제어부는, 상기 레일을 운행할 때의 속도나 선회 방향을 근거로 상기 촬영부의 촬영영역, 관심영역(ROI) 또는 촬영각도를 변경할 수 있다.
상기 제어부는, 상기 촬영한 사람 객체가 촬영 영역에서 사라질 때 상기 사람 객체와 관련해 기저장한 녹화 영상을 서로 연동하는 외부장치로 자동 전송할 수 있다.
또한, 본 발명의 다른 측면에 따르면, 촬영부가, 반송 시스템의 레일을 운행할 때 전방 영역을 3차원 촬영하는 단계, 및 제어부가, 상기 촬영한 촬영 이미지로부터 지정 객체를 인식하고, 인식 결과 상기 지정 객체가 사람 객체일 때 상기 촬영시 획득되는 깊이 데이터를 근거로 상기 사람 객체와의 거리를 측정해 측정값을 근거로 비상 신호를 발생시키는 단계를 포함하는 것을 특징으로 하는 반송시스템의 이송차량의 구동방법이 제공될 수 있다.
상기 발생시키는 단계는, 상기 촬영 이미지로부터 지정 객체를 추출하며, 상기 추출한 지정 객체를 인공지능(AI)의 딥러닝 분석을 통해 상기 사람 객체의 여부를 판단할 수 있다.
상기 발생시키는 단계는, 상기 사람 객체에 기설정되는 복수의 포인트에 대하여 거리를 각각 계산하며, 상기 각각 계산한 거리값들을 평균하여 상기 거리의 측정값으로 이용할 수 있다.
상기 발생시키는 단계는, 상기 계산한 복수의 포인트 중 다른 포인트와 비교하여 차이값이 기준값 이상인 포인트는 배제하여 상기 평균을 수행할 수 있다.
상기 발생시키는 단계는, 상기 복수의 포인트에 대한 거리값을 히스토그램화한 후 히스토그램화한 상태에서 상기 포인트들의 차이값을 비교할 수 있다.
상기 발생시키는 단계는, 상기 레일을 운행할 때의 속도나 선회 방향을 근거로 상기 촬영부의 촬영영역, 관심영역(ROI) 또는 촬영각도를 변경할 수 있다.
상기 발생시키는 단계는, 상기 촬영한 사람 객체가 촬영 영역에서 사라질 때 상기 사람 객체와 관련해 기저장한 녹화 영상을 서로 연동하는 외부장치로 자동 전송할 수 있다.
본 발명의 실시예에 따르면 종래 장애물 센서에서 감지하는 못하는 작업자를 사전에 인식할 수 있게 됨으로써 이송체 즉 이송차량에 의한 안전사고를 예방할 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 이송차량의 데이터 처리 시스템을 나타내는 도면이다.
도 2는 카메라가 설치된 이송차량의 다양한 유형을 보여주는 도면이다.
도 3은 인체감지 및 거리 측정 방법을 설명하기 위한 도면이다.
도 4는 영상 데이터와 거리 데이터를 정합하는 방법을 설명하기 위한 도면이다.
도 5는 인체 범위 사각형 내에서 인체와 이송체의 거리를 효율적으로 계산하는 방법을 설명하기 위한 도면이다.
도 6은 도 1의 이송차량의 세부구조를 예시한 블록다이어그램이다.
도 7은 도 1의 이송차량의 구동과정을 나타내는 흐름도이다.
도 8은 도 1의 이송차량의 다른 구동과정을 나타내는 흐름도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이다. 층이 다른 층 또는 기판 "상"에 있다고 언급되거나, 층이 다른 층 또는 기판과 결합 또는 접착된다고 언급되는 경우에, 그것은 다른 층 또는 기판상에 직접 형성될 수 있거나 또는 그들 사이에 제3의 층이 개재될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
상단, 하단, 상면, 하면, 전면, 후면, 또는 상부, 하부 등의 용어는 구성요소에 있어 상대적인 위치를 구별하기 위해 사용되는 것이다. 예를 들어, 편의상 도면상의 위쪽을 상부, 도면상의 아래쪽을 하부로 명명하는 경우, 실제에 있어서는 본 발명의 권리 범위를 벗어나지 않으면서 상부는 하부로 명명될 수 있고, 하부는 상부로 명명될 수 있다. 또한, 도면의 구성요소는 반드시 축척에 따라 그려진 것은 아니고, 예컨대, 본 발명의 이해를 돕기 위해 도면의 일부 구성요소의 크기는 다른 구성요소에 비해 과장될 수 있다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 이송차량의 데이터처리 시스템을 나타내는 도면이며, 도 2는 카메라가 설치되는 이송차량의 다양한 유형을 보여주는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 이송차량의 데이터처리 시스템(90)은 이송차량(100) 및 외부장치(110)를 포함한다.
본 발명의 실시예에 따른 반송 시스템을 구성하는 레일은 가령 반도체 생산 라인과 같은 곳의 천장에 설치될 수 있다. 물론 본 발명의 실시예에서는 레일에 특별히 한정하지는 않을 것이며, 레일이 천장에 설치되는 것에 대하여도 특별히 한정하지는 않을 것이다. 다시 말해 레일이 없는 곳에서 가령 생산 라인의 바닥에서 이송차량(100)이 자율 주행하는 것도 얼마든지 가능하므로, 본 발명의 실시예에서는 레일에 특별히 한정하지는 않을 것이다. 또는 본 발명의 실시예에서의 레일은 철도 레일 등과 같이 별도의 구조물을 설치하여 구성하는 것이 아니라, 바닥면에 라인이 그어져 있는 도로를 의미하거나, 그 도로의 표면 하부에 설치되어 보이지 않는 도로 등을 모두 포함할 수 있다. 이송차량(100)이 운행할 수 있으면 어떠한 형태이어도 무관하다.
다만, 설명의 편의를 위해 본 발명의 실시예에서는 생산라인의 천장에 설치되는 레일을 예시하며, 해당 레일은 천장에 다양한 형태로 설치될 수 있다. 대표적으로 직진 구간과 복수의 레일이 서로 교차하는 합류 구간으로 구분할 수 있다. 생산 라인의 특성에 따라 다양한 형태로 구성될 수 있다. 또한, 레일에는 반송 작업을 수행하지 않는 이송차량(100)들이 위치하는 홈 혹은 홈 포지션이 형성될 수 있다. 홈에 위치하는 이송차량(100)들은 레일 상에서 반송 작업 중인 이송차량(100)을 방해하지 않게 되며, 이를 통해 생산 라인 내 정체를 유발하지 않게 된다. 통상 차량이 진입하는 경우에는 합류라 명명할 수 있으며, 차량이 빠져나가는 경우에는 분기라 명명할 수 있다. 물론 이를 통합하는 개념으로서는 '교차로'라 명명될 수 있다. 가령, 반도체 생산 라인의 클린룸에는 반도체 제조를 위한 다양한 장비들이 설치되며, 해당 장비들은 각 공정을 진행하기 위한 다수의 챔버들을 포함하여 구성된다. 이와 같은 생산 라인에서 레일은 클린 룸 내에 설치되어 운영될 수 있다.
이송차량(100)은 레일을 따라 운행 또는 주행하는 운송 수단에 해당한다. 도 2의 (a) 내지 (c)에서와 같이 AGV, OHT 및 OHS 등 다양한 유형의 차량에 카메라를 설치하여 사용할 수 있다. 이송차량(100)은 주행 동작 및 이적재 동작을 수행할 수 있으며, 합류 구간에 설치되는 합류 컨트롤러나 합류 구간에서도 특정 상황(예: 합류 컨트롤러의 비정상 동작시)에서는 이송차량 컨트롤러에 의해 제어될 수 있다. 예를 들어, 이송차량(100)은 레일을 따라 장비와 장비간에 반도체 공정의 공정 대상물을 운반할 수 있다. 이송차량(100)은 반송대차, 반송차, 이송체, OHT 등 다양하게 명명되므로, 본 발명의 실시예에서는 그러한 명칭에 특별히 한정하지는 않을 것이다. 다만, 이송차량(100)은 A 장비에서 제조된 공정 대상물을 다음 공정을 위해 B 장비로 이송할 수 있으며, B 장비에서 제조된 공정 대상물을 C 장비로 이송하는 등 공정 대상물 즉 운반물을 이송하기 위한 동작을 수행한다. 물론 각각의 장비로 제조를 위한 물질이나 재료를 공급하는 것도 얼마든지 가능할 수 있다.
무엇보다, 본 발명의 실시예에 따른 도 1의 이송차량(100)은 도 1의 깊이 인식 카메라, 즉 3D 카메라(101) 등을 포함할 수 있으며, 3D 카메라(101)의 촬영 영상이나 깊이 데이터(혹은 거리 데이터, 메타 데이터)의 분석 결과를 근거로 이송차량(100)의 동작을 제어할 수 있다. 이를 위하여, 3D 카메라(101)의 영상 및 데이터를 분석하기 위한 컨트롤러(103) 가령 CPU, MPU나 GPU 등의 제어부를 포함할 수 있다. 컨트롤러(103)는 이미지에서 인체 형상을 인식할 수 있고, 인체까지의 거리에 따라 감지 신호를 발생시킬 수 있으며, 영상 녹화 동작을 수행할 수 있다. 컨트롤러(103)는 이송차량(100)의 동작을 제어하여 통신 확인 RESPONSE 신호 전송(예: 컨트롤러 ALIVE), 카메라 동작 확인 신호 전송(예: 카메라 ERR), 이송체 제어신호 전송(예: 주의/감속/정지 등) 등의 동작을 수행할 수 있다.
이송차량(100)의 컨트롤러(103)는 사용자 PC와 같은 외부장치(110)로 녹화된 영상을 전송할 수 있다. 본 발명의 실시예에서는 이송차량(100)을 감지한 후 지정 시간이 경과되면 근거리 무선통신 등을 통해 녹화된 영상을 전송할 수 있다. 도 1에서는 데이터 처리 과정을 설명하기 위하여 3D 카메라(101)나 컨트롤러(103)가 이송차량(100)으로부터 분리되어 있는 것처럼 도시하였지만, 실제로는 이송차량(100)의 내부에 구비되는 것이 바람직하며, 물론 3D 카메라(101)의 경우에는 분리되어 사용되는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 구성에 특별히 한정하지는 않을 것이다. 예를 들어, 카메라는 클린룸 내에서 지정된 곳에 설치되어 사용되는 등 다양한 형태로 설치되어 운영될 수 있고, 또 카메라는 이송차량(100)과 무선통신을 수행할 수 있다. 다만, 설명의 편의를 위해 본 발명의 실시예에서는 통합되어 사용되는 것으로 설명한다.
좀더 구체적으로, 본 발명의 실시예에 따른 이송차량(100)은 가령 이송차량(100)의 제조에 따르는 비용을 절약하기 위하여 저가형 3D 깊이 지각 및 컬러 카메라 센서를 사용하여 발견 즉시 멈춰야 하는 가령 장애물 중 하나인 작업자를 딥러닝 학습 및 객체인식을 수행하여 구별하고, 구별된 작업자와 이송체 간의 거리를 측정하여 일정 거리 이하로 가까워지면 경고 신호를 전송하여 이송체 즉 이송차량(100)을 멈춰 안전사고를 예방한다. 이를 위해 본 발명의 실시예에서는 RGB-D(Depth) 카메라와 딥러닝 기반 객체인식을 위한 GPU 컨트롤러가 탑재된 이송체이며, 작업자 객체인식 및 거리 측정 프로그램(예: SW 모듈, 펌웨어 등), 일정 거리 이하에 있는 작업자 발견시 비상 신호를 발생시키는 프로그램, 작업자 발견시 상황을 녹화하여 저장하는 프로그램 등을 포함할 수 있다. 특히 고속으로 이동하는 이송체에 신속하게 신호를 전달할 수 있도록 계산 부하를 줄이고 정확도를 상승시키는 방법 또한 포함한다.
이후에 다시 다루겠지만, 본 발명의 실시예에 따른 이송차량(100)은 3D 카메라(101)에 의해 촬영된 촬영 영상, 즉 촬영 영상의 비디오 프레임을 분석하여 지정 객체를 인식하며, 다시 말해 비디오 프레임에서 객체를 추출하고 추출한 객체를 딥러닝 등이 적용된 객체 검출기를 사용하여 찾고자 하는 사람 객체나 지게차 등의 사물 객체인지를 판단할 수 있다. 따라서, 작업자와 같은 사람 객체나 지게차와 같은 사물 객체로 판단될 때, 3D 카메라(101)의 촬영시 생성되는 깊이 데이터를 정합 즉 함께 이용하여 해당 객체를 추출한 위치의 깊이 또는 거리를 계산하게 된다. 예를 들어, 본 발명의 실시예에서는 촬영 영상의 비디오 프레임에서 특정 객체가 인식되면 해당 객체를 바운딩 박스 처리를 수행할 수 있으며, 해당 바운딩 박스 내의 지정 객체에서 복수의 포인트를 랜덤하게 혹은 지정된 방식대로 지정하여 해당 지점을 기준으로 거리값을 계산할 수 있다. 즉 포인트 샘플링을 수행하여 샘플링된 포인트에 대한 거리값을 각각 계산한다. 그리고, 각각 계산한 거리값의 평균 거리를 계산해 가령 사람 객체와의 거리를 최종적으로 판단할 수 있다. 판단 결과 기준값 이하가 될 때에는 비상신호를 발생시켜 경보음 등이 발생되도록 할 수 있다.
물론 본 발명의 실시예에 따른 이송차량(100)은 위의 동작을 수행하는 과정에서 다양한 동작을 더 수행할 수 있다. 대표적으로 샘플링된 포인트의 거리값을 계산한 후 히스토그램화하여 다른 포인트와 차이가 큰 가령 기준값 이상인 포인트들은 배제하여 거리를 계산하는 것이다. 예를 들어 샘플링된 포인트가 총 9개일 때 9개의 포인트에 대한 거리를 각각 계산하여 히스토그램화한다. 그리고, 총 9개의 포인트에 대한 거리값 중 차이가 너무 큰, 다시 말해 다른 포인트들의 거리값과 차이가 크거나, 해당 차이가 기준범위를 벗어날 때 해당 포인트의 거리값을 배제할 수 있다. 이후 배제된 포인트를 제외하여 거리 평균을 산출할 수 있다. 가령 9개에서 1개 포인트가 배제되었다면 총 8개의 거리값을 근거로 평균을 계산할 수 있다. 이를 통해 거리 계산시의 정확도를 높일 수 있다.
나아가, 이송차량(100)은 이동 속도나 선회 동작의 여부를 근거로 3D 카메라(101)의 촬영영역 등을 조절할 수 있다. 본 발명의 실시예에서는 3D 카메라(101)를 고정된 형태로 사용하는 것이지만, 고정된 경우에도 줌인(zoom in)이나 줌아웃(zoom out)과 같은 동작이 얼마든지 가능할 수 있다. 따라서, 속도가 기준값 이상이 될 때에는 전방에서 좀더 먼 영역까지 촬영될 수 있도록 하여 갑작스런 사고를 미연에 방지할 수 있다. 물론 속도에 비례하여 줌 동작이 이루어질 수 있다. 나아가, 3D 카메라(101)는 회전이 가능한 카메라를 사용하는 것도 얼마든지 가능할 수 있다. 직진 구간에서는 줌 동작을 수행하지만, 우선회나 좌선회 동작이 있는 경우에는 3D 카메라(101)를 지정 각도로 회전시켜 촬영이 이루어지도록 할 수 있다. 또한 데이터 연산 처리 부담을 줄이기 위하여 3D 카메라(101)의 렌즈에서 촬영되는 모든 촬영 영역을 분석하는 것이 아니라, 고정된 레일을 이동하는 이송차량(100)은 동일한 노선을 따라 이동하는 것이므로, 사고 발생이 잦은 관심영역(ROI)을 설정하고 이를 통해 촬영 영상의 분석이 이루어지도록 할 수 있다. 실제 촬영 영역보다 관심영역이 작으므로, 분석 영역을 줄임으로써 데이터의 연산 처리 부담을 줄일 수 있다. 이를 통해 사고를 빠르게 인식하는 것이 얼마든지 가능할 수 있다.
무엇보다 이송차량(100)이 이동하면서 작업자와 같은 사람 객체를 정확히 인식하는 것이 중요하므로, 객체의 정확한 탐지를 위하여 인공지능의 딥러닝을 적용할 수 있으며, 객체 인식시 딥러닝을 적용할 수 있다. 작업자의 다양한 유형과 관련되는 템플릿 기반의 이미지를 기설정하여 이를 근거로 학습이 이루어지도록 할 수 있으며, 해당 이미지에 없는 유형의 사람 객체의 경우에는 따로 분리하여 학습을 통해 오검출 여부를 판별할 수 있다. 예를 들어, (n-1)번째의 비디오 프레임에서 지정 객체의 사람 객체 여부의 판별이 어렵다 하더라도 (n-2)번째나 (n)번째 비디오 프레임에서의 해당 객체의 추적을 통해 동일 객체여부를 판별할 수 있고, 이를 통해 판별이 어려웠던 객체(혹은 그 모양이나 자세 등)를 추가함으로써 객체의 탐지 정확도를 증가시킬 수 있다. 다양한 방법이 가능할 수 있으므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
뿐만 아니라, 이송차량(100)은 전방 영역의 객체를 분석하여 사람 객체 여부를 판단하고 판단된 해당 사람 객체의 위치를 지나간 경우에는, 가령 촬영 영역에서 사람 객체가 사라진 경우에는 일정 시간 후에 또는 지나자마자 바로 녹화된 영상을 외부장치(110)로 전송할 수 있다. 예를 들어, 사람 객체와 맞닥뜨리기 전 지정 시간 동안 3D 카메라(101)를 통해 촬영되는 촬영 영상을 녹화하고, 녹화된 촬영 영상을 저장한 후, 해당 객체를 지나는 경우에는 녹화된 촬영 영상을 외부장치(110)로 전송할 수 있다. 물론 촬영 영상과 함께 깊이 데이터를 제공할 수 있다. 여기서, 깊이 데이터는 메타 데이터라 명명될 수 있으며, 메타 데이터는 단순히 깊이값만이 아니라, 화상에서의 지정 객체에 대한 컬러 속성 등의 데이터를 포함한다고 볼 수 있다. 이러한 점에서 3D 카메라(101)를 적용하는 것이 유용하며, 비용을 절약하기 위하여 저가의 3D 카메라(101)를 사용하는 것이 바람직하다. 물론 3D 카메라(101)가 아니라 하더라도 초점이 다른 2개의 2D 카메라를 사용하여 이를 통해 깊이 데이터를 생성하는 것도 얼마든지 가능하다. 이를 위해서는 깊이 데이터와 같은 3D 데이터를 생성하기 위한 별도의 과정이 추가될 수 있지만, 시중의 3D 카메라(101)를 활용하는 경우에는 별도의 프로그램이 불필요할 수 있다. 물론 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
정리하면, 깊이 인식 카메라 가령 3D 카메라(101)에서 컨트롤러(103)로 영상 및 거리 데이터(혹은 깊이 데이터)를 제공한다. 컨트롤러(103)는 영상 및 거리 데이터를 이용하여 이송체 즉 이송차량(100), 혹은 이송차량(100)의 감속기나 가속기 등을 제어하기 위한 동작을 수행한다. 이를 위하여 컨트롤러(103)는 3가지 프로그램을 구성하여 실행할 수 있다. 물론 여기서의 프로그램은 소프트웨어(SW) 모듈이나 펌웨어를 포함할 수 있다. 하나의 프로그램은 깊이 인식 카메라로부터 전송받은 영상 데이터에서 작업자의 형상을 찾는다. 영상 분석을 통해 객체를 추출할 수 있다. 또한, 다른 하나의 프로그램은 깊이 인식 카메라로부터 전송받은 거리 데이터를 이용하여 위의 단계에서 찾은 작업자 형성과 이송차량(100) 간의 상대적인 거리를 계산하고 거리에 따라 주의, 경고, 에러 신호를 생성한다. 나아가, 컨트롤러(103)는 작업자의 형상이 발견되기 일정 시간 이전부터 작업자의 형상이 사라지고 난 일정 시간 이후까지의 상황을 녹화하여 영상 데이터로 저장한다. 이를 위해 나머지 프로그램을 실행할 수 있다. 이에 따라 이송차량(100)은 컨트롤러(103)에서 발생한 신호를 해석하여 이송차량(100)의 정상주행, 감속, 정지 등을 수행한다. 이송차량(100)의 컨트롤러 시스템 종류는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 한편 사용자 PC 등의 외부장치(110)는 컨트롤러(103)에서 녹화한 영상을 확인 및 저장할 수 있다. 확인용 PC의 OS나 PC 하드웨어 종류는 다양하게 가능하므로 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
도 3은 인체감지 및 거리 측정 방법을 설명하기 위한 도면이다.
설명의 편의상 도 3을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 도 1의 이송차량(100)은 도 3의 (a)에서와 같이 깊이 지각 카메라에서 영상(도 3의 (a)의 좌측) 및 거리(혹은 깊이)(도 3의 (a)의 우측) 데이터를 수신한다. 도 3의 (a)에서 볼 때 좌측은 촬영 이미지를 나타내며, 우측은 거리 데이터를 근거로 하는 이미지를 각각 보여주고 있다. 물론 실제로는 우측의 경우에는 이미지의 형태로 형성되지 않을 수도 있다. 다만, 우측의 이미지에서 볼 때 색깔이 어두우면 가까운 것을 의미하지만, 그것에 특별히 한정하지는 않을 것이다.
이어 이송차량(100)은 딥러닝 알고리즘을 사용하여 영상에서 작업자 형상을 탐색한다. 예를 들어, 촬영 영상의 비디오 프레임에서 지정 객체를 추출하여 객체 검출기나 분류기 등을 통해 해당 객체가 작업자의 사람 객체인지를 판단할 수 있다. 이러한 객체 탐지는 앞서 이미 설명한 바 있다. 도 3의 (b)는 촬영 영상의 비디오 프레임에서 지정 객체를 검출하여 사람 객체인지를 인식하는 과정을 보여준다. 이의 과정에서 바운딩 박스를 설정할 수 있다.
그리고 이송차량(100)은 탐색된 작업자가 있는 위치 및 영역을 거리 데이터 공간으로 변환하여 평균 거리를 계산할 수 있다. 그리고 결과를 종합하여 이송차량(100)의 이송체로 송신한다. 이송체는 구동륜이나 감속기 등을 의미할 수 있지만, 본 발명의 실시예에서는 이송차량(100) 자체를 의미할 수 있다. 이송차량(100)은 레일을 이동하므로, 감속장치나 가속장치가 이송체가 될 수도 있다. 도 3의 (c) 및 (d)는 깊이 데이터를 이용해 이송차량(100)과 영상 내의 작업자의 거리를 계산하는 것을 보여주고 있다.
따라서, 이송차량(100)은 평균 거리를 계산해 지정 범위 내에 있을 때 외부로 경고음을 출력하여 작업자에 이송차량(100)과 충돌하는 사고를 방지할 수 있다. 또는 이송차량(100)의 이송체를 제어하여 감속하도록 할 수 있다.
도 4는 영상 데이터와 거리 데이터를 정합하는 방법을 설명하는 도면이다.
설명의 편의상 도 4를 도 1과 함께 참조하면, 인체감지 및 거리 측정 중에서, 깊이인식 카메라는 하나이지만 그 안에는 컬러 이미지 센서와 깊이를 이미지처럼 처리할 수 있는 센서 등 서로 다른 성질의 카메라가 여러 대(예: 2개의 카메라 모듈 등) 있는 것과 같다. 따라서 컬러 이미지와 거리 데이터를 정합(Align)해야 컬러 이미지로 찾은 인체의 위치를 정확히 알 수 있다. 여기서, 정합한다는 것은 얼라인 즉 2개의 영상을 서로 정렬 혹은 매칭시키는 것을 포함할 수 있다.
단순하게는 전체 영상과 거리 데이터를 정합하고 인체의 위치에 해당하는 거리 데이터를 사용할 수 있으나 픽셀 전체에 대한 정합 계산을 수행해야 하므로 계산 부하가 크다. 실제로 이송체의 경우 종류에 따라 다르지만 1~4m/s 정도의 고속으로 이동하므로 빠른 계산 및 응답속도가 필수적이다. 따라서 본 발명의 실시예에서는 컬러 이미지와 거리 데이터 전체를 정합하는 대신 인체가 있는 범위에 해당하는 사각형의 네 꼭지점을 먼저 거리 데이터의 범위 사각형으로 변환하고, 그 범위 안에 있는 거리 데이터만 정합에 활용하여 계산 부하를 약 10배 줄여 응답속도를 향상시킨다.
도 4에서 볼 때, (a)는 전체 이미지의 정합을 수행하는 경우 640ㅧ480, 총 307,200 픽셀의 정합 계산이 필요하다. 반면, (b)에서는 4개 포인트의 정합을 통해 원하는 영역만 크롭(Crop) 및 정합함으로써 300ㅧ100, 총 30,000픽셀의 정합 계산이 필요하다. 따라서, 도 4의 (b) 방법을 사용함으로써 도 4의 (a) 대비 계산 부하를 줄여 응답속도를 빠르게 할 수 있다.
도 5는 인체 범위 사각형 내에서 인체와 이송체의 거리를 효율적으로 계산하는 방법을 설명하기 위한 도면이다.
설명의 편의상 도 5를 도 1과 함께 참조하면, 본 발명의 실시예는 인체가 감지된 부분의 평균 거리 계산 중에서, 계산 효율성 향상을 위하여 거리 데이터를 전부 사용하여 평균 거리를 계산하는 것이 아니라, 일정 비율로 포인트를 샘플링하여 평균을 내어 이송체와 인체와의 거리를 계산한다.
그러나 일정 비율로 포인트를 샘플링하는 경우 인체가 있는 범위 사각형 내에서 샘플링된 포인트가 실제로는 인체 내부에 있지 않고 바깥쪽에 있을 수 있기 때문에 포인트 각각의 거리값을 히스토그램화한 후 다른 포인트와 차이가 큰 포인트들은 배제하고 평균 거리를 계산한다.
도 5에서 볼 때, (a)는 인체 범위 사각형에서 샘플링되는 포인트를 보여주고 있다. 총 9개를 지정하고 있지만, 이러한 개수는 얼마든지 변경 가능하다. 도 5의 (b)는 히스토그램화하는 과정을 보여준다. 물론 이는 프로그램 내부적으로 이루어지는 동작이라 볼 수 있다. 가령 3번 포인트의 거리값이 배제된 것을 알 수 있다. 따라서, 총 9개의 포인트 중에서 3번 포인트를 제외한 나머지 8개의 포인트에 대한 거리값을 합산한 후 포인트의 총 개수 즉 8로 나누어 평균 거리를 계산한다.
따라서, 평균 거리값이 지정 범위 내에 있을 때 도 1의 이송 차량(100)은 경고음을 발생하는 등의 후속 동작을 수행할 수 있다. 예를 들어, 지정 범위가 1m로 설정된 경우, 1m 거리에 진입하면서 경고음을 발생할 수 있다. 가령, 1m 거리에 진입했을 때 경고음을 발생시키면서 감속 동작을 수행하는 것도 얼마든지 가능할 수 있다. 다양한 동작이 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
도 6은 도 1의 이송차량의 세부구조를 예시한 블록다이어그램이다.
도 6에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 이송차량(100)은 통신 인터페이스부(600), 제어부(610), 안전관리부(620) 및 촬영부(630)의 일부 또는 전부를 포함하며, 저장부 등을 더 포함할 수 있다.
여기서, "일부 또는 전부를 포함한다"는 것은 통신 인터페이스부(600)나 저장부와 같은 일부 구성요소가 생략되어 구성되거나, 안전관리부(620)와 같은 일부 구성요소가 제어부(610)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(600)는 도 1의 사용자 PC와 같은 외부장치(110)와 통신을 수행하여 촬영부(630)를 통해 촬영된 영상의 녹화 영상을 전송할 수 있다. 이를 위하여 통신 인터페이스부(600)는 근거리 통신모듈을 포함할 수 있다. 통신 인터페이스부(600)는 블루투스, 지그비, 와이파이 등의 근거리 무선통신을 통해 녹화된 영상을 외부장치로 전송할 수 있으며, 이때 제어부(610)의 제어하에 동작할 수 있다.
물론 통신 인터페이스부(600)는 레일을 운행하는 다수의 이송차량(100)의 이동 경로 등을 제어하기 위한 컨트롤러와 통신을 더 수행하거나, 교차로에서 이송차량(100)들을 제어하는 합류 컨트롤러 등과 더 통신하기 위한 통신 모듈을 포함할 수 있지만, 본 발명의 실시예에서는 해당 컨트롤러들은 설명에서 논외로 한다.
통신 인터페이스부(600)는 유무선 통신이 가능할 수 있다. 다시 말해, 유선 포트(port) 등을 통해서는 도 1의 3D 카메라(101) 등을 연결할 수 있다. 도 1의 통신 인터페이스부(600)는 메인 PCB상에 칩의 형태로 구성될 수 있고, 도 1의 3D 카메라(101)는 이송차량(100)의 외부 프레임(혹은 본체)에 구성될 수 있으므로, 서로 회로적으로 연결하기 위하여 케이블 등을 통해 서로 전기적으로 연결할 수 있다.
제어부(610)는 도 6의 통신 인터페이스부(600), 안전관리부(620) 및 촬영부(630)의 전반적인 제어 동작을 담당한다. 예를 들어, 이송차량(100)의 운행이 시작될 때, 제어부(610)는 촬영부(630)를 동작시켜 촬영 동작을 수행할 수 있다. 또한, 제어부(610)는 촬영부(630)의 촬영 데이터 및 깊이 데이터를 내부 메모리에 저장하거나, 별도로 구성되는 메모리에 저장시킬 수 있다.
또한, 제어부(610)는 촬영 영상을 분석하여, 물론 이러한 동작은 안전관리부(620)에서 이루어질 수도 있지만, 촬영 영상의 비디오 프레임에서 객체들을 추출하고 추출한 객체가 작업자 등의 사람 객체인지를 판단할 수 있다. 이를 위하여 비디오 프레임에서 지정 객체에 바운딩 박스를 설정하여 해당 부위를 추출하고 딥러닝 동작을 수행하는 객체 검출기나 분류기 등을 활용하여 사람 객체 여부를 판단할 수 있다. 딥러닝 기반의 객체 검출기를 이용하는 경우 사람 객체에 대한 보다 정확한 객체 인식이 가능할 수 있다. 물론 본 발명의 실시예에서는 사람 객체뿐 아니라, 지게차와 같은 사물 객체의 경우에는 시스템 설계자의 의도에 따라 탐지가 얼마든지 가능할 수 있다. 생산 라인에 설치되는 반송 시스템에서 지게차의 탐지도 필요한 경우에는 이에 대한 객체도 지정함으로써 탐지가 이루어지도록 할 수 있다.
따라서, 제어부(610)는 비디오 프레임에서 검출한 객체가 가령 사람 객체로 판단될 때, 사람 객체의 복수의 포인트에 대한 거리값을 평균하여 평균 거리를 계산하거나, 안전관리부(620)에서 이루어지는 평균 거리값을 근거로 경고음을 출력하거나, 감속기를 제어하여 속도를 감속하도록 할 수 있다. 따라서 이송차량(100)은 스피커 등의 음향출력부나 감속기 등을 더 포함하고 이를 제어할 수 있다.
이외에도 제어부(610)는 다양한 동작을 제어할 수 있다. 예를 들어, 촬영부(630)를 구성하는 3D 카메라의 줌인, 줌아웃, 그리고 회전동작을 제어하도록 설정된 경우에는 속도에 따라 줌인 및 줌아웃 동작을 수행할 수 있고, 회전동작시에는 3D 카메라의 촬영 각도를 지정 각도로 회전시킬 수 있다. 다양한 형태로 촬영부(630)의 카메라를 제어할 수 있으며, 이는 앞서 설명한 바 있으므로 더 이상의 설명은 생략하도록 한다. 예를 들어, 촬영영역 중에서 관심영역을 기반으로 분석이 이루어지도록 하는 것이 대표적이다.
안전관리부(620)는 이송차량(100)이 레일을 운행할 때 촬영부(630)에서 촬영하는 촬영 영상 및 깊이 데이터를 근거로 이송차량(100)의 진행 방향에서 작업자 충돌과 같은 사고가 발생할지를 감시한다. 따라서, 안전관리부(620)는 촬영 영상의 비디오 프레임에서 객체를 추출하고, 추출한 객체를 인식하는 동작을 수행한다. 객체 인식을 위해 딥러닝 기반의 객체 검출기를 이용할 수 있으며, 이를 통해 시스템에서 원하는 다양한 유형의 사람 객체를 판단할 수 있다. 가령, 템플릿 기반으로 객체를 검출하는 것도 얼마든지 가능하지만, 객체의 좀더 정확한 검출을 위하여 인공지능의 딥러닝 동작을 수행하는 객체 검출기를 사용하는 것이 바람직하다. 특히 본 발명의 실시예에서는 비용 절감을 위해 저가의 3D 카메라를 사용하는 경우 해상도가 떨어질 수 있고, 따라서 이를 통해 객체의 오검출이 발생할 수 있으며, 이를 보완하기 위하여 딥러닝 기반의 객체 검출을 수행하는 것이 바람직할 수 있다.
또한, 안전관리부(620)는 검출 객체가 사람 객체로 판단될 때 해당 촬영 영상의 비디오 프레임과, 깊이 데이터를 정합하여 거리 계산 동작을 수행할 수 있다. 예를 들어, 깊이 데이터는 속성 정보, 깊이 정보, 또 비디오 프레임상에서의 위치 정보(혹은 좌표 정보)를 포함할 수도 있다. 따라서, 지정 객체 A가 어느 비디오 프레임의 어느 위치에 위치하고, 또 어떠한 속성을 갖는지를 알 수 있다. 이러한 점에서 깊이 데이터는 메타 데이터가 될 수도 있다. 따라서, 정합 동작을 통해 비디오 프레임에서 사람 객체에 대한 위치 정보를 근거로 거리를 계산할 수 있다.
예를 들어, 본 발명의 실시예에서는 추출한 객체에 바운딩 박스를 설정하고 있으므로, 바운딩 박스 내의 객체에서 기설정된 복수의 포인트를 설정할 수 있다. 또는 해당 객체의 화소 분석을 통해 경계부위나 특징점에 해당하는 부위에 포인트를 설정할 수 있다. 그리고, 해당 포인트들과 3D 카메라와의 거리를 계산한다. 예를 들어, 비디오 프레임에서 하단 부위를 카메라의 위치로 설정하고, 비디오 프레임상의 픽셀 좌표를 근거로 거리를 계산하는 것이 얼마든지 가능하다. 단위 픽셀당 실제 거리값을 상정(혹은 설정)한 경우 픽셀수와 실제 거리값을 곱하는 형태로 실제 환경에서의 거리를 알 수 있다.
이와 같은 방식으로 안전관리부(620)는 복수의 포인트에 대한 각각의 거리값을 계산할 수 있으며, 계산이 완료되면 해당 거리값들을 히스토그램화한 후 다른 포인트의 거리값들과 차이가 많은 포인트의 거리값을 배제시켜 평균 거리를 계산할 수 있다. 이를 통해 거리 정밀 측정이 이루어질 수 있다. 이는 앞서 설명한 바 있으므로 더 이상의 설명은 생략하도록 한다. 따라서, 안전관리부(620)는 평균 거리가 시스템 설계자가 설정한 기준값에 도달할 때, 감속기를 제어하여 감속하거나 경고음을 발생시키도록 제어부(610)로 요청할 수 있다.
반송 시스템 내에서 거리를 계산하는 방식은 픽셀 좌표를 이용하는 방식 이이외에도 다양한 방식이 가능할 수 있다. 예를 들어, 레일을 운행하는 전방 영역에서 촬영 영상 내에 포함되는 특정 객체에 대한 고정 좌표를 알고 있는 경우이다. 앞서는 비디오 프레임의 하단 정중앙 부위를 3D 카메라(101)의 위치로 상정하여 거리를 계산하였다면 영상 내에서 좌표값을 알고 있는 객체와의 픽셀 거리를 계산한 후 픽셀당 실제 거리값을 연산함으로써 실환경에서 실제 거리를 알 수도 있다. 다양한 방식이 가능할 수 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
촬영부(630)는 깊이 인식이 가능한 3D 카메라를 포함할 수 있다. 통상 깊이 인식을 위해서는 2개의 카메라가 사용되며, 따라서 이를 모듈화하여 3D 촬영이 가능할 수 있다. 물론 3D 카메라는 2D 카메라와 달리 깊이 데이터를 더 생성할 수 있다. 따라서, 2개의 2D 카메라를 이용하는 경우에는 깊이 데이터를 생성하기 위한 별도의 프로그램을 더 이용해야 하며, 따라서 촬영부(630)는 시중에 판매되는 제품이 활용될 수 있다. 다만, 이송차량(100)의 제조비용이나 구매비용을 절감하기 위하여 고(급)사양보다는 저사양의 제품이 활용될 수 있다. 물론 그러한 것에 특별히 한정하지는 않을 것이다.
한편, 본 발명의 다른 실시예로서 제어부(610)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 이송차량(100)의 동작 초기에 안전관리부(620)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.
도 7은 도 1의 이송차량의 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 7을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 도 1의 이송차량(100)은 반송 시스템의 레일을 운행할 때 전방 영역을 3차원 촬영한다(S700). 여기서, 3차원 촬영이란 촬영된 객체에 대한 깊이 데이터 혹은 메타 데이터를 생성하는 것을 포함한다고 볼 수 있다. 예를 들어, 2D 카메라를 2대를 설치하는 경우에는 깊이 데이터를 생성하기 위해 별도의 프로그램을 추가로 설치할 필요가 있다. 따라서, 이의 경우에도 3차원 촬영으로 볼 수 있다.
이어 이송차량(100)은 촬영한 촬영 이미지로부터 지정 객체를 인식하고 인식 결과 지정 객체가 가령 사람 객체일 때, 촬영시 획득한(혹은 획득했던) 깊이 데이터를 근거로 사람 객체와의 거리를 측정해 측정값을 근거로 비상 신호를 발생시킨다(S710). 여기서 비상 신호는 감속기를 제어하기 위한 감속 제어신호가 될 수 있으며, 경고음을 출력하기 위한 경고음 출력 제어신호가 될 수 있다. 다양한 신호를 포함할 수 있다.
상기한 내용 이외에도 본 발명의 실시예에 따른 이송차량(100)은 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
도 8은 도 1의 이송차량의 다른 구동과정을 나타내는 흐름도이다.
설명의 편의상 도 8을 도 1과 함께 참조하면, 이송차량(100)은 인체감지 컨트롤러를 동작시키면 깊이 인식 카메라가 정상적으로 연결되었는지 확인하고 주기적으로 응답(Ack)신호를 송신한다(S800, S810, S820). 이 신호는 이송차량(100)이 받아서 인체감지 컨트롤러가 정상 동작하고 있는지를 확인하는 용도로 사용한다.
또한, 이송차량(100)의 인체감지 컨트롤러는 깊이 인식 카메라에서 프레임 수신을 기다린다(S801). 만약 일정 시간 이상 프레임 수신이 되지 않거나 카메라 연결 끊어짐 등으로 프레임을 받을 수 없을 때는 카메라가 다시 연결될 때까지 재연결을 시도한다(S811, S812). 이때 카메라 에러 신호를 통해 이송차량(100)의 이상 유무를 알 수 있다.
이송차량(100)의 인체감지 컨트롤러는 깊이 인식 카메라에서 프레임(예: 영상, 거리)을 받은 후 영상 데이터를 딥러닝 알고리즘으로 인체를 찾아낸다(S802, S803). 인체를 발견하지 못하면 다시 프레임 수신을 기다리며, 인체를 발견하였다면 거리 데이터를 사용하여 인체와 이송체간의 상대적인 거리를 측정한다(S804). 앞서 설명한 방법 이외에도 예를 들어, 이송차량(100)이 자이로센서나 가속도센서 등을 포함하는 경우에도 해당 센서들의 센싱값과 영상 내의 픽셀 좌표값을 이용해 얼마든지 거리 측정이 가능할 수 있을 것이다.
또한, 이송차량(100)의 인체감지 컨트롤러는 인체 발견 즉시, 인체를 발견하기 일정시간 이전부터 인체가 (비디오) 프레임에서 사라지고 일정시간이 지난 이후까지의 인체 감지 프레임을 영상으로 저장한다(S813).
그리고 이송차량(100)의 인체감지 컨트롤러로 측정한 상대적인 거리 기반으로 이송차량(100)은 정상주행, 감속 또는 정지 행동을 수행한다(S822). 감속이나 정지의 경우에는 감속기 즉 브레이크 시스템을 제어할 수 있다.
상기한 내용 이외에도 도 1의 이송 차량(100)은 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 이송차량 101: 3D 카메라
103: 컨트롤러 110: 외부장치
600: 통신 인터페이스부 610: 제어부
620: 안전관리부 630: 촬영부

Claims (14)

  1. 반송 시스템의 레일을 운행할 때 전방 영역을 3차원 촬영하는 촬영부; 및
    상기 촬영한 촬영 이미지로부터 지정 객체를 인식하고, 인식 결과 상기 지정 객체가 사람 객체일 때 상기 촬영시 획득되는 깊이(depth) 데이터를 근거로 상기 사람 객체와의 거리를 측정해 측정값을 근거로 비상 신호를 발생시키는 제어부를 포함하는 것을 특징으로 하는 반송시스템의 이송차량.
  2. 제1항에 있어서,
    상기 제어부는, 상기 촬영 이미지로부터 지정 객체를 추출하며, 상기 추출한 지정 객체를 인공지능(AI)의 딥러닝 분석을 통해 상기 사람 객체의 여부를 판단하는 것을 특징으로 하는 반송시스템의 이송차량.
  3. 제1항에 있어서,
    상기 제어부는, 상기 사람 객체에 기설정되는 복수의 포인트에 대하여 거리를 각각 계산하며, 상기 각각 계산한 거리값들을 평균하여 상기 거리의 측정값으로 이용하는 것을 특징으로 하는 반송시스템의 이송차량.
  4. 제3항에 있어서,
    상기 제어부는, 상기 계산한 복수의 포인트 중 다른 포인트와 비교하여 차이값이 기준값 이상인 포인트는 배제하여 상기 평균을 수행하는 것을 특징으로 하는 반송시스템의 이송차량.
  5. 제4항에 있어서,
    상기 제어부는, 상기 복수의 포인트에 대한 거리값을 히스토그램화한 후 히스토그램화한 상태에서 상기 포인트들의 차이값을 비교하는 것을 특징으로 하는 반송시스템의 이송차량.
  6. 제1항에 있어서,
    상기 제어부는, 상기 레일을 운행할 때의 속도나 선회 방향을 근거로 상기 촬영부의 촬영영역, 관심영역(ROI) 또는 촬영각도를 변경하는 것을 특징으로 하는 반송시스템의 이송차량.
  7. 제1항에 있어서,
    상기 제어부는, 상기 촬영한 사람 객체가 촬영 영역에서 사라질 때 상기 사람 객체와 관련해 기저장한 녹화 영상을 서로 연동하는 외부장치로 자동 전송하는 것을 특징으로 하는 반송시스템의 이송차량.
  8. 촬영부가, 반송 시스템의 레일을 운행할 때 전방 영역을 3차원 촬영하는 단계; 및
    제어부가, 상기 촬영한 촬영 이미지로부터 지정 객체를 인식하고, 인식 결과 상기 지정 객체가 사람 객체일 때 상기 촬영시 획득되는 깊이 데이터를 근거로 상기 사람 객체와의 거리를 측정해 측정값을 근거로 비상 신호를 발생시키는 단계;를 포함하는 것을 특징으로 하는 반송시스템의 이송차량의 구동방법.
  9. 제8항에 있어서,
    상기 발생시키는 단계는,
    상기 촬영 이미지로부터 지정 객체를 추출하며, 상기 추출한 지정 객체를 인공지능(AI)의 딥러닝 분석을 통해 상기 사람 객체의 여부를 판단하는 것을 특징으로 하는 반송시스템의 이송차량의 구동방법.
  10. 제8항에 있어서,
    상기 발생시키는 단계는,
    상기 사람 객체에 기설정되는 복수의 포인트에 대하여 거리를 각각 계산하며, 상기 각각 계산한 거리값들을 평균하여 상기 거리의 측정값으로 이용하는 것을 특징으로 하는 반송시스템의 이송차량의 구동방법.
  11. 제10항에 있어서,
    상기 발생시키는 단계는,
    상기 계산한 복수의 포인트 중 다른 포인트와 비교하여 차이값이 기준값 이상인 포인트는 배제하여 상기 평균을 수행하는 것을 특징으로 하는 반송시스템의 이송차량의 구동방법.
  12. 제11항에 있어서,
    상기 발생시키는 단계는,
    상기 복수의 포인트에 대한 거리값을 히스토그램화한 후 히스토그램화한 상태에서 상기 포인트들의 차이값을 비교하는 것을 특징으로 하는 반송시스템의 이송차량의 구동방법.
  13. 제8항에 있어서,
    상기 발생시키는 단계는,
    상기 레일을 운행할 때의 속도나 선회 방향을 근거로 상기 촬영부의 촬영영역, 관심영역(ROI) 또는 촬영각도를 변경하는 것을 특징으로 하는 반송시스템의 이송차량의 구동방법.
  14. 제8항에 있어서,
    상기 발생시키는 단계는,
    상기 촬영한 사람 객체가 촬영 영역에서 사라질 때 상기 사람 객체와 관련해 기저장한 녹화 영상을 서로 연동하는 외부장치로 자동 전송하는 것을 특징으로 하는 반송시스템의 이송차량의 구동방법.
KR1020210077854A 2021-06-16 2021-06-16 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법 KR102492161B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210077854A KR102492161B1 (ko) 2021-06-16 2021-06-16 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210077854A KR102492161B1 (ko) 2021-06-16 2021-06-16 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법

Publications (2)

Publication Number Publication Date
KR20220168299A true KR20220168299A (ko) 2022-12-23
KR102492161B1 KR102492161B1 (ko) 2023-01-26

Family

ID=84536301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210077854A KR102492161B1 (ko) 2021-06-16 2021-06-16 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법

Country Status (1)

Country Link
KR (1) KR102492161B1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200229836Y1 (ko) * 2001-02-19 2001-07-19 박흥식 스테레오 비젼을 이용한 지능형 장애물 판별기
KR100729986B1 (ko) 1999-12-20 2007-06-20 아시스트 신꼬, 인코포레이티드 자동반송시스템
KR100790817B1 (ko) 2006-12-06 2008-01-03 삼성전자주식회사 반도체 제조관리 시스템
KR20140141140A (ko) * 2013-05-31 2014-12-10 (주) 세인 스테레오 카메라를 이용한 객체 처리 시스템 및 방법
KR101788269B1 (ko) * 2016-04-22 2017-10-19 주식회사 에스원 이상 상황을 감지하는 장치 및 방법
KR102010772B1 (ko) 2017-11-14 2019-10-21 주식회사 에스에프에이 이송대차 시스템
KR102062548B1 (ko) 2015-12-08 2020-01-06 무라다기카이가부시끼가이샤 반송 시스템 및 반송 방법
KR102153050B1 (ko) 2018-12-12 2020-09-07 주식회사 에스에프에이 교차로에서의 주행을 제어하는 교차로 컨트롤러 및 이를 구비하는 이송 시스템
KR102185859B1 (ko) * 2020-03-31 2020-12-02 (주)케이넷 이엔지 객체 추적 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100729986B1 (ko) 1999-12-20 2007-06-20 아시스트 신꼬, 인코포레이티드 자동반송시스템
KR200229836Y1 (ko) * 2001-02-19 2001-07-19 박흥식 스테레오 비젼을 이용한 지능형 장애물 판별기
KR100790817B1 (ko) 2006-12-06 2008-01-03 삼성전자주식회사 반도체 제조관리 시스템
KR20140141140A (ko) * 2013-05-31 2014-12-10 (주) 세인 스테레오 카메라를 이용한 객체 처리 시스템 및 방법
KR102062548B1 (ko) 2015-12-08 2020-01-06 무라다기카이가부시끼가이샤 반송 시스템 및 반송 방법
KR101788269B1 (ko) * 2016-04-22 2017-10-19 주식회사 에스원 이상 상황을 감지하는 장치 및 방법
KR102010772B1 (ko) 2017-11-14 2019-10-21 주식회사 에스에프에이 이송대차 시스템
KR102153050B1 (ko) 2018-12-12 2020-09-07 주식회사 에스에프에이 교차로에서의 주행을 제어하는 교차로 컨트롤러 및 이를 구비하는 이송 시스템
KR102185859B1 (ko) * 2020-03-31 2020-12-02 (주)케이넷 이엔지 객체 추적 장치 및 방법

Also Published As

Publication number Publication date
KR102492161B1 (ko) 2023-01-26

Similar Documents

Publication Publication Date Title
WO2020051923A1 (en) Systems And Methods For VSLAM Scale Estimation Using Optical Flow Sensor On A Robotic Device
US20150254985A1 (en) Collision avoidance system and method for an underground mine environment
US20120136510A1 (en) Apparatus and method for detecting vehicles using laser scanner sensors
JPH03201110A (ja) 自律走行車の位置方位検出装置
KR102560462B1 (ko) 이동 로봇
US8548665B2 (en) Movable body system
CN111516777A (zh) 一种机器人小车及其障碍物识别方法
JP4539388B2 (ja) 障害物検出装置
EP3674830A1 (en) Server and method for controlling laser irradiation of movement path of robot, and robot that moves based thereon
JP2007200070A (ja) 移動ロボット
EP2915715B1 (en) Vehicle speed control device and vehicle provided therewith
CN111717843A (zh) 一种物流搬运机器人
JP7067574B2 (ja) 距離推定装置及び距離推定用コンピュータプログラム
KR102492161B1 (ko) 반송시스템을 위한 이송차량 및 그 이송차량의 구동방법
WO2021157123A1 (ja) 測位装置及び移動体
KR20230031344A (ko) 자동차를 둘러싼 영역 내 장애물을 검출하기 위한 시스템 및 방법
JP6632671B1 (ja) 無人車制御装置および無人車制御方法
KR20190103524A (ko) 자율 주행 장치 및 방법
CN113064425A (zh) 一种agv设备及其导航的控制方法
US11880996B2 (en) Apparatus for acquiring surrounding information of vehicle and method for controlling thereof
JP2021189575A (ja) 駐車支援装置、及び駐車支援装置の制御方法
KR102568565B1 (ko) 시설물 관리 로봇 및 그 방법
Zhang et al. Autonomous indoor exploration of mobile robots based on door-guidance and improved dynamic window approach
US20240069555A1 (en) Robot operable to disembark from escalator and method of controlling same
KR102651108B1 (ko) 위치 추정 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant