KR20220040118A - 라이다를 이용한 팔레트 적재 장치 및 그 방법 - Google Patents

라이다를 이용한 팔레트 적재 장치 및 그 방법 Download PDF

Info

Publication number
KR20220040118A
KR20220040118A KR1020200122929A KR20200122929A KR20220040118A KR 20220040118 A KR20220040118 A KR 20220040118A KR 1020200122929 A KR1020200122929 A KR 1020200122929A KR 20200122929 A KR20200122929 A KR 20200122929A KR 20220040118 A KR20220040118 A KR 20220040118A
Authority
KR
South Korea
Prior art keywords
pallet
lidar
vertical
forklift
fork
Prior art date
Application number
KR1020200122929A
Other languages
English (en)
Inventor
김주한
정영진
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200122929A priority Critical patent/KR20220040118A/ko
Priority to US17/357,332 priority patent/US11964858B2/en
Publication of KR20220040118A publication Critical patent/KR20220040118A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07581—Remote controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

라이다를 이용한 팔레트 적재 장치 및 그 방법이 개시된다.
본 발명의 실시 예에 따른 무인지게차에 탑재되는 라이다를 이용한 팔레트 적재 장치는, 레이저를 방사하여 종발이형 팔레트에서 반사된 레인지 데이터를 3D 포인트 클라우드(3D Point cloud) 데이터로 변환하는 라이다, 상기 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV(Bird's-Eye View) 영상으로 변환하는 BEV 변환부, 상기 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN(Convolution Neural Network)을 이용한 연산을 통해 종발이 위치를 인식하는 종발이 인식부, 인가되는 제어신호에 따라 무인지게차의 동작을 제어하는 지게차 제어기 및 상기 무인지게차의 포크에 이재된 제1 종발이형 팔레트의 종발이 위치와 고정된 제2 종발이형 팔레트의 종발이 위치의 차이를 파악하여 정합위치로 보정을 위한 제어신호를 상기 지게차 제어기로 인가하는 제어부를 포함한다.

Description

라이다를 이용한 팔레트 적재 장치 및 그 방법{PALLET LOADING DEVICE AND METHOD USING LIDAR}
본 발명은 라이다를 이용한 팔레트 적재 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 종발이 타입 팔레트의 다단적재 자동화를 위한 라이다를 이용한 팔레트 적재 장치 및 그 방법에 관한 것이다.
일반적으로 공장이나 산업현장에서는 물품이나 부품 등의 물류이송을 위해 표준 규격의 팔레트를 활용하고 있다. 표준 팔레트는 평평한 상면에 복수의 물품을 적재하고 하부에 형성된 공간부/삽입구멍에 지게차의 포크를 삽입하여 들어올려진 후 원하는 장소로 이송된다.
한편, 최근에는 스마트팩토리(Smart Factory) 구현을 위한 공장 내 물류 이송을 위해 무인지게차가 운영되고 있으며 물류 이송 자율화를 위한 팔레트 인식기술이 개발되고 있다.
예컨대, 종래 무인지게차를 이용한 팔레트 이송 자동화 기술에서는 모노, 스트레오 카메라 및 라이다를 이용하여 표준 팔레트를 인식하고 팔레트 상단 및 하단의 특징선 추출을 통해 팔레트의 위치를 추정하는 기술이 개발되고 있다.
그러나, 종래 팔레트 인식 기술은 표준 팔레트가 아닌 종발이 타입의 팔레트를 인식할 수 없으며 종발이 타입 팔레트를 다단적재를 자동화 할 수 없는 문제점 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명의 실시 예는 이에 본 발명은 라이다를 이용한 팔레트 영상을 BEV(Bird's eye view)로 변환하여 팔레트에 구성된 종발이의 위치를 측정하고 종발이형 팔레트의 다단 적재를 위한 무인지게차를 제어하는 라이다를 이용한 팔레트 적재 장치 및 그 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 무인지게차에 탑재되는 라이다를 이용한 팔레트 적재 장치는, 레이저를 방사하여 종발이형 팔레트에서 반사된 레인지 데이터를 3D 포인트 클라우드(3D Point cloud) 데이터로 변환하는 라이다; 상기 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV(Bird's-Eye View) 영상으로 변환하는 BEV 변환부; 상기 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN(Convolution Neural Network)을 이용한 연산을 통해 종발이 위치를 인식하는 종발이 인식부; 인가되는 제어신호에 따라 무인지게차의 동작을 제어하는 지게차 제어기; 및 상기 무인지게차의 포크에 이재된 제1 종발이형 팔레트의 종발이 위치와 고정된 제2 종발이형 팔레트의 종발이 위치의 차이를 파악하여 정합위치로 보정을 위한 제어신호를 상기 지게차 제어기로 인가하는 제어부;를 포함한다.
또한, 상기 팔레트 적재 장치는 서버로부터 부품 이송을 위한 팔레트 ID, 이송 목적지, 주행경로 및 적재여부 중 적어도 하나를 포함하는 이송작업 명령을 수신하는 통신부를 더 포함할 수 있다.
또한, 상기 라이다는 상기 포크의 리프트 장치에 설치되어 상기 포크의 상승 및 하강 동작에 따라 상하로 위치가 가변 될 수 있다.
또한, 상기 BEV 변환부는 상기 3D 포인트 클라우드 데이터의 길이(L), 폭(W) 및 높이(H) 중에서 높이(H) 값을 작게 하여 상기 2D BEV 영상을 생성할 수 있다.
또한, 상기 BEV 변환부는 상기 종발이형 팔레트의 상부 종발이 혹은 하부 종발이를 기준으로 상기 높이(H) 값을 작게 하여 상기 상부 종발이의 2D BEV 영상을 생성하거나 하부 종발이의 2D BEV 영상을 생성할 수 있다.
또한, 상기 BEV 변환부는 상기 높이(H)의 각 포인트 값 마다 생성되는 2D 영상을 라이다의 앵글에 따른 좌표 이동, 회전 및 크기 조정 후 프로젝션 하는 프로세서를 거쳐 다르게 변환할 수 있다.
또한, 상기 종발이 인식부는 상기 CNN을 이용한 이미지 특징(feature) 추출 및 분류(Classifier)를 통해 사각형 테두리의 2D BEV 영상에서 상기 종발이로 인식된 이미지 영역을 표시하고, 그 중심점을 상기 종발이 위치로 파악할 수 있다.
또한, 상기 지게차 제어기는 상기 종발이 위치와 포크의 거리를 측정하고 상기 무인지게차를 제어하여 상기 포크로 제1 종발이형 팔레트를 들어 올릴 수 있다.
또한, 상기 지게차 제어기는 상기 포크에 이재된 상태의 상기 제1 종발이형 팔레트의 종발이 위치를 상기 포크의 자세제어를 위한 거동 좌표계에 매칭하여 임시 저장하고, 상기 무인지게차의 거동 및 포크의 상승 또는 하강 제어에 따른 상기 종발이 위치를 가변 할 수 있다.
또한, 상기 제어부는 상기 제2 종발이형 팔레트의 상부 종발이 위치와 상호 대응되는 상기 제1 종발이형 팔레트의 하부 종발이 위치간 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)를 측정할 수 있다.
또한, 상기 제어부는 상기 상부 종발이 위치를 기준으로 상기 하부 종발이 위치의 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)를 보정하기 위한 상기 제어신호를 생성할 수 있다.
또한, 상기 제어부는 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)의 위치 차이를 지속적으로 연산하여 설정 정합조건을 충족하지 않으면 폐회로(Closed -Loop Control) 형태로 상기 지게차 제어기에 제어신호를 인가할 수 있다.
또한, 상기 제어부는 상기 수평 거리(d1)와 수직 거리(d2)는 ㅁ20mm 이하, 상기 틀어진 각도(θ)는 2ㅀ이하인 상기 정합조건을 충족하면, 최종적으로 포크 하강 신호를 상기 지게차 제어기로 전달하여 종발이형 팔레트를 다단 적재할 수 있다.
한편, 본 발명의 일 측면에 따른, 무인지게차에 탑재된 팔레트 적재 장치가 라이다를 이용하여 종발이형 팔레트를 적재하는 방법은, a) 이송 대상인 제1 종발이형 팔레트를 무인지게차의 포크로 들어올려 목적지까지 이송하는 단계; b) 라이다를 이용한 레이저를 방사하여 고정된 제2 종발이형 팔레트에서 반사된 레인지 데이터를 3D 포인트 클라우드(3D Point cloud) 데이터로 변환하는 단계; c) 상기 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV(Bird's-Eye View) 영상으로 변환하는 BEV 변환부; d) 상기 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN(Convolution Neural Network)을 이용한 연산을 통해 종발이 위치를 인식하는 단계; 및 e) 상기 포크에 이재된 제1 종발이형 팔레트의 종발이 위치와 고정된 제2 종발이형 팔레트의 종발이 위치의 차이를 파악하여 정합위치로 보정을 위한 제어신호를 상기 무인지게차의 동작을 제어하는 지게차 제어기로 인가하는 단계;를 포함한다.
또한, 상기 e) 단계는 상기 제2 종발이형 팔레트의 상부 종발이 위치와 상호 대응되는 상기 제1 종발이형 팔레트의 하부 종발이 위치간 수평 거리(d1), 수직 거리(d2) 및 방향 편차로 틀어진 각도(θ)를 연산하는 단계를 포함할 수 있다.
또한, 상기 e) 단계는, 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)를 지속적으로 연산하여 정합조건을 충족하지 않으면 폐회로(Closed -Loop Control) 형태로 무인지게차를 제어하여 위치를 보정하는 단계를 포함할 수 있다.
또한, 상기 e) 단계는, 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)가 정합조건을 충족하면, 상기 포크의 하강 제어신호를 상기 지게차 제어기로 전달하여 종발이형 팔레트를 다단 적재하는 단계를 포함할 수 있다.
또한, 상기 a) 단계 이전에, 상기 라이다를 통해 상기 제1 종발이형 팔레트에서 반사된 레인지 데이터를 수집하여 2D BEV 영상으로 변환한 후 상기 CNN을 이용한 연산으로 종발이 위치를 인식하는 단계를 더 포함할 수 있다.
또한, 상기 a) 단계는, 상기 포크에 이재된 상기 제1 종발이형 팔레트의 종발이 위치를 상기 지게차 제어기의 포크의 자세제어를 위한 거동 좌표계에 매칭하여 임시 저장하는 단계; 및 상기 무인지게차의 거동 및 포크의 상승 또는 하강 제어에 따른 상기 종발이 위치를 가변 하는 단계를 포함할 수 있다.
한편, 본 발명의 다른 일 측면에 따른, 생산공장에 운영되는 무인지게차의 팔레트 적재를 제어하는 서버는, 상기 생산공장의 영역별로 배치된 인프라 라이다로부터 종발이형 팔레트에서 반사된 레인지 데이터를 수집하여 3D 포인트 클라우드(3D Point cloud) 데이터로 변환하는 라이다 신호 수집부; 상기 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV(Bird's-Eye View) 영상으로 변환하는 BEV 변환부; 상기 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN(Convolution Neural Network)을 이용한 연산을 통해 종발이 위치를 인식하는 종발이 인식부; 무인지게차의 ID를 등록하고 각 무인지게차의 상태정보를 수집하여 위치 추적 및 동작상태를 모니터링 하는 지게차 관리부; 상기 무인지게차와 무선통신을 연결하여 상기 상태정보를 수집하고, 상기 종발이형 팔레트의 이송 및 적재를 위한 제어신호를 전송하는 송수신부; 및 상기 무인지게차의 포크에 이재된 제1 종발이형 팔레트의 종발이 위치와 고정된 제2 종발이형 팔레트의 종발이 위치의 차이를 파악하여 정합위치로 보정을 위한 제어신호를 상기 송수신부를 통해 무인지게차로 전송하는 중앙 처리부;를 포함한다.
본 발명의 실시 예에 따르면, 라이다를 이용한 종발이형 팔레트의 포인트 클라우드 데이터를 BEV 영상으로 변환하여 종발이 위치를 정확히 인식할 수 있는 효과가 있다.
또한, 라이다를 이용한 팔레트의 종발이 위치 인식기능을 통해 무인지게차를 활용한 종발이형 팔레트의 물류 이송 및 다단적재를 자율화할 수 있는 효과가 있다.
또한, 무인지게차의 물류 이송 자율화를 통한 스마트팩토리의 구현으로 공장 운영비와 인건비를 절감할 수 있는 효과를 기대할 수 있다.
도 1은 본 발명의 실시 예에 따른 라이다를 이용한 팔레트 적재 장치가 적용된 무인지게차를 나타낸다.
도 2는 본 발명의 실시 예에 따른 무인지게차의 종발이형 팔레트 적재 과정을 나타낸다.
도 3은 본 발명의 실시 예에 따른 팔레트 적재 장치의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 라이다에서 측정된 종발이형 팔레트 데이터 처리과정을 나타낸다.
도 5는 본 발명의 실시 예에 따른 3D 포인트 클라우드 데이터를 2D BEV 영상으로 변환하는 과정을 나타낸다.
도 6은 본 발명의 실시 예에 따른 종발이형 팔레트를 다단 적재하는 상태를 나타낸다.
도 7 및 도 8은 본 발명의 실시 예에 따른 라이다를 이용한 팔레트 적재 방법을 개략적으로 나타낸 흐름도이다.
도 9는 본 발명의 다른 실시 예에 따른 라이다를 이용한 팔레트 적재 시스템을 나타낸다.
도 10은 본 발명의 다른 실시 예에 따른 서버의 구성을 개략적으로 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 제1, 제2, A, B, (a), (b) 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
명세서 전체에서, 어떤 구성요소가 다른 구성요소에 '연결된다'거나 '접속된다'고 언급되는 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결된다'거나 '직접 접속된다'고 언급되는 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.
명세서 전체에서, 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서, '포함한다', '가진다' 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 포함한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 의미와 일치하는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이제 본 발명의 실시 예에 따른 라이다를 이용한 팔레트 적재 장치 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 라이다를 이용한 팔레트 적재 장치가 적용된 무인지게차를 나타낸다.
도 2는 본 발명의 실시 예에 따른 무인지게차의 종발이형 팔레트 적재 과정을 나타낸다.
도 1 및 도 2를 참조하면, 본 발명의 실시 예에 따른 무인지게차(100)는 팔레트 적재 장치(110), 포크(120)와 리프트 장치(130)를 통해 종발이 타입의 팔레트(이하, "종발이형 팔레트"라 명명함, 10)를 자동으로 들어올려 무인 이송하는 자율주행차량을 의미한다. 또한, 일 측면에서 무인지게차(100)는 포크(120)와 리프트 장치(130)를 구비하고 화물을 자유롭게 이송 및 적재하는 무인이송로봇(Autonomous Mobile Robot/Automated Guided Vehicle, AMR/AGV)을 의미할 수 있다.
팔레트 적재 장치(110)는 하나 이상의 라이다(111)를 이용하여 자동차 생산공장 내 물류이송에 운영되는 종발이형 팔레트(10)의 인식에 따른 무인지게차(100)의 물류 이송 및 적재를 자동화하는 핵심적 역할을 한다.
스마트팩토리(Smart Factory)가 구축된 차량 생산공장에서는 다양한 부품이송에 종발이형 팔레트를 활용하고 있다.
종발이형 팔레트(10)는 물품을 싣는 팔레트(11), 상기 팔레트(11)의 각 꼭지점에 수직으로 배치된 지지대(12) 및 상기 지지대(12)의 상하부에 형성된 종발이(13)를 포함한다.
종발이(13)는 그릇과 같이 오목한 홈이 형성되어 팔레트 지지대(12)를 받히는 구조물 형태를 가지며, 지지대(12)에 설치된 위치에 따라 상부 종발이(13a)와 하부 종발이(13b)로 구분된다.
복수의 종발이형 팔레트(10) 중 고정된 종발이형 팔레트(10)의 상부 종발이(13a) 위치에 이송 대상 종발이형 팔레트의 하부 종발이(13b)를 겹쳐지도록 위치시킴으로써 적층되는 구조를 갖는다.
이하, 설명의 편의상 이송 대상 팔레트는 제1 종발이형 팔레트(10-1) 및 고정된 팔레트는 제2 종발이형 팔레트(10-2)라 명명하도록 한다.
즉, 무인지게차(100)는 포크(120)와 리프트 장치(130)를 통해 이송 대상인 제1 종발이형 팔레트(10-1)를 들어올려 4개의 하부 종발이(13b)를 고정된 제2 종발이형 팔레트(10-2)의 4개 상부 종발이(13a)와 대응되는 위치로 이동하여 적재할 수 있다.
이 때, 무인지게차(100)는 팔레트 적재 장치(110)를 통해 팔레트 종류, 포크(120)에 이재된 제1 종발이형 팔레트(10-1)와 고정된 제2 종발이형 팔레트(10-2)의 상대적 위치정보를 파악하여 이동 및 리프트 장치(130)를 제어할 수 있다.
도 3은 본 발명의 실시 예에 따른 팔레트 적재 장치의 구성을 개략적으로 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 팔레트 적재 장치(110)는 라이다(111), BEV 변환부(112), 종발이 인식부(113), 지게차 제어기(114), 통신부(115) 및 제어부(116)를 포함한다.
라이다(111)는 주변에 레이저를 방사하고 반사된 신호(빛)별로 돌아오기까지 걸리는 시간과 강도를 측정하여 주변 사물과의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성을 탐지한다.
라이다(111)는 포크(120)의 프레임에 설치되어 포크(120)의 작동에 따라 별도의 승강장치의 구성 없이 상하로 위치가 가변 될 수 있다.
또한, 무인지게차(100)는 포크(120)에 제1 종발이형 팔레트(10-1)를 이재한 경우 라이다(111)의 시야가 가릴 수 있다. 그러므로, 리프트 장치(130)의 하측 중앙부에 라이다(111)를 더 설치하여 고정된 제2 종발이형 팔레트(10-2) 위치를 인식할 수 있다.
도 4는 본 발명의 실시 예에 따른 라이다에서 측정된 종발이형 팔레트 데이터 처리과정을 나타낸다.
도 4(A)를 참조하면, 라이다(111)는 주변에 레이저를 방사하고 종발이형 팔레트(10)에서 반사된 레인지(Range) 데이터를 수집하여 3D 포인트 클라우드(3D Point cloud) 데이터로 변환한다. 상기 포인트 클라우드 3차원 공간상에 퍼져 있는 여러 포인트(Point)의 집합(set cloud)을 의미한다.
도 4(B)를 참조하면, BEV 변환부(112)는 종발이형 팔레트(10)의 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV(Bird's-Eye View) 영상으로 변환한다.
예컨대, 도 5는 본 발명의 실시 예에 따른 3D 포인트 클라우드 데이터를 2D BEV 영상으로 변환하는 과정을 나타낸다.
도 5를 참조하면, 수식1은 3D 포인트 클라우드 데이터를 표현하는 수식이며, 각 포인트의 그리드(grid)는 길이(Length, L), 폭(Width, W) 및 높이(Height, H)로 표현된다.
BEV 변환부(112)는 상기 3D 포인트 클라우드 데이터의 길이(L), 폭(W) 및 높이(H) 중에서 높이(H) 값을 작게 하여 2D BEV 영상을 생성한다. BEV 변환부(112)는 필요에 따라 종발이형 팔레트(10)의 상부 종발이(13a) 혹은 하부 종발이(13b)를 기준으로 높이(H) 값을 작게 하여 2D BEV 영상을 생성할 수 있다.
이 때, BEV 변환부(112)는 상기 높이(H)의 각 포인트 값 마다 생성되는 2D 영상(x, y)을 라이다의 앵글에 따른 좌표 이동, 회전 및 크기 조정 후 프로젝션 하는 프로세서를 거쳐 다르게 변환되도록 조정할 수 있다.
종발이 인식부(113)는 상기 변환된 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN(Convolution Neural Network)을 이용한 연산으로 이미지 특징(feature) 추출 및 분류(Classifier)를 통해 사각형의 테두리 이미지에서 종발이(13a/13b) 부분을 인식한다.
종발이 인식부(113)는 상기 사각형 테두리의 2D BEV 영상에서 종발이로 인식된 이미지 영역을 표시하고, 그 중심점(좌표)을 종발이 위치로 파악할 수 있다(도 4(B) 참조).
또한, 종발이 인식부(113)는 종발이형 팔레트(10)를 포함하여 다양한 종류의 팔레트 모델과 설계 데이터를 저장하고, 라이다 영상의 CNN 기반 이미지 특징 및 분류를 통해 팔레트를 인식하여 이송할 수 있도록 지원한다.
지게차 제어기(114)는 라이다(111) 뿐만 아니라 레이더, 초음파 센서, 카메라 중 적어도 하나의 센서 퓨전(Sensor Fusion)을 통한 복수의 감지 기술을 보완 및 통합하여 주변을 탐지하면서 목적지로 자율주행을 제어할 수 있다.
지게차 제어기(114)는 인가되는 제어신호에 따라 리프트 장치(130)를 작동하여 포크(120)를 상승 또는 하강 시키며, 포크(120)의 자세제어를 위한 거동 좌표계를 형성한다.
지게차 제어기(114)는 종발이 인식부(113)를 통해 인식된 2D BEV에서의 종발이 위치와 포크(120)의 거리를 측정하고 상기 포크(120)로 종발이형 팔레트(10)를 들어 올린다.
지게차 제어기(114)는 포크(120)에 이재된 상태의 제1 종발이형 팔레트(10-1)의 종발이 위치를 상기 거동 좌표계에 매칭하여 임시 저장하고 무인지게차(100)의 거동 및 포크(120)의 상/하강 제어에 따른 종발이 위치를 가변 할 수 있다. 이를 통해, 지게차 제어기(114)는 포크(120)에 이재된 제1 종발이형 팔레트(10-1)의 하부 종발이(13b) 위치를 고정된 제2 종발이형 팔레트(10-2)에서 인식된 상부 종발이(13a) 위치에 맞게 가변 하여 적재할 수 있다.
또한, 지게차 제어기(114)는 무인지게차(100)의 자율주행을 위한 구동, 조향, 변속, 속도 및 제동 등을 제어할 수 있다.
통신부(115)는 무선통신을 통해 생산공장의 서버(Manufacturing Execution System, MES)와 연동하여 무인지게차(100)의 운용을 위한 데이터를 송수신한다.
예컨대, 통신부(115)는 서버(MES)로부터 소규모 공정이나 펙토리별 부품 공급을 위한 팔레트 ID, 이송 목적지, 주행경로 및 적재여부 등의 이송작업 명령을 수신할 수 있다.
제어부(116)는 본 발명의 실시 예에 따른 생산공장에서 무인지게차(100)를 운용하기 위한 각종 프로그램 및 데이터를 메모리에 저장하고 이를 바탕으로 팔레트 적재 장치(110)의 전반적인 동작을 제어하는 컴퓨팅 시스템으로 구성된다.
도 6은 본 발명의 실시 예에 따른 종발이형 팔레트를 다단 적재하는 상태를 나타낸다.
도 6을 참조하면, 제어부(116)는 현재 포크(120)에 이재되어 있는 제1 종발이형 팔레트(10-1)의 하부 종발이(13b) 위치를 파악한다.
제어부(116)는 라이다(111)를 이용하여 고정된 제2 종발이형 팔레트(10-2)의 3D 포인트 클라우드 데이터를 측정하고 2D BEV 영상으로 변환하여 투영된 영상에서 상부 종발이(13a) 위치를 파악한다.
제어부(116)는 제2 종발이형 팔레트(10-2)의 상부 종발이(13a) 위치와 상호 대응되는 제1 종발이형 팔레트(10-1)의 하부 종발이(13b) 위치간 수평 거리(d1)와 수직 거리(d2) 및 방향 편차로 틀어진 각도(θ)를 측정한다. 이를 통해, 제어부(116)는 상부 종발이(13a) 위치를 기준으로 하부 종발이(13b) 위치의 거리(d1, d2)와 틀어진 각도(θ)를 보정하기 위한 제어신호를 생성할 수 있다.
제어부(116)는 상기 상부 종발이(13a) 위치에 하부 종발이(13b) 위치가 정합되도록 지게차 제어기(114)에 제어신호를 인가하여 무인지게차(100)의 위치보정 거동을 제어한다.
이 때, 제어부(116)는 두 종발이형 팔레트간 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)의 위치 차이를 지속적으로 연산하여 설정 정합조건을 충족하지 않으면 폐회로(Closed -Loop Control) 형태로 지게차 제어기(114)에 제어신호를 전달할 수 있다.
이후, 제어부(116)는 상기 수평 거리(d1)와 수직 거리(d2)는 ㅁ20mm 이하, 상기 틀어진 각도(θ)는 2ㅀ이하인 정합조건을 충족하면, 최종적으로 포크 하강 신호를 지게차 제어기(114)로 전달하여 종발이형 팔레트(10)를 다단 적재 할 수 있다.
이러한 종발이형 팔레트(10)의 다단 적재를 위하여 제어부(116)는 설정된 프로그램에 의하여 동작하는 하나 이상의 프로세서로 구현될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시 예에 따른 라이다를 이용한 팔레트 적재 방법의 각 단계를 수행하도록 프로그래밍 된 것일 수 있다.
한편, 전술한 팔레트 적재 장치(110)를 바탕으로 본 발명의 실시 예에 따른 라이다를 이용한 팔레트 적재 방법을 다음의 도 7을 통해 설명한다.
앞선 설명에서는 설명의 이해를 위해 팔레트 적재 장치(110)의 구성을 기능별로 각 부/기로 세분화하여 설명하였으나 하나의 팔레트 적재 장치(110)로 통합될 수 있음은 자명하다. 따라서, 이하 본 발명의 실시 예에 따른 라이다를 이용한 팔레트 적재 방법을 설명함에 있어서, 각 단계의 주체를 팔레트 적재 장치(110)로 하여 설명하기로 한다.
도 7 및 도 8은 본 발명의 실시 예에 따른 라이다를 이용한 팔레트 적재 방법을 개략적으로 나타낸 흐름도이다.
도 7 및 도 8을 참조하면, 본 발명의 실시 예에 따른 팔레트 적재 장치(110)는 서버(MES)의 팔레트 이송 명령에 따른 무인지게차(100)를 이송 대상인 제1 종발이형 팔레트(10-1)의 목적지까지 자율주행 제어한다.
팔레트 적재 장치(110)는 라이다(111)를 이용하여 레이저를 방사하고 제1 종발이형 팔레트(10-1)에서 반사된 레인지 데이터를 수집하여 3D 포인트 클라우드 데이터로 변환한다(S1)
팔레트 적재 장치(110)는 상기 제1 종발이형 팔레트(10-1)의 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV 영상으로 변환한다(S2).
팔레트 적재 장치(110)는 상기 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN을 이용한 연산을 통해 상기 2D BEV 영상의 사각형의 테두리 이미지에서 하부 종발이(13b)를 인식한다(S3). 이 때, 팔레트 적재 장치(110)는 4개 하부 종발이(13b)의 각 중심점을 추출하여 하부 종발이(13b) 위치를 파악할 수 있다.
팔레트 적재 장치(110)는 상기 하부 종발이(13b) 위치를 기준으로 무인지게차(100)를 정렬하고 상기 제1 종발이형 팔레트(10-1)를 포크(120)로 들어올려 다음 목적지까지 이송한다(S4). 이 때, 팔레트 적재 장치(110)는 상기 하부 종발이(13b) 위치와 포크(120) 간 거리와 방향(각도) 차이를 측정하고 이를 보정하기 위한 제어신호를 지게차 제어기(114)로 전달하여 무인지게차(100)의 위치를 정렬할 수 있다.
팔레트 적재 장치(110)는 라이다(111)를 통해 제2 종발이형 팔레트(10-2)에서 반사된 레인지 데이터를 수집하여 2D BEV 영상으로 변환한 후 CNN을 이용한 연산으로 상부 종발이(13a) 위치를 인식한다(S5). 이러한 S5 단계는 상기 S1 단계 내지 S3 단계를 수행하는 것과 유사하며 2D BEV 영상을 상부 종발이(13a)를 기준으로 생성하는 것만 다르다.
팔레트 적재 장치(110)는 제2 종발이형 팔레트(10-2)의 상부 종발이(13a) 위치와 상호 대응되는 제1 종발이형 팔레트(10-1)의 하부 종발이(13b) 위치간 수평 거리(d1)와 수직 거리(d2) 및 방향 편차로 틀어진 각도(θ)를 연산한다(S6).
팔레트 적재 장치(110)는 상부 종발이(13a) 위치를 기준으로 하부 종발이(13b) 위치를 정합시키기 위한 제어신호를 지게차 제어기(114)에 인가하여 무인지게차(100)의 거동(위치)를 제어한다(S7).
이 때, 팔레트 적재 장치(110)는 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)를 지속적으로 연산하여 정합조건을 충족하지 않으면(S8; 아니오), 폐회로(Closed -Loop Control) 형태로 무인지게차(100)를 제어하여 위치를 보정할 수 있다.
반면, 팔레트 적재 장치(110)는 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)가 정합조건을 충족하면(S8; 예), 포크(120)를 하강하여 복수의 종발이형 팔레트(10)를 다단 적재한다(S9).
이와 같이, 본 발명의 실시 예에 따르면, 라이다를 이용한 종발이형 팔레트의 포인트 클라우드 데이터를 BEV 영상으로 변환하여 종발이 위치를 정확히 인식할 수 있는 효과가 있다.
또한, 라이다를 이용한 팔레트의 종발이 위치 인식기능을 통해 무인지게차를 활용한 종발이형 팔레트의 물류 이송 및 다단적재를 자율화할 수 있는 효과가 있다.
또한, 무인지게차의 물류 이송 자율화를 통한 스마트팩토리의 구현으로 공장 운영비와 인건비를 절감할 수 있는 효과를 기대할 수 있다.
이상에서는 본 발명의 실시 예에 대하여 설명하였으나, 본 발명은 상기한 실시 예에만 한정되는 것은 아니며 그 외의 다양한 변경이 가능하다.
예컨대, 전술한 본 발명의 실시 예에서 팔레트 적재 장치(110)는 무인지게차(100)에 장착된 라이다(111)를 이용하여 종발이형 팔레트(10)를 인식하는 것을 위주로 설명하였다. 그러나, 본 발명의 실시 예는 이에 한정되지 않으며 생산공장 내 영역별로 배치된 인프라 라이다를 운용하는 서버가 중앙에서 연산한 종발이형 팔레트 위치정보를 토대로 무인지게차(100)별 운영상태를 제어할 수 있다.
예컨대, 도 9는 본 발명의 다른 실시 예에 따른 라이다를 이용한 팔레트 적재 시스템을 나타낸다.
도 10은 본 발명의 다른 실시 예에 따른 서버의 구성을 개략적으로 나타낸 블록도이다.
도 9 및 도 10을 참조하면, 본 발명의 다른 실시 예에 따른 팔레트 적재 시스템은 무인지게차(100), 인프라 라이다(211) 및 서버(200)를 포함하며, 앞선 실시 예 대비 팔레트 적재 장치를 서버(200)에 적용된 것만 다르므로 중복되는 설명은 생략하고 다른 점을 위주로 설명한다.
무인지게차(100)는 지게차 제어기(114)와 통신부(115)를 포함하며, 기존 팔레트 적재 장치(110)로 적용된 라이다(111), BEV 변환부(112), 종발이 인식부(113) 및 제어부(116)가 생략된다.
그러므로, 지게차 제어기(114)는 통신부(115)를 통해 서버(200)로부터 수신된 제어신호에 따라 종발이형 팔레트(10)를 이송 및 적재 동작을 제어할 수 있다.
인프라 라이다(211)는 생산공장의 영역별로 천정 구조물에 고정 배치되며, 탐지 영역에서 수신된 라이다 신호를 서버(200)로 전송한다.
서버(200)는 라이다 신호 수집부(210), BEV 변환부(220), 종발이 인식부(230), 지게차 관리부(240), 송수신부(250) 및 중앙 처리부(260)를 포함한다.
라이다 신호 수집부(210)는 인프라 라이다(211)로부터 종발이형 팔레트(10)에서 반사된 레인지(Range) 데이터를 수집하여 3D 포인트 클라우드(3D Point cloud) 데이터로 변환한다.
BEV 변환부(220)와 종발이 인식부(230)의 설명은 앞선 BEV 변환부(112) 및 종발이 인식부(113)의 설명을 참조할 수 있음으로 생략한다.
지게차 관리부(240)는 생산공장에서 운영되는 무인지게차 ID를 등록하고, 각각의 상태정보를 수집하여 위치 추적 및 동작상태를 모니터링 한다.
송수신부(250)는 무인지게차(100)와 무선통신을 연결하여 상기 상태정보를 수집하고, 종발이형 팔레트(10)의 이송 및 적재를 위한 제어신호를 전송한다.
중앙 처리부(260)는 본 발명의 다른 실시 예에 따른 생산공장에 운용되는 무인지게차(100)를 제어하기 위한 각종 프로그램 및 데이터를 DB에 저장하고 이를 바탕으로 무인지게차(100)의 팔레트 적재를 위한 전반적인 동작을 원격으로 제어한다.
중앙 처리부(260)는 무인지게차(100)를 지게차 관리부(240)에 조회하여 선택하고, 팔레트 ID, 이송 목적지, 주행경로 및 적재여부 등의 이송작업 명령을 전송하여 동작시킨다.
중앙 처리부(260)는 무인지게차(100)의 포크(120)에 이재된 제1 종발이형 팔레트(10-1)의 종발이 위치와 고정된 상태의 제2 종발이형 팔레트(10-2)의 종발이 위치의 차이를 파악하여 정합위치로 보정을 위한 제어신호를 송수신부(250)를 통해 무인지게차(100)로 전송한다.
이 때, 중앙 처리부(260)는 인프라 라이다(211)를 이용하여 고정된 제2 종발이형 팔레트(10-2)의 상부 종발이(13a) 위치와 상호 대응되는 제1 종발이형 팔레트(10-1)의 하부 종발이(13b) 위치간 수평 거리(d1)와 수직 거리(d2) 및 사각 테두리의 틀어진 각도(θ)를 측정한다. 그리고 상기 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)의 차이 보정을 위한 상기 제어신호를 지게차 제어기(114)로 전송하고 정합조건이 충족되면 제1 종발이형 팔레트(10-1)를 하강시켜 다단 적재할 수 있다.
이외 중앙 처리부(260)는 앞선 실시 예에서의 제어부(116)와 동일한 제어기능의 역할을 무선네트워크를 통해 원격으로 수행할 수 있으며, 무인지게차 ID별 팔레트 이송 및 적재 동작을 중앙에서 제어 및 모니터링 할 수 있다.
이로써, 무인지게차별 팔레트 적재 장치의 구성을 생략하여 부품비용을 줄일 수 있고, 중앙에서 인프라 라이다를 이용한 종발이형 팔레트의 인식정보를 처리함으로써 무인지게차의 운행을 완전 자율화 할 수 있는 이점이 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10: 종발이형 팔레트 11: 팔레트
12: 지지대 13: 종발이
13a: 상부 종발이 13b: 하부 종발이
100: 무인지게차 110: 팔레트 적재 장치
111: 라이다 112: BEV 변환부
113: 종발이 인식부 114: 지게차 제어기
115: 통신부 116: 제어부
120: 포크 130: 리프트 장치
200: 서버

Claims (20)

  1. 무인지게차에 탑재되는 라이다를 이용한 팔레트 적재 장치에 있어서,
    레이저를 방사하여 종발이형 팔레트에서 반사된 레인지 데이터를 3D 포인트 클라우드(3D Point cloud) 데이터로 변환하는 라이다;
    상기 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV(Bird's-Eye View) 영상으로 변환하는 BEV 변환부;
    상기 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN(Convolution Neural Network)을 이용한 연산을 통해 종발이 위치를 인식하는 종발이 인식부;
    인가되는 제어신호에 따라 무인지게차의 동작을 제어하는 지게차 제어기; 및
    상기 무인지게차의 포크에 이재된 제1 종발이형 팔레트의 종발이 위치와 고정된 제2 종발이형 팔레트의 종발이 위치의 차이를 파악하여 정합위치로 보정을 위한 제어신호를 상기 지게차 제어기로 인가하는 제어부;
    를 포함하는 라이다를 이용한 팔레트 적재 장치.
  2. 제1항에 있어서,
    서버로부터 부품 이송을 위한 팔레트 ID, 이송 목적지, 주행경로 및 적재여부 중 적어도 하나를 포함하는 이송작업 명령을 수신하는 통신부를 더 포함하는 라이다를 이용한 팔레트 적재 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 라이다는
    상기 포크의 리프트 장치에 설치되어 상기 포크의 상승 및 하강 동작에 따라 상하로 위치가 가변 되는 라이다를 이용한 팔레트 적재 장치.
  4. 제1항에 있어서,
    상기 BEV 변환부는
    상기 3D 포인트 클라우드 데이터의 길이(L), 폭(W) 및 높이(H) 중에서 높이(H) 값을 작게 하여 상기 2D BEV 영상을 생성하는 라이다를 이용한 팔레트 적재 장치.
  5. 제4항에 있어서,
    상기 BEV 변환부는
    상기 종발이형 팔레트의 상부 종발이 혹은 하부 종발이를 기준으로 상기 높이(H) 값을 작게 하여 상기 상부 종발이의 2D BEV 영상을 생성하거나 하부 종발이의 2D BEV 영상을 생성하는 라이다를 이용한 팔레트 적재 장치.
  6. 제4항에 있어서,
    상기 BEV 변환부는
    상기 높이(H)의 각 포인트 값 마다 생성되는 2D 영상을 라이다의 앵글에 따른 좌표 이동, 회전 및 크기 조정 후 프로젝션 하는 프로세서를 거쳐 다르게 변환하는 라이다를 이용한 팔레트 적재 장치.
  7. 제1항에 있어서,
    상기 종발이 인식부는
    상기 CNN을 이용한 이미지 특징(feature) 추출 및 분류(Classifier)를 통해 사각형 테두리의 2D BEV 영상에서 상기 종발이로 인식된 이미지 영역을 표시하고, 그 중심점을 상기 종발이 위치로 파악하는 라이다를 이용한 팔레트 적재 장치.
  8. 제1항에 있어서,
    상기 지게차 제어기는
    상기 종발이 위치와 포크의 거리를 측정하고 상기 무인지게차를 제어하여 상기 포크로 제1 종발이형 팔레트를 들어 올리는 라이다를 이용한 팔레트 적재 장치.
  9. 제1항 또는 제8항에 있어서,
    상기 지게차 제어기는
    상기 포크에 이재된 상태의 상기 제1 종발이형 팔레트의 종발이 위치를 상기 포크의 자세제어를 위한 거동 좌표계에 매칭하여 임시 저장하고, 상기 무인지게차의 거동 및 포크의 상승 또는 하강 제어에 따른 상기 종발이 위치를 가변 하는 라이다를 이용한 팔레트 적재 장치.
  10. 제1항에 있어서,
    상기 제어부는
    상기 제2 종발이형 팔레트의 상부 종발이 위치와 상호 대응되는 상기 제1 종발이형 팔레트의 하부 종발이 위치간 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)를 측정하는 라이다를 이용한 팔레트 적재 장치.
  11. 제10항에 있어서,
    상기 제어부는
    상기 상부 종발이 위치를 기준으로 상기 하부 종발이 위치의 상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)를 보정하기 위한 상기 제어신호를 생성하는 라이다를 이용한 팔레트 적재 장치.
  12. 제10항 또는 제11항에 있어서,
    상기 제어부는
    상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)의 위치 차이를 지속적으로 연산하여 설정 정합조건을 충족하지 않으면 폐회로(Closed -Loop Control) 형태로 상기 지게차 제어기에 제어신호를 인가하는 라이다를 이용한 팔레트 적재 장치.
  13. 제12항에 있어서,
    상기 제어부는
    상기 수평 거리(d1)와 수직 거리(d2)는 ㅁ20mm 이하, 상기 틀어진 각도(θ)는 2ㅀ이하인 상기 정합조건을 충족하면, 최종적으로 포크 하강 신호를 상기 지게차 제어기로 전달하여 종발이형 팔레트를 다단 적재하는 라이다를 이용한 팔레트 적재 장치.
  14. 무인지게차에 탑재된 팔레트 적재 장치가 라이다를 이용하여 종발이형 팔레트를 적재하는 방법에 있어서,
    a) 이송 대상인 제1 종발이형 팔레트를 무인지게차의 포크로 들어올려 목적지까지 이송하는 단계;
    b) 라이다를 이용한 레이저를 방사하여 고정된 제2 종발이형 팔레트에서 반사된 레인지 데이터를 3D 포인트 클라우드(3D Point cloud) 데이터로 변환하는 단계;
    c) 상기 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV(Bird's-Eye View) 영상으로 변환하는 BEV 변환부;
    d) 상기 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN(Convolution Neural Network)을 이용한 연산을 통해 종발이 위치를 인식하는 단계; 및
    e) 상기 포크에 이재된 제1 종발이형 팔레트의 종발이 위치와 고정된 제2 종발이형 팔레트의 종발이 위치의 차이를 파악하여 정합위치로 보정을 위한 제어신호를 상기 무인지게차의 동작을 제어하는 지게차 제어기로 인가하는 단계;
    를 포함하는 라이다를 이용한 팔레트 적재 방법.
  15. 제14항에 있어서,
    상기 e) 단계는
    상기 제2 종발이형 팔레트의 상부 종발이 위치와 상호 대응되는 상기 제1 종발이형 팔레트의 하부 종발이 위치간 수평 거리(d1), 수직 거리(d2) 및 방향 편차로 틀어진 각도(θ)를 연산하는 단계를 포함하는 라이다를 이용한 팔레트 적재 방법.
  16. 제15항에 있어서,
    상기 e) 단계는,
    상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)를 지속적으로 연산하여 정합조건을 충족하지 않으면 폐회로(Closed -Loop Control) 형태로 무인지게차를 제어하여 위치를 보정하는 단계를 포함하는 라이다를 이용한 팔레트 적재 방법.
  17. 제15항 또는 제16항에 있어서,
    상기 e) 단계는,
    상기 수평 거리(d1), 수직 거리(d2) 및 틀어진 각도(θ)가 정합조건을 충족하면, 상기 포크의 하강 제어신호를 상기 지게차 제어기로 전달하여 종발이형 팔레트를 다단 적재하는 단계를 포함하는 라이다를 이용한 팔레트 적재 방법.
  18. 제14항에 있어서,
    상기 a) 단계 이전에,
    상기 라이다를 통해 상기 제1 종발이형 팔레트에서 반사된 레인지 데이터를 수집하여 2D BEV 영상으로 변환한 후 상기 CNN을 이용한 연산으로 종발이 위치를 인식하는 단계를 더 포함하는 라이다를 이용한 팔레트 적재 방법.
  19. 제14항 또는 제18항에 있어서,
    상기 a) 단계는,
    상기 포크에 이재된 상기 제1 종발이형 팔레트의 종발이 위치를 상기 지게차 제어기의 포크의 자세제어를 위한 거동 좌표계에 매칭하여 임시 저장하는 단계; 및
    상기 무인지게차의 거동 및 포크의 상승 또는 하강 제어에 따른 상기 종발이 위치를 가변 하는 단계를 포함하는 라이다를 이용한 팔레트 적재 방법.
  20. 생산공장에 운영되는 무인지게차의 팔레트 적재를 제어하는 서버에 있어서,
    상기 생산공장의 영역별로 배치된 인프라 라이다로부터 종발이형 팔레트에서 반사된 레인지 데이터를 수집하여 3D 포인트 클라우드(3D Point cloud) 데이터로 변환하는 라이다 신호 수집부;
    상기 3D 포인트 클라우드 데이터를 연산을 통해 2D BEV(Bird's-Eye View) 영상으로 변환하는 BEV 변환부;
    상기 2D BEV 영상을 입력 데이터로 채널 정규화를 수행하고 CNN(Convolution Neural Network)을 이용한 연산을 통해 종발이 위치를 인식하는 종발이 인식부;
    무인지게차의 ID를 등록하고 각 무인지게차의 상태정보를 수집하여 위치 추적 및 동작상태를 모니터링 하는 지게차 관리부;
    상기 무인지게차와 무선통신을 연결하여 상기 상태정보를 수집하고, 상기 종발이형 팔레트의 이송 및 적재를 위한 제어신호를 전송하는 송수신부; 및
    상기 무인지게차의 포크에 이재된 제1 종발이형 팔레트의 종발이 위치와 고정된 제2 종발이형 팔레트의 종발이 위치의 차이를 파악하여 정합위치로 보정을 위한 제어신호를 상기 송수신부를 통해 무인지게차로 전송하는 중앙 처리부;
    를 포함하는 서버.
KR1020200122929A 2020-09-23 2020-09-23 라이다를 이용한 팔레트 적재 장치 및 그 방법 KR20220040118A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200122929A KR20220040118A (ko) 2020-09-23 2020-09-23 라이다를 이용한 팔레트 적재 장치 및 그 방법
US17/357,332 US11964858B2 (en) 2020-09-23 2021-06-24 Pallet loading apparatus and pallet loading method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200122929A KR20220040118A (ko) 2020-09-23 2020-09-23 라이다를 이용한 팔레트 적재 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220040118A true KR20220040118A (ko) 2022-03-30

Family

ID=80739958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200122929A KR20220040118A (ko) 2020-09-23 2020-09-23 라이다를 이용한 팔레트 적재 장치 및 그 방법

Country Status (2)

Country Link
US (1) US11964858B2 (ko)
KR (1) KR20220040118A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238999A1 (ko) * 2022-06-07 2023-12-14 현대자동차주식회사 스마트 물류 차량 및 그 제어 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115108498B (zh) * 2022-05-13 2023-03-24 浙江中力机械股份有限公司 一种自动堆垛的仓储叉车机器人系统的控制方法及系统
CN116674920B (zh) * 2023-04-25 2024-01-23 中国铁建电气化局集团有限公司 一种智能化运输方法、装置、设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456910B1 (en) * 2000-11-21 2002-09-24 John Andrew Roe Light Guided autopilot
US7717665B2 (en) * 2003-11-03 2010-05-18 Kolinahr Systems, Inc. Pallet stacker system
KR101095579B1 (ko) 2009-09-10 2011-12-19 부산대학교 산학협력단 모노 비전 기반의 팔레트 위치 및 자세 측정 방법
JP2015225450A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
US10124489B2 (en) * 2016-02-26 2018-11-13 Kinema Systems Inc. Locating, separating, and picking boxes with a sensor-guided robot
EP3497672B1 (en) 2016-08-10 2021-04-28 John Bean Technologies Corporation Pallet localization systems and methods
US9715232B1 (en) 2016-09-19 2017-07-25 X Development Llc Using planar sensors for pallet detection
US10346797B2 (en) * 2016-09-26 2019-07-09 Cybernet Systems, Inc. Path and load localization and operations supporting automated warehousing using robotic forklifts or other material handling vehicles
JP6631461B2 (ja) * 2016-10-06 2020-01-15 株式会社豊田自動織機 フォークリフト
JP7052666B2 (ja) * 2018-10-04 2022-04-12 トヨタ自動車株式会社 搬送装置
CN111242041B (zh) * 2020-01-15 2023-05-09 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法
JP7367615B2 (ja) * 2020-06-03 2023-10-24 トヨタ自動車株式会社 パレット、パレットの積層システム及び積層方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023238999A1 (ko) * 2022-06-07 2023-12-14 현대자동차주식회사 스마트 물류 차량 및 그 제어 방법

Also Published As

Publication number Publication date
US11964858B2 (en) 2024-04-23
US20220089419A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
KR20220040118A (ko) 라이다를 이용한 팔레트 적재 장치 및 그 방법
JP7235809B2 (ja) 注文完了システム及び方法
JP6247796B2 (ja) 棚配置システム、搬送ロボット及び棚配置方法
US20200103882A1 (en) Collaborative automation logistics facility
KR20210107766A (ko) 트랜스퍼 로봇, 창고 물류 시스템 및 물품 운반 방법
Sabattini et al. Technological roadmap to boost the introduction of AGVs in industrial applications
JP2020196623A (ja) ロボットシステムの制御装置及び制御方法
KR101644270B1 (ko) 자동 측위 및 경로보정을 이용한 무인 화물이송 시스템
WO2023029776A1 (zh) 搬运机器人的控制方法、装置、设备和存储介质
Mohamed Detection and tracking of pallets using a laser rangefinder and machine learning techniques
US11797011B2 (en) Traveling control system for transport vehicle and traveling control method for transport vehicle
CN114187564A (zh) 智能仓库中跨设备联动方法及视觉辅助联动系统
CN109748203A (zh) 一种agv自动化运行系统及控制方法
CN113960997A (zh) 移动机器人列队行驶系统及其控制方法
CN115826576A (zh) 一种自装卸叉车机器人智能控制系统及其方法
JP2022024084A (ja) 在庫品管理システム、運送装置及び運送装置と運送対象物との結合方法
CN115892823A (zh) 物资仓储配检一体化系统及方法
US20230365210A1 (en) Method and system for a vehicle decking process associated with manufacturing a vehicle
CN108534788B (zh) 一种基于kinect视觉的AGV导航方法
US20220355474A1 (en) Method and computing system for performing robot motion planning and repository detection
US20210347617A1 (en) Engaging an element
KR102423114B1 (ko) 무인이동체 자율주행 시스템 및 이를 이용한 방법
CN112330748B (zh) 一种基于双目深度相机的托盘识别和定位方法
Martin et al. An autonomous transport vehicle in an existing manufacturing facility with focus on the docking maneuver task
JP2021165897A (ja) 制御装置、移動制御システム、制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination