KR102425529B1 - 카메라를 이용한 자율주행 지게차 - Google Patents

카메라를 이용한 자율주행 지게차 Download PDF

Info

Publication number
KR102425529B1
KR102425529B1 KR1020200170518A KR20200170518A KR102425529B1 KR 102425529 B1 KR102425529 B1 KR 102425529B1 KR 1020200170518 A KR1020200170518 A KR 1020200170518A KR 20200170518 A KR20200170518 A KR 20200170518A KR 102425529 B1 KR102425529 B1 KR 102425529B1
Authority
KR
South Korea
Prior art keywords
unit
camera
forklift
autonomous driving
object image
Prior art date
Application number
KR1020200170518A
Other languages
English (en)
Other versions
KR20220081070A (ko
Inventor
이용택
유재현
양서림
김연주
김정인
신석우
김도환
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020200170518A priority Critical patent/KR102425529B1/ko
Publication of KR20220081070A publication Critical patent/KR20220081070A/ko
Application granted granted Critical
Publication of KR102425529B1 publication Critical patent/KR102425529B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07504—Accessories, e.g. for towing, charging, locking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07581—Remote controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/15—Fork lift trucks, Industrial trucks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/60—Electric or hybrid propulsion means for production processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Geology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Civil Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

본 발명은 카메라를 이용한 자율주행 지게차에 관한 것으로 보다 상세하게는, 자율주행 지게차의 일측에 설치되어 영상을 획득하는 카메라부; 상기 자율주행 지게차의 일측에 설치되어 적재물과 장애물을 감지하는 센서부; 상기 카메라부에서 획득된 객체영상과, 상기 센서부에서 감지된 장애물의 정보를 저장하는 저장서버부; 상기 저장서버부와 연동되어 객체영상과, 장애물의 정보를 유무선 통신하는 통신부; 상기 자율주행 지게차와, 상기 통신부로 부터 객체영상과, 장애물의 정보를 유무선 통신하고, 상기 카메라부와, 상기 센서부와, 상기 저장서버부와, 상기 통신부를 제어하는 제어부;를 포함하되, 상기 제어부는, 인공지능 알고리즘을 통해 제어되는 것을 특징으로 한다.

Description

카메라를 이용한 자율주행 지게차{Self-driving forklift using camera sensor}
본 발명은 카메라를 이용한 자율주행 지게차에 관한 것으로, 보다 상세하게는 지게차의 자율주행을 통해 적재되어 있는 물건을 적재 또는 하역하여 사용자가 원하는 장소로 이동시키기 위한 카메라를 이용한 자율주행 지게차에 관한 것이다.
일반적으로, 무인반송차(AGV)란 공장과 같은 산업현장에서 화물이나 자재를 지정된 장소까지 자동 또는 수동으로 운반하는 무궤도 차량을 지칭한다.
자동화된 제품 제조 현장에 있어 무인반송차는 부품 내지 물품의 수송을 담당하는 필수 요소로 변화되었다.
종래 기술로는 대한민국 특허출원 제1996-039379호에는 AGV의 운행경로를 탐색하는 방법이 기술되는데, 주행 경로를 노드로 나누어 제어함으로써 막힘(blocking)을 최소화하면서 목적지까지 최단 운행경로를 결정하는 방법이 개시된다.
또한, 종래 기술의 다른 일예로서, 대한민국 특허출원 제10-2002-0037765호에는 하나의 컨트롤러를 이용하여 다수의 AGV를 통합 제어하는 시스템을 제안한 방법이 개시된다. 이 방법은 AGV가 주행하는 각 라인을 연결하여 각 AGV의 위치정보를 공유하는 통합 제어를 수행할 뿐만 아니라, AGV의 수를 분배하며 제어하므로 제조라인의 가동률을 향상시킬 수 있다.
또한, 종래 기술에 따른 AGV의 경우 공장 바닥에 유도 라인으로서의 자기 테이프를 부착하고 자기 테이프의 상부를 AGV가 안내 유도 운행하는 방식을 취한다. 즉, 종래의 테이프 방식과 같은 궤도를 가지고 있는 AGV는 공장 환경에 다수의 광 테이프나 센서들을 장착하여 AGV의 작업을 제어하고, AGV의 상태를 확인한다.
하지만, 종래 기술의 AGV의 경우 공장환경이 자주 변경되는 실제 환경에서는 사용하는 데는 많은 비용이 든다.
뿐만 아니라, 이러한 제어방법은 상위 제어시스템에서 각 AGV의 현재 상황을 고려하지 않으므로 효율적인 제어를 할 수도 없고, 특정한 구간에서의 속도제어나 특정한 작업을 위해서는 추가적인 장치가 필요하다. 결과적으로, 주기적인 공장 라인의 변경이 잦은 곳, 바닥의 광테이프 및 추가장비의 관리가 어려운 곳, 현재 상황을 고려하여 안전한 AGV를 제어가 필요한 곳에서는 종래의 테이프 유도 방식을 이용한 제어가 곤란한 문제점이 있었다.
대한민국 특허출원 제1996-039379호 대한민국 특허출원 제10-2002-0037765호
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 목적은, 지게차의 자율주행을 통해 적재되어 있는 물건을 적재 또는 하역하여 사용자가 원하는 장소로 이동시키기 위한 카메라를 이용한 자율주행 지게차를 제공하는데 있다.
본 발명의 다른 목적은, 객체인식 알고리즘을 통해 적재물과 장애물을 정확히 인식할 수 있어 보다 정확한 자율주행을 수행하기 위한 카메라를 이용한 자율주행 지게차를 제공하는데 있다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위한 특징에 따르면, 본 발명은 자율주행 지게차의 일측에 설치되어 영상을 획득하는 카메라부;
상기 자율주행 지게차의 일측에 설치되어 적재물 및 장애물을 감지하는 센서부;
상기 카메라부에서 획득된 객체영상과, 상기 센서부에서 감지된 적재물 및 장애물의 정보를 저장하는 저장서버부;
상기 저장서버부와 연동되어 객체영상과, 적재물 및 장애물의 정보를 유무선 통신하는 통신부;
상기 자율주행 지게차와, 상기 통신부로 부터 객체영상과, 적재물 및 장애물의 정보를 유무선 통신하고, 상기 카메라부와, 상기 센서부와, 상기 저장서버부와, 상기 통신부를 제어하는 제어부;
를 포함하되,
상기 제어부는, 인공지능 알고리즘을 통해 제어하는 카메라를 이용한 자율주행 지게차가 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 카메라부는,
객체영상으로 부터 복수의 객체를 인식하고, 인식된 객체 이미지를 획득하는 객체인식부를 더 포함하는 카메라를 이용한 자율주행 지게차가 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 객체인식부는,
SSD 알고리즘, YOLO 알고리즘 및 AdaBoost 알고리즘 중 적어도 어느 하나를 이용하여 객체의 인식을 수행하는 카메라를 이용한 자율주행 지게차가 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 객체인식부는,
인식된 객체 영상을 분석하기 전에, 인식된 객체 영상을 전처리하는 전처리부를 더 포함하는 카메라를 이용한 자율주행 지게차가 제공될 수 있다.
또한, 본 발명의 실시예에 따르면, 상기 통신부는,
관리자가 구비하는 디스플레부와 실시간으로 통신하여 상기 자율주행 지게차의 운행정보와, 획득된 객체영상 및 장애물의 정보를 실시간으로 제공하는 카메라를 이용한 자율주행 지게차가 제공될 수 있다.
또한, 자율주행 지게차의 일측에 설치되어 영상을 획득하는 카메라부; 상기 자율주행 지게차의 일측에 설치되어 적재물 및 장애물을 감지하는 센서부; 상기 카메라부에서 획득된 객체영상과, 상기 센서부에서 감지된 적재물 및 장애물의 정보를 저장하는 저장서버부; 상기 저장서버부와 연동되어 객체영상과, 적재물 및 장애물의 정보를 유무선 통신하는 통신부; 상기 자율주행 지게차와, 상기 통신부로 부터 객체영상과, 적재물 및 장애물의 정보를 유무선 통신하고, 상기 카메라부와, 상기 센서부와, 상기 저장서버부와, 상기 통신부를 제어하는 제어부; 를 포함하되, 상기 제어부는, 인공지능 알고리즘을 통해 제어되고, 상기 인공지능 알고리즘은 상기 센서부에서 입력되는 데이터들을 머신러닝 알고리즘을 적용하여 학습시켜, 주변의 외란에 의한 오류데이터를 분리하는 것; 상기 머신러닝 알고리즘에 이진 분류(Binary Classification) 및 에이다부스트(Adaboost)가 결합 사용되는 것을 특징으로 한다.
본 발명의 카메라를 이용한 자율주행 지게차에 따르면, 지게차의 자율주행을 통해 적재되어 있는 물건을 적재 또는 하역하여 사용자가 원하는 장소로 이동시키는 효과가 있다.
또한, 객체인식 알고리즘을 통해 적재물과 장애물을 정확히 인식할 수 있어 보다 정확한 자율주행을 수행하는 효과가 있다.
도 1 내지 3은 본 발명의 일 실시예에 따른 카메라를 이용한 자율주행 지게차를 도시한 도면,
도 4는 본 발명의 일 실시예에 따른 카메라를 이용한 자율주행 지게차를 개략적으로 도시한 블록도,
도 5는 본 발명의 일 실시예에 따른 카메라를 이용한 자율주행 지게차의 객체인식부의 세부 구성을 도시한 블록도,
도 6은 본 발명의 또 다른 일 실시예에 따른 카메라를 이용한 자율주행 지게차의 저장서버부의 세부구성을 도시한 블록도이다.
이하의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다.
오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도 1 내지 3은 본 발명의 일 실시예에 따른 카메라를 이용한 자율주행 지게차를 도시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 카메라를 이용한 자율주행 지게차를 개략적으로 도시한 블록도이며, 도 5는 본 발명의 일 실시예에 따른 카메라를 이용한 자율주행 지게차의 객체인식부의 세부 구성을 도시한 블록도이고, 도 6은 본 발명의 또 다른 일 실시예에 따른 카메라를 이용한 자율주행 지게차의 저장서버부의 세부구성을 도시한 블록도이다.
도 1 내지 도 6에 도시된 바와 같이, 본 발명인 카메라를 이용한 자율주행 지게차(10)는 크게, 카메라부(100)와, 센서부(200)와, 저장서버부(300)와, 통신부(400)와, 제어부(500)를 포함하는 구성이다.
먼저, 상기 자율주행 지게차(10)는 모터와 축결합된 이동바퀴가 구비되는 구동부(11)와, 상기 구동부(11)의 상부 수직방향으로 구비되는 마스트부(12)와, 상기 마스트부(12)의 전방에 설치되어 상기 마스트부(12)를 기준으로 수직방향으로 이동되며 수평방향으로 폭 조절이 가능한 포크부(13)를 포함하는 구성이다.
이러한, 상기 자율주행 지게차(10)는 상기 포크부(13)를 통해 적재물이 적재되는 위치와 적재물의 크기를 고려한 후 상기 포크부(13)를 조작하여 적재물을 들어 이동할 수 있다.
또한, 상기 자율주행 지게차(10)는 관리자가 수동으로 조작하거나, 이하 설명될 제어부(500)에 의해 자동으로 제어되어 조작될 수 있다.
상기 카메라부(100)는 상기 자율주행 지게차(10)의 일측에 설치되어 영상을 획득하는 구성이다.
이러한, 상기 카메라부(100)는, 적어도 하나 이상이 설치될 수 있는데, 상기 카메라부(100)는 상기 자율주행 지게차(10)의 정면의 상단, 중단, 하단 중 적어도 어느 하나의 위치에 설치될 수 있다.
이때, 상기 카메라부(100)는 상기 자율주행 지게차(10)의 이동반경 등에 따라 당업자에 의해 변경실시가 가능하다.
아울러, 상기 카메라부(100)는 이하 설명될 객체인식 알고리즘 회로가 내장된 다양한 형태의 IP 카메라, 네트워크 카메라, 웹캠, CCTV 등이 될 수 있으며, 카메라 형태는 고정형 카메라, 회전형 카메라, 돔형 카메라, 박스형 카메라, PTZ 카메라 등을 필요에 따라 변경하여 사용할 수 있으며, 더욱 바람직하게는 비젼장치(Vision apparatus)를 사용하여 정밀한 촬영을 수행할 수도 있다.
아울러, 상기 카메라부(100)에서는 도로의 노면과, 도로의 일측에 적재된 적재물, 도로 위의 장애물 등 주행과 물건을 적재하기 위해 필요한 영상을 촬영하는 것이 바람직하다.
또한, 상기 카메라부(100)는, 상기 사용자의 영상으로 부터 복수의 객체를 인식하는 객체인식부(110)를 더 포함할 수 있다.
상기 객체인식부(110)는 상기 카메라부(100)에서 획득된 상기 객체영상으로부터 복수의 객체(예 : 이동경로의 고르기, 비탈길, 언덕, 표지판, 적재물, 장애물 등)를 동시에 인식하고, 각 객체에 대한 객체 이미지를 제공받아 상기 카메라부(100)에 내장되는 데이터베이스(120)에 기저장된 객체별 등록 이미지와 비교하고 판단하여, 이하 설명될 저장서버부(300)에 제공할 수 있다.
이와 더불어, 상기 객체인식부(110)는 현재 상기 자율주행 지게차(10)의 현재 위치 좌표를 이하 설명될 제어부(500)로 전송하여 주행경로를 계산할 수도 있다.
한편, 상기 객체인식부(110)는 복수의 객체를 동시에 인식하기 위해 YOLO(You Only Look Once), SSD(Single Shot Multibox Detector)와 같은 객체 인식 알고리즘이 활용될 수 있다.
YOLO는 객체 인식을 회귀로 접근하여 전체 구조를 간소화함으로써, 훈련 및 검출 속도를 향상시킬 수 있는 알고리즘으로, 상기 카메라부(100)로부터 입력된 영상은 CNN(Convolutional Neural Network)을 거쳐 텐서(Tensor)형태로 출력된다. 이 텐서는 영상을 격자 형태로 나눠 각 구역을 표현하게 되며 이를 통해 해당 구역 객체를 인식한다.
또한, SSD는 후보 영역을 생성하기 위해 다양한 크기의 특징맵(feature map)을 이용하여 객체를 인식하는 알고리즘으로, CNN 모델로부터 얻은 특징맵은 합성곱 층이 진행됨에 따라 크기가 줄어들게 되며, SSD는 이 과정에서 추출된 모든 특징맵들을 추론 과정에 사용하여 객체를 인식하며, YOLO보다 정확하게 객체를 인식시킬 수 있다.
또한, 상기 카메라부(100)로 객체 인식시 객체 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Disciminant Analysis: LDA), 주성분 분석(Principal Component Analusis: PCA) 등의 알고리즘이 더 포함될 수도 있다.
특히 에이다부스트 알고리즘을 활용할 경우, 객체의 특징점을 분석하여 유사한 객체에 대하여 동일 객체로 인식시킬 수 있는데, 특징점의 개수가 증가할수록 유사 객체로부터 더욱 잘 구분하여 객체를 인식시킬 수 있으며, 유사 객체로는 장애물의 형태, 장애물의 크기, 장애물의 갯수 등이 될 수 있다.
이러한 알고리즘 기법들은 모두 외형에 기반하여 인식대상 영역을 식별하는 것으로, 트레이닝에 사용될 촬상 이미지들의 집합에 의해 트레이닝된 모델을 이용해서 장애물의 형태 또는 적재물의 형태 및 객체의 특징점 주위의 영역을 검출하며, 여러 주변의 제약 조건들이 트레이닝을 통해 극복되어지기 때문에, 결과적으로 장애물의 형태 또는 적재물의 형태 및 객체 특징점 인식 정확도와 신뢰도를 높일 수 있다.
또한, 상기 객체인식부(110)는, 상기 객체영상을 분석하기 전 보정을 통해 상기 객체영상을 전처리하는 전처리부(111)를 더 포함할 수 있다.
한편, 상기 전처리부(111)는 상기 카메라부(100)로 부터 획득한 상기 객체영상의 전처리를 수행할 수 있다. 이러한 상기 전처리부(111)는 상기 객체영상 데이터에서 적어도 하나 이상의 프레임을 추출한 후, 픽셀, 색감, 크기 등의 이미지 스케일 등을 조정할 수 있다.
여기서, 상기 카메라부(100)에서 촬영된 도로의 노면과, 도로의 일측에 적재된 적재물, 도로 위의 장애물 등 주행과 적재에 필요한 영상 등의 영상을 상기 전처리부(111)로 실시간으로 전송하거나 도로의 노면과, 도로의 일측에 적재된 적재물, 도로 위의 장애물 등 주행과 적재에 필요한 영상을 보정하는 동작 등을 Python 또는 OpenCV(Open source computer vision) 등의 프로그래밍 라이브러리 등을 통해 수행함으로서 상기 객체인식부(110)로 전송된 상기 객체영상을 정밀하게 인식할 수 있다.
이때, 상기 전처리부(111)는 확장자변환부(112)를 더 포함할 수 있는데, 상기 확장자변환부(112)는, 상기 카메라부(100)에서 촬영된 상기 객체영상을 상기 객체인식부(110) 또는 이하 설명될 저장서버부(300) 등에서 디스플레이될 수 있도록 확장자를 변환하는 과정을 거칠 수 있다.
예를 들어, 상기 확장자변환부(112)는 상기 카메라부(100)에서 촬영된 상기 객체영상을 mp4 등의 확장자로 변환한 뒤, 상기 객체인식부(110) 또는 이하 설명될 저장서버부(300)로 전송하게 되는 것이다.
상기 데이터베이스(120)는 상기 객체인식부(110)에서 객체 이미지에 대하여 인증된 동일 객체 여부를 판단하기 위해 복수의 객체별 등록 이미지를 저장한다.
또한, 상기 데이터베이스(120)는 특정 객체 즉, 도로의 노면과, 도로의 일측에 적재된 적재물, 도로 위의 장애물 등 주행과 적재에 필요한 영상(적재위치와 적재위치의 높이 등)에 대한 등록 이미지를 복수로 저장하여 상기 객체인식부(110)에서 딥 러닝, 머신 러닝 기반의 학습을 통하여 동일 객체의 인식율을 높일 수 있다.
상기 센서부(200)는, 상기 자율주행 지게차(10)의 일측에 설치되어 적재물 및 장애물을 감지하는 구성이다.
이때, 상기 센서부(200)는 상기 자율주행 지게차(10)의 주행환경에 따라 복수개 설치될 수 있고, 설치위치는 당업자에 의해 변경실시 가능하다.
이러한, 상기 센서부(200)는 적재물을 인식하고 이하 설명될 제어부(500)에 통신을 통해 상기 자율주행 지게차(10)의 모터 구동을 제어하여 이동시키거나 비상으로 정지 및 장애물 등을 회피하여 주행할 수 있고, 표지판의 인식 및 언덕길 등을 감지하여 주행할 수 있도록 통신하게 된다.
한편, 상기 센서부(200)는, 복수개 설치될 수 있으며, 적재물 및 장애물을 감지하기 위해 초음파센서, 적외선센서, 아두이노 적외선 PIR센서, 근접센서, 마그네틱 센서 등 사용자를 감지할 수 있는 센서일 수 있으며, 상기 근접센서는 전자유도를 이용하여 검출하는 고주파발진형센서 또는 자석을 이용하여 검출하는 자기형센서 또는 물체와 센서 사이의 정전용량의 변화를 검출하는 정전용량형 센서 중 어느 하나를 선택할 수 있으나 상기 근접센서에 국한되는 것이 아니라 필요에 따라 당업자에 의해 변경실시 가능함을 밝혀둔다.
아울러, 상기 센서부(200)는 적재물 및 장애물을 감지하게 되면, 이하 설명될 제어부(500)를 통해 상술된 상기 카메라부(100)를 작동시켜 영상을 획득할 수도 있다.
상기 저장서버부(300)는, 상기 카메라부(100)에서 획득된 상기 객체영상과, 상기 센서부(200)에서 감지된 적재물 및 장애물의 정보를 저장하는 구성이다.
이러한, 상기 저장서버부(300)는 클라우드 기반으로 복수의 상기 저장서버부(300)가 통신을 통하여 상기 카메라부(100)와 연계되어 복수의 서버에서 분산하여 객체 인식 및 적재물 및 장애물의 정보를 저장하는 기능을 신속하게 수행할 수 있다.
도 6에 도시된 바와 같이 상기 저장서버부(300)는 또 다른 일 실시예에 따라 객체인식부(310), 전처리부(311) 및 데이터베이스(320)를 더 포함할 수 있다.
상기 객체인식부(310), 상기 전처리부(311) 및 데이터베이스(320)는 앞서 상술된 일 실시예에 따른 상기 카메라부(100)에 내장된 각 구성과 동일한 기능을 수행할 수 있으므로 이하 설명은 생략한다.
상기 통신부(400)는, 상기 저장서버부(300)와 연동되어 객체영상과, 적재물 및 장애물의 정보를 유무선 통신하는 구성이다.
이와 더불어, 상기 통신부(400)는 자율주행 지게차(10)의 구동정보와, 객체영상, 적재물 및 장애물의 위치 정보 등을 관리자가 별도로 구비하는 디스플레이부(600)와 실시간으로 유무선 통신하여 관리자가 실시간으로 확인하여 적절한 대응을 수행할 수 있다.
이러한, 상기 통신부(400)는 무선통신 네트워크가 가능한 하나 이상의 통신모듈을 포함할 수 있으며, 상기 통신부(400)는 무선 통신 또는 근거리 통신 모듈 또는 위치정보 모듈 등을 포함할 수 있다.
예를 들어, 무선 통신 모듈은, 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 상기 자율주행 지게차(10) 또는 상기 자율주행 지게차(10)가 주행되는 주행위치의 일측 중 어느 하나의 위치에 내장 또는 외장되어 설치될 수 있다.
무선 인터넷 기술로는 WLAN(Wireless LAN), WiFi(Wireless Fidelity), Wibro(Wireless broadband), Wimax(World interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
또한, 근거리 통신 모듈은 근거리 통신을 위한 모듈을 말하는 것으로, 상기 자율주행 지게차(10) 또는 상기 자율주행 지게차(10)가 주행되는 주행위치의 일측 중 어느 하나의 위치에 내장 또는 외장되어 설치될 수 있다.
근거리 통신 기술로는 블루투스(Bluetooth), RFID(RadioFrequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), ZigBee, WiHD, WiGig 등이 이용될 수 있다.
상기 제어부(500)는, 상기 자율주행 지게차(10)의 주행(방향전환, 전진, 후진, 정지 등)과, 상기 통신부(400)로 부터 객체영상과, 적재물 및 장애물의 정보를 유무선 통신하고, 상기 카메라부(100)와, 상기 센서부(200)와, 상기 저장서버부(300)와, 상기 통신부(400)를 제어하는 구성이다.
이와 더불어, 상기 제어부(500)는 상기 객체인식부(110)와 통신을 통해 상기 자율주행 지게차(10)의 현재 위치 좌표를 확인하고 적재물을 적재하기 위한 주행경로를 계산하여 상기 자율주행 지게차(10)를 계산된 이동경로를 따라 이동하도록 제어할 수 있다.
이러한, 상기 제어부(500)는 라즈베리파이(Raspberry PI) 등의 제어서버를 통해 컨트롤될 수 있으며, 상기 제어부(500)는 복수개로 구성되어 상기 카메라부(100)와, 상기 센서부(200)와, 상기 저장서버부(300)와, 상기 통신부(400)를 각각 제어할 수도 있다.
또한, 상기 제어부(500)는 인공지능 알고리즘을 적용하여 제어할 수 있다.
더욱 상세하게는, 상기 센서부(200)는 머신러닝 알고리즘을 적용하여 오류데이터(적재물과 장애물의 위치나 형상, 크기 등)를 판단하고 오류상황 인식률을 높여 적재물과 장애물에 대한 인식률과 판단률을 높일 수 있다.
보다 구체적으로, 상기 머신러닝 알고리즘은 상기 센서부(200)로부터 입력되는 데이터들을 특정한 머신러닝 알고리즘을 적용하여 학습시킴으로써, 주변의 외란 등에 의해서 순간적으로 잘못 측정된 오류데이터를 분리할 수 있다. 이렇게 함으로써, 순간적인 외부의 노이즈 등에 강건한 형태의 데이터 처리가 가능하다.
일 실시예로는 상기 머신러닝 알고리즘은 상기 센서부(200)로부터 입력된 데이터가 정상인지 비정상인지를 학습하여 판단시키는 Binary Classification 방식이 적용될 수 있다. 또한 상술한 Binary Classification의 경우, 초기 학습에 많은 시간이 필요로하여, 초기에는 학습된 모델의 정확도 등이 높지 않은 단점이 있을 수 있고, 이러한 초기 학습에 관련된 Adaboost 알고리즘을 추가적으로 결합하여 사용함으로써, 상기 센서부(200)로 부터 수신되는 데이터의 순간적인 오류를 적절하게 처리할 수 있다.
또 다른 일 실시예로는 이러한 데이터의 분류를 위해 심층 신경망 방식 중 CNN( Convolutional Neural Network) 방식을 사용하여, 적재물과 장애물에 대한 인식 데이터와 판단 데이터를 복수개의 레이어로 학습화하는 것이 바람직하며, 특히 SVM(Supported Vector Machine)을 사용하여 적재물과 장애물을 인식, 구분 및 판단하는 것이 바람직하다.
특히, SVM의 경우, 상술된 상기 센서부(200)의 다양한 센서들을 통해 취득한 데이터를 벡터화하여, 상기 벡터에 대해서 학습을 시킴으로써, 적재물 인식시 생성되는 센서값의 패턴 벡터들과 장애물 인식시 생성되는 센서값의 패턴 벡터들을 효과적으로 구분하여 노이즈들을 효과적으로 제거할 수 있다.
따라서, 본 발명의 카메라를 이용한 자율주행 지게차에 따르면, 지게차의 자율주행을 통해 적재되어 있는 물건을 적재 또는 하역하여 사용자가 원하는 장소로 이동시키는 효과가 있다.
또한, 객체인식 알고리즘을 통해 적재물과 장애물을 정확히 인식할 수 있어 보다 정확한 자율주행을 수행하는 효과가 있다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
100 : 카메라부 110 : 객체인식부
120 : 심박분석부 130 : 전처리부
131 : 확장자변환부 140 : 데이터베이스
200 : 센서부 300 : 저장서버부
310 : 객체인식부 320 : 심박분석부
330 : 전처리부 340 : 데이터베이스
400 : 통신부 500 : 제어부

Claims (5)

  1. 자율주행 지게차의 일측에 설치되어 영상을 획득하는 카메라부;
    상기 자율주행 지게차의 일측에 설치되어 적재물 및 장애물을 감지하는 센서부;
    상기 카메라부에서 획득된 객체영상과, 상기 센서부에서 감지된 적재물 및 장애물의 정보를 저장하는 저장서버부;
    상기 저장서버부와 연동되어 객체영상과, 적재물 및 장애물의 정보를 유무선 통신하는 통신부;
    상기 자율주행 지게차와, 상기 통신부로 부터 객체영상과, 적재물 및 장애물의 정보를 유무선 통신하고, 상기 카메라부와, 상기 센서부와, 상기 저장서버부와, 상기 통신부를 제어하는 제어부;
    를 포함하되,
    상기 제어부는, 인공지능 알고리즘을 통해 제어되고,
    상기 인공지능 알고리즘은 상기 센서부에서 입력되는 데이터들을 머신러닝 알고리즘을 적용하여 학습시켜, 주변의 외란에 의한 오류데이터를 분리하는 것;
    상기 머신러닝 알고리즘에 이진 분류(Binary Classification) 및 에이다부스트(Adaboost)가 결합 사용되는 것;을 특징으로 하는 카메라를 이용한 자율주행 지게차.
  2. 청구항 1에 있어서,
    상기 카메라부는,
    객체영상으로 부터 복수의 객체를 인식하고, 인식된 객체 이미지를 획득하는 객체인식부를 더 포함하는 것을 특징으로 하는 카메라를 이용한 자율주행 지게차.
  3. 청구항 2에 있어서,
    상기 객체인식부는,
    SSD 알고리즘, YOLO 알고리즘 및 AdaBoost 알고리즘 중 적어도 어느 하나를 이용하여 객체의 인식을 수행하는 것을 특징으로 하는 카메라를 이용한 자율주행 지게차.
  4. 청구항 2에 있어서,
    상기 객체인식부는,
    인식된 객체 영상을 분석하기 전에, 인식된 객체 영상을 전처리하는 전처리부를 더 포함하는 것을 특징으로 하는 카메라를 이용한 자율주행 지게차.
  5. 청구항 1에 있어서,
    상기 통신부는,
    관리자가 구비하는 디스플레부와 실시간으로 통신하여 상기 자율주행 지게차의 운행정보와, 획득된 객체영상 및 장애물의 정보를 실시간으로 제공하는 것을 특징으로 하는 카메라를 이용한 자율주행 지게차.
KR1020200170518A 2020-12-08 2020-12-08 카메라를 이용한 자율주행 지게차 KR102425529B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200170518A KR102425529B1 (ko) 2020-12-08 2020-12-08 카메라를 이용한 자율주행 지게차

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200170518A KR102425529B1 (ko) 2020-12-08 2020-12-08 카메라를 이용한 자율주행 지게차

Publications (2)

Publication Number Publication Date
KR20220081070A KR20220081070A (ko) 2022-06-15
KR102425529B1 true KR102425529B1 (ko) 2022-07-25

Family

ID=81987475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200170518A KR102425529B1 (ko) 2020-12-08 2020-12-08 카메라를 이용한 자율주행 지게차

Country Status (1)

Country Link
KR (1) KR102425529B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102604325B1 (ko) * 2023-03-02 2023-11-24 주식회사 포비드림 전기자동차 화재를 효율적으로 진압·대응하는 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590004B1 (ko) * 2022-07-29 2023-10-16 주식회사 케이피씨전자 Ai를 이용한 지게차 포크 구동 제어 시스템
KR102549026B1 (ko) * 2022-07-29 2023-06-27 주식회사 케이피씨전자 Ai를 이용한 지게차용 팔레트 적재 제어 시스템
KR102530049B1 (ko) * 2022-07-29 2023-05-10 주식회사 케이피씨전자 Ai를 이용한 지게차 내비게이션시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4790864B2 (ja) 2007-06-28 2011-10-12 マイクロソフト コーポレーション センサの状況依存信頼性についての学習と推論
US10242273B1 (en) * 2018-05-30 2019-03-26 Lineage Logistics, LLC Tracking vehicles in a warehouse environment
KR102043143B1 (ko) * 2019-05-20 2019-11-11 호서대학교 산학협력단 인공신경망을 이용한 agv 주행제어 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0142118B1 (ko) 1995-04-27 1998-06-01 김광호 반도체 메모리 소자 제조방법
US6523855B2 (en) 1999-09-24 2003-02-25 Breed Automotive Technologies, Inc. Air bag, method of manufacture and system therefor
KR101710104B1 (ko) * 2014-11-14 2017-03-08 씨제이대한통운 (주) 지능형 무인 이/적재 시스템 및 이를 이용한 이/적재 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4790864B2 (ja) 2007-06-28 2011-10-12 マイクロソフト コーポレーション センサの状況依存信頼性についての学習と推論
US10242273B1 (en) * 2018-05-30 2019-03-26 Lineage Logistics, LLC Tracking vehicles in a warehouse environment
KR102043143B1 (ko) * 2019-05-20 2019-11-11 호서대학교 산학협력단 인공신경망을 이용한 agv 주행제어 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102604325B1 (ko) * 2023-03-02 2023-11-24 주식회사 포비드림 전기자동차 화재를 효율적으로 진압·대응하는 방법

Also Published As

Publication number Publication date
KR20220081070A (ko) 2022-06-15

Similar Documents

Publication Publication Date Title
KR102425529B1 (ko) 카메라를 이용한 자율주행 지게차
CA3101978C (en) Tracking vehicles in a warehouse environment
Kouris et al. Learning to fly by myself: A self-supervised cnn-based approach for autonomous navigation
JP7341652B2 (ja) 情報処理装置、情報処理方法、プログラム、およびシステム
KR102302239B1 (ko) 이동 제한 구역에서 카트로봇을 제어하는 방법 및 이를 구현하는 카트로봇
US11975955B2 (en) Autonomous material transport vehicles, and systems and methods of operating thereof
KR101319045B1 (ko) 무인 화물 이송로봇
WO2021109890A1 (zh) 具有追踪功能的自动驾驶系统
US11092968B2 (en) System and method for real-time supervised machine learning in on-site environment
JP2007199965A (ja) 自律移動装置
Palazzo et al. Domain adaptation for outdoor robot traversability estimation from RGB data with safety-preserving loss
WO2023109589A1 (zh) 一种智能车-无人机的协同感知系统及方法
US11635759B2 (en) Method of moving robot in administrator mode and robot of implementing method
KR102285625B1 (ko) 비접촉식 물건속성 인식장치 및 방법
US11537137B2 (en) Marker for space recognition, method of moving and lining up robot based on space recognition and robot of implementing thereof
AU2021246451B2 (en) Method, system and apparatus for data capture illumination control
KR102437266B1 (ko) 카메라부를 활용한 중장비의 자율주행 네비게이션 시스템
KR102324989B1 (ko) 이동체, 관리 서버 및 그 동작 방법
Raj et al. Appearance-based indoor navigation by IBVS using mutual information
US20230211987A1 (en) Pathfinding using centerline heuristics for an autonomous mobile robot
US20230161356A1 (en) Method of updating map in fusion slam and robot implementing same
KR20210042537A (ko) 대면적의 공간에서 로컬 영역별로 위치를 추정하는 방법 및 이를 구현하는 로봇과 클라우드 서버
CN113379761B (zh) 一种基于人工智能的多agv与自动门的联动方法与系统
Joo et al. A pallet recognition and rotation algorithm for autonomous logistics vehicle system of a distribution center
JP7501643B2 (ja) 移動体制御システム、制御装置、及び、移動体制御方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant