KR20230073804A - 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 - Google Patents
스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 Download PDFInfo
- Publication number
- KR20230073804A KR20230073804A KR1020210160565A KR20210160565A KR20230073804A KR 20230073804 A KR20230073804 A KR 20230073804A KR 1020210160565 A KR1020210160565 A KR 1020210160565A KR 20210160565 A KR20210160565 A KR 20210160565A KR 20230073804 A KR20230073804 A KR 20230073804A
- Authority
- KR
- South Korea
- Prior art keywords
- distance
- driving
- unmanned forklift
- stereo camera
- ultrasonic sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000013473 artificial intelligence Methods 0.000 claims description 37
- 238000005259 measurement Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/063—Automatically guided
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/07504—Accessories, e.g. for towing, charging, locking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
Landscapes
- Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Transportation (AREA)
- Geology (AREA)
- Mechanical Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Civil Engineering (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
Abstract
본 발명의 실시예에 따른 무인 지게차 주행 제어 장치는, 상기 무인 지게차의 전방의 객체에 대한 제1거리를 측정할 수 있는 스테레오 카메라; 상기 무인 지게차의 전방의 객체에 대한 제2거리를 측정할 수 있는 초음파 센서; 상기 스테레오 카메라를 이용하여 상기 제 1 거리를 측정하여 출력하는 제1거리 측정부; 상기 초음파 센서를 이용하여 상기 제 2 거리를 측정하여 출력하는 제2 거리 측정부; 상기 제1거리 및 제 2 거리와 임계치의 비교 결과에 기초하여 상기 스테레오 카메라 및 상기 초음파 센서의 센싱 동작을 스위칭하는 센서 스위칭부; 및 상기 제1거리 측정부 및 상기 제2거리 측정부로부터 수신한 거리값과 주행 정보에 기초하여 자율 주행을 수행하는 자율 주행 제어부를 포함한다.
Description
본 발명은 스테레오 카메라와 초음파 센서를 이용하여 무인 지게차의 주행을 제어하는 장치 및 그 방법에 관한 것이다.
구체적으로, 본 발명은 무인 지게차의 자율 주행/자율 작업과 관련하여 고가의 라이다 센서를 이용하지 않고, 상대적으로 저렴한 스테레오 카메라와 초음파 센서를 결합하여 영상 정보와 거리를 정보를 융합하고 이를 인공 지능 학습 처리를 통하여 구현하는 방법에 관한 것이다.
더욱 구체적으로는, 비교적 원거리에서 거리를 추정할 수 있는 스테레오 카메라를 이용하여 원거리에 대한 물체와 장애물을 추정하여 자율 주행을 제어하고, 보다 세밀한 이동에 대해서는 초음파 센서를 이용하여 자율 주행을 제어하는 장치 및 그 방법에 관한 것이다.
최근 자동차 분야에서 자율 주행에 대한 연구 개발이 활발하게 진행되고 있으며, 산업 분야에서는 대표적인 장비인 지게차에 대한 무인화 연구 및 상용화도 활발하게 진행되고 있다.
무인화 또는 자율 주행을 위해서는 주위의 객체의 존재나 거리를 감지/측정하기 위한 다양한 센서가 이용된다. 센서들은 신호 특성, 측정 가능 거리, 정밀도 등에 따라 각각의 장단점을 가진다.
특히 거리를 추정하는 센서로는 라이다, 레이더, 초음파 센서, 스테레오 카메라가 있으며, 각 센서들의 장점과 단점은 표 1에 식에 대해서 비교하였다.
| 비교 항목 | 라이다 | 레이더 | 초음파 센서 | 스테레오 카메라 |
| 측정 방식 | 광원의 시간 차이 |
전파의 시간 차이 |
음파의 시간 차이 |
영상의 각도 차이 |
| 정밀도 | 매우 높음 | 높음 | 매우 높음 | 보통 |
| 측정 거리 | 수십 m | 수십 m | 5m 이내 | 수십 m |
| 탐지 범위 | 360도 | 약 120도 | 60도 | 90도 |
| 가격 | 매우 높음 (수백만원대) |
높음 (수십만원대) |
낮음 (수만원대) |
중간 (수십만원대) |
| 주 응용 분야 | 자율 주행 자동차 |
자율 주행 자동차 |
자동차 후방 주차 |
자동차 전방 경고 시스템 |
표 1에서와 같이 각각의 센서들은 측정 거리, 정밀도, 탐지 범위가 상이하기 때문에 서로 조합되어 자동차나 운반 차량의 주행과 안전 관리에 이용된다.
특히, 자율 주행 자동차 및 무인 운반 차량의 개발에 있어서, 센서 상호간의 융합은 중요한 요소이다. 자동차 분야에서는 카메라와 레이더, 라이다 등의 센서를 융합하여 자율 주행 자동차 주행 중 나타나는 물체의 거리를 측정하고 판단한다.
한편, 무인 지게차의 자율 주행은 지게차를 중심으로 주변에 어떠한 물체가 있는지를 확인하고 위치와 거리를 고려하여 자율적으로 주행이 제어되어야 한다.
도 1은 초음파 센서와 스테레오 카메라를 도시한 도면이다.
도1(a)에 도시된 바와 같이, 초음파 센서는 초음파 트랜스듀서(10)가 발생한 초음파(20)가 표적(30)에 반사되면, 송수신 사이의 시간 경과를 측정하여 대상까지의 거리를 결정한다.
초음파 센서는 자동차 후방 주차 경고 시스템에 널리 이용되고 있으며, 스테레오 카메라보다 비교적 정밀한 거리 측정도 가능하고 가격도 저렴하지만, 탐지할 수 있는 거리가 초음파 센서에 따라2~4m 수준으로 짧다는 문제점이 있다.
한편 도1(b)에 도시된 스테레오 카메라(40)는 왼쪽 카메라(41)와 오른쪽 카메라(42)를 포함한다.
스테레오 카메라(40)는 일반적인 2개의 카메라를 이용하여 왼쪽 카메라 시야(4a)와 오른쪽 카메라 시야(4b)에서 발견할 수 있는 영역(a)와 영역(b)의 시차를 이용하여 거리를 측정하는 것이 가능하다.
하지만, 스테레오 카메라(40)는 초음파 센서보다 정확도가 떨어진다는 문제점을 가지고 있다.
다양한 방향으로 회전과 이동이 필요한 무인 지게차는 지게차 주변의 360도 확인을 위하여 라이다(LiDAR) 센서를 보편적으로 사용하고 있다.
라이다는 광원으로 빛을 송신하고, 반사체에 되돌아오는 광원을 수신하여 광원의 시간적인 차이를 이용하여 반사체에 대한 거리를 추정하는 방식이며, 360도 전방위에 대해서 반사체(물체 및 장애물 등)의 거리를 파악하는데 사용되고 있다. 라이다는 다른 거리 측정 방법보다 비교적 오차가 적다.
도 2는 라이다가 적용된 자율 주행 지게차를 도시한 도면이다.
도 2에 도시된 바와 같이, 무인 지게차 최상단에 설치된 라이다 센서(50)는 운행 중 거리 측정을 통해 장애물 인식에 활용하고, 자율주행의 실시간 상황 감시 및 대처가 가능하다.
한편, 라이다 센서의 가격은 약500만원에서 약1억원 사이의 분포를 보인다. 자율 주행 자동차에 적용하는 원통형 라이다 센서의 가격은 약 4천만원에서 1억원에 달한다. 라이다 센서를 이용하는 방식은 반사체에 대한 정밀한 위치를 측정할 수 있다는 장점이 있지만 가격적인 측면에서 볼 때 고가라는 문제점을 가지고 있다.
라이다 센서를 저렴하게 구현하고자 하는 연구가 진행되고 있으나 근본적으로 라이다 센서는 광원을 송신하고, 수신하여 처리하는 과정에서 매우 정밀한 신호 처리가 요구되므로 제품의 가격을 인하하는데 한계가 있다.
또한, 라이다 센서는 30m 이내 근접해 있는 물체를 식별할 때는 성능이 떨어지는 문제점, 비와 안개의 영향을 받아 빛이 굴절되면 제대로 작동되지 않는 문제점도 가지고 있다.
라이다 센서를 적용한 무인 지게차의 문제점은 라이다 센서가 거리는 측정할 수 있으나, 물체의 종류는 파악할 수 없다는 점이다. 이로 인하여 라이다 센서를 이용한 무인 지게차의 경우 물류 창고에서 고정된 위치에 항상 위치하고 있는 랙이나 선반을 장애물로 인식하여 속도를 감속하거나 정지하는 문제가 발생한다.
물류 창고의 경우 랙이나 선반의 위치가 변경되는 경우가 빈번하게 발생하는데, 라이다를 이용한 무인 지게차의 경우는 랙이나 선반의 위치 변경에 따라 주행 패턴을 다시 입력하여야 하는 문제가 발생하고 있다.
이와 같이, 라이다를 이용하는 방식이 고가라는 문제점으로 인하여, 이에 대한 대안으로 다른 수단을 이용하는 방식에 대해서 연구가 진행되고 있다.
그 일례로, 대한민국 특허공개 정보 (10-2016-0106440 / 등록번호 10-1666638) 에 언급된 “PWM 신호를 이용한 무인 지게차 장치”에서는 스마트폰의 블루투스를 이용하여 무인 지게차를 조종하는 방식이 있다.
이 방식은 PWM 신호를 이용한 무인 지게차 장치에 관한 것으로서, 더욱 상세하게는 공사장이나 물류업체에서 지게차가 물체를 들어올린 상태에서 운반할 경우에 시야를 가려 인명사고가 발생하는데 이를 개선하고자 블루투스 통신을 이용하여 스마트폰으로 조종할 수 있는 PWM 신호를 이용한 무인 지게차 장치에 관한 것이다.
그러나, PWM신호를 이용한 무인 지게차 장치는 블루투스 통신 규격을 이용한다는 점에서 라이다 센서를 적용한 무인 지게차에 비해서 저렴하게 구현될 수 있다는 장점이 있으나, 블루투스는 2.4GHz 주파수 대역을 이용하고 있으므로, 물류창고와 같은 실내에서는 같은 주파수 대역을 이용하는 다수 장치의 영향으로 전파 방해를 받을 수 있다는 문제점이 있어 상용화에는 어려움이 있다.
또 다른 일례로, 일본 공개 특허공고 특개 2020-033165호(2020.03.05. 공개)에 게재된 스테레오 카메라와 장애물 센서를 이용하여 포크리프트용 원격 조작 시스템이 있다. 이 방식은 스테레오 카메라와 장애물 센서를 이용하여 포크리프트(지게차) 주변의 물체의 영상과 거리를 탐지하여 원격 조작에 활용하는 것이 주된 목적이다.
그러나, 장애물 감지에 이용되는 레이저는 사물의 정확한 형체까지 인식하지는 못한다. 사물 간 거리, 속도, 방향 등을 예측만 가능하다.
따라서, 고가의 라이더를 이용하지 않으면서도 센서간의 융합을 통하여 적응적으로 거리 추정을 수행하고 이를 자율 주행에 반영하는 센서 융합 시스템과 상기 센서 융합의 데이터로부터 학습된 인공 지능 솔루션이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는 고가의 라이다 센서를 사용하지 않고 지게차 작업 환경에 적합한 자율 주행 무인 지게차 주행 제어 장치 및 방법을 제공하는 것이다.
또한, 본 발명은 센서 융합 데이터를 이용하여 효율적인 자율 주행 수행 및 인공 지능 학습과 활용을 제공하는 것을 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 무인 지게차 제어 장치는, 상기 무인 지게차의 전방의 객체에 대한 제1거리를 측정할 수 있는 스테레오 카메라; 상기 무인 지게차의 전방의 객체에 대한 제2거리를 측정할 수 있는 초음파 센서; 상기 스테레오 카메라를 이용하여 상기 제 1 거리를 측정하여 출력하는 제1거리 측정부; 상기 초음파 센서를 이용하여 상기 제 2 거리를 측정하여 출력하는 제2 거리 측정부; 상기 제1거리 및 제 2 거리와 임계치의 비교 결과에 기초하여 상기 스테레오 카메라 및 상기 초음파 센서의 센싱 동작을 스위칭하는 센서 스위칭부; 및 상기 제1거리 측정부 및 상기 제2거리 측정부로부터 수신한 거리값과 주행 정보에 기초하여 자율 주행을 수행하는 자율 주행 제어부를 포함한다.
또한, 상기 무인 지게차 제어 장치는, 상기 자율 주행 제어부가 참조가능한 인공 지능 모델을 저장하는 인공 지능 모델 저장부를 더 포함하고, 상기 인공 지능 모델은, 상기 제 1 거리 측정부와 상기 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑하고, 각각의 주행 경로에 대해 촬영된 영상과 측정된 거리가 결합된 데이터 세트를 생성 및 저장하며, 주행 정보와 상기 저장된 데이터 세트를 매칭하고, 상기 주행 정보와 데이터 세트를 입력으로 하여 학습을 수행할 수 있다.
여기서, 상기 센서 스위칭부는 상기 제 1거리가 제1임계치이 이하인 경우에는 상기 스테레오 카메라로부터 상기 초음파 센서로 센싱 동작을 스위칭할 수 있다.
또한, 상기 센서 스위칭부는 상기 제 2거리가 제1임계치이 이상인 경우에는 상기 초음파 센서로부터 상기 스테레오 카메라로 센싱 동작을 스위칭할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 무인 지게차의 주행을 제어하는 방법은,
무인 지게차 동작 개시하는 단계; 목표 지점 정보 수신하는 단계; 스테레오 카메라와 연결된 제 1 거리 측정부가 제1 거리를 측정하는 단계; 상기 제1거리 측정에 기초하여 무인 지게차를 주행시키는 단계; 상기 측정된 제1거리가 제1임계치 이하인지 판별하고, 상기 제1거리가 제1임계치 이하인 경우에는 제2거리 측정부와 연결된 초음파 센서로 센싱 동작을 스위칭하는 단계; 및 상기 제2거리 측정부가 측정한 제2거리에 기초하여 무인 지게차의 동작을 정지시키는 단계를 포함한다.
상기 무인 지게차 주행 제어 방법은, 상기 무인 지게차의 주행에 참조가능한 인공 지능 모델을 학습시키는 단계를 더 포함하고, 상기 인공 지능 모델 학습 단계는, 상기 제 1 거리 측정부와 상기 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑하는 단계; 상기 데이터가 매핑된 주행 경로에 대해 데이터 세트를 생성하는 단계; 상기 데이터 세트와 주행 정보를 매칭하는 단계; 및 상기 매칭 결과에 기초하여 인공 지능 모델을 학습하는 단계를 포함할 수 있다.
또한, 상기 무인 지게차 주행 제어 방법은, 상기 제1거리가 제1임계치 이하인 경우에는 상기 무인 지게차를 감속 시키는 단계를 더 포함할 수 있다.
또한, 상기 무인 지게차 주행 제어 방법은, 기존에 학습된 주행 패턴인지 판별하는 단계; 및 기존에 학습된 주행 패턴으로 판별되면, 상기 인공 지능 모델을 참조하여 자율 주행 수행하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 라이다 센서를 사용하지 않고 비용이 높지 않은 스테레오 카메라와 초음파 센서를 융합하여 무인 지게차 자율 주행 제어를 수행할 수 있다
또한, 본 발명은 스테레오 카메라와 초음파 센서의 융합 데이터를 이용하여 획득한 무인 지게차의 주행 정보와 데이터 세트를 입력으로 무인 지게차의 인공 지능 모델을 학습할 수 있다.
또한, 본 발명은 스테레오 카메라와 초음파 센서를 이용하여 획득된 무인 지게차의 인공 지능 모델을 참조하여 자율 주행을 더욱 정밀하게 수행할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 초음파 센서와 스테레오 카메라를 도시한 도면이다.
도 2는 라이다가 적용된 자율 주행 지게차를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 무인 지게차의 스테레오 카메라 및 초음파 센서의 배치 및 측정 영역을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 무인 지게차 제어 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 실시예에 따른 무인 지게차 주행 제어 방법을 도시한 흐름도이다.
도 6은 본 발명의 실시예에 따른 무인 지게차 인공 지능 모델 학습 방법을 도시한 흐름도이다.
도 2는 라이다가 적용된 자율 주행 지게차를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 무인 지게차의 스테레오 카메라 및 초음파 센서의 배치 및 측정 영역을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 무인 지게차 제어 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 실시예에 따른 무인 지게차 주행 제어 방법을 도시한 흐름도이다.
도 6은 본 발명의 실시예에 따른 무인 지게차 인공 지능 모델 학습 방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서, "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예컨대 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예컨대 모듈은ASIC(application-specific integrated circuit)으로 구성될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 무인 지게차의 스테레오 카메라 및 초음파 센서의 배치 및 측정 영역을 도시한 도면이다.
도 3에 도시된 바와 같이, 무인 지게차에 포함된 무인 지게차 주행 제어 장치는 스테레오 카메라(110) 및 다수의 초음파 센서(120)을 포함한다.
스테레오 카메라(110)는 무인 지게차의 전방을 향해 배치되어 있으며, 전방의 객체에 대한 거리를 측정한다. 스테레오 카메라(110)은 무인 지게차와 상대적으로 먼거리에 위치한 객체(A)를 측정하는데 이용된다.
초음파 센서(120)은 무인 지게차의 전방/후방/좌측/우측에 위치하여 각각의 방향의 객체에 대한 거리를 측정할 수 있다. 초음파 센서(120)는 스테레오 카메라(110) 보다 근거리의 사물과 사람의 거리를 측정할 수 있다.
더욱 구체적으로 스테레오 카메라(110)는 전방의 위치한 객체의 거리를 측정할 수 있지만, 자율 주행을 제어하는 요소는 충분히 먼 거리에 있는 객체(A)의 제1거리 값이며, 무인 지게차에 근접한 객체(B)의 거리값인 제2거리 값은 초음파 센서(120)에서 측정한 값을 활용하게 된다.
즉, 스테레오 카메라(110)이 측정한 객체(A)의 제1거리값은 충돌의 위험이 적고 더 넓은 측정 범위를 가질 수 있기 때문에 안전한 상태에서의 주행 또는 주위 환경 및 물체의 식별(예를 들어, 랙이나 선반 등)에 관한 데이터를 수집하는데 이용될 수 있다.
한편, 초음파 센서(120)는 무인 지게차에 인접하거나 갑자기 접근하는 객체(B)의 존재 및 거리를 정밀하게 측정하여 정밀한 제어가 요구되는 제어 또는 돌발 환경에 관한 데이터를 수집하는데 이용될 수 있다.
이와 같이, 본 발명의 실시예에 따른 무인 지게차 주행 제어 장치는 측정 거리, 범위, 정밀도가 상이한 복수의 센서들의 융합 데이터를 더 효율적인 주행 및 인공 지능 모델을 학습시킬 수 있다.
도 4는 본 발명의 실시예에 따른 무인 지게차 제어 장치의 구성을 도시한 블록도이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 무인 지게차 주행 제어 장치(100)는, 스테레오 카메라(110), 초음파 센서(120), 제 1 거리 측정부(130), 제2 거리 측정부(140), 센서 스위칭부(150), 자율 주행 제어부(160) 및 인공 지능 모델 저장부(170)를 포함한다.
스테레오 카메라(110)는 무인 지게차 전방의 거리를 측정하기 위한 센서로서, 제 1 거리 측정부(130)에 제1거리 측정을 위한 영상 및 시차 데이터를 전송한다. 도 3에서 도시된 바와 같이, 스테레오 카메라(110)는 무인 지게차의 전방 영역을 촬영하며 촬영된 객체의 거리를 측정할 수 있다.
초음파 센서(120)는 무인 지게차의 전방/후방/좌측/우측의 거리를 측정하기 위한 센서로서, 제 2 거리 측정부(140)에 제2거리 측정을 측정을 위한 반사파 시간 정보를 전송한다. 초음파 센서(120)은 전방/후방/좌측/우측에 배치되어 근거리의 물체의 거리를 측정할 수 있지만, 본 발명의 실시예에서는 전방에 배치된 초음파 센서(120)의 동작을 위주로 설명하도록 한다.
제 1 거리 측정부(130)는 스테레오 카메라(110)로부터 획득한 영상을 이용하여 제1거리를 측정한 값을 출력한다. 제1거리는 스테레오 카메라(110)로 촬영되었기 때문에 넓은 범위의 복수의 객체를 대상으로 측정된 값일 수 있다. 또한 제 1거리값은 스테레오 카메라(110)가 지원하는 정밀도와 오차를 포함할 수 있다.
제 2 거리 측정부(140)는 초음파 센서(120)로부터 획득한 반사파 정보로부터 제2거리를 측정한 값을 출력한다. 제2거리는 초음파 센서(120)의 측정 거리 한계 내에서만 측정 가능하기 때문에 평소의 주행 상태에서는 측정을 수행하지 않을 수 있다. 본 발명의 실시예에서는 제1 거리 측정부(130)가 측정한 제1거리값이 임계치 이하가 되는 경우에는 비로소 제2거리 측정부(140)가 활성화 되어 제2거리가 측정될 수 있다.
센서 스위칭부(150)는 제 1 거리 측정부(130)가 측정한 제1거리 또는 제 2 거리 측정부(140)가 측정한 제 2 거리의 값에 기초하여 스테레오 카메라(110) 및 초음파 센서(120)의 센싱 동작을 스위칭하거나, 자율 주행 제어부(160)에서 이용할 거리값을 스위칭하게 된다.
구체적으로 센서 스위칭부(150)는 상기 제1거리가 미리 정해진 임계치보다 이하인 경우에는 초음파 센서(120)을 동작시켜 제2거리를 측정하고, 측정된 제2거리값을 자율 주행 제어부(160)로 전달한다.
반대로, 센서 스위칭부(150)는 측정된 제2거리값이 임계치보다 커지는 경우에는 스테레오 카메라(110)을 동작시켜 제1거리가 측정된 제1거리값을 자율 주행부(160)로 전달한다.
자율 주행 제어부(160)는 제1거리 측정부(130) 및 제2거리 측정부(140)로부터 수신한 거리값에 기초하여 자율 주행 및 센서 스위칭부(150)의 동작을 제어한다.
또한, 자율 주행 제어부(160)는 인공 지능 모델 저장부(170)의 인공 지능 모델을 참조하여 무인 지게차의 자율 주행을 더욱 정밀하게 제어한다.
또한, 자율 주행 제어부(160)는 제 1 거리 측정부(130)와 제 2 거리 측정부(140)에서 수신한 측정 거리와 영상을 인공 지능 모델 저장부(170)에 저장된 인공 지능 모델의 학습 및 검증에 활용할 수 있도록 할 수 있다.
이하, 도 5를 참조하여 본 발명의 실시예에 따른 자율 주행 제어부(160)의 무인 지게차 제어 방법을 상세히 설명한다.
도 5는 본 발명의 실시예에 따른 무인 지게차 제어 방법을 도시한 흐름도이다.
우선, 전원을 인가하면 무인 지게차는 무인 지게차 동작 개시(S101)로 진입하고, 목표 지점 정보 수신을 수행할 준비를 마친다.
다음으로, 사용자가 송신한 목표 지점 정보를 수신한다(S102). 목표 지점은 통상적으로 학습된 제한된 작업 영역 내에서 특정 좌표로 식별될 수 있다. 작업 영역은 2차원 또는 3차원의 맵으로 구성될수 있으며, 목표 지점은 해당 맵 내의 좌표 또는 특정 영역에 위치된 랙이나 선반과 같은 구조물로 특정될 수 있다.
목표 지점이 지정되고, 주행이 개시되면 최초로 스테레오 카메라가 동작되며 제 1 거리 측정부가 상기 스테레오 카메라를 통해 제1거리를 측정한다(S103). 제1거리 측정부는 상대적으로 넓은 범위와 먼 거리의 객체의 제1거리를 측정한다. 이 때 제 1거리값은 스테레오 카메라가 제공하는 정밀도와 오차를 갖는다.
제1거리 측정부를 통한 거리 측정이 지속될 수 있음이 확인되면, 단계(S104)에서 무인 지게차는 목표 지점을 향한 주행을 진행하게 된다.
그 후, 무인 지게차와 목표 지점 거리가 제 1 임계치 이내인지 판별한다(S105). 여기서 제 1 임계치는 스테레오 카메라의 정밀도보다 더 높은 정밀도의 측정이 필요한 거리 또는 위험 상태에 진입할 수 있는 절대 거리가 될 수 있다. 예를 들어, 4m로 지정될 수 있다.
만약, 무인 지게차와 목표 지점 거리가 제 1 임계치 이내이면 무인 지게차 감속 운전을 개시한다(S106).
이 때, 센서 스위칭부는 제 2 거리 측정부와 연결된 센서로 스위칭한다(S107). 이 때 센서 스위칭부는 스테레오 카메라로부터 초음파 센서로 센싱 동작을 스위칭하고 제2거리 측정부가 거리 측정을 수행한다. (S108).
다음으로, 무인 지게차와 목표 지점 거리가 제 2 임계치 이내인지 판별한다(S109). 여기서 제2임계치는 제2거리 측정부에서 측정한 거리값으로서 초음파 센서가 지원하는 정밀도와 오차를 가지는 값이다.
무인 지게차와 목표 지점 거리가 제 2 임계치 이내이면 목표 지점까지 도달한 것으로 판단하고 무인 지게차의 동작을 정지한다(S110).
한편, 제1거리 측정부 및 제2거리 측정부가 측정한 거리값 및 이에 기초한 자율 주행 이력은 인공 지능 모델을 구축할 수 있고 이를 학습 및 검증할 수 있다.
초기 및 반복적으로 수행된 거리값의 측정값과 주행 이력은 주행 패턴을 학습할 수 있고, 통상 한정된 작업 영역에서 반복적인 작업을 수행하는 무인 지게차의 주행 제어의 효율성을 제공한다.
이하, 도 6을 참조하여 본 발명의 실시예에 따른 무인 지게차 인공 지능 모델 학습 방법을 설명한다.
도 6은 본 발명의 실시예에 따른 무인 지게차 인공 지능 모델 학습 방법을 도시한 흐름도이다.
우선, 스테레오 카메라가 연결된 제 1 거리 측정부와 초음파 센서가 연결된 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑한다(S200).
데이터를 매핑하는 과정은 스테레오 카메라를 통해 측정한 거리, 촬영된 영상과 초음파 센서에서 측정한 거리를 결합하여, 일체화 시키는 과정을 의미한다. 작업 영역내에는 다수의 주행 경로가 존재할 수 있으며 각각의 주행 경로에 대해 촬영된 영상과 측정된 거리가 결합되면 다수의 데이터 세트가 생성될 수 있다. 인공 지능 학습에서 데이터 셋은 가장 중요한 요소이며, 다수의 데이터 세트를 확보하여 판단의 오류를 최소화할 수 있다.
단계(S210)에서는 다양한 주행 경로에 대해 영상 및 거리 정보가 매핑된 데이터 세트를 저장한다.
단계(S220)은 주행 정보와 저장된 데이터 세트를 매칭한다. 주행 경로는 이론상 무한대로 생성될 수 있지만, 실질적으로 한정된 작업 영역에서 반복적인 작업의 수행은 한정된 패턴의 주행 정보를 만들어 낼 수 있으며, 이는 미리 저장된 데이터 세트와 매칭될 수 있다. 즉, 목표 지점으로의 주행 정보는 이미 수집된 데이터 세트를 이용하여 학습된 패턴의 일부와 높은 상관도를 가질 수 있다.
단계(S230)에서는 주행 정보와 데이터 세트를 입력으로 하여 인공 지능 모델 학습을 수행한다. 전술한 바와 같이, 목표 지점으로의 주행 정보와 상관도가 높은 데이터 세트가 존재하며, 학습된 인공 지능 모델은 해당 데이터 세트에 포함된 주행 중 촬영된 영상과 제1거리 및 제2거리를 출력할 수 있다.
스테레오 카메라에 의해 촬영된 영상은 랙이나 선반 등 비교적 위험성이 낮거나 정형적인 구조물인지에 대한 정보를 인공 지능 모델의 학습에 제공할 수 있다.
인공 지능 모델의 학습이 이뤄지고, 목표 지점으로 자율 주행이 개시되면 자율 주행 제어부는 해당 주행 정보가 기존에 학습된 주행 패턴인지 판별한다(S240).
만약, 기존에 학습된 주행 패턴일 경우 인공 지능 모델을 참조하여 자율 주행을 수행한다(S250). 즉, 자율 주행중의 제1거리 측정부와 제2거리 측정부의 측정값을 최적 시점의 스위칭을 인공 지능 모델을 기반하여 수행할 수 있다. 아울러, 촬영된 영상에 대해 랙이나 선반인지 다른 지게차인지 또는 작업자인지를 식별하여 이에 적합한 자율 주행 제어를 수행할 수 있다.
상기와 같은 구성 및 제어 동작을 통하여 라이다에 비해 상대적으로 저렴한 스테레오 카메라 및 초음파 센서를 이용하여 무인 지게차의 자율 주행을 제어함으로서 저가의 무인 지게차를 구현하는 효과를 제공하게 된다.
전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용가능한 것일 수 있다. 컴퓨터 판독 가능한 기록매체는, 하드디스크, 플로피디스크, 자기테이프 등의 자기기록 매체, CD-ROM, DVD 등의 광기록 매체, 플롭티컬디스크 등의 자기-광 매체, ROM, RAM, 플래시 메모리 등과 같이, 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어를 포함한다. 프로그램 명령은, 컴파일러에 의해 만들어지는 기계어 코드, 인터프리터를 사용하여 컴퓨터에서 실행될 수 있는 고급언어 코드를 포함한다. 하드웨어는 본 발명에 따른 방법을 처리하기 위하여 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있고, 그 역도 마찬가지이다.
본 발명의 실시예에 따른 방법은 프로그램 명령 형태로 전자장치에서 실행될 수 있다. 전자장치는 스마트폰이나 스마트패드 등의 휴대용 통신 장치, 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 가전 장치를 포함한다.
본 발명의 실시예에 따른 방법은 컴퓨터 프로그램 제품에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 기록매체의 형태로, 또는 어플리케이션 스토어를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 발명의 실시예에 따른 구성요소, 예컨대 모듈 또는 프로그램 각각은 단수 또는 복수의 서브 구성요소로 구성될 수 있으며, 이러한 서브 구성요소들 중 일부 서브 구성요소가 생략되거나, 또는 다른 서브 구성요소가 더 포함될 수 있다. 일부 구성요소들(모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 본 발명의 실시예에 따른 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 초음파 트랜스듀서
20 : 초음파
30 : 표적 40 : 스테레오 카메라
41 : 왼쪽 카메라 42 : 오른쪽 카메라
a : 스테레오 카메라 시야의 특정 영역
b : 스테레오 카메라 시야의 특정 영역
4a : 왼쪽 카메라 시야 4b : 오른쪽 카메라 시야
50 : 라이다 센서 100 : 무인 지게차 주행 제어 창치
110 : 스테레오 카메라 120 : 초음파 센서
130 : 제 1 거리 측정부 140 : 제 2 거리 측정부
150 : 센서 스위칭부 160 : 자율주행 제어부
170 : 인공지능 모델 저장부
30 : 표적 40 : 스테레오 카메라
41 : 왼쪽 카메라 42 : 오른쪽 카메라
a : 스테레오 카메라 시야의 특정 영역
b : 스테레오 카메라 시야의 특정 영역
4a : 왼쪽 카메라 시야 4b : 오른쪽 카메라 시야
50 : 라이다 센서 100 : 무인 지게차 주행 제어 창치
110 : 스테레오 카메라 120 : 초음파 센서
130 : 제 1 거리 측정부 140 : 제 2 거리 측정부
150 : 센서 스위칭부 160 : 자율주행 제어부
170 : 인공지능 모델 저장부
Claims (8)
- 무인 지게차 주행 제어 장치에 있어서,
상기 무인 지게차의 전방의 객체에 대한 제1거리를 측정할 수 있는 스테레오 카메라;
상기 무인 지게차의 전방의 객체에 대한 제2거리를 측정할 수 있는 초음파 센서;
상기 스테레오 카메라를 이용하여 상기 제 1 거리를 측정하여 출력하는 제1거리 측정부;
상기 초음파 센서를 이용하여 상기 제 2 거리를 측정하여 출력하는 제2 거리 측정부;
상기 제1거리 및 제 2 거리와 임계치의 비교 결과에 기초하여 상기 스테레오 카메라 및 상기 초음파 센서의 센싱 동작을 스위칭하는 센서 스위칭부; 및
상기 제1거리 측정부 및 상기 제2거리 측정부로부터 수신한 거리값과 주행 정보에 기초하여 자율 주행을 수행하는 자율 주행 제어부;
를 포함하는 무인 지게차 주행 제어 장치. - 제1항에 있어서,
상기 자율 주행 제어부가 참조가능한 인공 지능 모델을 저장하는 인공 지능 모델 저장부를 더 포함하고,
상기 인공 지능 모델은,
상기 제 1 거리 측정부와 상기 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑하고, 각각의 주행 경로에 대해 촬영된 영상과 측정된 거리가 결합된 데이터 세트를 생성 및 저장하며,
주행 정보와 상기 저장된 데이터 세트를 매칭하고, 상기 주행 정보와 데이터 세트를 입력으로 하여 학습을 수행하는 것인 무인 지게차 주행 제어 장치. - 제1항에 있어서,
상기 센서 스위칭부는 상기 제 1거리가 제1임계치이 이하인 경우에는 상기 스테레오 카메라로부터 상기 초음파 센서로 센싱 동작을 스위칭하는 것인 무인 지게차 주행 제어 장치. - 제1항에 있어서,
상기 센서 스위칭부는 상기 제 2거리가 제1임계치이 이상인 경우에는 상기 초음파 센서로부터 상기 스테레오 카메라로 센싱 동작을 스위칭하는 것인 무인 지게차 주행 제어 장치. - 무인 지게차 제어 장치가 무인 지게차의 주행을 제어하는 방법에 있어서:
무인 지게차 동작 개시하는 단계;
목표 지점 정보 수신하는 단계;
스테레오 카메라와 연결된 제 1 거리 측정부가 제1 거리를 측정하는 단계;
상기 제1거리 측정에 기초하여 무인 지게차를 주행시키는 단계;
상기 측정된 제1거리가 제1임계치 이하인지 판별하고, 상기 제1거리가 제1임계치 이하인 경우에는 제2거리 측정부와 연결된 초음파 센서로 센싱 동작을 스위칭하는 단계; 및
상기 제2거리 측정부가 측정한 제2거리에 기초하여 무인 지게차의 동작을 정지시키는 단계
를 포함하는 무인 지게차 주행 제어 방법. - 제 5 항에 있어서,
상기 무인 지게차의 주행에 참조가능한 인공 지능 모델을 학습시키는 단계를 더 포함하고,
상기 인공 지능 모델 학습 단계는,
상기 제 1 거리 측정부와 상기 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑하는 단계;
상기 데이터가 매핑된 주행 경로에 대해 데이터 세트를 생성하는 단계;
상기 데이터 세트와 주행 정보를 매칭하는 단계; 및
상기 매칭 결과에 기초하여 인공 지능 모델을 학습하는 단계
를 포함하는 것인 무인 지게차 제어 방법. - 제6항에 있어서,
상기 제1거리가 제1임계치 이하인 경우에는 상기 무인 지게차를 감속 시키는 단계를 더 포함하는 무인 지게차 제어 방법. - 제 6 항에 있어서,
기존에 학습된 주행 패턴인지 판별하는 단계; 및
기존에 학습된 주행 패턴으로 판별되면, 상기 인공 지능 모델을 참조하여 자율 주행 수행하는 단계를 더 포함하는 무인 지게차 주행 제어 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210160565A KR20230073804A (ko) | 2021-11-19 | 2021-11-19 | 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 |
| PCT/KR2022/013853 WO2023090609A1 (ko) | 2021-11-19 | 2022-09-16 | 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210160565A KR20230073804A (ko) | 2021-11-19 | 2021-11-19 | 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230073804A true KR20230073804A (ko) | 2023-05-26 |
Family
ID=86397289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210160565A KR20230073804A (ko) | 2021-11-19 | 2021-11-19 | 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230073804A (ko) |
| WO (1) | WO2023090609A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102651998B1 (ko) | 2023-11-28 | 2024-03-27 | (주)동양중공업지게차 | 물류 관리 시스템과의 연동을 기반으로 한 자율주행 무인 지게차의 제어 방법, 장치 및 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160106440A (ko) | 2015-03-02 | 2016-09-12 | 한남대학교 산학협력단 | Pwm 신호를 이용한 무인 지게차 장치 |
| KR20200033165A (ko) | 2018-09-18 | 2020-03-27 | 삼성디스플레이 주식회사 | 주파수 감지 회로 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101628503B1 (ko) * | 2014-10-27 | 2016-06-08 | 현대자동차주식회사 | 운전자 보조장치 및 그 작동 방법 |
| JP7103077B2 (ja) * | 2018-08-31 | 2022-07-20 | 株式会社豊田自動織機 | フォークリフト用遠隔操作システム |
| JP7127597B2 (ja) * | 2019-03-29 | 2022-08-30 | 株式会社豊田自動織機 | 監視装置 |
| KR20210057886A (ko) * | 2019-11-12 | 2021-05-24 | 엘지전자 주식회사 | 차량 충돌 방지 장치 및 그 방법 |
| CN110884487A (zh) * | 2019-12-16 | 2020-03-17 | 清友(苏州)汽车技术有限公司 | 一种车辆识别障碍物的人工智能装置 |
-
2021
- 2021-11-19 KR KR1020210160565A patent/KR20230073804A/ko not_active Application Discontinuation
-
2022
- 2022-09-16 WO PCT/KR2022/013853 patent/WO2023090609A1/ko unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160106440A (ko) | 2015-03-02 | 2016-09-12 | 한남대학교 산학협력단 | Pwm 신호를 이용한 무인 지게차 장치 |
| KR20200033165A (ko) | 2018-09-18 | 2020-03-27 | 삼성디스플레이 주식회사 | 주파수 감지 회로 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102651998B1 (ko) | 2023-11-28 | 2024-03-27 | (주)동양중공업지게차 | 물류 관리 시스템과의 연동을 기반으로 한 자율주행 무인 지게차의 제어 방법, 장치 및 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023090609A1 (ko) | 2023-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3812793B1 (en) | Information processing method, system and equipment, and computer storage medium | |
| CN109738198B (zh) | 车辆环境感知能力的检测方法、装置、设备及存储介质 | |
| JPH07116981A (ja) | 移動ロボットの誘導装置 | |
| US20100076599A1 (en) | Manually driven determination of a region of interest (roi) or a path of interest (poi) for a robotic device | |
| US11493930B2 (en) | Determining changes in marker setups for robot localization | |
| CN110850859B (zh) | 一种机器人及其避障方法和避障系统 | |
| CN109154662A (zh) | 使用负映射的定位 | |
| EP3324210B1 (en) | Self-calibrating sensor system for a wheeled vehicle | |
| JP7274970B2 (ja) | 追従対象特定システム及び追従対象特定方法 | |
| US11769267B2 (en) | Object distance measurement apparatus and method | |
| WO2021254376A1 (zh) | 运送机器人的控制方法、装置、运送机器人和存储介质 | |
| CN111309012A (zh) | 机器人及其移动控制方法和装置 | |
| JP2020530119A (ja) | 自動車の周囲領域をモニタリングするための方法、センサ制御装置、ドライバー支援システム、及び自動車 | |
| CN111516777A (zh) | 一种机器人小车及其障碍物识别方法 | |
| US20220035029A1 (en) | Method for evaluating an effect of an object in the surroundings of a transport device on a driving maneuver of the transport device | |
| KR20230073804A (ko) | 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 | |
| KR101270895B1 (ko) | 주차 제어 방법 및 시스템 | |
| CN110888135B (zh) | 目标识别的方法、装置以及存储介质和车辆 | |
| US11846726B2 (en) | Method and device for identifying objects detected by a LiDAR device | |
| JP4745159B2 (ja) | 移動ロボット | |
| Aman et al. | A sensor fusion methodology for obstacle avoidance robot | |
| EP4204352A1 (en) | Safety device for self-propelled industrial vehicles | |
| CN112826377A (zh) | 扫地机的回充对准方法、装置及扫地机 | |
| CN112339760A (zh) | 车辆行驶控制方法、控制装置、车辆和可读存储介质 | |
| US20240111057A1 (en) | Systems and methods for detecting water along driving routes and adjusting vehicle speed |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |