WO2023090609A1 - 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 - Google Patents

스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 Download PDF

Info

Publication number
WO2023090609A1
WO2023090609A1 PCT/KR2022/013853 KR2022013853W WO2023090609A1 WO 2023090609 A1 WO2023090609 A1 WO 2023090609A1 KR 2022013853 W KR2022013853 W KR 2022013853W WO 2023090609 A1 WO2023090609 A1 WO 2023090609A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
unmanned forklift
driving
stereo camera
ultrasonic sensor
Prior art date
Application number
PCT/KR2022/013853
Other languages
English (en)
French (fr)
Inventor
김용진
김창우
Original Assignee
현대엠시스템즈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠시스템즈 주식회사 filed Critical 현대엠시스템즈 주식회사
Publication of WO2023090609A1 publication Critical patent/WO2023090609A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/063—Automatically guided
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/07504—Accessories, e.g. for towing, charging, locking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to an apparatus and method for controlling driving of an unmanned forklift using a stereo camera and an ultrasonic sensor.
  • the present invention combines image information and distance information by combining a relatively inexpensive stereo camera and an ultrasonic sensor without using an expensive lidar sensor in relation to autonomous driving/autonomous operation of an unmanned forklift, and artificial intelligence It relates to a method of implementation through learning processing.
  • an apparatus for controlling autonomous driving by estimating objects and obstacles over a long distance using a stereo camera capable of estimating a distance from a relatively long distance, and controlling autonomous driving using an ultrasonic sensor for more detailed movement and its method.
  • sensors For unmanned or autonomous driving, various sensors for detecting/measuring the presence or distance of surrounding objects are used. Sensors each have strengths and weaknesses depending on signal characteristics, measurable distance, and accuracy.
  • sensors for estimating distance include lidar, radar, ultrasonic sensors, and stereo cameras, and the advantages and disadvantages of each sensor are compared with the equation in Table 1.
  • each sensor since each sensor has a different measurement distance, precision, and detection range, it is combined with each other and used for driving and safety management of a car or transport vehicle.
  • sensors such as cameras, radars, and lidars are converged to measure and determine the distance of objects appearing while driving an autonomous vehicle.
  • autonomous driving of an unmanned forklift should check what kind of object is around the forklift and autonomously control the driving in consideration of the location and distance.
  • 1 is a diagram illustrating an ultrasonic sensor and a stereo camera.
  • the ultrasonic sensor determines the distance to the target by measuring the time elapsed between transmission and reception. .
  • Ultrasonic sensors are widely used in automotive rear parking warning systems, and can measure distances more precisely than stereo cameras and are inexpensive, but have a problem in that the detectable distance is as short as 2 to 4 m depending on the ultrasonic sensor.
  • the stereo camera 40 shown in FIG. 1(b) includes a left camera 41 and a right camera 42.
  • the stereo camera 40 measures the distance using the parallax of the area (a) and area (b) that can be found in the left camera field of view 4a and the right camera field of view 4b using two general cameras. possible.
  • the stereo camera 40 has a problem in that accuracy is lower than that of the ultrasonic sensor.
  • Unmanned forklifts that require rotation and movement in various directions commonly use LiDAR sensors to check 360 degrees around the forklift.
  • LIDAR is a method of estimating the distance to a reflector by using the time difference of the light source by transmitting light to the light source and receiving the light source returning to the reflector, and the distance of the reflector (objects and obstacles, etc.) in all 360 degrees. is being used to understand Lidar is relatively less error-prone than other distance measurement methods.
  • FIG. 2 is a diagram illustrating an autonomous forklift to which lidar is applied.
  • the lidar sensor 50 installed at the top of the unmanned forklift is used for obstacle recognition through distance measurement during operation, and real-time situation monitoring and response in autonomous driving is possible.
  • the price of the lidar sensor shows a distribution between about 5 million won and about 100 million won.
  • the price of cylindrical lidar sensors applied to self-driving cars ranges from about 40 million won to 100 million won.
  • the method using the lidar sensor has the advantage of being able to measure the precise position of the reflector, but has the problem of being expensive in terms of price.
  • lidar sensors At low cost, but fundamentally, lidar sensors require very precise signal processing in the process of transmitting, receiving, and processing light sources, so there is a limit to reducing the price of the product.
  • the LIDAR sensor has a problem of poor performance when identifying an object that is close to within 30 m, and a problem that it does not work properly when light is refracted under the influence of rain and fog.
  • the problem of the unmanned forklift to which the lidar sensor is applied is that the lidar sensor can measure the distance, but cannot determine the type of object.
  • a rack or shelf always located in a fixed position in a distribution warehouse is recognized as an obstacle, and the speed is reduced or stopped.
  • This method relates to an unmanned forklift device using a PWM signal, and more specifically, when a forklift lifts an object and transports it at a construction site or a logistics company, human accidents occur due to obstruction of vision. To improve this, Bluetooth communication is used. It relates to an unmanned forklift device using a PWM signal that can be controlled by a smartphone.
  • the unmanned forklift device using the PWM signal has the advantage that it can be implemented at a lower cost than the unmanned forklift to which the LIDAR sensor is applied in that it uses the Bluetooth communication standard, but since Bluetooth uses the 2.4GHz frequency band, it is There is a problem that it may be subject to radio wave interference due to the influence of multiple devices using the same frequency band in an indoor environment, making commercialization difficult.
  • a remote control system for a forklift using a stereo camera and an obstacle sensor disclosed in Japanese Unexamined Patent Publication No. 2020-033165 (published on March 5, 2020).
  • the main purpose of this method is to use a stereo camera and an obstacle sensor to detect the image and distance of an object around a forklift (forklift) and use it for remote control.
  • the laser used for obstacle detection cannot recognize the exact shape of an object. It can only predict the distance, speed, and direction between objects.
  • a technical problem to be achieved by the present invention is to provide a driving control apparatus and method for an autonomous unmanned forklift suitable for a forklift working environment without using an expensive lidar sensor.
  • an object of the present invention is to provide efficient self-driving performance and artificial intelligence learning and utilization using sensor fusion data.
  • an unmanned forklift control apparatus includes a stereo camera capable of measuring a first distance to an object in front of the unmanned forklift; an ultrasonic sensor capable of measuring a second distance to an object in front of the unmanned forklift; a first distance measurer which measures and outputs the first distance using the stereo camera; a second distance measurement unit measuring and outputting the second distance using the ultrasonic sensor; a sensor switching unit which switches sensing operations of the stereo camera and the ultrasonic sensor based on a comparison result between the first distance and the second distance and a threshold value; and an autonomous driving control unit performing autonomous driving based on the distance values and driving information received from the first distance measuring unit and the second distance measuring unit.
  • the unmanned forklift control device further includes an artificial intelligence model storage unit for storing an artificial intelligence model that can be referenced by the autonomous driving control unit, and the artificial intelligence model includes the first distance measurement unit and the second distance measurement unit Mapping data with data of a driving route, generating and storing a data set combining captured images and measured distances for each driving route, matching driving information with the stored data set, and matching the driving information and data Learning can be performed with sets as input.
  • an artificial intelligence model storage unit for storing an artificial intelligence model that can be referenced by the autonomous driving control unit
  • the artificial intelligence model includes the first distance measurement unit and the second distance measurement unit Mapping data with data of a driving route, generating and storing a data set combining captured images and measured distances for each driving route, matching driving information with the stored data set, and matching the driving information and data Learning can be performed with sets as input.
  • the sensor switching unit may switch a sensing operation from the stereo camera to the ultrasonic sensor when the first distance is less than or equal to a first threshold value.
  • the sensor switching unit may switch a sensing operation from the ultrasonic sensor to the stereo camera when the second distance is greater than or equal to a first threshold value.
  • Initiating an unmanned forklift operation Receiving target point information; measuring a first distance by a first distance measurer connected to the stereo camera; driving the unmanned forklift based on the first distance measurement; determining whether the measured first distance is less than or equal to a first threshold, and switching a sensing operation with an ultrasonic sensor connected to a second distance measuring unit when the first distance is less than or equal to a first threshold; and stopping the operation of the unmanned forklift based on the second distance measured by the second distance measurer.
  • the unmanned forklift driving control method further includes learning an artificial intelligence model that can be referred to driving of the unmanned forklift, and the artificial intelligence model learning step includes data of the first distance measurement unit and the second distance measurement unit Mapping with the data of the driving route; generating a data set for a driving route to which the data is mapped; matching the data set with driving information; and learning an artificial intelligence model based on the matching result.
  • the unmanned forklift driving control method may further include decelerating the unmanned forklift when the first distance is equal to or less than a first threshold.
  • the unmanned forklift driving control method may include determining whether the driving pattern has been previously learned; and performing autonomous driving by referring to the artificial intelligence model when the previously learned driving pattern is determined.
  • the present invention can learn an artificial intelligence model of an unmanned forklift by inputting driving information and a data set of the unmanned forklift acquired using fusion data of a stereo camera and an ultrasonic sensor.
  • the present invention may perform autonomous driving more precisely by referring to an artificial intelligence model of an unmanned forklift acquired using a stereo camera and an ultrasonic sensor.
  • 1 is a diagram illustrating an ultrasonic sensor and a stereo camera.
  • FIG. 2 is a diagram illustrating an autonomous forklift to which lidar is applied.
  • FIG. 3 is a diagram illustrating the arrangement and measurement area of a stereo camera and an ultrasonic sensor of an unmanned forklift according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing the configuration of an unmanned forklift control device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an unmanned forklift driving control method according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method for learning an artificial intelligence model for an unmanned forklift according to an embodiment of the present invention.
  • a “module” includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • a module can be an integral part or a minimal unit or part thereof that performs one or more functions.
  • the module may be composed of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 3 is a diagram illustrating the arrangement and measurement area of a stereo camera and an ultrasonic sensor of an unmanned forklift according to an embodiment of the present invention.
  • the unmanned forklift driving control device included in the unmanned forklift includes a stereo camera 110 and a plurality of ultrasonic sensors 120 .
  • the stereo camera 110 is disposed toward the front of the unmanned forklift and measures a distance to a front object.
  • the stereo camera 110 is used to measure an object A located at a relatively long distance from the unmanned forklift.
  • the ultrasonic sensor 120 may be located on the front/rear/left/right side of the unmanned forklift to measure distances to objects in each direction.
  • the ultrasonic sensor 120 may measure a distance between an object and a person at a shorter distance than the stereo camera 110 .
  • the stereo camera 110 may measure the distance of the object located in front, but the factor controlling autonomous driving is the first distance value of the object A at a sufficiently far distance, and the object close to the unmanned forklift ( The value measured by the ultrasonic sensor 120 is used as the second distance value, which is the distance value of B).
  • the first distance value of the object A measured by the stereo camera 110 has less risk of collision and can have a wider measurement range, driving in a safe state or identification of the surrounding environment and object (for example, , racks or shelves, etc.) can be used to collect data.
  • the ultrasonic sensor 120 may be used to precisely measure the existence and distance of an object B adjacent to or suddenly approaching the unmanned forklift, thereby collecting data on a controlled or unexpected environment requiring precise control.
  • the unmanned forklift driving control apparatus can learn more efficient driving and artificial intelligence models using fusion data of a plurality of sensors having different measurement distances, ranges, and precisions.
  • FIG. 4 is a block diagram showing the configuration of an unmanned forklift control device according to an embodiment of the present invention.
  • the unmanned forklift driving control apparatus 100 includes a stereo camera 110, an ultrasonic sensor 120, a first distance measurement unit 130, and a second distance measurement unit. It includes a unit 140, a sensor switching unit 150, an autonomous driving control unit 160, and an artificial intelligence model storage unit 170.
  • the stereo camera 110 is a sensor for measuring the distance in front of the unmanned forklift, and transmits an image and parallax data for the first distance measurement to the first distance measuring unit 130 . As shown in FIG. 3 , the stereo camera 110 may capture a front area of the unmanned forklift and measure the distance of the captured object.
  • the ultrasonic sensor 120 is a sensor for measuring distances on the front/rear/left/right sides of the unmanned forklift, and transmits reflected wave time information for measuring the second distance to the second distance measurer 140.
  • the ultrasonic sensors 120 are disposed on the front/rear/left/right side to measure the distance of a short-distance object, in the embodiment of the present invention, the operation of the ultrasonic sensor 120 disposed on the front will be mainly described.
  • the first distance measurer 130 outputs a value obtained by measuring the first distance using an image obtained from the stereo camera 110 . Since the first distance is captured by the stereo camera 110, it may be a value measured for a plurality of objects in a wide range. Also, the first distance value may include precision and error supported by the stereo camera 110 .
  • the second distance measurer 140 outputs a value obtained by measuring the second distance from reflected wave information obtained from the ultrasonic sensor 120 . Since the second distance can be measured only within the measurement distance limit of the ultrasonic sensor 120, the measurement may not be performed in a normal driving state. In the embodiment of the present invention, when the first distance value measured by the first distance measurement unit 130 is less than or equal to the threshold value, the second distance measurement unit 140 is activated and the second distance can be measured.
  • the sensor switching unit 150 controls the stereo camera 110 and the ultrasonic sensor ( The sensing operation of 120) is switched, or the distance value to be used by the autonomous driving control unit 160 is switched.
  • the sensor switching unit 150 operates the ultrasonic sensor 120 to measure a second distance, and transmits the measured second distance value to the autonomous driving control unit 160.
  • the sensor switching unit 150 operates the stereo camera 110 and transmits the first distance value obtained by measuring the first distance to the autonomous driving unit 160 .
  • the autonomous driving control unit 160 controls autonomous driving and the operation of the sensor switching unit 150 based on the distance values received from the first distance measuring unit 130 and the second distance measuring unit 140 .
  • the self-driving control unit 160 refers to the artificial intelligence model of the artificial intelligence model storage unit 170 to control autonomous driving of the unmanned forklift more precisely.
  • the autonomous driving control unit 160 uses the measured distances and images received from the first distance measurement unit 130 and the second distance measurement unit 140 to learn and perform artificial intelligence models stored in the artificial intelligence model storage unit 170. It can be used for verification.
  • FIG. 5 is a flowchart illustrating an unmanned forklift control method according to an embodiment of the present invention.
  • the unmanned forklift starts operation of the unmanned forklift (S101), and prepares to receive target point information.
  • target point information transmitted by the user is received (S102).
  • the target point can be identified by specific coordinates within a conventionally learned limited working area.
  • the work area may be composed of a 2D or 3D map, and the target point may be specified by coordinates in the map or a structure such as a rack or shelf located in a specific area.
  • a stereo camera When a target point is designated and driving starts, a stereo camera is operated for the first time and a first distance measurer measures a first distance through the stereo camera (S103).
  • the first distance measurer measures a first distance of an object in a relatively wide range and a long distance. At this time, the first distance value has precision and error provided by the stereo camera.
  • the unmanned forklift proceeds to travel toward the target point in step S104.
  • the first threshold may be a distance requiring measurement with higher precision than that of a stereo camera or an absolute distance capable of entering a dangerous state. For example, it may be specified as 4m.
  • the unmanned forklift starts decelerating operation (S106).
  • the sensor switching unit switches to a sensor connected to the second distance measuring unit (S107). At this time, the sensor switching unit switches the sensing operation from the stereo camera to the ultrasonic sensor, and the second distance measuring unit performs distance measurement. (S108).
  • the second threshold is a distance value measured by the second distance measurer, and is a value having precision and error supported by the ultrasonic sensor.
  • the distance values measured by the first distance measuring unit and the second distance measuring unit and the autonomous driving history based thereon can build an artificial intelligence model and learn and verify it.
  • the initially and repeatedly measured distance value and driving history can learn a driving pattern and provide efficiency in driving control of an unmanned forklift that performs repetitive tasks in a limited working area.
  • FIG. 6 is a flowchart illustrating a method for learning an artificial intelligence model for an unmanned forklift according to an embodiment of the present invention.
  • the data of the first distance measuring unit connected to the stereo camera and the second distance measuring unit connected to the ultrasonic sensor are mapped to data of the driving route (S200).
  • the process of mapping data means a process of combining and integrating the distance measured through a stereo camera, the photographed image, and the distance measured by an ultrasonic sensor.
  • a plurality of driving routes may exist in the work area, and a plurality of data sets may be generated by combining images captured and measured distances for each driving route. Data sets are the most important factor in artificial intelligence learning, and errors in judgment can be minimized by securing multiple data sets.
  • step S210 a data set in which images and distance information are mapped for various driving routes is stored.
  • Step S220 matches the driving information with the stored data set.
  • Driving routes can theoretically be created infinitely, but in practice, performing repetitive tasks in a limited work area can create a limited pattern of driving information, which can be matched with a pre-stored data set. That is, the driving information to the target point may have a high correlation with a part of the pattern learned using the already collected data set.
  • step S230 artificial intelligence model learning is performed using the driving information and the data set as inputs.
  • the learned artificial intelligence model is capable of outputting the first distance and the second distance from the video captured while driving included in the data set.
  • An image captured by a stereo camera can provide information on whether a structure is relatively low-risk or a standard structure, such as a rack or shelf, for learning of an artificial intelligence model.
  • the autonomous driving control unit determines whether the corresponding driving information is a previously learned driving pattern (S240).
  • autonomous driving is performed by referring to an artificial intelligence model (S250). That is, the measurement values of the first distance measuring unit and the second distance measuring unit during autonomous driving may be switched at an optimal time based on an artificial intelligence model.
  • autonomous driving control suitable for the captured image by identifying whether it is a rack or a shelf, another forklift, or a worker.
  • the autonomous driving of the unmanned forklift is controlled using a relatively inexpensive stereo camera and an ultrasonic sensor compared to LIDAR, thereby providing an effect of implementing a low-cost unmanned forklift.
  • a computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on a computer-readable recording medium may be specially designed and configured for the embodiment of the present invention, or may be known and usable to those skilled in the art in the field of computer software.
  • Computer-readable recording media include magnetic recording media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, ROMs, RAMs, and flash memories.
  • Program instructions include machine language codes generated by a compiler and high-level language codes that can be executed on a computer using an interpreter.
  • the hardware may be configured to act as one or more software modules to process the method according to the present invention and vice versa.
  • the method according to an embodiment of the present invention may be executed in an electronic device in the form of program instructions.
  • Electronic devices include portable communication devices such as smart phones and smart pads, computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, and home appliances.
  • a method according to an embodiment of the present invention may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a machine-readable recording medium or online through an application store. In the case of online distribution, at least a part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • Each component for example, a module or program, according to an embodiment of the present invention may be composed of one or more sub-components, and some of these sub-components may be omitted or other sub-components may be added.
  • Some components may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. Operations performed by modules, programs, or other components according to embodiments of the present invention are executed sequentially, in parallel, iteratively, or heuristically, or at least some operations are executed in a different order, are omitted, or other operations are added. It can be.
  • the unmanned forklift driving control apparatus and driving method may perform autonomous driving control of the unmanned forklift by integrating an inexpensive stereo camera and an ultrasonic sensor without using a lidar sensor. That is, autonomous driving can be more precisely performed in various conditions and industrial sites by referring to the artificial intelligence model of the unmanned forklift acquired using a stereo camera and an ultrasonic sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)

Abstract

본 발명의 실시예에 따른 무인 지게차 주행 제어 장치는, 상기 무인 지게차의 전방의 객체에 대한 제1거리를 측정할 수 있는 스테레오 카메라; 상기 무인 지게차의 전방의 객체에 대한 제2거리를 측정할 수 있는 초음파 센서; 상기 스테레오 카메라를 이용하여 상기 제 1 거리를 측정하여 출력하는 제1거리 측정부; 상기 초음파 센서를 이용하여 상기 제 2 거리를 측정하여 출력하는 제2 거리 측정부; 상기 제1거리 및 제 2 거리와 임계치의 비교 결과에 기초하여 상기 스테레오 카메라 및 상기 초음파 센서의 센싱 동작을 스위칭하는 센서 스위칭부; 및 상기 제1거리 측정부 및 상기 제2거리 측정부로부터 수신한 거리값과 주행 정보에 기초하여 자율 주행을 수행하는 자율 주행 제어부를 포함한다.

Description

스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법
본 발명은 스테레오 카메라와 초음파 센서를 이용하여 무인 지게차의 주행을 제어하는 장치 및 그 방법에 관한 것이다.
구체적으로, 본 발명은 무인 지게차의 자율 주행/자율 작업과 관련하여 고가의 라이다 센서를 이용하지 않고, 상대적으로 저렴한 스테레오 카메라와 초음파 센서를 결합하여 영상 정보와 거리를 정보를 융합하고 이를 인공 지능 학습 처리를 통하여 구현하는 방법에 관한 것이다.
더욱 구체적으로는, 비교적 원거리에서 거리를 추정할 수 있는 스테레오 카메라를 이용하여 원거리에 대한 물체와 장애물을 추정하여 자율 주행을 제어하고, 보다 세밀한 이동에 대해서는 초음파 센서를 이용하여 자율 주행을 제어하는 장치 및 그 방법에 관한 것이다.
최근 자동차 분야에서 자율 주행에 대한 연구 개발이 활발하게 진행되고 있으며, 산업 분야에서는 대표적인 장비인 지게차에 대한 무인화 연구 및 상용화도 활발하게 진행되고 있다.
무인화 또는 자율 주행을 위해서는 주위의 객체의 존재나 거리를 감지/측정하기 위한 다양한 센서가 이용된다. 센서들은 신호 특성, 측정 가능 거리, 정밀도 등에 따라 각각의 장단점을 가진다.
특히 거리를 추정하는 센서로는 라이다, 레이더, 초음파 센서, 스테레오 카메라가 있으며, 각 센서들의 장점과 단점은 표 1에 식에 대해서 비교하였다.
비교 항목 라이다 레이더 초음파 센서 스테레오 카메라
측정 방식 광원의
시간 차이		 전파의
시간 차이		 음파의
시간 차이		 영상의
각도 차이
정밀도 매우 높음 높음 매우 높음 보통
측정 거리 수십 m 수십 m 5m 이내 수십 m
탐지 범위 360도 약 120도 60도 90도
가격 매우 높음
(수백만원대)		 높음
(수십만원대)		 낮음
(수만원대)		 중간
(수십만원대)
주 응용 분야 자율 주행
자동차		 자율 주행
자동차		 자동차
후방 주차		 자동차 전방
경고 시스템
표 1에서와 같이 각각의 센서들은 측정 거리, 정밀도, 탐지 범위가 상이하기 때문에 서로 조합되어 자동차나 운반 차량의 주행과 안전 관리에 이용된다.
특히, 자율 주행 자동차 및 무인 운반 차량의 개발에 있어서, 센서 상호간의 융합은 중요한 요소이다. 자동차 분야에서는 카메라와 레이더, 라이다 등의 센서를 융합하여 자율 주행 자동차 주행 중 나타나는 물체의 거리를 측정하고 판단한다.
한편, 무인 지게차의 자율 주행은 지게차를 중심으로 주변에 어떠한 물체가 있는지를 확인하고 위치와 거리를 고려하여 자율적으로 주행이 제어되어야 한다.
도 1은 초음파 센서와 스테레오 카메라를 도시한 도면이다.
도1(a)에 도시된 바와 같이, 초음파 센서는 초음파 트랜스듀서(10)가 발생한 초음파(20)가 표적(30)에 반사되면, 송수신 사이의 시간 경과를 측정하여 대상까지의 거리를 결정한다.
초음파 센서는 자동차 후방 주차 경고 시스템에 널리 이용되고 있으며, 스테레오 카메라보다 비교적 정밀한 거리 측정도 가능하고 가격도 저렴하지만, 탐지할 수 있는 거리가 초음파 센서에 따라2~4m 수준으로 짧다는 문제점이 있다.
한편 도1(b)에 도시된 스테레오 카메라(40)는 왼쪽 카메라(41)와 오른쪽 카메라(42)를 포함한다.
스테레오 카메라(40)는 일반적인 2개의 카메라를 이용하여 왼쪽 카메라 시야(4a)와 오른쪽 카메라 시야(4b)에서 발견할 수 있는 영역(a)와 영역(b)의 시차를 이용하여 거리를 측정하는 것이 가능하다.
하지만, 스테레오 카메라(40)는 초음파 센서보다 정확도가 떨어진다는 문제점을 가지고 있다.
다양한 방향으로 회전과 이동이 필요한 무인 지게차는 지게차 주변의 360도 확인을 위하여 라이다(LiDAR) 센서를 보편적으로 사용하고 있다.
라이다는 광원으로 빛을 송신하고, 반사체에 되돌아오는 광원을 수신하여 광원의 시간적인 차이를 이용하여 반사체에 대한 거리를 추정하는 방식이며, 360도 전방위에 대해서 반사체(물체 및 장애물 등)의 거리를 파악하는데 사용되고 있다. 라이다는 다른 거리 측정 방법보다 비교적 오차가 적다.
도 2는 라이다가 적용된 자율 주행 지게차를 도시한 도면이다.
도 2에 도시된 바와 같이, 무인 지게차 최상단에 설치된 라이다 센서(50)는 운행 중 거리 측정을 통해 장애물 인식에 활용하고, 자율주행의 실시간 상황 감시 및 대처가 가능하다.
한편, 라이다 센서의 가격은 약500만원에서 약1억원 사이의 분포를 보인다. 자율 주행 자동차에 적용하는 원통형 라이다 센서의 가격은 약 4천만원에서 1억원에 달한다. 라이다 센서를 이용하는 방식은 반사체에 대한 정밀한 위치를 측정할 수 있다는 장점이 있지만 가격적인 측면에서 볼 때 고가라는 문제점을 가지고 있다.
라이다 센서를 저렴하게 구현하고자 하는 연구가 진행되고 있으나 근본적으로 라이다 센서는 광원을 송신하고, 수신하여 처리하는 과정에서 매우 정밀한 신호 처리가 요구되므로 제품의 가격을 인하하는데 한계가 있다.
또한, 라이다 센서는 30m 이내 근접해 있는 물체를 식별할 때는 성능이 떨어지는 문제점, 비와 안개의 영향을 받아 빛이 굴절되면 제대로 작동되지 않는 문제점도 가지고 있다.
라이다 센서를 적용한 무인 지게차의 문제점은 라이다 센서가 거리는 측정할 수 있으나, 물체의 종류는 파악할 수 없다는 점이다. 이로 인하여 라이다 센서를 이용한 무인 지게차의 경우 물류 창고에서 고정된 위치에 항상 위치하고 있는 랙이나 선반을 장애물로 인식하여 속도를 감속하거나 정지하는 문제가 발생한다.
물류 창고의 경우 랙이나 선반의 위치가 변경되는 경우가 빈번하게 발생하는데, 라이다를 이용한 무인 지게차의 경우는 랙이나 선반의 위치 변경에 따라 주행 패턴을 다시 입력하여야 하는 문제가 발생하고 있다.
이와 같이, 라이다를 이용하는 방식이 고가라는 문제점으로 인하여, 이에 대한 대안으로 다른 수단을 이용하는 방식에 대해서 연구가 진행되고 있다.
그 일례로, 대한민국 특허공개 정보 (10-2016-0106440 / 등록번호 10-1666638) 에 언급된 “PWM 신호를 이용한 무인 지게차 장치”에서는 스마트폰의 블루투스를 이용하여 무인 지게차를 조종하는 방식이 있다.
이 방식은 PWM 신호를 이용한 무인 지게차 장치에 관한 것으로서, 더욱 상세하게는 공사장이나 물류업체에서 지게차가 물체를 들어올린 상태에서 운반할 경우에 시야를 가려 인명사고가 발생하는데 이를 개선하고자 블루투스 통신을 이용하여 스마트폰으로 조종할 수 있는 PWM 신호를 이용한 무인 지게차 장치에 관한 것이다.
그러나, PWM신호를 이용한 무인 지게차 장치는 블루투스 통신 규격을 이용한다는 점에서 라이다 센서를 적용한 무인 지게차에 비해서 저렴하게 구현될 수 있다는 장점이 있으나, 블루투스는 2.4GHz 주파수 대역을 이용하고 있으므로, 물류창고와 같은 실내에서는 같은 주파수 대역을 이용하는 다수 장치의 영향으로 전파 방해를 받을 수 있다는 문제점이 있어 상용화에는 어려움이 있다.
또 다른 일례로, 일본 공개 특허공고 특개 2020-033165호(2020.03.05. 공개)에 게재된 스테레오 카메라와 장애물 센서를 이용하여 포크리프트용 원격 조작 시스템이 있다. 이 방식은 스테레오 카메라와 장애물 센서를 이용하여 포크리프트(지게차) 주변의 물체의 영상과 거리를 탐지하여 원격 조작에 활용하는 것이 주된 목적이다.
그러나, 장애물 감지에 이용되는 레이저는 사물의 정확한 형체까지 인식하지는 못한다. 사물 간 거리, 속도, 방향 등을 예측만 가능하다.
따라서, 고가의 라이더를 이용하지 않으면서도 센서간의 융합을 통하여 적응적으로 거리 추정을 수행하고 이를 자율 주행에 반영하는 센서 융합 시스템과 상기 센서 융합의 데이터로부터 학습된 인공 지능 솔루션이 필요한 실정이다.
본 발명이 이루고자 하는 기술적 과제는 고가의 라이다 센서를 사용하지 않고 지게차 작업 환경에 적합한 자율 주행 무인 지게차 주행 제어 장치 및 방법을 제공하는 것이다.
또한, 본 발명은 센서 융합 데이터를 이용하여 효율적인 자율 주행 수행 및 인공 지능 학습과 활용을 제공하는 것을 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 무인 지게차 제어 장치는, 상기 무인 지게차의 전방의 객체에 대한 제1거리를 측정할 수 있는 스테레오 카메라; 상기 무인 지게차의 전방의 객체에 대한 제2거리를 측정할 수 있는 초음파 센서; 상기 스테레오 카메라를 이용하여 상기 제 1 거리를 측정하여 출력하는 제1거리 측정부; 상기 초음파 센서를 이용하여 상기 제 2 거리를 측정하여 출력하는 제2 거리 측정부; 상기 제1거리 및 제 2 거리와 임계치의 비교 결과에 기초하여 상기 스테레오 카메라 및 상기 초음파 센서의 센싱 동작을 스위칭하는 센서 스위칭부; 및 상기 제1거리 측정부 및 상기 제2거리 측정부로부터 수신한 거리값과 주행 정보에 기초하여 자율 주행을 수행하는 자율 주행 제어부를 포함한다.
또한, 상기 무인 지게차 제어 장치는, 상기 자율 주행 제어부가 참조가능한 인공 지능 모델을 저장하는 인공 지능 모델 저장부를 더 포함하고, 상기 인공 지능 모델은, 상기 제 1 거리 측정부와 상기 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑하고, 각각의 주행 경로에 대해 촬영된 영상과 측정된 거리가 결합된 데이터 세트를 생성 및 저장하며, 주행 정보와 상기 저장된 데이터 세트를 매칭하고, 상기 주행 정보와 데이터 세트를 입력으로 하여 학습을 수행할 수 있다.
여기서, 상기 센서 스위칭부는 상기 제 1거리가 제1임계치이 이하인 경우에는 상기 스테레오 카메라로부터 상기 초음파 센서로 센싱 동작을 스위칭할 수 있다.
또한, 상기 센서 스위칭부는 상기 제 2거리가 제1임계치이 이상인 경우에는 상기 초음파 센서로부터 상기 스테레오 카메라로 센싱 동작을 스위칭할 수 있다.
한편, 본 발명의 다른 실시예에 따른, 무인 지게차의 주행을 제어하는 방법은,
무인 지게차 동작 개시하는 단계; 목표 지점 정보 수신하는 단계; 스테레오 카메라와 연결된 제 1 거리 측정부가 제1 거리를 측정하는 단계; 상기 제1거리 측정에 기초하여 무인 지게차를 주행시키는 단계; 상기 측정된 제1거리가 제1임계치 이하인지 판별하고, 상기 제1거리가 제1임계치 이하인 경우에는 제2거리 측정부와 연결된 초음파 센서로 센싱 동작을 스위칭하는 단계; 및 상기 제2거리 측정부가 측정한 제2거리에 기초하여 무인 지게차의 동작을 정지시키는 단계를 포함한다.
상기 무인 지게차 주행 제어 방법은, 상기 무인 지게차의 주행에 참조가능한 인공 지능 모델을 학습시키는 단계를 더 포함하고, 상기 인공 지능 모델 학습 단계는, 상기 제 1 거리 측정부와 상기 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑하는 단계; 상기 데이터가 매핑된 주행 경로에 대해 데이터 세트를 생성하는 단계; 상기 데이터 세트와 주행 정보를 매칭하는 단계; 및 상기 매칭 결과에 기초하여 인공 지능 모델을 학습하는 단계를 포함할 수 있다.
또한, 상기 무인 지게차 주행 제어 방법은, 상기 제1거리가 제1임계치 이하인 경우에는 상기 무인 지게차를 감속 시키는 단계를 더 포함할 수 있다.
또한, 상기 무인 지게차 주행 제어 방법은, 기존에 학습된 주행 패턴인지 판별하는 단계; 및 기존에 학습된 주행 패턴으로 판별되면, 상기 인공 지능 모델을 참조하여 자율 주행 수행하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 라이다 센서를 사용하지 않고 비용이 높지 않은 스테레오 카메라와 초음파 센서를 융합하여 무인 지게차 자율 주행 제어를 수행할 수 있다
또한, 본 발명은 스테레오 카메라와 초음파 센서의 융합 데이터를 이용하여 획득한 무인 지게차의 주행 정보와 데이터 세트를 입력으로 무인 지게차의 인공 지능 모델을 학습할 수 있다.
또한, 본 발명은 스테레오 카메라와 초음파 센서를 이용하여 획득된 무인 지게차의 인공 지능 모델을 참조하여 자율 주행을 더욱 정밀하게 수행할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 초음파 센서와 스테레오 카메라를 도시한 도면이다.
도 2는 라이다가 적용된 자율 주행 지게차를 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 무인 지게차의 스테레오 카메라 및 초음파 센서의 배치 및 측정 영역을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 무인 지게차 제어 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 실시예에 따른 무인 지게차 주행 제어 방법을 도시한 흐름도이다.
도 6은 본 발명의 실시예에 따른 무인 지게차 인공 지능 모델 학습 방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서, "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예컨대 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예컨대 모듈은ASIC(application-specific integrated circuit)으로 구성될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 무인 지게차의 스테레오 카메라 및 초음파 센서의 배치 및 측정 영역을 도시한 도면이다.
도 3에 도시된 바와 같이, 무인 지게차에 포함된 무인 지게차 주행 제어 장치는 스테레오 카메라(110) 및 다수의 초음파 센서(120)을 포함한다.
스테레오 카메라(110)는 무인 지게차의 전방을 향해 배치되어 있으며, 전방의 객체에 대한 거리를 측정한다. 스테레오 카메라(110)은 무인 지게차와 상대적으로 먼거리에 위치한 객체(A)를 측정하는데 이용된다.
초음파 센서(120)은 무인 지게차의 전방/후방/좌측/우측에 위치하여 각각의 방향의 객체에 대한 거리를 측정할 수 있다. 초음파 센서(120)는 스테레오 카메라(110) 보다 근거리의 사물과 사람의 거리를 측정할 수 있다.
더욱 구체적으로 스테레오 카메라(110)는 전방의 위치한 객체의 거리를 측정할 수 있지만, 자율 주행을 제어하는 요소는 충분히 먼 거리에 있는 객체(A)의 제1거리 값이며, 무인 지게차에 근접한 객체(B)의 거리값인 제2거리 값은 초음파 센서(120)에서 측정한 값을 활용하게 된다.
즉, 스테레오 카메라(110)이 측정한 객체(A)의 제1거리값은 충돌의 위험이 적고 더 넓은 측정 범위를 가질 수 있기 때문에 안전한 상태에서의 주행 또는 주위 환경 및 물체의 식별(예를 들어, 랙이나 선반 등)에 관한 데이터를 수집하는데 이용될 수 있다.
한편, 초음파 센서(120)는 무인 지게차에 인접하거나 갑자기 접근하는 객체(B)의 존재 및 거리를 정밀하게 측정하여 정밀한 제어가 요구되는 제어 또는 돌발 환경에 관한 데이터를 수집하는데 이용될 수 있다.
이와 같이, 본 발명의 실시예에 따른 무인 지게차 주행 제어 장치는 측정 거리, 범위, 정밀도가 상이한 복수의 센서들의 융합 데이터를 더 효율적인 주행 및 인공 지능 모델을 학습시킬 수 있다.
도 4는 본 발명의 실시예에 따른 무인 지게차 제어 장치의 구성을 도시한 블록도이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 무인 지게차 주행 제어 장치(100)는, 스테레오 카메라(110), 초음파 센서(120), 제 1 거리 측정부(130), 제2 거리 측정부(140), 센서 스위칭부(150), 자율 주행 제어부(160) 및 인공 지능 모델 저장부(170)를 포함한다.
스테레오 카메라(110)는 무인 지게차 전방의 거리를 측정하기 위한 센서로서, 제 1 거리 측정부(130)에 제1거리 측정을 위한 영상 및 시차 데이터를 전송한다. 도 3에서 도시된 바와 같이, 스테레오 카메라(110)는 무인 지게차의 전방 영역을 촬영하며 촬영된 객체의 거리를 측정할 수 있다.
초음파 센서(120)는 무인 지게차의 전방/후방/좌측/우측의 거리를 측정하기 위한 센서로서, 제 2 거리 측정부(140)에 제2거리 측정을 측정을 위한 반사파 시간 정보를 전송한다. 초음파 센서(120)은 전방/후방/좌측/우측에 배치되어 근거리의 물체의 거리를 측정할 수 있지만, 본 발명의 실시예에서는 전방에 배치된 초음파 센서(120)의 동작을 위주로 설명하도록 한다.
제 1 거리 측정부(130)는 스테레오 카메라(110)로부터 획득한 영상을 이용하여 제1거리를 측정한 값을 출력한다. 제1거리는 스테레오 카메라(110)로 촬영되었기 때문에 넓은 범위의 복수의 객체를 대상으로 측정된 값일 수 있다. 또한 제 1거리값은 스테레오 카메라(110)가 지원하는 정밀도와 오차를 포함할 수 있다.
제 2 거리 측정부(140)는 초음파 센서(120)로부터 획득한 반사파 정보로부터 제2거리를 측정한 값을 출력한다. 제2거리는 초음파 센서(120)의 측정 거리 한계 내에서만 측정 가능하기 때문에 평소의 주행 상태에서는 측정을 수행하지 않을 수 있다. 본 발명의 실시예에서는 제1 거리 측정부(130)가 측정한 제1거리값이 임계치 이하가 되는 경우에는 비로소 제2거리 측정부(140)가 활성화 되어 제2거리가 측정될 수 있다.
센서 스위칭부(150)는 제 1 거리 측정부(130)가 측정한 제1거리 또는 제 2 거리 측정부(140)가 측정한 제 2 거리의 값에 기초하여 스테레오 카메라(110) 및 초음파 센서(120)의 센싱 동작을 스위칭하거나, 자율 주행 제어부(160)에서 이용할 거리값을 스위칭하게 된다.
구체적으로 센서 스위칭부(150)는 상기 제1거리가 미리 정해진 임계치보다 이하인 경우에는 초음파 센서(120)을 동작시켜 제2거리를 측정하고, 측정된 제2거리값을 자율 주행 제어부(160)로 전달한다.
반대로, 센서 스위칭부(150)는 측정된 제2거리값이 임계치보다 커지는 경우에는 스테레오 카메라(110)을 동작시켜 제1거리가 측정된 제1거리값을 자율 주행부(160)로 전달한다.
자율 주행 제어부(160)는 제1거리 측정부(130) 및 제2거리 측정부(140)로부터 수신한 거리값에 기초하여 자율 주행 및 센서 스위칭부(150)의 동작을 제어한다.
또한, 자율 주행 제어부(160)는 인공 지능 모델 저장부(170)의 인공 지능 모델을 참조하여 무인 지게차의 자율 주행을 더욱 정밀하게 제어한다.
또한, 자율 주행 제어부(160)는 제 1 거리 측정부(130)와 제 2 거리 측정부(140)에서 수신한 측정 거리와 영상을 인공 지능 모델 저장부(170)에 저장된 인공 지능 모델의 학습 및 검증에 활용할 수 있도록 할 수 있다.
이하, 도 5를 참조하여 본 발명의 실시예에 따른 자율 주행 제어부(160)의 무인 지게차 제어 방법을 상세히 설명한다.
도 5는 본 발명의 실시예에 따른 무인 지게차 제어 방법을 도시한 흐름도이다.
우선, 전원을 인가하면 무인 지게차는 무인 지게차 동작 개시(S101)로 진입하고, 목표 지점 정보 수신을 수행할 준비를 마친다.
다음으로, 사용자가 송신한 목표 지점 정보를 수신한다(S102). 목표 지점은 통상적으로 학습된 제한된 작업 영역 내에서 특정 좌표로 식별될 수 있다. 작업 영역은 2차원 또는 3차원의 맵으로 구성될수 있으며, 목표 지점은 해당 맵 내의 좌표 또는 특정 영역에 위치된 랙이나 선반과 같은 구조물로 특정될 수 있다.
목표 지점이 지정되고, 주행이 개시되면 최초로 스테레오 카메라가 동작되며 제 1 거리 측정부가 상기 스테레오 카메라를 통해 제1거리를 측정한다(S103). 제1거리 측정부는 상대적으로 넓은 범위와 먼 거리의 객체의 제1거리를 측정한다. 이 때 제 1거리값은 스테레오 카메라가 제공하는 정밀도와 오차를 갖는다.
제1거리 측정부를 통한 거리 측정이 지속될 수 있음이 확인되면, 단계(S104)에서 무인 지게차는 목표 지점을 향한 주행을 진행하게 된다.
그 후, 무인 지게차와 목표 지점 거리가 제 1 임계치 이내인지 판별한다(S105). 여기서 제 1 임계치는 스테레오 카메라의 정밀도보다 더 높은 정밀도의 측정이 필요한 거리 또는 위험 상태에 진입할 수 있는 절대 거리가 될 수 있다. 예를 들어, 4m로 지정될 수 있다.
만약, 무인 지게차와 목표 지점 거리가 제 1 임계치 이내이면 무인 지게차 감속 운전을 개시한다(S106).
이 때, 센서 스위칭부는 제 2 거리 측정부와 연결된 센서로 스위칭한다(S107). 이 때 센서 스위칭부는 스테레오 카메라로부터 초음파 센서로 센싱 동작을 스위칭하고 제2거리 측정부가 거리 측정을 수행한다. (S108).
다음으로, 무인 지게차와 목표 지점 거리가 제 2 임계치 이내인지 판별한다(S109). 여기서 제2임계치는 제2거리 측정부에서 측정한 거리값으로서 초음파 센서가 지원하는 정밀도와 오차를 가지는 값이다.
무인 지게차와 목표 지점 거리가 제 2 임계치 이내이면 목표 지점까지 도달한 것으로 판단하고 무인 지게차의 동작을 정지한다(S110).
한편, 제1거리 측정부 및 제2거리 측정부가 측정한 거리값 및 이에 기초한 자율 주행 이력은 인공 지능 모델을 구축할 수 있고 이를 학습 및 검증할 수 있다.
초기 및 반복적으로 수행된 거리값의 측정값과 주행 이력은 주행 패턴을 학습할 수 있고, 통상 한정된 작업 영역에서 반복적인 작업을 수행하는 무인 지게차의 주행 제어의 효율성을 제공한다.
이하, 도 6을 참조하여 본 발명의 실시예에 따른 무인 지게차 인공 지능 모델 학습 방법을 설명한다.
도 6은 본 발명의 실시예에 따른 무인 지게차 인공 지능 모델 학습 방법을 도시한 흐름도이다.
우선, 스테레오 카메라가 연결된 제 1 거리 측정부와 초음파 센서가 연결된 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑한다(S200).
데이터를 매핑하는 과정은 스테레오 카메라를 통해 측정한 거리, 촬영된 영상과 초음파 센서에서 측정한 거리를 결합하여, 일체화 시키는 과정을 의미한다. 작업 영역내에는 다수의 주행 경로가 존재할 수 있으며 각각의 주행 경로에 대해 촬영된 영상과 측정된 거리가 결합되면 다수의 데이터 세트가 생성될 수 있다. 인공 지능 학습에서 데이터 셋은 가장 중요한 요소이며, 다수의 데이터 세트를 확보하여 판단의 오류를 최소화할 수 있다.
단계(S210)에서는 다양한 주행 경로에 대해 영상 및 거리 정보가 매핑된 데이터 세트를 저장한다.
단계(S220)은 주행 정보와 저장된 데이터 세트를 매칭한다. 주행 경로는 이론상 무한대로 생성될 수 있지만, 실질적으로 한정된 작업 영역에서 반복적인 작업의 수행은 한정된 패턴의 주행 정보를 만들어 낼 수 있으며, 이는 미리 저장된 데이터 세트와 매칭될 수 있다. 즉, 목표 지점으로의 주행 정보는 이미 수집된 데이터 세트를 이용하여 학습된 패턴의 일부와 높은 상관도를 가질 수 있다.
단계(S230)에서는 주행 정보와 데이터 세트를 입력으로 하여 인공 지능 모델 학습을 수행한다. 전술한 바와 같이, 목표 지점으로의 주행 정보와 상관도가 높은 데이터 세트가 존재하며, 학습된 인공 지능 모델은 해당 데이터 세트에 포함된 주행 중 촬영된 영상과 제1거리 및 제2거리를 출력할 수 있다.
스테레오 카메라에 의해 촬영된 영상은 랙이나 선반 등 비교적 위험성이 낮거나 정형적인 구조물인지에 대한 정보를 인공 지능 모델의 학습에 제공할 수 있다.
인공 지능 모델의 학습이 이뤄지고, 목표 지점으로 자율 주행이 개시되면 자율 주행 제어부는 해당 주행 정보가 기존에 학습된 주행 패턴인지 판별한다(S240).
만약, 기존에 학습된 주행 패턴일 경우 인공 지능 모델을 참조하여 자율 주행을 수행한다(S250). 즉, 자율 주행중의 제1거리 측정부와 제2거리 측정부의 측정값을 최적 시점의 스위칭을 인공 지능 모델을 기반하여 수행할 수 있다. 아울러, 촬영된 영상에 대해 랙이나 선반인지 다른 지게차인지 또는 작업자인지를 식별하여 이에 적합한 자율 주행 제어를 수행할 수 있다.
상기와 같은 구성 및 제어 동작을 통하여 라이다에 비해 상대적으로 저렴한 스테레오 카메라 및 초음파 센서를 이용하여 무인 지게차의 자율 주행을 제어함으로서 저가의 무인 지게차를 구현하는 효과를 제공하게 된다.
전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용가능한 것일 수 있다. 컴퓨터 판독 가능한 기록매체는, 하드디스크, 플로피디스크, 자기테이프 등의 자기기록 매체, CD-ROM, DVD 등의 광기록 매체, 플롭티컬디스크 등의 자기-광 매체, ROM, RAM, 플래시 메모리 등과 같이, 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어를 포함한다. 프로그램 명령은, 컴파일러에 의해 만들어지는 기계어 코드, 인터프리터를 사용하여 컴퓨터에서 실행될 수 있는 고급언어 코드를 포함한다. 하드웨어는 본 발명에 따른 방법을 처리하기 위하여 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있고, 그 역도 마찬가지이다.
본 발명의 실시예에 따른 방법은 프로그램 명령 형태로 전자장치에서 실행될 수 있다. 전자장치는 스마트폰이나 스마트패드 등의 휴대용 통신 장치, 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 가전 장치를 포함한다.
본 발명의 실시예에 따른 방법은 컴퓨터 프로그램 제품에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 기록매체의 형태로, 또는 어플리케이션 스토어를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 발명의 실시예에 따른 구성요소, 예컨대 모듈 또는 프로그램 각각은 단수 또는 복수의 서브 구성요소로 구성될 수 있으며, 이러한 서브 구성요소들 중 일부 서브 구성요소가 생략되거나, 또는 다른 서브 구성요소가 더 포함될 수 있다. 일부 구성요소들(모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 본 발명의 실시예에 따른 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
발명의 실시를 위한 형태는 발명의 실시를 위한 최선의 형태에서 함께 기술되었다.
본 발명의 실시예에 따른 무인 지게차 주행 제어 장치 및 주행 방법은, 라이다 센서를 사용하지 않고 비용이 높지 않은 스테레오 카메라와 초음파 센서를 융합하여 무인 지게차 자율 주행 제어를 수행할 수 있다. 즉, 스테레오 카메라와 초음파 센서를 이용하여 획득된 무인 지게차의 인공 지능 모델을 참조하여 다양한 조건 및 산업 현장에서 자율 주행을 더욱 정밀하게 수행할 수 있다.

Claims (8)

  1. 무인 지게차 주행 제어 장치에 있어서,
    상기 무인 지게차의 전방의 객체에 대한 제1거리를 측정할 수 있는 스테레오 카메라;
    상기 무인 지게차의 전방의 객체에 대한 제2거리를 측정할 수 있는 초음파 센서;
    상기 스테레오 카메라를 이용하여 상기 제 1 거리를 측정하여 출력하는 제1거리 측정부;
    상기 초음파 센서를 이용하여 상기 제 2 거리를 측정하여 출력하는 제2 거리 측정부;
    상기 제1거리 및 제 2 거리와 임계치의 비교 결과에 기초하여 상기 스테레오 카메라 및 상기 초음파 센서의 센싱 동작을 스위칭하는 센서 스위칭부; 및
    상기 제1거리 측정부 및 상기 제2거리 측정부로부터 수신한 거리값과 주행 정보에 기초하여 자율 주행을 수행하는 자율 주행 제어부;
    를 포함하는 무인 지게차 주행 제어 장치.
  2. 제1항에 있어서,
    상기 자율 주행 제어부가 참조가능한 인공 지능 모델을 저장하는 인공 지능 모델 저장부를 더 포함하고,
    상기 인공 지능 모델은,
    상기 제 1 거리 측정부와 상기 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑하고, 각각의 주행 경로에 대해 촬영된 영상과 측정된 거리가 결합된 데이터 세트를 생성 및 저장하며,
    주행 정보와 상기 저장된 데이터 세트를 매칭하고, 상기 주행 정보와 데이터 세트를 입력으로 하여 학습을 수행하는 것인 무인 지게차 주행 제어 장치.
  3. 제1항에 있어서,
    상기 센서 스위칭부는 상기 제 1거리가 제1임계치이 이하인 경우에는 상기 스테레오 카메라로부터 상기 초음파 센서로 센싱 동작을 스위칭하는 것인 무인 지게차 주행 제어 장치.
  4. 제1항에 있어서,
    상기 센서 스위칭부는 상기 제 2거리가 제1임계치이 이상인 경우에는 상기 초음파 센서로부터 상기 스테레오 카메라로 센싱 동작을 스위칭하는 것인 무인 지게차 주행 제어 장치.
  5. 무인 지게차 제어 장치가 무인 지게차의 주행을 제어하는 방법에 있어서:
    무인 지게차 동작 개시하는 단계;
    목표 지점 정보 수신하는 단계;
    스테레오 카메라와 연결된 제 1 거리 측정부가 제1 거리를 측정하는 단계;
    상기 제1거리 측정에 기초하여 무인 지게차를 주행시키는 단계;
    상기 측정된 제1거리가 제1임계치 이하인지 판별하고, 상기 제1거리가 제1임계치 이하인 경우에는 제2거리 측정부와 연결된 초음파 센서로 센싱 동작을 스위칭하는 단계; 및
    상기 제2거리 측정부가 측정한 제2거리에 기초하여 무인 지게차의 동작을 정지시키는 단계
    를 포함하는 무인 지게차 주행 제어 방법.
  6. 제 5 항에 있어서,
    상기 무인 지게차의 주행에 참조가능한 인공 지능 모델을 학습시키는 단계를 더 포함하고,
    상기 인공 지능 모델 학습 단계는,
    상기 제 1 거리 측정부와 상기 제 2 거리 측정부의 데이터를 주행 경로의 데이터와 매핑하는 단계;
    상기 데이터가 매핑된 주행 경로에 대해 데이터 세트를 생성하는 단계;
    상기 데이터 세트와 주행 정보를 매칭하는 단계; 및
    상기 매칭 결과에 기초하여 인공 지능 모델을 학습하는 단계
    를 포함하는 것인 무인 지게차 제어 방법.
  7. 제6항에 있어서,
    상기 제1거리가 제1임계치 이하인 경우에는 상기 무인 지게차를 감속 시키는 단계를 더 포함하는 무인 지게차 제어 방법.
  8. 제 6 항에 있어서,
    기존에 학습된 주행 패턴인지 판별하는 단계; 및
    기존에 학습된 주행 패턴으로 판별되면, 상기 인공 지능 모델을 참조하여 자율 주행 수행하는 단계를 더 포함하는 무인 지게차 주행 제어 방법.
PCT/KR2022/013853 2021-11-19 2022-09-16 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법 WO2023090609A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0160565 2021-11-19
KR1020210160565A KR20230073804A (ko) 2021-11-19 2021-11-19 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법

Publications (1)

Publication Number Publication Date
WO2023090609A1 true WO2023090609A1 (ko) 2023-05-25

Family

ID=86397289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013853 WO2023090609A1 (ko) 2021-11-19 2022-09-16 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법

Country Status (2)

Country Link
KR (1) KR20230073804A (ko)
WO (1) WO2023090609A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102651998B1 (ko) 2023-11-28 2024-03-27 (주)동양중공업지게차 물류 관리 시스템과의 연동을 기반으로 한 자율주행 무인 지게차의 제어 방법, 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160049291A (ko) * 2014-10-27 2016-05-09 현대자동차주식회사 운전자 보조장치 및 그 작동 방법
JP2020033165A (ja) * 2018-08-31 2020-03-05 株式会社豊田自動織機 フォークリフト用遠隔操作システム
CN110884487A (zh) * 2019-12-16 2020-03-17 清友(苏州)汽车技术有限公司 一种车辆识别障碍物的人工智能装置
JP2020164316A (ja) * 2019-03-29 2020-10-08 株式会社豊田自動織機 監視装置
KR20210057886A (ko) * 2019-11-12 2021-05-24 엘지전자 주식회사 차량 충돌 방지 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666638B1 (ko) 2015-03-02 2016-10-14 한남대학교 산학협력단 Pwm 신호를 이용한 무인 지게차 장치
US10630461B2 (en) 2018-09-18 2020-04-21 Samsung Display Co., Ltd. Efficient frequency detectors for clock and data recovery circuits

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160049291A (ko) * 2014-10-27 2016-05-09 현대자동차주식회사 운전자 보조장치 및 그 작동 방법
JP2020033165A (ja) * 2018-08-31 2020-03-05 株式会社豊田自動織機 フォークリフト用遠隔操作システム
JP2020164316A (ja) * 2019-03-29 2020-10-08 株式会社豊田自動織機 監視装置
KR20210057886A (ko) * 2019-11-12 2021-05-24 엘지전자 주식회사 차량 충돌 방지 장치 및 그 방법
CN110884487A (zh) * 2019-12-16 2020-03-17 清友(苏州)汽车技术有限公司 一种车辆识别障碍物的人工智能装置

Also Published As

Publication number Publication date
KR20230073804A (ko) 2023-05-26

Similar Documents

Publication Publication Date Title
WO2018128292A1 (ko) 공항용 로봇 및 그의 동작 방법
CN108284427B (zh) 安防机器人及其自动巡检方法
KR100645814B1 (ko) 이동로봇의 자동충전 복귀 시스템 및 그 복귀 방법
US9498884B2 (en) Crosswalk walking assistance system and method of controlling the same
JP2501010B2 (ja) 移動ロボットの誘導装置
Baras et al. Autonomous obstacle avoidance vehicle using lidar and an embedded system
CN104953709A (zh) 一种变电站智能巡视机器人
US10866106B2 (en) Driverless transportation system
WO2023090609A1 (ko) 스테레오 카메라와 초음파 센서를 이용한 무인 지게차 주행 제어 장치 및 주행 방법
KR20180039977A (ko) 공항용 보조 로봇 및 그의 동작 방법
CN109154662A (zh) 使用负映射的定位
CN110333725B (zh) 自动驾驶避让行人的方法、系统、设备及存储介质
JPH07281753A (ja) 移動ロボット
WO2021254376A1 (zh) 运送机器人的控制方法、装置、运送机器人和存储介质
US20180239351A1 (en) Autonomous mobile device
CN111309012A (zh) 机器人及其移动控制方法和装置
KR20180031153A (ko) 공항 로봇 및 그와 연결되는 서버의 동작 방법
KR101921113B1 (ko) 탐지용 하이브리드 가시광 ｒｆｉｄ 태그 및 이에 사용되는 로봇시스템
CN112826377A (zh) 扫地机的回充对准方法、装置及扫地机
CN204178561U (zh) 一种超声波与视频相结合的寻车查询系统
CN207799921U (zh) 寻车机器人及反向寻车系统
WO2018097356A1 (ko) 차량 주차보조 장치 및 그 방법
US20210349457A1 (en) Vehicle controller for automated driving vehicle, vehicle dispatching system, and vehicle dispatching method
CN211669779U (zh) 一种智能网联汽车教学实训平台
JP2018169924A (ja) 学習データ収集装置、学習データ収集システムおよび学習データ収集方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895818

Country of ref document: EP

Kind code of ref document: A1