KR102043142B1 - Method and apparatus for learning artificial neural network for driving control of automated guided vehicle - Google Patents

Method and apparatus for learning artificial neural network for driving control of automated guided vehicle Download PDF

Info

Publication number
KR102043142B1
KR102043142B1 KR1020190059117A KR20190059117A KR102043142B1 KR 102043142 B1 KR102043142 B1 KR 102043142B1 KR 1020190059117 A KR1020190059117 A KR 1020190059117A KR 20190059117 A KR20190059117 A KR 20190059117A KR 102043142 B1 KR102043142 B1 KR 102043142B1
Authority
KR
South Korea
Prior art keywords
neural network
agv
artificial neural
network model
learning
Prior art date
Application number
KR1020190059117A
Other languages
Korean (ko)
Inventor
정희운
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Application granted granted Critical
Publication of KR102043142B1 publication Critical patent/KR102043142B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means

Abstract

The present invention relates to a method for training an artificial neural network for controlling traveling of an automated guided vehicle (AGV), and an apparatus thereof and, more specifically, to a method for training an artificial neural network for controlling traveling of an AGV, which forms and updates an artificial neural network model for recognizing an object from image data collected through a camera by machine learning and provides the updated artificial neural network model to an AGV traveling control apparatus mounted on the AGV; and an apparatus thereof. According to the present invention, a few shot learning technology capable of recognizing an image with learning of only a small amount of data is applied and the correctness of few shot learning is increased by semi-supervised learning using a small amount of labeled data to increase learning correctness for unlabeled data, such that an artificial neural network model for autonomous traveling of an AGV is trained, formed, and updated. Moreover, an artificial neural network model updated by continuous training the artificial neural network model in a separate device, not the AGV, is generated and then, provided to the AGV such that the AGV can always perform traveling control by the latest artificial neural network model without burden for directly generating an update of the artificial neural network model.

Description

AGV 주행제어를 위한 인공신경망 학습 방법 및 장치{Method and apparatus for learning artificial neural network for driving control of automated guided vehicle}Method and apparatus for learning artificial neural network for driving control of AGV

본 발명은 AGV 주행제어를 위한 인공신경망 학습 방법 및 장치에 관한 것으로서, 더욱 상세하게는 카메라를 통하여 수집한 영상 데이터로부터, 머신러닝(machine learning)에 의해 물체 인식을 위한 인공신경망 모델을 형성 및 업데이트하여 이를 AGV에 장착된 AGV 주행제어 장치에 제공하는, AGV 주행제어를 위한 인공신경망 학습 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for learning artificial neural network for AGV driving control, and more particularly, to form and update an artificial neural network model for object recognition by machine learning from image data collected through a camera. The present invention relates to an artificial neural network learning method and apparatus for AGV traveling control, which provides the AGV traveling control device mounted on the AGV.

근래 들어 대형 공장에서는 다양한 용도로 제품 또는 부품의 이동을 위한 차량을 많이 이용하고 있다. 나아가 이러한 차량을 무인으로 운행할 수 있기 위해 자율주행차량(AGV, automated guided vehicle)의 필요성이 커지고 있다. 레이저, 마그네틱 테이프 기반의 기존 AGV 는 공장 내 완전 자율주행 실행에 제약이 있다. 예를 들어 레이저는 대상이 되는 물체의 반사율에 따른 오차가 클 수 있고 마그네틱 테이프는 공장 레이아웃 변경 혹은 설비 배치 변경시 전면 재설치가 필요하다. 이미지 인식은 상대적 오차율이 적고 공장 레이아웃 변경으로부터 자유로운 완전한 자율주행을 가능하게 한다. 딥러닝 기반 텐서플로우를 활용한 이미지 인식으로 주변 물체 및 AGV 의 위치를 실시간으로 파악하여 계산된 결과로 경로제어 및 이동까지 가능하다. 그러나 중소중견기업은 제조 관련된 데이터를 많이 확보하고 있지 않으며, 이미지 인식을 기반으로 하는 AGV도 공장 내 한정된 환경에 대한 학습 데이터량을 바탕으로 자율주행을 해야 한다. 또한 데이터가 충분하더라도 일반 강화학습을 이용하면 많은 데이터와 비용, 시간이 소모되어 상용화에 오랜 시간이 걸리는 문제점이 있었다. 또한 지속적으로 움직이는 AGV 자체에서 그러한 대용량의 동영상 데이터로부터 지속적으로 인공신경망 모델을 업데이트하기 위해서는 지나치게 많은 로드가 걸리는 문제점도 있었다.Recently, large factories use a lot of vehicles for moving products or parts for various purposes. In addition, the need for an automated guided vehicle (AGV) is increasing to be able to drive such vehicles unattended. Existing AGVs based on lasers and magnetic tapes have limitations in implementing fully autonomous driving in the plant. For example, lasers can have large errors due to the reflectance of the target object, and magnetic tapes need to be completely reinstalled when changing factory layouts or equipment layouts. Image recognition allows for complete autonomous driving with low relative error rates and free from factory layout changes. Image recognition using deep learning-based tensor flow enables the real-time location of surrounding objects and AGVs to be calculated and calculated, resulting in path control and movement. However, small and medium-sized enterprises do not have much data related to manufacturing, and AGV based on image recognition should also autonomously drive based on the amount of learning data about the limited environment in the factory. In addition, even if the data is sufficient, the general reinforcement learning takes a lot of data, cost, and time, there was a problem that it takes a long time to commercialize. In addition, AGV itself has a problem that it takes too much load to continuously update the artificial neural network model from such a large amount of video data.

KRKR 10-197487010-1974870 B1B1

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 소량의 데이터 학습만으로 이미지 인식이 가능한 “퓨샷러닝” 기술을 적용하되, label된 소량의 데이터를 사용하여 label되지 않은 데이터에 대한 학습 정확도를 높이는 반지도 학습(semi-supervised learning)으로 퓨샷러닝의 정확도를 높여, AGV의 자율주행을 위한 인공신경망 모델을 학습시키고 형성 및 업데이트하는 방법 및 장치를 제공하는데 그 목적이 있다.The present invention was devised to solve such a problem. However, the present invention applies a “fueshot learning” technique capable of recognizing an image with only a small amount of data learning, and improves the accuracy of learning about unlabeled data using a small amount of labeled data. The purpose of the present invention is to provide a method and apparatus for training, forming, and updating artificial neural network models for autonomous driving of AGVs by improving accuracy of fushot learning through semi-supervised learning.

또한 AGV가 아닌 별도의 장치에서 지속적인 인공신경망 모델의 학습에 의하여 업데이트된 인공신경망 모델을 생성하고 이를 AGV에 제공하여 줌으로써, AGV는 직접 인공신경망 모델의 업데이트 생성에 의한 부담없이, 항상 최신의 인공신경망 모델에 의해 주행제어를 할 수 있게 되도록 하는데 다른 목적이 있다.In addition, by creating an artificial neural network model updated by continuous learning of neural network models in a device other than AGV and providing it to the AGV, AGV always maintains the latest artificial neural network without burden of direct generation of an artificial neural network model. Another purpose is to allow driving control by the model.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 AGV 인공신경망 모델 학습장치가 AGV 제어장치에서 사용되는 인공신경망 모델을 학습에 의해 형성시키는 방법은, (a) 주행중인 AGV에 장착된 AGV 제어장치로부터, AGV에 장착된 카메라에서 촬영중인 영상 데이터를 지속적으로 수신하여 이를 저장하는 단계; (b) 수신한 영상 데이터를 이용하여 인공신경망 모델의 형성 또는 업데이트를 위한 기계학습(machine learning)을 수행하는 단계; (c) 형성 또는 업데이트된 인공신경망 모델을 저장하는 단계; 및, (d) 형성된 인공신경망 모델 또는 지속적으로 업데이트된 인공신경망 모델을 AGV 제어장치로 송신하는 단계를 포함하고, 상기 단계(b)의 기계학습은, 퓨샷러닝(few shot learning) 방식으로 이루어지며, 상기 단계(b)의 기계학습은, 반지도 학습(semi-supervised learning) 방식으로 이루어지고, 상기 인공신경망 모델에는, YOLO(You Only Look Once) 모델에 의한 빠른 처리에 의해 영상으로부터 물체가 있음을 감지해 내고, 이러한 물체의 정확한 정보는 물체가 감지된 영상에서 SSD(Single Shot Detector) 모델을 이용하여 인식해 내도록 YOLO 모델 및 SSD 모델을 포함하고, SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하며, 다양한 스케일의 물체를 검출할 수 있고, 상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하며, 상기 단계(a)에서의 영상 데이터의 송수신은, 5G(generation) 환경에서 이루어진다.
본 발명의 다른 측면에 따르면, AGV 제어장치에서 사용되는 인공신경망 모델을 학습에 의해 형성시키는 장치는, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 주행중인 AGV에 장착된 AGV 제어장치로부터, AGV에 장착된 카메라에서 촬영중인 영상 데이터를 지속적으로 수신하여 이를 저장하는 단계; (b) 수신한 영상 데이터를 이용하여 인공신경망 모델의 형성 또는 업데이트를 위한 기계학습(machine learning)을 수행하는 단계; (c) 형성 또는 업데이트된 인공신경망 모델을 저장하는 단계; 및, (d) 형성된 인공신경망 모델 또는 지속적으로 업데이트된 인공신경망 모델을 AGV 제어장치로 송신하는 단계가 실행되도록 하고, 상기 단계(b)의 기계학습은, 퓨샷러닝(few shot learning) 방식으로 이루어지며, 상기 단계(b)의 기계학습은, 반지도 학습(semi-supervised learning) 방식으로 이루어지고, 상기 인공신경망 모델에는, YOLO(You Only Look Once) 모델에 의한 빠른 처리에 의해 영상으로부터 물체가 있음을 감지해 내고, 이러한 물체의 정확한 정보는 물체가 감지된 영상에서 SSD(Single Shot Detector) 모델을 이용하여 인식해 내도록 YOLO 모델 및 SSD 모델을 포함하고, SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하며, 다양한 스케일의 물체를 검출할 수 있고, 상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하며, 상기 단계(a)에서의 영상 데이터의 송수신은, 5G(generation) 환경에서 이루어진다.
본 발명의 또 다른 측면에 따르면, AGV 인공신경망 모델 학습장치가 AGV 제어장치에서 사용되는 인공신경망 모델을 학습에 의해 형성시키기 위한, 비일시적 저장매체에 저장된 컴퓨터 프로그램은, 비일시적 저장매체에 저장되며, 프로세서에 의하여, (a) 주행중인 AGV에 장착된 AGV 제어장치로부터, AGV에 장착된 카메라에서 촬영중인 영상 데이터를 지속적으로 수신하여 이를 저장하는 단계; (b) 수신한 영상 데이터를 이용하여 인공신경망 모델의 형성 또는 업데이트를 위한 기계학습(machine learning)을 수행하는 단계; (c) 형성 또는 업데이트된 인공신경망 모델을 저장하는 단계; 및, (d) 형성된 인공신경망 모델 또는 지속적으로 업데이트된 인공신경망 모델을 AGV 제어장치로 송신하는 단계가 실행되도록 하는 명령을 포함하고, 상기 단계(b)의 기계학습은, 퓨샷러닝(few shot learning) 방식으로 이루어지며, 상기 단계(b)의 기계학습은, 반지도 학습(semi-supervised learning) 방식으로 이루어지고, 상기 인공신경망 모델에는, YOLO(You Only Look Once) 모델에 의한 빠른 처리에 의해 영상으로부터 물체가 있음을 감지해 내고, 이러한 물체의 정확한 정보는 물체가 감지된 영상에서 SSD(Single Shot Detector) 모델을 이용하여 인식해 내도록 YOLO 모델 및 SSD 모델을 포함하고, SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하며, 다양한 스케일의 물체를 검출할 수 있고, 상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하며, 상기 단계(a)에서의 영상 데이터의 송수신은, 5G(generation) 환경에서 이루어진다.In order to achieve the above object, the AGV artificial neural network model learning apparatus according to the present invention forms the artificial neural network model used in the AGV control apparatus by learning, (a) from the AGV control apparatus mounted on the running AGV, Continuously receiving and storing image data being captured by a camera mounted on the AGV; (b) performing machine learning for forming or updating an artificial neural network model using the received image data; (c) storing the formed or updated artificial neural network model; And (d) transmitting the formed artificial neural network model or the continuously updated artificial neural network model to the AGV control device, wherein the machine learning of the step (b) is made by a Few shot learning method. The machine learning of step (b) is performed by a semi-supervised learning method, and the artificial neural network model includes an object from an image by fast processing by a YOLO (You Only Look Once) model. The YOLO model and SSD model to detect the object using the single shot detector (SSD) model from the detected image.The SSD is bounded after the CNN (convolutional neural network) process. The YOLO model cuts an image slightly larger than an area occupied by a real object and inputs it into an SSD model, predicting a box, and detecting objects of various scales. Transmission and reception of video data in step (a) is performed in a 5G (generation) environment.
According to another aspect of the present invention, an apparatus for learning to form an artificial neural network model used in the AGV control device, at least one processor; And at least one memory storing computer executable instructions, wherein the computer executable instructions stored in the at least one memory are, by the at least one processor: (a) an AGV mounted to a running AGV; Continuously receiving and storing image data being captured by a camera mounted on the AGV from the control device; (b) performing machine learning for forming or updating an artificial neural network model using the received image data; (c) storing the formed or updated artificial neural network model; And (d) transmitting the formed artificial neural network model or the continuously updated artificial neural network model to the AGV control apparatus, and the machine learning of the step (b) is made by a few shot learning method. The machine learning of the step (b) is performed by a semi-supervised learning method, and the artificial neural network model includes an object from an image by fast processing by a YOLO (You Only Look Once) model. The YOLO model and the SSD model to detect the presence of the object, and the accurate information of the object is detected by using a single shot detector (SSD) model from the detected image, and the SSD is processed after the CNN Predicting the bounding box and detecting objects of various scales, the YOLO model cuts the image slightly larger than the area occupied by the real object and inputs it to the SSD model. , Transmission and reception of the image data in the step (a) is made from 5G (generation) environment.
According to another aspect of the present invention, a computer program stored in a non-transitory storage medium for the AGV artificial neural network model learning apparatus to form, by learning, an artificial neural network model used in the AGV controller is stored in a non-transitory storage medium. By the processor, (a) continuously receiving and storing the image data being photographed by the camera mounted on the AGV from the AGV controller mounted on the running AGV; (b) performing machine learning for forming or updating an artificial neural network model using the received image data; (c) storing the formed or updated artificial neural network model; And (d) transmitting the formed neural network model or the continuously updated artificial neural network model to the AGV control apparatus, wherein the machine learning of the step (b) comprises a shot shot learning. Machine learning of the step (b) is made of a semi-supervised learning method, the artificial neural network model, by fast processing by the YOLO (You Only Look Once) model The YOLO model and SSD model are included to detect the presence of an object from the image, and the exact information of the object is detected by using a single shot detector (SSD) model in the detected image.The SSD includes a convolutional neural After the processing, the bounding box can be predicted and objects of various scales can be detected. Input to the SD model, the transmission and reception of the image data in the step (a) is made in a 5G (generation) environment.

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

본 발명에 의하면, 소량의 데이터 학습만으로 이미지 인식이 가능한 “퓨샷러닝” 기술을 적용하되, label된 소량의 데이터를 사용하여 label되지 않은 데이터에 대한 학습 정확도를 높이는 반지도 학습(semi-supervised learning)으로 퓨샷러닝의 정확도를 높여, AGV의 자율주행을 위한 인공신경망 모델을 학습시키고 형성 및 업데이트하는 방법 및 장치를 제공하는 효과가 있다.According to the present invention, while applying a "pewshot learning" technology that can recognize the image with only a small amount of data learning, using a small amount of labeled data also improves the learning accuracy of unlabeled data (semi-supervised learning) As a result, the accuracy of Pewshot learning is improved, and a method and apparatus for learning, forming, and updating an artificial neural network model for autonomous driving of AGV are provided.

또한 AGV가 아닌 별도의 장치에서 지속적인 인공신경망 모델의 학습에 의하여 업데이트된 인공신경망 모델을 생성하고 이를 AGV에 제공하여 줌으로써, AGV는 직접 인공신경망 모델의 업데이트 생성에 의한 부담없이, 항상 최신의 인공신경망 모델에 의해 주행제어를 할 수 있게 되도록 하는 효과가 있다.In addition, by creating an artificial neural network model updated by continuous learning of neural network models in a device other than AGV and providing it to the AGV, AGV always maintains the latest artificial neural network without burden of direct generation of an artificial neural network model. There is an effect of enabling the driving control by the model.

도 1은 AGV에 장착된 AGV 제어장치와 본 발명의 AGV 인공신경망 모델 학습장치의 무선 네트워크를 나타내는 도면.
도 2는 AGV 제어장치가 본 발명의 AGV 인공신경망 모델 학습장치와 연동되어 AGV의 주행 제어를 수행하는 과정을 나타내는 시퀀스 다이어그램.
도 3은 여러 인공신경망 모델의 속도와 정확도를 비교한 그래프.
도 4는 반지도 학습(semi-supervised learning)과 지도 학습(supervised learning)을 비교하여 도시한 도면.
도 5는 AGV 제어장치의 구성을 나타내는 도면.
도 6은 본 발명의 AGV 인공신경망 모델 학습장치의 구성을 나타내는 도면.
도 7은 무인반송차량의 한 종류인 유닛 로드 AGV를 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram illustrating a wireless network of an AGV controller mounted on an AGV and an AGV artificial neural network model learning apparatus of the present invention.
FIG. 2 is a sequence diagram showing a process in which an AGV controller performs driving control of an AGV in conjunction with an AGV artificial neural network model learning apparatus of the present invention. FIG.
Figure 3 is a graph comparing the speed and accuracy of several artificial neural network models.
FIG. 4 shows a comparison between semi-supervised learning and supervised learning.
5 is a diagram illustrating a configuration of an AGV control device.
6 is a view showing the configuration of the AGV artificial neural network model learning apparatus of the present invention.
7 shows a unit rod AGV, which is one type of unmanned carrier vehicle.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention. Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.

도 1은 AGV에 장착된 AGV 제어장치(100)와 본 발명의 AGV 인공신경망 모델 학습장치(300)의 무선 네트워크를 나타내는 도면이고, 도 7은 무인반송차량의 한 종류인 유닛 로드 AGV를 도시한 도면이다.1 is a diagram illustrating a wireless network of an AGV control apparatus 100 mounted on an AGV and an AGV artificial neural network model learning apparatus 300 of the present invention, and FIG. 7 illustrates a unit rod AGV, which is a type of an unmanned vehicle. Drawing.

본 발명에 따른 AGV(automated guided vehicle)(500)는 자율주행차량 또는 무인반송차량(이하 '자율주행차량'으로 통칭하여 사용하기로 한다)은 획득된 이미지로부터 객체를 인식하여 주변에 있는 물체 및 자신의 위치를 파악한다. 이미지로부터 객체를 인식하기 위해서 심층신경망(Deep Learning) 기법을 이용한다. 이하에서는 심층신경망 등을 포함하는, 기계학습에 의한 인공신경망 모델을 통칭하여 '인공신경망 모델'이라 칭하기로 한다. 이미지로부터 객체를 인식하는 기술은 심층신경망 기법에 의하여 최근 크게 향상되었으며, 동영상에서 객체를 인식하는 기술도 계속 발전하고 있으므로, 이러한 기술을 활용함으로써 자율주행차량의 경로 제어를 수행할 수 있다. 또한, 레이아웃이나 설비의 배치가 변경되어 기존에 학습되지 않은 객체가 존재하는 경우에는, 소량의 데이터 학습만으로 객체 인식이 가능한 원-샷 러닝(one-shot learning) 또는 퓨-샷 러닝 (few-shot learning) 기법을 이용할 수 있다. 이러한 기법에 대해서는 최근 Wang, Y X, Girshick, R, Hebert, M, & Hariharan, B (2018) Low-Shot Learning from Imaginary Data arXiv preprint arXiv:180105401, Kang, B, Liu, Z, Wang, X, Yu, F, Feng, J, & Darrell, T (2018) Few-shot Object Detection via Feature Reweighting arXiv preprint arXiv:181201866 등의 논문에서 향상된 결과가 소개되고 있다.The AGV (automated guided vehicle) 500 according to the present invention is an autonomous vehicle or an unmanned vehicle (hereinafter, collectively referred to as 'autonomous vehicle') is used to recognize an object from an acquired image and to recognize an object and the surroundings. Know where you are. Deep learning is used to recognize objects from images. Hereinafter, the artificial neural network model by machine learning, including a deep neural network, will be collectively referred to as an 'artificial neural network model'. The technology of recognizing objects from images has been greatly improved in recent years by the deep neural network technique, and the technology of recognizing objects in moving images continues to be developed. Therefore, the path control of autonomous vehicles can be performed by utilizing these techniques. In addition, if there is an object that has not been previously learned because the layout or layout of the equipment is changed, one-shot learning or few-shot learning can recognize the object with only a small amount of data learning. learning) technique. For these techniques, Wang, YX, Girshick, R, Hebert, M, & Hariharan, B (2018) Low-Shot Learning from Imaginary Data arXiv preprint arXiv: 180105401, Kang, B, Liu, Z, Wang, X, Yu , F, Feng, J, & Darrell, T (2018) Few-shot Object Detection via Feature Reweighting arXiv preprint arXiv: 181201866.

본 발명에 따른 자율주행차량(500)에 의하여 획득된 이미지 또는 동영상은 전체 또는 일부 자율주행차량을 제어하는 서버로 전송될 수 있다. 이 때, 전송망을 5G 기술로 구현함으로써 대용량의 동영상도 실시간으로 송수신할 수 있다. 서버는 자율주행차량으로부터 수신된 동영상으로부터 주변 물체를 인식하고 해당 자율주행차량의 위치를 파악한다. 서버에 의하여 파악된 정보는 해당 자율주행차량의 경로를 제어하기 위하여 이용된다.The image or video obtained by the autonomous vehicle 500 according to the present invention may be transmitted to a server that controls all or part of the autonomous vehicle. At this time, by implementing the transmission network with 5G technology, it is possible to send and receive a large amount of video in real time. The server recognizes the surrounding object from the video received from the autonomous vehicle and finds the location of the autonomous vehicle. The information grasped by the server is used to control the path of the autonomous vehicle.

즉, 본 발명의 자율주행차량의 경로를 제어하기 위한 분석은 일 실시예로서, 서버에서 수행될 수 있다.That is, the analysis for controlling the path of the autonomous vehicle of the present invention may be performed in a server as an embodiment.

또한 역시 본 발명의 다른 실시예로서, 해당 자율주행차량(500)의 경로를 제어하기 위한 분석이 서버가 아닌, 각각의 자율주행차량(500)에서 이루어질 수도 있는데, 이하에서의 설명은 주로 그와 같이 인공신경망 모델에 의한 경로를 제어하기 위한 분석은 자율주행차량, 더욱 구체적으로는 자율주행차량(500)에 장착된 AGV 제어장치(100)에서 이루어지고, 그러한 인공신경망 모델의 구축 및 업데이트는 서버에서 이루어지는 시스템을 설명하기로 한다. 그러한 '서버'는 이하에서 'AGV 인공신경망 모델 학습장치(300)'로 칭하기로 하며, AGV 인공신경망 모델 학습장치(300)는 형성 및 업데이트되는 인공신경망 모델을 AGV 제어장치(100)로 전달해주게 된다. 이에 대하여는 이하 도 1 내지 도 6을 참조하여 상세히 설명하기로 한다.In addition, as another embodiment of the present invention, the analysis for controlling the path of the autonomous vehicle 500 may be performed in each autonomous vehicle 500, not the server, the following description mainly As described above, the analysis for controlling the path by the artificial neural network model is performed in the AGV control apparatus 100 mounted on the autonomous vehicle, more specifically, the autonomous vehicle 500, and the construction and updating of the artificial neural network model is performed by the server. The system will be described. Such a 'server' will be referred to as 'AGV artificial neural network model learning apparatus 300' below, AGV artificial neural network model learning apparatus 300 to deliver the artificial neural network model to be formed and updated to the AGV control device 100 do. This will be described in detail with reference to FIGS. 1 to 6.

본 발명의 AGV 제어장치(100)는 AGV(500)에 장착되어, 인공신경망 모델에 의하여 경로상의 물체를 인식하고 적절한 경로를 주행할 수 있도록 AGV(500)의 주행을 제어하는 장치이다. AGV 제어장치(100)는 AGV(500)에 장착된 카메라(10)가 촬영중인 주행 경로 영상 데이터를 수집하여 경로상의 물체를 인식하고, AGV(500)에 장착된 각종 주행장치(20)들을 제어하여 안전한 주행이 되도록 하는 역할을 수행한다.The AGV control apparatus 100 of the present invention is a device mounted on the AGV 500 to control the running of the AGV 500 to recognize the object on the path by the artificial neural network model and to travel the appropriate path. The AGV control apparatus 100 collects driving route image data captured by the camera 10 mounted on the AGV 500 to recognize an object on the route, and controls various driving apparatuses 20 mounted on the AGV 500. Play a role of safe driving.

AGV 인공신경망 모델 학습장치(300)는 AGV 제어장치(100)에서 구동되는 인공신경망 모델을 최초 형성할 뿐 아니라 이후에도 지속적으로 AGV 제어장치(100)로부터 수신하는 주행중 카메라 영상 데이터를 이용하여 인공신경망 모델을 업데이트하는 역할을 수행한다. 이와 같이 최초형성 또는 업데이트되는 인공신경망 모델은 즉시 AGV 제어장치(100)로 전달되어, AGV 제어장치(100)로 하여금 업데이트된 인공신경망 모델을 이용하여 물체 인식 및 이에 따른 AGV(500)의 주행제어를 할 수 있도록 한다.The AGV artificial neural network model learning apparatus 300 not only forms an artificial neural network model driven by the AGV control apparatus 100 for the first time, but also uses the artificial neural network model by using continuous camera image data received from the AGV control apparatus 100 thereafter. It serves to update. The neural network model that is initially formed or updated is immediately transmitted to the AGV control apparatus 100 so that the AGV control apparatus 100 recognizes the object using the updated artificial neural network model and controls driving of the AGV 500 accordingly. To do this.

이러한 인공신경망 모델에는 다양한 종류가 있을 수 있으나 이하 도 2 내지 도 6을 참조한 실시예에서는 YOLO(You Only Look Once) 및 SSD(Single Shot Detector)를 이용한 모델을 사용한다.There may be various types of the neural network model, but the embodiment referring to FIGS. 2 to 6 will use a model using YOLO (You Only Look Once) and SSD (Single Shot Detector).

도 2는 AGV 제어장치(100)가 본 발명의 AGV 인공신경망 모델 학습장치(300)와 연동되어 AGV(500)의 주행 제어를 수행하는 과정을 나타내는 시퀀스 다이어그램이고, 도 3은 여러 인공신경망 모델의 속도와 정확도를 비교한 그래프이며, 도 4는 반지도 학습(semi-supervised learning)과 지도 학습(supervised learning)을 비교하여 도시한 도면이다.FIG. 2 is a sequence diagram illustrating a process in which the AGV control apparatus 100 performs the driving control of the AGV 500 in conjunction with the AGV artificial neural network model learning apparatus 300 of the present invention, and FIG. 4 is a graph comparing speed and accuracy, and FIG. 4 is a diagram illustrating comparison between semi-supervised learning and supervised learning.

AGV(500)에 장착된 카메라(10)는, AGV(500)의 주행시 촬영중인 영상 데이터를 AGV 제어장치(100)로 송신한다(S201). AGV 제어장치(100)는 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치(300)로 송신하고(S202), 또 한편으로는 수신한 영상 데이터를 인공신경망 모델의 입력 데이터로서 입력한다(S203). 이러한 AGV 제어장치(100)의 인공신경망 모델은, 전술한 바와 같이 도 5의 '인공신경망 이용 주행제어 어플리케이션(230)'에 포함되어 있으며, AGV 인공신경망 모델 학습장치(300)가 영상 데이터에 대하여 기계학습(machine learning)에 의해 최초 형성한 것을 전달받아 사용하고, 또한 후술하는 바와 같이 최초 형성 이후 AGV 인공신경망 모델 학습장치(300)에 의해 지속적으로 업데이트된 인공신경망 모델을 AGV 제어장치(100)가 전달받아 사용하게 된다.The camera 10 mounted on the AGV 500 transmits the image data being photographed when the AGV 500 is traveling to the AGV control apparatus 100 (S201). The AGV control apparatus 100 transmits the received image data to the AGV artificial neural network model learning apparatus 300 (S202), and inputs the received image data as input data of the artificial neural network model (S203). As described above, the artificial neural network model of the AGV control apparatus 100 is included in the 'artificial neural network using driving control application 230' of FIG. 5, and the AGV artificial neural network model learning apparatus 300 is provided with respect to the image data. The AGV control apparatus 100 receives an artificial neural network model continuously updated by the AGV artificial neural network model learning apparatus 300 after the initial formation as described below. Will be delivered and used.

본 발명의 인공신경망 모델로는 YOLO(You Only Look Once) 및 SSD(Single Shot Detector)을 사용한다.The artificial neural network model of the present invention uses YOLO (You Only Look Once) and SSD (Single Shot Detector).

딥러닝 기반 텐서플로우를 활용한 이미지 인식에 의해, 주변 물체 및 AGV의 위치를 실시간으로 파악하여 계산된 결과로 경로제어 및 이동까지 가능하다. 그러나 R-CNN 또는 이를 개선한 Faster R-CNN이라 하더라도 2000개 region을 기반으로 CNN처리를 하기 때문에 AGV에서 동영상을 카메라 센서를 통해 취득하여 실시간으로 객체 인식을 하는 것은 매우 어려운 문제가 있다. 즉, 객체 추출을 위해 많이 사용되는 R-CNN기법은 선택적 검색(selective search)를 통해 영역을 지정하여 객체 분류에 필요한 경계 상자(bounding box)의 수를 줄이지만 여전히 2000개가 넘는 지역은 많은 연산 시간을 필요하게 한다.By image recognition using deep learning based tensor flow, it is possible to control the path and move with the calculated result by identifying the position of surrounding objects and AGV in real time. However, even in the case of R-CNN or Faster R-CNN, the CNN processing based on 2000 regions has a very difficult problem of real time object recognition by acquiring video through camera sensor in AGV. In other words, the R-CNN technique, which is widely used for object extraction, reduces the number of bounding boxes needed for classifying objects by specifying areas through selective search, but still has a lot of computation time in over 2000 regions. Makes it necessary.

이와 대비하여 YOLO는 각 이미지를 S x S 개의 그리드로 분할하고, 그리드의 신뢰도를 계산한다. 신뢰도는 그리드 내 객체 인식 시 정확성을 반영한다. 처음에는 객체 인식과는 동떨어진 경계 상자가 설정되지만, 신뢰도를 계산하여 경계 상자의 위치를 조정함으로써, 가장 높은 객체 인식 정확성을 가지는 경계 상자를 얻을 수 있다. 그리드에 객체 포함 여부를 계산하기 위해, 객체 클래스 점수를 계산한다. 이 결과로 총 S x S x N 객체가 예측된다. 이 그리드의 대부분은 낮은 신뢰도를 가진다. 신뢰도를 높이기 위해 주변의 그리드를 합칠 수 있다. 이후, 임계값을 설정해 불필요한 부분은 제거할 수 있다. 즉, YOLO는 이미지를 적은 수의 그리드로 분할하여 그리드의 신뢰도를 바탕으로 신뢰도가 낮은 그리드는 제거함으로서 더욱 그리드 수를 줄이고 결과적인 연산 속도를 줄일 수 있다. 이에 따라 단순한 처리에 의해 속도가 매우 빠른 장점이 있는데, 이는 이미지 전체를 한 번에 바라보는 방식으로 클래스를 분별하기 때문이다.In contrast, YOLO divides each image into S x S grids and calculates the grid reliability. Reliability reflects the accuracy of object recognition in the grid. Initially, the bounding box is set apart from the object recognition, but by calculating the reliability and adjusting the position of the bounding box, the bounding box with the highest object recognition accuracy can be obtained. To calculate whether an object is included in the grid, calculate the object class score. As a result, the total S x S x N objects are predicted. Most of these grids have low reliability. You can combine surrounding grids to increase reliability. Then, the threshold value can be set to remove unnecessary parts. In other words, YOLO divides the image into fewer grids and removes less reliable grids based on the grid's reliability, further reducing the number of grids and resulting computational speed. This has the advantage of being very fast by simple processing, because it classifies the class by looking at the whole image at once.

SSD는 객체 검출 속도 및 정확도 사이의 균형이 있는 알고리즘이다. SSD는 한 번만 입력 이미지에 대한 CNN을 실행하고 형상 맵(feature map)을 계산한다. 경계 상자 및 객체 분류 확률을 예측하기 위해 이 형상 맵을 3 × 3 크기로 CNN을 수행함으로써, 확률적으로 그리드를 제거해나가는 YOLO보다는 정확도를 높이면서도 연산 속도 면에서는 R-CNN보다 빠른 특성을 보인다. SSD는 CNN처리 후 경계 상자를 예측하며, 이 방법은 다양한 스케일의 물체를 검출할 수 있다.SSD is an algorithm with a balance between object detection speed and accuracy. The SSD executes the CNN on the input image only once and computes a feature map. By performing a CNN of 3 × 3 on the shape map to predict the bounding box and object classification probability, it is faster than R-CNN in terms of computational speed while increasing accuracy than YOLO, which probabilistically removes the grid. The SSD predicts the bounding box after CNN processing, and this method can detect objects of various scales.

도 3을 참조하면, YOLO와 SSD의 연산속도는 R-CNN과 대비하여 빠르며, 그중 SSD는 인식에 대한 정확도에 있어서도 R-CNN 수준과 근접한 수준이다.Referring to FIG. 3, the computational speed of YOLO and SSD is faster than that of R-CNN, among which SSD is close to the R-CNN level in accuracy of recognition.

본 발명에서는 이와 같은 YOLO 및 SSD 알고리즘을 기반으로 한 인공신경망 모델을 이용하는데, YOLO와 SSD를 결합하여 사용하는 모델은 다음과 같은 방식으로 구성할 수 있다. 즉, 먼저 AGV(500)에 장착된 카메라(10)로부터 수신한 촬영 영상 데이터를, 빠른 물체 인식이 가능한 YOLO 모델에 입력한다(S203). 이러한 YOLO 모델의 출력에서 물체가 인식된 경우, 영상 데이터에서 인식된 물체 영역을 추출해내고, 추출된 물체 영역 이미지를 SSD 모델에 입력한다(S204). YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력할 수 있다. SSD 모델은 이로부터 물체의 종류와 같은 물체 정보를 정확하게 인식해 내게 된다(S205). 즉, YOLO 모델에 의한 빠른 처리에 의해 영상으로부터 물체가 있음을 감지해 내고, 이러한 물체의 정확한 정보는 물체가 감지된 영상에서 SSD 모델을 이용하여 인식해 내는 것이다.In the present invention, an artificial neural network model based on the YOLO and SSD algorithms is used. A model using a combination of YOLO and SSD may be configured in the following manner. That is, first, the captured image data received from the camera 10 mounted on the AGV 500 is input to the YOLO model capable of fast object recognition (S203). When an object is recognized from the output of the YOLO model, the recognized object region is extracted from the image data, and the extracted object region image is input to the SSD model (S204). The YOLO model can crop the image slightly larger than the area occupied by the real object and input it into the SSD model. The SSD model accurately recognizes the object information such as the type of the object from this (S205). In other words, the fast processing by the YOLO model detects the presence of an object from the image, and the accurate information of the object is recognized using the SSD model in the detected image.

이와 같이 SSD모델의 출력에 의해 인식된 물체 종류에 따라, AGV 제어장치(100)는 AGV(500)의 각종 주행장치(20)들을 제어하는 메시지를 보낼 수 있다(S206). 이러한 주행 제어에는 예를 들어 AGV(500) 진행방향의 제어 등 다양한 제어가 있을 수 있으며, 또한 각 주행 제어와 관련된 다양한 장치들을 통칭하여 '주행장치(20)로 표현하기로 한다.As described above, according to the object type recognized by the output of the SSD model, the AGV control apparatus 100 may send a message for controlling the various driving apparatuses 20 of the AGV 500 (S206). Such driving control may include various controls such as control of the AGV 500 traveling direction, and various devices related to each driving control may be collectively referred to as a driving device 20.

AGV 제어장치(100)로부터 지속적으로, 예를 들어 주기적으로 영상 데이터를 전달받은(S202) AGV 인공신경망 모델 학습장치(300)는, 전달받은 영상 데이터를 저장하고(S207), 이러한 데이터를 이용하여 인공신경망 모델의 최초 형성 또는 업데이트를 위한 기계학습을 수행한다(S208). 이러한 업데이트 역시 예를 들어 주기적으로 수행될 수 있다. 이와 같이 기계학습에 의해 업데이트된 인공신경망 모델은 AGV 인공신경망 모델 학습장치(300)에 저장되고(S209), 또한 업데이트된 인공신경망 모델은 AGV 제어장치(100)로 송신하며(S210), AGV 제어장치(100)는 업데이트된 인공신경망 모델을 저장한 후(S211), 향후 다시 업데이트되기 전까지 저장된 모델을 사용하게 된다.The AGV artificial neural network model learning apparatus 300 continuously receiving image data from the AGV control apparatus 100 periodically, for example (S202), stores the received image data (S207), and uses the data. Machine learning for the initial formation or update of the artificial neural network model is performed (S208). This update can also be performed periodically, for example. The artificial neural network model updated by the machine learning as described above is stored in the AGV artificial neural network model learning apparatus 300 (S209), and the updated artificial neural network model is transmitted to the AGV control apparatus 100 (S210) and AGV control The device 100 stores the updated artificial neural network model (S211) and uses the stored model until it is updated again in the future.

딥러닝 기반 텐서플로우를 활용한 이미지 인식으로 주변 물체 및 AGV(500) 의 위치를 실시간으로 파악하여 계산된 결과로 경로제어 및 이동까지 가능하지만, 중소중견기업은 제조 관련된 데이터를 많이 확보하고 있지 않으며, 이미지 인식을 기반으로 하는 AGV(500)도 공장 내 한정된 환경에 대한 학습 데이터량을 바탕으로 자율주행을 해야 한다. 또한 데이터가 충분하더라도 일반 강화학습을 이용하면 많은 데이터와 비용, 시간이 소모되어 상용화에 오랜 시간이 걸린다.Although image recognition using deep learning-based tensor flow is possible to determine the location of surrounding objects and AGV (500) in real time, it is possible to control the path and move as a result, but small and medium-sized companies do not have much data related to manufacturing. In addition, the AGV 500 based on image recognition should also autonomously drive based on the amount of learning data for a limited environment in the factory. In addition, even if the data is sufficient, general reinforcement learning takes a lot of data, cost, and time, and commercialization takes a long time.

따라서 본 발명의 인공신경망 모델 최초 형성 또는 업데이트를 위한 기계학습 과정(S208)에는, 소량의 데이터 학습만으로 이미지 인식이 가능한 “퓨샷러닝(few shot learning)” 기술을 적용하는 것이 바람직하다.Therefore, it is preferable to apply a "few shot learning" technique capable of image recognition with only a small amount of data learning in the machine learning process (S208) for initial formation or update of the neural network model of the present invention.

퓨샷러닝은 수많은 데이터를 학습하며 시행착오를 반복하는 강화학습의 약점을 극복하기 위해 상대적으로 적은 샘플로 상당한 수준의 학습이 가능하게 하는 것이며, 때로는 인간의 개입도 가능한 학습방법이다. 중소중견제조공장에 AGV(500)를 투입해야 할 경우 학습해야 할 객체와 공간이 상당히 한정되어 있고 한정된 데이터를 바탕으로 올바르게 객체를 이미지로 인식해야 하기 때문에 이미지 인식 및 학습에 있어 퓨샷러닝을 도입하는 것은 매우 유용하다.Pewshot Learning is a learning method that enables a significant level of learning with a relatively small sample to overcome the weaknesses of reinforcement learning that learns a lot of data and repeats trial and error. When AGV (500) should be put into a small and medium sized manufacturing plant, the objects and spaces to be learned are very limited, and since the objects must be recognized as images based on the limited data, Pewshot Learning is introduced in image recognition and learning. Is very useful.

이때, 라벨링된 소량의 데이터를 사용하여 라벨링되지 않은 데이터에 대한 학습 정확도를 높이는 반지도 학습 (semi-supervised learning)으로 퓨샷러닝의 정확도를 높일 수 있다. 또한 대용량의 동영상(공장 내부 환경 촬영에 따른)을 실시간으로 빠르게 받아들이고 연산을 통해 데이터 패턴을 빠르게 인식할 수 있도록 “5G(generation) 환경”이 구축되는 것이 바람직하다. 퓨샷러닝을 통해 대량의 데이터가 아닌 소량의 데이터만으로 학습하여 공장 환경에 대한 이미지 인식이 가능하며 강화학습 기반의 AGV와 대비하여 데이터와 비용은 적게 하면서, 빠른 시간 내 상용화가 가능하다. 또한 5G 환경에서 제어되는 AGV는 기존 LTE 환경 대비 수배~수십배 빠른 속도로 동영상 촬영 및 전송이 가능하다.In this case, semi-supervised learning may be used to improve the accuracy of fushot learning by using a small amount of labeled data to improve learning accuracy on unlabeled data. In addition, it is desirable to establish a “5G (generation) environment” so that large-capacity video (according to the factory environment shooting) can be quickly accepted in real time and data patterns can be quickly recognized through calculation. Fewshot learning enables image recognition of the factory environment by learning only a small amount of data, not a large amount of data, and can be commercialized in a short time with low data and cost compared to AGV based on reinforcement learning. In addition, AGV, which is controlled in the 5G environment, can record and transmit video several times to ten times faster than the existing LTE environment.

도 4는 반지도 학습(semi-supervised learning)과 지도 학습(supervised learning)을 비교하는 도면인데, 도 4(a)와 같이 완전히 라벨링된 데이터(labeled data)에 대하여는 도 4(c)와 같이 지도 학습을 수행하여 구분해 낼 수 있다. 그러나 도 4(b)와 같이 라벨링되지 않은 데이터(unlabeled data, 작은 원들)가 섞여있는 경우에는, 도 4(d)와 같이 라벨링된 데이터(큰 원들과 삼각형들)를 기준으로 라벨링되지 않은 데이터에 대한 분류를 정의하는 반지도 학습을 바탕으로 퓨샷러닝을 수행할 수 있고(S208), 이를 통해 인공신경망 모델을 구축하여(S209), 구축된 인공신경망 모델에 의해 AGV(500)의 주행 제어를 실시할 수 있다. FIG. 4 is a diagram comparing semi-supervised learning and supervised learning. For fully labeled data as shown in FIG. 4 (a), FIG. It can be distinguished by performing the learning. However, when unlabeled data (small circles) are mixed as shown in FIG. 4 (b), the unlabeled data is displayed based on the labeled data (large circles and triangles) as shown in FIG. 4 (d). The ring that defines the classification for the POE can also be subjected to Pewshot learning based on learning (S208), through which an artificial neural network model is constructed (S209), and the driving control of the AGV 500 is performed by the constructed artificial neural network model. can do.

즉, 반지도 학습은 라벨링된 데이터와 라벨링되지 않은 데이터를 모두 학습에 사용한다. 라벨링되지 않은 다량의 데이터에 대해, 라벨링된 소량의 데이터를 사용하여 라벨링되지 않은 데이터에 대한 학습 정확도를 높인다. 공장 내 AGV(500)를 이미지 기반으로 제어할 경우에도 소량의 라벨링된 데이터를 기반으로 다량의 객체를 정확하게 인식하여 인식된 객체들을 반영하여 목적지까지 이동하는 경로 map을 생성할 수 있다.That is, ring diagram learning uses both labeled and unlabeled data for learning. For large amounts of unlabeled data, a small amount of labeled data is used to increase the learning accuracy for the unlabeled data. Even when the AGV 500 in the factory is controlled based on an image, a plurality of objects may be accurately recognized based on a small amount of labeled data to generate a path map that moves to a destination by reflecting the recognized objects.

특히, 도 2를 참조하여 전술한 바와 같이, 본 발명의 실시예에서는 인공신경망 모델로서 YOLO 모델과 SSD 모델을 결합하여 사용하며, 반지도 학습을 바탕으로 퓨샷러닝에 의해 YOLO 모델과 SSD 모델을 각각 형성/업데이트할 수 있다.In particular, as described above with reference to FIG. 2, in the embodiment of the present invention, a combination of the YOLO model and the SSD model is used as an artificial neural network model, and each of the YOLO model and the SSD model by fushot learning based on ring diagram learning, respectively. It can be formed / updated.

도 5는 AGV 제어장치(100)의 구성을 나타내는 도면이다.5 is a diagram illustrating a configuration of the AGV control apparatus 100.

도 2를 참조하여 AGV 제어장치(100)가 수행하는 기능에 대하여는 상세히 설명한 바 있으므로, 도 5를 참조하여서는 그러한 기능을 수행하기 위한 AGV 제어장치(100)의 구성요소를 중심으로 간략히 정리하여 설명하기로 한다.Since the functions performed by the AGV control apparatus 100 have been described in detail with reference to FIG. 2, the brief description of the functions of the AGV control apparatus 100 for performing such functions will be briefly described with reference to FIG. 5. Shall be.

도 5를 참조하면, AGV 제어장치(100)는, 프로세서(110), 프로그램과 데이터를 저장하는 비휘발성 저장부(120), 실행 중인 프로그램들을 저장하는 휘발성 메모리(130), 다른 기기와 통신을 수행하기 위한 통신부(140), 이들 장치 사이의 내부 통신 통로인 버스 등으로 이루어져 있다. 실행 중인 프로그램으로는, 장치 드라이버, 운영체계(Operating System), 및 다양한 어플리케이션이 있을 수 있다. 도시되지는 않았지만, 전력제공부를 포함한다.Referring to FIG. 5, the AGV controller 100 may communicate with the processor 110, a nonvolatile storage unit 120 storing a program and data, a volatile memory 130 storing a running program, and other devices. The communication unit 140 to perform, and a bus that is an internal communication path between these devices. Running programs can include device drivers, operating systems, and various applications. Although not shown, includes a power supply.

AGV 제어장치(100)는, AGV(500)에 장착된 카메라(10)로부터, 영상 데이터 수신 드라이버(210)에 의해 AGV(500)의 주행중 영상 데이터를 전달받아 이를 인공신경망 이용 주행제어 어플리케이션(230)(이하 '어플리케이션(230)'이라 한다)에 포함되어 있는 인공신경망 모델에 입력하고, 인공신경망 모델의 출력에 의해 AGV(500)의 주행장치(20)를 제어하여, AGV(500)의 주행을 제어하는 역할을 수행한다. 그러한 역할에 대하여는 도 2를 참조하여 상세히 설명한 바 있다. 또한 이러한 인공신경망 모델로는, YOLO 모델과 SSD 모델을 결합하여 사용할 수 있음 역시 전술한 바와 같다.The AGV control apparatus 100 receives the image data while driving the AGV 500 by the image data reception driver 210 from the camera 10 mounted on the AGV 500, and uses the artificial neural network to control the traveling control application 230. ) Is inputted to the artificial neural network model included in (hereinafter referred to as an application 230), and the traveling device 20 of the AGV 500 is controlled by the output of the artificial neural network model, thereby driving the AGV 500. It serves to control. Such a role has been described in detail with reference to FIG. 2. In addition, as the artificial neural network model, the YOLO model and SSD model can be used in combination as described above.

또한 통신부(140)는 도 2를 참조하여 설명한 바와 같은 AGV 인공신경망 모델 학습장치(300)와의 데이터 송수신 역할을 수행하는데, 즉 AGV 제어장치(100)는 통신부(140)를 통하여, 카메라(10)에서 수신한 영상 데이터를 AGV 인공신경망 모델 학습장치(300)로 송신하고, AGV 인공신경망 모델 학습장치로부터(300) 형성/업데이트 된 YOLO, SSD 등의 인공신경망 모델을 수신한다.In addition, the communication unit 140 performs a data transmission / reception role with the AGV artificial neural network model learning apparatus 300 as described with reference to FIG. 2, that is, the AGV control apparatus 100 may communicate with the camera 10 through the communication unit 140. The image data received at is transmitted to the AGV artificial neural network model learning apparatus 300, and receives an artificial neural network model, such as YOLO, SSD, etc. formed / updated from the AGV artificial neural network model training apparatus (300).

도 6은 본 발명의 AGV 인공신경망 모델 학습장치(300)의 구성을 나타내는 도면이다.6 is a view showing the configuration of the AGV artificial neural network model learning apparatus 300 of the present invention.

도 2를 참조하여 AGV 인공신경망 모델 학습장치(300)가 수행하는 기능에 대하여는 상세히 설명한 바 있으므로, 도 6을 참조하여서는 그러한 기능을 수행하기 위한 AGV 인공신경망 모델 학습장치(300)의 구성요소를 중심으로 간략히 정리하여 설명하기로 한다.Since the functions performed by the AGV artificial neural network model training apparatus 300 have been described in detail with reference to FIG. 2, the components of the AGV artificial neural network model training apparatus 300 for performing such functions will be described with reference to FIG. 6. It will be briefly described as follows.

제어부(310)는 이하에서 설명하는 AGV 인공신경망 모델 학습장치(300)의 각 구성모듈을 제어하여, 주행제어를 위한 인공신경망 모델 학습과 관련된 일련의 처리를 수행한다.The controller 310 controls each component module of the AGV artificial neural network model learning apparatus 300 to be described below, and performs a series of processes related to training the artificial neural network model for driving control.

통신부(320)는 도 2를 참조하여 설명한 바와 같은, AGV 제어장치(100)와의 데이터 송수신 역할을 수행한다.The communication unit 320 performs data transmission / reception with the AGV control apparatus 100 as described with reference to FIG. 2.

영상 데이터 수신부(330)는, 통신부(320)를 통하여 수신한 데이터에서 영상 데이터를 수신한다.The video data receiver 330 receives video data from data received through the communication unit 320.

머신러닝부(340)는, AGV 제어장치(100)로부터 지속적으로, 예를 들어 주기적으로 수신하는 영상 데이터를 이용하여 기계학습(machine learning)을 수행함으로써, 인공신경망 모델을 형성 및 지속적으로 업데이트하여 AGV 제어장치(100)에 전달하는 역할을 수행한다. 머신러닝부(340)에는 영상 데이터를 이용하여 YOLO 모델을 업데이트하는 YOLO 모델 학습부(341)과, 영상 데이터를 이용하여 SSD 모델을 업데이트하는 SSD 모델 학습부(342)를 포함한다. 이러한 머신러닝부(340)는, 도 2를 참조하여 전술한 바와 같이, 반지도 학습(semi-supervised learning)을 바탕으로 퓨샷러닝에 의해 YOLO 모델과 SSD 모델을 각각 형성/업데이트하게 된다.Machine learning unit 340, by continuously performing, for example, machine learning using the image data received periodically from the AGV control device 100, by forming and continuously updating the artificial neural network model It serves to deliver to the AGV control device (100). The machine learning unit 340 includes a YOLO model learner 341 for updating the YOLO model using image data, and an SSD model learner 342 for updating the SSD model using image data. As described above with reference to FIG. 2, the machine learning unit 340 forms / updates the YOLO model and the SSD model by fushot learning based on semi-supervised learning.

데이터 저장부(350)에는 AGV 제어장치(100)로부터 지속적으로, 예를 들어 주기적으로 수신하는 영상 데이터를 저장하며, 또한 머신러닝부(340)에서 학습에 의해 형성/업데이트시키는 인공신경망 모델을 저장한다.The data storage unit 350 stores image data continuously received, for example, periodically from the AGV control apparatus 100, and also stores an artificial neural network model that is formed / updated by learning in the machine learning unit 340. do.

10: 카메라
20: 주행장치
100: AGV 제어장치
300: AGV 인공신경망 모델 학습장치10: camera
20: traveling device
100: AGV control
300: AGV neural network model training device

Claims (12)

AGV 인공신경망 모델 학습장치가 AGV 제어장치에서 사용되는 인공신경망 모델을 학습에 의해 형성시키는 방법으로서,
(a) 주행중인 AGV에 장착된 AGV 제어장치로부터, AGV에 장착된 카메라에서 촬영중인 영상 데이터를 지속적으로 수신하여 이를 저장하는 단계;
(b) 수신한 영상 데이터를 이용하여 인공신경망 모델의 형성 또는 업데이트를 위한 기계학습(machine learning)을 수행하는 단계;
(c) 형성 또는 업데이트된 인공신경망 모델을 저장하는 단계; 및,
(d) 형성된 인공신경망 모델 또는 지속적으로 업데이트된 인공신경망 모델을 AGV 제어장치로 송신하는 단계
를 포함하고,
상기 단계(b)의 기계학습은,
퓨샷러닝(few shot learning) 방식으로 이루어지며,
상기 단계(b)의 기계학습은,
반지도 학습(semi-supervised learning) 방식으로 이루어지고,
상기 인공신경망 모델에는,
YOLO(You Only Look Once) 모델에 의한 빠른 처리에 의해 영상으로부터 물체가 있음을 감지해 내고, 이러한 물체의 정확한 정보는 물체가 감지된 영상에서 SSD(Single Shot Detector) 모델을 이용하여 인식해 내도록 YOLO 모델 및 SSD 모델
을 포함하고,
SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하며, 다양한 스케일의 물체를 검출할 수 있고,
상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하며,
상기 단계(a)에서의 영상 데이터의 송수신은,
5G(generation) 환경에서 이루어지는,
AGV 인공신경망 모델 학습장치의 인공신경망 모델 학습 방법.
AGV artificial neural network model learning apparatus as a method for forming the artificial neural network model used in the AGV controller by learning,
(a) continuously receiving and storing image data being photographed by a camera mounted on the AGV from the AGV controller mounted on the driving AGV;
(b) performing machine learning for forming or updating an artificial neural network model using the received image data;
(c) storing the formed or updated artificial neural network model; And,
(d) transmitting the formed neural network model or the continuously updated neural network model to the AGV control device;
Including,
Machine learning of the step (b),
Few shot learning method,
Machine learning of the step (b),
Rings are also made of semi-supervised learning,
In the artificial neural network model,
YOLO detects the presence of an object from the image by fast processing by the YOLO (You Only Look Once) model, and uses the SSD (Single Shot Detector) model to recognize the exact information of the object. Model and SSD model
Including,
SSD predicts bounding boxes after CNN (convolutional neural network) processing, can detect objects of various scales,
The YOLO model cuts the image slightly larger than the area occupied by the real object and inputs it to the SSD model.
Transmission and reception of the video data in the step (a),
In a 5G (generation) environment,
Artificial neural network model training method of AGV artificial neural network model learning apparatus.
삭제delete 삭제delete 삭제delete 삭제delete AGV 제어장치에서 사용되는 인공신경망 모델을 학습에 의해 형성시키는 장치로서,
적어도 하나의 프로세서; 및
컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
(a) 주행중인 AGV에 장착된 AGV 제어장치로부터, AGV에 장착된 카메라에서 촬영중인 영상 데이터를 지속적으로 수신하여 이를 저장하는 단계;
(b) 수신한 영상 데이터를 이용하여 인공신경망 모델의 형성 또는 업데이트를 위한 기계학습(machine learning)을 수행하는 단계;
(c) 형성 또는 업데이트된 인공신경망 모델을 저장하는 단계; 및,
(d) 형성된 인공신경망 모델 또는 지속적으로 업데이트된 인공신경망 모델을 AGV 제어장치로 송신하는 단계
가 실행되도록 하고,
상기 단계(b)의 기계학습은,
퓨샷러닝(few shot learning) 방식으로 이루어지며,
상기 단계(b)의 기계학습은,
반지도 학습(semi-supervised learning) 방식으로 이루어지고,
상기 인공신경망 모델에는,
YOLO(You Only Look Once) 모델에 의한 빠른 처리에 의해 영상으로부터 물체가 있음을 감지해 내고, 이러한 물체의 정확한 정보는 물체가 감지된 영상에서 SSD(Single Shot Detector) 모델을 이용하여 인식해 내도록 YOLO 모델 및 SSD 모델
을 포함하고,
SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하며, 다양한 스케일의 물체를 검출할 수 있고,
상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하며,
상기 단계(a)에서의 영상 데이터의 송수신은,
5G(generation) 환경에서 이루어지는,
AGV 인공신경망 모델 학습장치.An apparatus for forming artificial neural network model used in AGV control by learning,
At least one processor; And
At least one memory that stores instructions executable by the computer,
The computer executable instructions stored in the at least one memory may be executed by the at least one processor.
(a) continuously receiving and storing image data being photographed by a camera mounted on the AGV from the AGV controller mounted on the driving AGV;
(b) performing machine learning for forming or updating an artificial neural network model using the received image data;
(c) storing the formed or updated artificial neural network model; And,
(d) transmitting the formed neural network model or the continuously updated neural network model to the AGV control device;
To run,
Machine learning of the step (b),
Few shot learning method,
Machine learning of the step (b),
Rings are also made of semi-supervised learning,
In the artificial neural network model,
YOLO detects the presence of objects from the image by fast processing by YOLO (You Only Look Once) model, and uses the SSD (Single Shot Detector) model to recognize the exact information of the object. Model and SSD model
Including,
SSD predicts bounding boxes after CNN (convolutional neural network) processing, can detect objects of various scales,
The YOLO model cuts the image slightly larger than the area occupied by the real object and inputs it to the SSD model.
Transmission and reception of the video data in the step (a),
In a 5G (generation) environment,
AGV artificial neural network model training device. AGV 인공신경망 모델 학습장치가 AGV 제어장치에서 사용되는 인공신경망 모델을 학습에 의해 형성시키기 위한, 비일시적 저장매체에 저장된 컴퓨터 프로그램으로서,
비일시적 저장매체에 저장되며, 프로세서에 의하여,
(a) 주행중인 AGV에 장착된 AGV 제어장치로부터, AGV에 장착된 카메라에서 촬영중인 영상 데이터를 지속적으로 수신하여 이를 저장하는 단계;
(b) 수신한 영상 데이터를 이용하여 인공신경망 모델의 형성 또는 업데이트를 위한 기계학습(machine learning)을 수행하는 단계;
(c) 형성 또는 업데이트된 인공신경망 모델을 저장하는 단계; 및,
(d) 형성된 인공신경망 모델 또는 지속적으로 업데이트된 인공신경망 모델을 AGV 제어장치로 송신하는 단계
가 실행되도록 하는 명령을 포함하고,
상기 단계(b)의 기계학습은,
퓨샷러닝(few shot learning) 방식으로 이루어지며,
상기 단계(b)의 기계학습은,
반지도 학습(semi-supervised learning) 방식으로 이루어지고,
상기 인공신경망 모델에는,
YOLO(You Only Look Once) 모델에 의한 빠른 처리에 의해 영상으로부터 물체가 있음을 감지해 내고, 이러한 물체의 정확한 정보는 물체가 감지된 영상에서 SSD(Single Shot Detector) 모델을 이용하여 인식해 내도록 YOLO 모델 및 SSD 모델
을 포함하고,
SSD는 CNN(convolutional neural network) 처리 후 경계 상자를 예측하며, 다양한 스케일의 물체를 검출할 수 있고,
상기 YOLO 모델은 실제 물체가 차지하는 영역보다 약간 크게 영상을 잘라내어 이를 SSD 모델에 입력하며,
상기 단계(a)에서의 영상 데이터의 송수신은,
5G(generation) 환경에서 이루어지는,
AGV 인공신경망 모델 학습장치가 AGV 제어장치에서 사용되는 인공신경망 모델을 학습에 의해 형성시키기 위한, 비일시적 저장매체에 저장된 컴퓨터 프로그램.
A computer program stored in a non-transitory storage medium for the AGV artificial neural network model learning apparatus to form, by learning, an artificial neural network model used in an AGV controller,
Stored in a non-transitory storage medium and stored by the processor,
(a) continuously receiving and storing image data being photographed by a camera mounted on the AGV from the AGV controller mounted on the driving AGV;
(b) performing machine learning for forming or updating an artificial neural network model using the received image data;
(c) storing the formed or updated artificial neural network model; And,
(d) transmitting the formed neural network model or the continuously updated neural network model to the AGV control device;
Contains a command that causes
Machine learning of the step (b),
Few shot learning method,
Machine learning of the step (b),
Rings are also made of semi-supervised learning,
In the artificial neural network model,
YOLO detects the presence of an object from the image by fast processing by the YOLO (You Only Look Once) model, and uses the SSD (Single Shot Detector) model to recognize the exact information of the object. Model and SSD model
Including,
SSD predicts bounding boxes after CNN (convolutional neural network) processing, can detect objects of various scales,
The YOLO model cuts the image slightly larger than the area occupied by the real object and inputs it to the SSD model.
Transmission and reception of the video data in the step (a),
In a 5G (generation) environment,
A computer program stored in a non-transitory storage medium for the AGV artificial neural network model learning apparatus to form, by learning, an artificial neural network model used in the AGV controller.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020190059117A 2018-12-31 2019-05-20 Method and apparatus for learning artificial neural network for driving control of automated guided vehicle KR102043142B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180174073 2018-12-31
KR1020180174073 2018-12-31

Publications (1)

Publication Number Publication Date
KR102043142B1 true KR102043142B1 (en) 2019-11-12

Family

ID=68577387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190059117A KR102043142B1 (en) 2018-12-31 2019-05-20 Method and apparatus for learning artificial neural network for driving control of automated guided vehicle

Country Status (1)

Country Link
KR (1) KR102043142B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930081A (en) * 2020-07-15 2020-11-13 西门子工厂自动化工程有限公司 Method and device for monitoring AGV state, edge device and storage medium
CN112150471A (en) * 2020-09-23 2020-12-29 创新奇智(上海)科技有限公司 Semantic segmentation method and device based on few samples, electronic equipment and storage medium
KR20210057649A (en) * 2019-11-12 2021-05-21 건국대학교 산학협력단 Method of controlling autonomous driving of moving object and apparatuses performing the same
KR20210106304A (en) * 2020-02-20 2021-08-30 주식회사 오비고 Method for determining traffic violation vehicle which exists on driving route of autonomous vehicle and the device using the same
WO2022055260A1 (en) * 2020-09-08 2022-03-17 포티투닷 주식회사 Method and device for determining available vehicle boarding area in travel image by using artificial neural network
KR20220084632A (en) * 2020-12-14 2022-06-21 전북대학교산학협력단 Apparatus for few-shot classification with clustering function and meta-learning method thereof
KR20220103260A (en) * 2021-01-15 2022-07-22 한남대학교 산학협력단 Navigation system for autonomous driving of heavy equipment using cameras
KR102506222B1 (en) * 2022-06-30 2023-03-08 호서대학교 산학협력단 Method and system for collection of vision data, learning ,distribution and inference

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128759A (en) * 2015-04-29 2016-11-08 국방과학연구소 Wireless sensor network device and method for controlling the same
JP2017091192A (en) * 2015-11-10 2017-05-25 国立大学法人 東京大学 Method and device for learning between documents in different languages using images, and method and device for searching cross-lingual document
KR20180094725A (en) * 2017-02-16 2018-08-24 삼성전자주식회사 Control method and control apparatus of car for automatic driving and learning method for automatic driving
US20190002585A1 (en) * 2017-06-08 2019-01-03 The Cleveland Clinic Foundation Cancer treatment methods and compositions
KR101944497B1 (en) * 2018-08-02 2019-01-31 블랙썬 주식회사 Control system and method of unmanned driving vehicle using intelligent CCTV
KR20190030613A (en) * 2017-09-14 2019-03-22 포테닛 주식회사 System and method charging battery of electric car
KR101974870B1 (en) 2017-06-08 2019-05-03 엘지전자 주식회사 Artificial intelligence robot cleaner and robot cleaning system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128759A (en) * 2015-04-29 2016-11-08 국방과학연구소 Wireless sensor network device and method for controlling the same
JP2017091192A (en) * 2015-11-10 2017-05-25 国立大学法人 東京大学 Method and device for learning between documents in different languages using images, and method and device for searching cross-lingual document
KR20180094725A (en) * 2017-02-16 2018-08-24 삼성전자주식회사 Control method and control apparatus of car for automatic driving and learning method for automatic driving
US20190002585A1 (en) * 2017-06-08 2019-01-03 The Cleveland Clinic Foundation Cancer treatment methods and compositions
KR101974870B1 (en) 2017-06-08 2019-05-03 엘지전자 주식회사 Artificial intelligence robot cleaner and robot cleaning system
KR20190030613A (en) * 2017-09-14 2019-03-22 포테닛 주식회사 System and method charging battery of electric car
KR101944497B1 (en) * 2018-08-02 2019-01-31 블랙썬 주식회사 Control system and method of unmanned driving vehicle using intelligent CCTV

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210057649A (en) * 2019-11-12 2021-05-21 건국대학교 산학협력단 Method of controlling autonomous driving of moving object and apparatuses performing the same
KR102297578B1 (en) * 2019-11-12 2021-09-03 건국대학교 산학협력단 Method of controlling autonomous driving of moving object and apparatuses performing the same
KR102423550B1 (en) * 2020-02-20 2022-07-22 주식회사 오비고 Method for determining traffic violation vehicle which exists on driving route of autonomous vehicle and the device using the same
KR20210106304A (en) * 2020-02-20 2021-08-30 주식회사 오비고 Method for determining traffic violation vehicle which exists on driving route of autonomous vehicle and the device using the same
CN111930081A (en) * 2020-07-15 2020-11-13 西门子工厂自动化工程有限公司 Method and device for monitoring AGV state, edge device and storage medium
WO2022055260A1 (en) * 2020-09-08 2022-03-17 포티투닷 주식회사 Method and device for determining available vehicle boarding area in travel image by using artificial neural network
CN112150471A (en) * 2020-09-23 2020-12-29 创新奇智(上海)科技有限公司 Semantic segmentation method and device based on few samples, electronic equipment and storage medium
CN112150471B (en) * 2020-09-23 2023-09-05 创新奇智(上海)科技有限公司 Semantic segmentation method and device based on few samples, electronic equipment and storage medium
KR20220084632A (en) * 2020-12-14 2022-06-21 전북대학교산학협력단 Apparatus for few-shot classification with clustering function and meta-learning method thereof
KR102548178B1 (en) * 2020-12-14 2023-06-28 전북대학교산학협력단 Apparatus for few-shot classification with clustering function and meta-learning method thereof
KR102437266B1 (en) * 2021-01-15 2022-08-26 한남대학교 산학협력단 Navigation system for autonomous driving of heavy equipment using cameras
KR20220103260A (en) * 2021-01-15 2022-07-22 한남대학교 산학협력단 Navigation system for autonomous driving of heavy equipment using cameras
KR102506222B1 (en) * 2022-06-30 2023-03-08 호서대학교 산학협력단 Method and system for collection of vision data, learning ,distribution and inference

Similar Documents

Publication Publication Date Title
KR102043143B1 (en) Method and apparatus for driving control of automated guided vehicle by using artificial neural network
KR102043142B1 (en) Method and apparatus for learning artificial neural network for driving control of automated guided vehicle
US11017550B2 (en) End-to-end tracking of objects
US20200216094A1 (en) Personal driving style learning for autonomous driving
US11794748B2 (en) Vehicle system for recognizing objects
US10845815B2 (en) Systems, methods and controllers for an autonomous vehicle that implement autonomous driver agents and driving policy learners for generating and improving policies based on collective driving experiences of the autonomous driver agents
US20240112051A1 (en) Machine learning models operating at different frequencies for autonomous vehicles
CN109109863B (en) Intelligent device and control method and device thereof
CN108496127B (en) Efficient three-dimensional reconstruction focused on an object
US20200033869A1 (en) Systems, methods and controllers that implement autonomous driver agents and a policy server for serving policies to autonomous driver agents for controlling an autonomous vehicle
KR20210075594A (en) Apparatus and method for predicting battery consumption of an electric vehicle
US11472444B2 (en) Method and system for dynamically updating an environmental representation of an autonomous agent
JP2006320997A (en) Device and method for selecting robot action
CN112356027B (en) Obstacle avoidance method and device for agriculture and forestry robot, computer equipment and storage medium
KR20160048530A (en) Method and apparatus for generating pathe of autonomous vehicle
CN114489112A (en) Cooperative sensing system and method for intelligent vehicle-unmanned aerial vehicle
US20210031365A1 (en) System and method for predicting robotic tasks with deep learning
US11899750B2 (en) Quantile neural network
KR20210022935A (en) ELECTRONIC APPARATUS AND METHOD FOR IMPLEMENTING SLAM(Simultaneous Localization and Mapping)
CN114386599A (en) Method and device for training trajectory prediction model and trajectory planning
CN116991104A (en) Automatic driving device for unmanned vehicle
Yoon et al. Design of longitudinal control for autonomous vehicles based on interactive intention inference of surrounding vehicle behavior using long short-term memory
CN112987713A (en) Control method and device for automatic driving equipment and storage medium
US11887317B2 (en) Object trajectory forecasting
US11467598B2 (en) Method of estimating position in local area of large space and robot and cloud server implementing thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant