WO2022146000A1 - 근미래 객체 위치 예측 시스템 - Google Patents

근미래 객체 위치 예측 시스템 Download PDF

Info

Publication number
WO2022146000A1
WO2022146000A1 PCT/KR2021/020095 KR2021020095W WO2022146000A1 WO 2022146000 A1 WO2022146000 A1 WO 2022146000A1 KR 2021020095 W KR2021020095 W KR 2021020095W WO 2022146000 A1 WO2022146000 A1 WO 2022146000A1
Authority
WO
WIPO (PCT)
Prior art keywords
future
image
neural network
bounding box
box
Prior art date
Application number
PCT/KR2021/020095
Other languages
English (en)
French (fr)
Inventor
김진혁
임진욱
Original Assignee
(주)에이아이매틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이아이매틱스 filed Critical (주)에이아이매틱스
Priority to US17/635,665 priority Critical patent/US12026894B2/en
Publication of WO2022146000A1 publication Critical patent/WO2022146000A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention learns an image of the current viewpoint captured by a camera based on artificial intelligence to sample a sample estimating the location of a dynamic object, and through learning to change the dynamic object location estimation sample to a probabilistic model using historical data. , relates to a near-future object position prediction system that predicts the near-future position of a dynamic object.
  • image recognition technology recognizes the position of an object from an image captured by a camera, determines the type of the recognized object, and is utilized in various industrial fields, such as autonomous driving vehicles, surveillance camera systems, and robot control.
  • an autonomous vehicle may recognize a static object (such as a lane, a traffic light, a sign, a building, a sidewalk, an obstacle, etc.) and control the driving posture of the vehicle based on the recognition result.
  • a dynamic object such as a nearby vehicle, pedestrian, bicycle, two-wheeled vehicle, etc.
  • an object recognition system may be used in a robot control system or a surveillance camera system.
  • objects may be variously changed in their current geopolitical location or in their mutual relationship with other objects. is limited in predicting.
  • the moving object is a pedestrian 20 and is located at the end point of the crosswalk.
  • the moving direction from the past to the present of the pedestrian 20 may be represented by an arrow 1.
  • the pedestrian 20 may move in the same direction and speed of movement (arrow 2), change the direction of movement along the crosswalk (arrow 3), turn slightly to the right and continue walking along the sidewalk (arrow 3) 4), you may make a significant change of direction to get into the vehicle that is coming to pick you up (arrow 5), or you may suddenly cross the road diagonally and jaywalk (arrow 6).
  • the probability that the pedestrian 20 attempts to jaywalk in the direction of arrow 6 is very small, it must be considered as one of the types of traffic accidents that actually occur.
  • moving objects are mainly intelligent living things or devices manipulated by living things, and can show different behavior patterns even when they are located in the same external environment, so it is impossible to make accurate predictions just by observing the external environment. . That is, there is a need to provide an improved near-future object position prediction system.
  • Korean Patent Registration No. 10-1979375 "Object Behavior Prediction Method of Surveillance Image”
  • Republic of Korea Patent Registration No. 10-2143034 “Method and System for Object Tracking in a Video Through Prediction of Future Motion of an Object”
  • Republic of Korea Patent Registration No. 10-2143031 “Method and system for predicting future motion of an object in a still image”
  • the present invention is to provide a system for recognizing a dynamic object from a current viewpoint image by learning an image captured by a camera based on artificial intelligence and predicting the near-future position of the dynamic object. It generates samples by estimating the location of dynamic objects through artificial intelligence learning within the context provided by the background, and learning the residuals of the bounding box of the near-future object and the object estimation bounding box estimated from the sample based on the result of recognizing the dynamic object.
  • An object of the present invention is to provide a possible near-future object position prediction system.
  • the present invention changes the N near-future object bounding box samples to K probabilistic models (Gaussian Mixture Model) using image histories and input signal histories from a predetermined past time point to the present time point, and the final future object bounding box
  • K probabilistic models Gaussian Mixture Model
  • the final future object bounding box By visualizing with (bounding box indicating the near-future position of the dynamic object observed at the present time) and the final future object boundary hypothesis box (the boundary box indicating the near-future position of the dynamic object not observed at the current time), the abrupt position of the dynamic object
  • An object of the present invention is to provide a near-future object position prediction system capable of predicting fluctuations and promoting safe driving of vehicle drivers.
  • a near-future object position prediction system includes: a segmentation neural network that recognizes an object from a current view image taken in a vehicle and outputs a segmentation image divided by assigning properties to each recognized object; an object post-processing module that finds and removes a dynamic object from the segmented image and converts it into a static segmented image; receiving the static segmentation image and estimating a position of a dynamic object in the static segmentation image, generating an object estimation bounding box at each point where the dynamic object is estimated to be located, and at least one of the object estimation bounding box an object bounding box sample estimation neural network that generates and outputs an embedded object bounding box sample; and receiving the current viewpoint image and the static segmentation image, receiving a sensing signal of the same time as the current viewpoint image from a vehicle as an input signal, and a dynamic object recognized in the current viewpoint image is expected to be located in the near future A near-future object that predicts a bounding box and calculates an object bounding residual that
  • the dynamic object is not dynamically tracked after recognizing the dynamic object, but through artificial intelligence learning within the context provided by the static background excluding the dynamic object from the image of the current point of view.
  • the current view image It is possible to predict the near-future position of a dynamic object recognized in there is an effect
  • N near-future object bounding box samples are changed to K probabilistic models (Gaussian Mixture Model) using image histories and input signal histories from a predetermined past time point to the present time point, and the final future object
  • K probabilistic models Gaussian Mixture Model
  • the dynamic object By visualizing with a bounding box (a bounding box representing the near-future position of a dynamic object observed at the current time point) and a final future object bounding hypothesis box (a bounding box representing the near-future position of a dynamic object not observed at the current time point), the dynamic object abrupt It has the effect of predicting the location change and promoting the safe driving of the vehicle driver.
  • FIG. 1 is a diagram illustrating a conventional method for dynamically predicting the position of a moving object
  • FIG. 2 is a view showing an example of predicting the position of a moving object in the vicinity of a crosswalk
  • FIG. 3 is a diagram illustrating a process in which an image captured by a camera is converted into image data
  • FIG. 4 is a block diagram illustrating a near-future object position prediction system according to the present invention.
  • FIG. 5 is a block diagram illustrating the structure of a near-future object prediction neural network in FIG. 4;
  • FIG. 6 is a block diagram depicting in detail the process of learning a near-future object bounding box sample in the present invention
  • FIG. 7 is a block diagram illustrating in detail a process of predicting the future location of an object that has not appeared and an object that has appeared through the near-future object prediction neural network of FIG. 5;
  • FIG. 8 is a block diagram illustrating the structure of a segmentation neural network in the present invention.
  • FIG. 9 is a view showing embodiments of a segmented image in the present invention.
  • FIG. 10 is a block diagram depicting in detail the object post-processing module in the present invention.
  • 11 to 15 are diagrams illustrating examples in which a result of predicting a near-future object location is displayed on a navigation terminal according to the present invention.
  • ⁇ module a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.
  • the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • the near-future object position prediction system uses an image captured from a camera as core data, and predicts the near-future position of a dynamic object included in a current view image.
  • the dynamic object means a moving object such as a surrounding vehicle, a pedestrian, a bicycle, or a two-wheeled vehicle.
  • a static object means an object that does not move as opposed to a dynamic object, for example, an object such as a lane, a traffic light, a sign, a building, a sidewalk, an obstacle, and the like.
  • the camera is a conversion device that projects the three-dimensional real world into a two-dimensional plane through a range.
  • the images received by the light receiving unit in the camera are converted into digital signals through an image sensor.
  • a digital signal is two-dimensional planar data representing the horizontal and vertical dimensions of an image and the resolution of a unit pixel.
  • RGB data of each pixel is data representing color information of real-world objects, and a still image, which is two-dimensional plane data included in one image frame, will be described as an 'image' in the following description. If the time at which the image was captured is the present, it is described as an image of the current view.
  • images that are repeatedly photographed and stored at intervals of time are expressed as an image sequence, and will be described as 'image history' in the following description.
  • the near-future object position prediction system of the present invention preprocesses an image using a neural network technique that assigns semantic properties to each pixel in the image, thereby excluding dynamic objects and generating a background image composed of only static objects. And through post-processing neural network learning that takes the current view image as input and uses the near future image as the ground truth, it appears in the image (already appeared in the current view image) or expected to appear (does not appear in the current view image) ), we propose a method to predict the near-future position of a dynamic object.
  • a vehicle sensing signal is used as an input signal to correct the camera movement.
  • the driving speed, rotation angle, and yaw rate of the vehicle may be acquired through car area network (CAN) communication inside the vehicle or through an on-board diagnostics (OBD) terminal.
  • OBD on-board diagnostics
  • the latitude, longitude, movement direction, speed, etc. observed from the satellite may be obtained from the GPS module.
  • a vehicle-mounted distance sensor such as location and movement speed estimated through V2V (Vehicle to Vehicle), V2I (Vehicle to Infra), WiFi, LTE, and 5G communication networks, Lidar, and Radar to fixed facilities. Information such as the location and movement speed obtained through this method can also be obtained.
  • Object positions in the image may be corrected by using any one of the listed input signals, or by using a combination of these signals.
  • FIG. 4 is a block diagram illustrating a near-future object position prediction system according to the present invention
  • FIG. 5 is a block diagram illustrating the structure of a near-future object prediction neural network in FIG. 4 .
  • the near-future object position prediction system of the present invention includes an image pre-processing module 110 , an image buffer 120 , a segmentation neural network 130 , a segmentation buffer 140 , and an object post-processing module 150 . ), an object bounding box sample estimation neural network 160, an object boundary residual estimation neural network 170, a mask generating module 180, a mask buffer 190, a signal preprocessing module 210, and a signal buffer ( 220) and a near-future object prediction neural network 300.
  • the near-future object prediction neural network 300 includes a near-future object boundary hypothesis box prediction neural network 310 and a near-future object boundary box prediction neural network 320 .
  • the image pre-processing module 110 is the current time point ( ) in the low-level image ( ) is received.
  • a low-level image ( ) may be received directly from the camera or via another device in the vehicle.
  • a low-level image ( ) can be received remotely from the vehicle.
  • the image pre-processing module 110 is a low-level image ( ) by preprocessing the current view image ( ) is created.
  • the image pre-processing module 110 is a low-level image ( ) is normalized by performing at least one of image size conversion (Resize) and image cropping (Crop), and the current view image ( ) is created.
  • the image buffer 120 is a means for high-speed transmission of image data in frame units, and the current time ( ) from a predetermined past time point ( Video history up to ( ) ) is a means for transmitting
  • the signal preprocessing module 210 is a means for collecting and normalizing sensing signals from a plurality of sensors installed in the vehicle.
  • the signal pre-processing module 210 includes an On-Board Diagnostics (OBD) signal, an Inertial Measurement Unit (IMU) signal, and a Global Positioning System (GPS) signal from the vehicle sensors, that is, the current time ( ) at the low level signal ( ) are received, and they are combined to normalize the Ego-Motion signal related to the movement of the own vehicle.
  • OBD On-Board Diagnostics
  • IMU Inertial Measurement Unit
  • GPS Global Positioning System
  • the normalized signal is the current time input signal ( ) is provided as
  • the input signal ( ) is at least one of the normalized current position, vehicle speed, Euler angle, rotation angle, and yaw rate of the host vehicle, or a signal in which these normalized signals are combined.
  • the signal buffer 210 is an input signal ( ) as a means for high-speed transmission of the current time point ( ) from a predetermined past time point ( input signal history up to ( ) ) is a means for transmitting
  • FIGS. 4 and 5 The remaining blocks shown in FIGS. 4 and 5 will be described below in detail with reference to FIG. 6 or less.
  • FIG. 6 is a block diagram illustrating in detail a process of learning a near-future object bounding box sample in the present invention.
  • the segmentation neural network 130 is a current view image ( , 610) and segmented segmentation image ( , 620).
  • the object post-processing module 150 finds and removes a dynamic object from the segmentation image 620 to obtain a static segmentation image ( ,630).
  • the segmentation neural network 130 and the object post-processing module 150 indicated by a dotted line box in FIG. 6 correspond to a process of pre-processing the image by giving a semantic property to the current view image 610 in the present invention.
  • Semantic segmentation refers to the operation of segmenting all objects in an image into meaningful units, and is also referred to as dense prediction that predicts the labels of all pixels in the image.
  • the semantic segmentation FCN learns the input image 810 step by step and outputs it as a segmentation image 820 in which objects are divided.
  • the segmentation neural network 130 is not necessarily configured as a semantic segmentation FCN, and may be configured as an instance segmentation neural network or a panoptic segmentation neural network.
  • the segmentation neural network 130 may be configured as a semantic segmentation neural network as illustrated in FIG. 8 , and in this case, the current view image ( ) by giving different properties according to the types of objects recognized in the segmentation image ( ) is created. For example, in the image, properties are assigned to each type of object, such as a sky area, a road area, a building area, a sign area, a vehicle area, and a person area, so that a semantic segmentation image is generated as shown in FIG. 9(b).
  • the segmentation neural network 130 may be configured as an instance segmentation neural network.
  • the current view image ( ) among the objects recognized in the segmentation image ( ) is created.
  • each of the dynamic objects such as vehicle 1, vehicle 2, vehicle 3, person 1, person 2, person 3, etc. is assigned with different properties, and the remaining static objects are all assigned with the same property, as shown in FIG. 9(c).
  • An instance segmentation image is generated.
  • the segmentation neural network 130 may be configured as a panoptic segmentation neural network.
  • the current view image ( ) different properties are given to each of the dynamic objects, and different properties are given to static objects according to the type of object, so that the segmentation image ( ) is created.
  • the Panoptic segmentation neural network divides dynamic objects into Instance Segmentation and static objects into Semantic Segmentation. As shown in FIG. 9(d), vehicle 1, vehicle 2, vehicle 3, person 1, person 2, person 3 Each dynamic object is divided independently, and static objects such as a sky area, a road area, a building area, and a sign area are divided so that the same classes have the same properties.
  • the segmentation neural network 130 calculates a loss using a cross-entropy loss function in performing learning to recognize and segment an object, and uses stochastic gradient descent from the learning result. to update the parameters of the learning model.
  • the segmentation buffer 140 includes a segmentation image ( ) as a means for high-speed transmission of the near-future object prediction neural network 300 to be described later, the current time point ( ) from a predetermined past time point ( Segmentation video history up to ( ) ) is a means for transmitting
  • FIG. 10 is a block diagram illustrating in detail an object post-processing module in the present invention.
  • the object post-processing module 150 performs a segmentation image ( , 1010) by finding and removing dynamic objects from static segmentation images ( , 1020) will be described in detail as follows.
  • the object post-processing module 150 includes an object detection neural network 152 and an inpainting neural network 154 .
  • the object detection neural network 152 is a neural network that detects a dynamic object from the segmented image 1010 , and may be composed of a convolution layer and CNNs that are a set of fully connected layers. This neural network set calculates a region of interest (RoI) through a region proposal network (RPN) without selective search, and detects a dynamic object by pooling the calculated RoI.
  • the inpainting neural network 154 removes a pixel in which a dynamic object is located from the segmented image 1010 and fills the removed pixel with properties of a neighboring static object.
  • the inpainting neural network 154 is composed of U-net, compares the inpainting estimation result with the correct answer, calculates the loss with a Generative Adversarial loss function, and updates the parameters of the learning model using the Adam Optimization algorithm. learn in a way
  • the inpainting neural network 154 receives center point coordinates, width, and height information of the dynamic object from the object detection neural network 152 to estimate a bounding box including the dynamic object.
  • the inpainting neural network 154 generates a static segmented image 1020 by filling pixels in the estimated bounding box with pixels of a neighboring static object.
  • the bounding box of the dynamic object detected by the object post-processing module 150 is the current time point ( ) in the image-based object bounding box ( ) and transmitted to the input of the mask generating module 180 .
  • the mask generation module 180 is an image-based object bounding box ( ) masked image ( ) is created.
  • the mask buffer 190 is a mask image ( ) as a means for high-speed transmission of the near-future object prediction neural network 300 to be described later, the current time point ( ) from a predetermined past time point ( Mask image history up to ( ) ) is generated and transmitted to the near-future object prediction neural network 300 .
  • the object bounding box sample estimation neural network 160 is a static segmented image ( , 630) as input, and a static segmented image ( , 630) to estimate the position of the dynamic object within
  • the object bounding box sample estimation neural network 160 generates an object estimation bounding box at each point where a dynamic object is estimated to be located, and an object bounding box sample ( , 640).
  • an object estimation bounding box may be generated according to the context of the background formed by static objects.
  • the object bounding box sample estimation neural network 160 estimates the object estimation bounding box, and compares the estimated object estimation bounding box with the correct answer to calculate a loss rate. Then, the object bounding box sample 540 is output by updating the model estimation parameter through the process of minimizing the calculated loss rate.
  • the object estimation bounding box means a box defined by center point coordinates, width, and height information of a point where the dynamic object is estimated to be located. In the example of FIG. 6 , an image in which a total of eight object estimation bounding boxes are sampled is exemplified in the object bounding box sample 540 .
  • the object bounding box sample 540 of FIG. 6 is an example for helping understanding of the present invention, and the object bounding box sample is actually output as a data stream indicating information about eight object estimation bounding boxes without a background image.
  • the object boundary box sample estimation neural network 160 may predict the object estimation boundary box by weighting the boundary points of the static object in the static segmentation image 630 .
  • the object bounding box sample estimation neural network 160 may predict the object estimation bounding box by weighting a point in the static segmentation image 630 where the rate of change of the angle of the normal with respect to the outline of the static object is abrupt.
  • the object boundary residual estimation neural network 170 is an object boundary box sample ( , 640) for each of the object estimation bounding boxes in the object boundary residual ( ) is a means for calculating That is, the current time point ( ) in the object bounding box sample ( ) and the object boundary residual ( ) by summing up the near-future object bounding box sample ( , 650) can be calculated.
  • the object boundary residual estimation neural network 170 is the current view image ( , 610) and static segmented images ( , 630), and the input signal ( ) is received. And the object boundary residual ( ) is calculated. As shown, in the object bounding box sample 640, the object bounding residual ( ) by summing the near-future object bounding box sample ( , 650) is calculated.
  • the object boundary residual estimation neural network 170 compares the near-future object boundary box sample 650 and the object boundary box sample 540 to calculate a loss rate. And through the process of minimizing the calculated loss rate, the model estimation parameters are updated to update the object boundary residual ( ) is calculated.
  • the object boundary residual estimation neural network 170 gives weight to the position where the position of the recognized dynamic object in the current viewpoint image 610 and the position of the static object boundary in the static segmentation image 630 overlap. bounded residual ( ) can be calculated. As another embodiment, the object boundary residual estimation neural network 170 connects the feature map of the current viewpoint image 610 and the feature map of the static segmentation image 630, and the input signal ( ) can be used to calibrate the feature map connection point to calculate the object boundary residual.
  • the near-future object position prediction system of the present invention uses the near-future object prediction neural network 300 of FIG. ), the future position of an object that has not appeared in the text and the future position of an object that has already appeared can be more clearly distinguished and learned and the result can be derived.
  • FIG. 7 is a block diagram illustrating in detail a process of predicting an object that has not appeared and a future location of an object that has appeared through the near-future object prediction neural network of FIG. 4 .
  • the neural network learning for predicting the near-future object boundary hypothesis box and the near-future object boundary box in the present invention will be described in detail with reference to FIG. 7 as follows.
  • the near future object prediction neural network 300 includes a near future object boundary hypothesis box prediction neural network 310 and a near future object boundary box prediction neural network 320 .
  • the near-future object bounding hypothesis box prediction neural network 310 and the near-future object bounding box prediction neural network 320 both receive the near-future object bounding box sample 650 which is the neural network learning result of FIG. 6 as one input.
  • the near-future object bounding box sample 650 means N near-future object bounding boxes indicating N position candidates where dynamic objects are predicted to be located in the current view image 610 .
  • the image history ( , 710) and the segmentation image history output from the segmentation buffer 140 ( , 720) and the input signal history output from the signal buffer 220 ( ) is used.
  • video history ( , 710) and the segmentation image history ( , 720) and the input signal history ( ) are data for correcting the near-future object bounding box in the near-future object bounding box sample 650 by reflecting data for a predetermined time from the current point of time to the past.
  • the near-future object bounding hypothesis box prediction neural network 310 generates a probabilistic model (GMM: Gaussian Mixture Model) based on the near-future object bounding box sample 650, and uses the average of the probabilistic model as the center point coordinates and the standard deviation Create the final future object bounding hypothesis box by defining the width and height.
  • GMM Gaussian Mixture Model
  • the final future object bounding hypothesis box may have the same position and size as the near future object bounding box.
  • the final future object boundary hypothesis box recommends the future location of a dynamic object that has not appeared at the current point in time according to the context of the background.
  • the near-future object boundary hypothesis box prediction neural network 310 may overlay and display the four final future object boundary hypothesis boxes finally derived in FIG. 7 on the current viewpoint image 610 output through the vehicle navigation terminal. Also, the near-future object boundary hypothesis box prediction neural network 310 may indicate the type of object by annotating the final future object boundary hypothesis box or by changing the color of the final future object boundary hypothesis box. Therefore, it enables the driver to check the final future object boundary hypothesis box displayed as an overlay, and to recognize dynamic objects that will appear in the near future in advance.
  • the near-future object boundary hypothesis box neural network 320 has the same historical data (image history ( , 710) and the segmentation image history ( , 720) and the input signal history ( )), and the object mask image history ( ) is further input.
  • object mask image history ( ) is data for correcting the candidate position of the appeared dynamic object using information on the positions of the objects for a predetermined time from the current time to the past.
  • the near-future object bounding box prediction neural network 320 generates a probabilistic model (GMM: Gaussian Mixture Model) based on the near-future object bounding box sample 650, the average of the probabilistic model as the center point coordinates, and the standard deviation Creates the final future object bounding box by defining the width and height.
  • GMM Gaussian Mixture Model
  • the final future object bounding box may also have the same position and size as the near future object bounding box.
  • the final future object bounding box recommends a future location for a dynamic object that has already appeared in the current view image.
  • the near-future object bounding box prediction neural network 320 may overlay and display the four final future object bounding boxes finally derived in FIG. 7 on the current view image 610 output through the vehicle navigation terminal.
  • the near-future object bounding box prediction neural network 320 may indicate the type of object by annotating the final future object bounding box or by changing the color of the final future object bounding box. Therefore, it enables the driver to check the final future object bounding box displayed as an overlay, and to recognize in advance the sudden change in the position of the object currently displayed on the screen.
  • FIGS. 11 to 15 are views showing an example in which a result of predicting a near-future object position according to the present invention is displayed on a navigation terminal.
  • FIGS. 11 to 13 are views illustrating a screen for predicting a near-future position with respect to a vehicle in front, and FIGS. 14 and 15 predicts the near-future position of the forward pedestrian.
  • 11 (a) is a current view image of the front of the vehicle ( ) as an example, the preceding vehicle in front is running in the driving lane.
  • 11( b ) shows the current viewpoint image ( ) by generating a plurality of final future object boundary boxes around the preceding vehicle by the near-future object boundary box prediction neural network 320 .
  • ) is an example of a screen displayed overlaid on The near-future position of the preceding vehicle is intensively displayed in proximity to the left and right sides of the preceding vehicle.
  • FIG. 12A shows the current viewpoint image (the current viewpoint image from the viewpoint of FIG. 12 ) after a predetermined time has elapsed in FIG. 11A , and it can be confirmed that the preceding vehicle crosses the right lane.
  • the current viewpoint image the current viewpoint image from the viewpoint of FIG. 12
  • the final future object bounding box indicating an unexpected situation of returning to the original driving lane or significantly changing the direction to the left is displayed together.
  • the near-future object position prediction system of the present invention includes a final future object boundary box indicating the probability of returning to the original lane together with a final future object boundary box that predicts that the vehicle in front will drive along the shoulder, and the vehicle in front stops at the current position.
  • the final future object bounding box indicating that
  • Figure 14 (a) shows a state in which the pedestrian on the left is standing at the end of the crosswalk.
  • the near-future object bounding box prediction neural network 320 predominantly predicts the situation in which a pedestrian stays near the end of the crosswalk in the near future in the presence of a vehicle in front, but it predicts the crosswalk quickly. It is also possible to predict a situation in which a pedestrian moves to the front of the vehicle in front of the vehicle crossing at the speed (as in the final future object bounding box displayed in the center of the screen in FIG. 14(b)). If the near-future object position prediction as shown in FIG. 14(b) is made, it is possible to predict a sudden stop of the front vehicle and perform a control for rapidly decelerating the speed of the own vehicle.
  • FIG. 15(a) shows a current viewpoint image in which a pedestrian is positioned directly in front of a vehicle in front as time progresses in FIG. 14 .
  • a near-future situation in which a pedestrian completely crosses a crosswalk or a near-future situation in which a pedestrian changes direction in a crosswalk avoiding a vehicle in front and proceeds in a diagonal direction may be predicted and displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 카메라에서 촬영된 현재 시점의 영상을 인공 지능 기반으로 학습하여 동적 객체의 위치를 추정한 표본을 샘플링하며, 동적 객체 위치 추정 표본을 이력 데이터를 이용하여 확률적 모델로 변경하는 학습을 통해, 동적 객체의 근미래 위치를 예측하는 근미래 객체 위치 예측 시스템에 관한 것이다.

Description

근미래 객체 위치 예측 시스템
본 발명은 카메라에서 촬영된 현재 시점의 영상을 인공 지능 기반으로 학습하여 동적 객체의 위치를 추정한 표본을 샘플링하며, 동적 객체 위치 추정 표본을 이력 데이터를 이용하여 확률적 모델로 변경하는 학습을 통해, 동적 객체의 근미래 위치를 예측하는 근미래 객체 위치 예측 시스템에 관한 것이다.
일반적으로, 영상 인식 기술은 카메라에서 촬영되는 영상으로부터 객체의 위치를 인식하고, 인식된 객체의 종류를 판별하며, 자율 주행 차량, 감시 카메라 시스템, 로봇 제어 등 다양한 산업분야에서 활용되고 있다. 예를 들어, 자율 주행 차량에서는 정적 객체(차선, 신호등, 표지판, 건물, 보도, 장애물 등과 같은)를 인식하고 인식 결과를 토대로 차량의 주행 자세를 제어할 수 있다. 자율 주행 차량이 동적 객체(주변 차량, 보행자, 자전거, 이륜차 등과 같은)를 인식하는 경우 동적 객체와의 충돌을 예측하고 경고하거나 충돌을 회피하기 위한 자세 제어를 수행할 수 있다. 자율 주행 차량에서 객체를 인식하고 객체에 대응하는 다른 예로서, 로봇 제어나 감시 카메라 시스템 등에서 객체 인식 시스템이 이용될 수 있다.
종래 영상으로부터 객체의 위치를 인식하고, 이동 객체의 향후 위치를 예측하는 기술들은 주로 동역학적 접근에 근거하여 발전해왔다. 도 1을 참조하면, 영상으로부터 인식된 이동 객체(10)의 위치가 과거 d1 지점에서 현재 d2 지점으로 이동한 경우, d1과 d2의 위치 정보 및 시간 정보를 이용하여 속도를 얻을 수 있다. 그리고 이동 객체(10)의 미래 위치인 d3의 위치 정보는 이동 객체(10)가 같은 이동 방향 및 속력으로 이동할 것이라는 전제로 예측된다. 즉, 종래의 동역학적 접근 방식은 단 하나의 예측 위치만을 제시할 수 있다.
하지만, 도 2에서와 같이 객체들은 현재의 지정학적 위치 또는 다른 객체들과의 상호 관계에 다양하게 변화될 수 있는데, 종래의 동영학적 접근 방식에서는 이러한 변화에 대한 고려를 할 수 없어 객체의 미래 위치를 예측하는데 한계가 있다. 도 2를 참조하면, 이동 객체가 보행자(20)이며 횡단보도의 끝 지점에 위치하고 있다고 가정해보자. 보행자(20)의 과거에서 현재까지의 이동방향은 화살표 1로 나타낼 수 있다. 보행자(20)는 동일한 이동 방향과 속력으로 이동할 수 있으며(화살표 2), 횡단보도를 따라 이동 방향을 바꿀 수도 있으며(화살표 3), 우측으로 약간 방향을 틀어 보도를 따라 계속 걸어갈 수도 있으며(화살표 4), 자신을 태우러 온 차량에 탑승하기 위해 크게 방향을 전환할 수도 있으며(화살표 5), 갑자기 도로를 대각선으로 가로질러 무단횡단 할 수도 있다(화살표 6). 보행자(20)가 화살표 6의 방향으로 무단횡단을 시도할 가능성은 매우 적지만, 이는 실제로 일어나는 교통사고의 유형 중 하나로서 반드시 고려될 필요가 있다.
도 2를 참조하여 고찰할 때, 근미래(near future) 객체의 위치를 예측할 때 과거의 정보를 이용하여 단 하나의 위치만을 예측하는 것은 바람직하지 않다는 것을 확인할 수 있다. 또한, 이동 객체의 움직임은 이동 객체의 종류와 특성이 영상의 배경에서 정적 객체와 어떤 관계에 있는지, 그리고 다른 동적 객체와 어떤 상호 작용을 하는지를 고려할 필요가 있다. 나아가, 이동 객체들은 주로 지능을 가진 생명체이거나 생명체에 의해 조작되는 장치들로서, 동일한 외부 환경에 위치하는 경우에도 다른 행동양식을 보일 수 있으므로, 단지 외부 환경을 관찰하는 것만으로는 정확한 예측을 할 수 없다. 즉, 향상된 근미래 객체 위치 예측 시스템이 제공될 필요성이 제기되고 있다.
한편, 종래의 객체 인식 시스템은 이동 객체의 움직임을 예측하는데 있어서, 현재 시점에서 인지되는 객체에 대해서만 미래 위치를 예측하고 있었다. 예를 들어, 대한민국 특허등록 제10-1979375호 "감시 영상의 객체 행동 예측 방법", 대한민국 특허등록 제10-2143034호 "객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템", 대한민국 특허등록 제10-2143031호 "정지 영상에서 객체의 미래 움직임을 예측하는 방법 및 시스템", 대한민국 특허공개 제10-2020-0039547호 "트래킹 네트워크를 포함한 CNN을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치" 등은, 객체를 인식한 후에 객체의 움직임 패턴을 인공 학습하거나 객체를 인공 학습 방법으로 추적하여 객체의 근미래 위치를 예측하고 있는데, 모두 현재 시점에서 인지되는 객체에 대하여만 미래 위치나 이동 패턴 등을 예측할 수 있을 뿐이다.
하지만, 실제 주행 환경에서는 주차된 차량에 가려지거나 보도의 굴곡진 부분에서 건물 모퉁이에 가려진 보행자가 갑자기 나타날 수 있다. 즉, 향상된 근미래 객체 위치 예측 시스템에서는 현재 영상에서 존재하지 않는 객체들에 대한 예측도 필요하다.
본 발명은 카메라에서 촬영된 영상을 인공 지능 기반으로 학습하여 현재 시점 영상으로부터 동적 객체를 인식하고 동적 객체의 근미래 위치를 예측하는 시스템을 제공하기 위한 것으로서, 현재 시점의 이미지로부터 동적 객체를 제외한 정적인 배경이 제공하는 맥락 안에서 인공 지능 학습을 통해 동적 객체의 위치를 추정하며 표본을 생성하며, 동적 객체를 인식한 결과를 토대로 근미래 객체의 경계 상자와 표본에서 추정된 객체 추정 경계 상자의 잔차를 학습하여 근미래 객체 경계 상자를 예측하는 것으로써, 현재 시점 영상에 이미 출현된 동적 객체의 근미래 위치는 물론 현재 시점 영상에서 출현되지 아니한 동적 객체의 근미래 위치도 예측할 수 있으며, 동적 객체의 돌발적인 위치 변동까지 예측 가능한 근미래 객체 위치 예측 시스템을 제공함에 그 목적이 있다.
또한, 본 발명은 소정의 과거 시점부터 현재 시점까지의 영상 이력과 입력 신호 이력 등을 이용하여 N개의 근미래 객체 경계 상자 표본을 K개의 확률적 모델(Gaussian Mixture Model)로 변경하여 최종 미래 객체 경계 상자(현재 시점에서 관찰되는 동적 객체의 근미래 위치를 나타내는 경계 상자) 및 최종 미래 객체 경계 가설 상자(현재 시점에서 관찰되지 않는 동적 객체의 근미래 위치를 나타내는 경계 상자)로 시각화함으로써, 동적 객체의 돌발적인 위치 변동을 예측하고 차량 운전자의 안전 운전을 도모할 수 있도록 하는 근미래 객체 위치 예측 시스템을 제공하는 것을 목적으로 한다.
본 발명의 일실시예에 따른 근미래 객체 위치 예측 시스템은, 차량에서 촬영된 현재 시점 영상으로부터 객체를 인식하고 인식된 객체 각각에 속성을 부여하여 분할한 세그멘테이션(Segmentation) 영상으로 출력하는 세그멘테이션 신경망; 상기 세그멘테이션 영상에서 동적 객체를 찾아 제거하여 정적 세그멘테이션 영상으로 변환하는 객체 후처리 모듈; 상기 정적 세그멘테이션 영상을 입력받아 상기 정적 세그멘테이션 영상 내에서 동적 객체의 위치를 추정하며, 상기 동적 객체가 위치할 것으로 추정되는 지점 각각에 객체 추정 경계 상자를 생성하고, 적어도 하나의 상기 객체 추정 경계 상자가 포함된 객체 경계 상자 표본을 생성하여 출력하는 객체 경계 상자 표본 추정 신경망; 및 상기 현재 시점 영상과 상기 정적 세그멘테이션 영상을 입력받고, 차량으로부터 상기 현재 시점 영상과 동일한 시간의 센싱 신호를 입력 신호로 수신하며, 상기 현재 시점 영상에서 인식되는 동적 객체가 근미래에 위치할 것으로 예상되는 경계 상자를 예측하고 예측된 경계 상자와 상기 객체 추정 경계 상자의 차이인 객체 경계 잔차(Residual)를 연산하며, 상기 객체 경계 상자 표본에 상기 객체 경계 잔차를 가산하여 근미래 동적 객체의 위치를 나타내는 근미래 객체 경계 상자를 적어도 하나 포함하는 근미래 객체 경계 상자 표본을 출력하는 객체 경계 잔차 추정 신경망을 포함한다.
본 발명의 근미래 객체 위치 예측 시스템에 따르면, 동적 객체를 인식한 후에 동역학적으로 동적 객체를 추적하는 것이 아니라, 현재 시점의 이미지로부터 동적 객체를 제외한 정적인 배경이 제공하는 맥락 안에서 인공 지능 학습을 통해 동적 객체의 위치를 추정하며 표본을 생성하며, 동적 객체를 인식한 결과를 토대로 근미래 객체의 경계 상자와 표본에서 추정된 객체 추정 경계 상자의 잔차를 학습하여 근미래 객체 경계 상자를 예측함으로써, 현재 시점 영상에서 인식된 동적 객체의 근미래 위치, 현재 시점 영상에서 출현되지 아니한 동적 객체의 근미래 위치, 동적 객체의 돌발적인 위치 변동을 예측할 수 있고, 자율 주행 차량에서 동적 객체에 대한 충돌 회피 가능성을 획기적으로 높일 수 있는 효과가 있다.
또한, 본 발명에 따르면, 소정의 과거 시점부터 현재 시점까지의 영상 이력과 입력 신호 이력 등을 이용하여 N개의 근미래 객체 경계 상자 표본을 K개의 확률적 모델(Gaussian Mixture Model)로 변경하여 최종 미래 객체 경계 상자(현재 시점에서 관찰되는 동적 객체의 근미래 위치를 나타내는 경계 상자) 및 최종 미래 객체 경계 가설 상자(현재 시점에서 관찰되지 않는 동적 객체의 근미래 위치를 나타내는 경계 상자)로 시각화함으로써, 동적 객체의 돌발적인 위치 변동을 예측하고 차량 운전자의 안전 운전을 도모할 수 있도록 하는 효과가 있다.
도 1은 종래 이동 객체의 위치를 동역학적으로 예측하는 방법을 예시한 도면,
도 2는 횡단보도의 주변에서 이동 객체의 위치를 예측하는 예를 보인 도면,
도 3은 카메라로부터 촬영된 영상이 이미지 데이터로 변환되는 과정을 예시한 도면,
도 4는 본 발명에 따른 근미래 객체 위치 예측 시스템을 예시한 블록도,
도 5는 도 4에서 근미래 객체 예측 신경망의 구조를 예시한 블록도,
도 6은 본 발명에서 근미래 객체 경계 상자 표본을 학습하는 과정을 상세하게 묘사한 블록도,
도 7은 도 5의 근미래 객체 예측 신경망을 통해 출현되지 아니한 객체 및 출현된 객체의 미래 위치를 예측하는 과정을 상세하게 묘사한 블록도,
도 8은 본 발명에서 세그멘테이션 신경망의 구조를 예시한 블록도,
도 9는 본 발명에서 세그멘테이션 영상의 실시예들을 보인 도면,
도 10은 본 발명에서 객체 후처리 모듈을 상세하게 묘사한 블록도, 및
도 11 내지 15는 본 발명에 따라 근미래 객체 위치를 예측한 결과가 내비게이션 단말에 표시되는 예를 보인 도면들이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 구체적인 실시예가 설명된다. 그러나 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 대체물을 포함하는 것으로 이해되어야 한다.
명세서 전체에 걸쳐 유사한 구성 및 동작을 갖는 부분에 대해서는 동일한 도면 부호를 붙였다. 그리고 본 발명에 첨부된 도면은 설명의 편의를 위한 것으로서, 그 형상과 상대적인 척도는 과장되거나 생략될 수 있다.
실시예를 구체적으로 설명함에 있어서, 중복되는 설명이나 당해 분야에서 자명한 기술에 대한 설명은 생략되었다. 또한, 이하의 설명에서 어떤 부분이 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 기재된 구성요소 외에 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 어떤 부분이 다른 부분과 전기적으로 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라 그 중간에 다른 구성을 사이에 두고 연결되어 있는 경우도 포함한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
본 발명에 따른 근미래 객체 위치 예측 시스템은 카메라로부터 촬영된 영상(image)을 핵심적인 데이터로 사용하며, 현재 시점 영상 내에 포함된 동적 객체의 근미래 위치를 예측한다. 여기서, 동적 객체라 함은 주변 차량, 보행자, 자전거, 이륜차 등과 같은 움직이는 객체를 의미한다. 본 발명에서 사용되는 용어 중 정적 객체는 동적 객체와는 반대로 움직이지 않는 객체를 의미하며, 예컨대, 차선, 신호등, 표지판, 건물, 보도, 장애물 등과 같은 객체이다.
본 발명의 근미래 객체 위치 예측 시스템에 대하여 구체적으로 설명하기에 앞서, 먼저 도 3을 참조하여 카메라로부터 촬영된 영상이 이미지 데이터로 변환되는 과정을 설명한다.
카메라는 3차원의 실세계를 렌지를 통하여 2차원 평면으로 투영되는 변환 장치이다. 카메라 내의 수광부에서 수광한 상들은 영상 센서(image sensor)를 통해 디지털 신호로 변환된다. 디지털 신호는 영상의 가로, 세로 크기와 단위 픽셀(pixel)의 분해능을 나타내는 2차원 평면 데이터이다. 각 픽셀의 RGB 데이터는 실세계 객체들의 색상 정보를 표현하는 데이터이며, 하나의 영상 프레임에 포함된 2차원 평면 데이터인 정지 영상은 이하의 설명에서 '영상'으로 설명된다. 영상이 촬영된 시점이 현재인 경우 현재 시점 영상으로 설명된다. 한편, 시간 간격을 두고 반복적으로 촬영되어 저장된 영상들을 순차 영상(image sequence)이라 표현하며, 이하의 설명에서는 '영상 이력'으로 설명된다.
본 발명의 근미래 객체 위치 예측 시스템은, 영상 내 픽셀 각각에 의미론적 속성을 부여하는 신경망 기법을 이용하여 영상을 전처리함으로써, 동적 객체가 배제되고 정적 객체만으로 구성되는 배경 영상을 생성한다. 그리고 현재 시점 영상을 입력으로 하고 근미래 영상을 정답(ground truth)으로 하는 후처리 신경망 학습을 통하여, 영상에 나타나 있거나(이미 현재 시점 영상에 출현된) 나타날 것으로 예상되는(현재 시점 영상에서는 출현되지 아니한) 동적 객체의 근미래 위치를 예측하는 방법을 제안한다.
여기서, 카메라가 장착된 차량이 도로를 주행하는 경우 카메라의 위치와 각도는 점진적으로 변화된다. 카메라의 움직임은 그로부터 촬영되는 영상의 변화를 초래하므로, 영상 학습 시에 카메라의 움직임에 대한 보정이 요구된다. 본 발명에서는 이러한 카메라 움직임을 보정하기 위해 차량 센싱 신호가 입력 신호로서 이용된다. 예를 들어, 차량 내부의 CAN(Car Area Network) 통신을 통해, 또는, OBD(On-Board Diagnostics) 단자를 통해 차량의 주행 속도, 회전각, 회전 각속도(yaw rate)를 획득할 수 있다. 다른 예로서, 차량의 내비게이션 단말이나 관성 센서(IMU)로부터 3축 가속도(X, Y, Z), 3축 회전각속도(yaw, pitch, roll), 3축 지자기 등을 얻을 수 있다. 또 다른 예로서, GPS 모듈로부터 위성에서 관측된 위도, 경도, 이동방향, 속도 등을 얻을 수 있다. 나아가, V2V(Vehicle to Vehicle), V2I(Vehicle to Infra), WiFi, LTE, 5G 통신망을 통해 추정되는 위치 및 이동 속도, Lidar, Radar 등 차량에 장착된 거리 센서로부터 고정 시설물에 대한 상대 거리 측정을 통해 획득하는 위치 및 이동 속도 등의 정보 역시 얻을 수 있다. 열거한 입력 신호 중 어느 하나를 이용하여, 또는, 이들 신호들을 복합적으로 이용하여 영상 내 객체 위치들이 보정될 수 있을 것이다.
도 4는 본 발명에 따른 근미래 객체 위치 예측 시스템을 예시한 블록도이고, 도 5는 도 4에서 근미래 객체 예측 신경망의 구조를 예시한 블록도이다.
도 4를 참조하면, 본 발명의 근미래 객체 위치 예측 시스템은 영상 전처리 모듈(110)과, 영상 버퍼(120)와, 세그멘테이션 신경망(130)과, 세그멘테이션 버퍼(140)와, 객체 후처리 모듈(150)과, 객체 경계 상자 표본 추정 신경망(160)과, 객체 경계 잔차 추정 신경망(170)과, 마스크 생성 모듈(180)과, 마스크 버퍼(190)와, 신호 전처리 모듈(210)과, 신호 버퍼(220)와, 근미래 객체 예측 신경망(300)으로 구성된다. 도 5를 참조하면, 근미래 객체 예측 신경망(300)은 근미래 객체 경계 가설 상자 예측 신경망(310)과, 근미래 객체 경계 상자 예측 신경망(320)으로 구성된다.
영상 전처리 모듈(110)은 카메라로부터 촬영된 현재 시점(
Figure PCTKR2021020095-appb-I000001
)에서의 로우 레벨의 영상(
Figure PCTKR2021020095-appb-I000002
)을 수신한다. 이 현재 시점의 로우 레벨 영상(
Figure PCTKR2021020095-appb-I000003
)은 카메라로부터 직접 수신되거나 차량 내 다른 장치를 경유하여 수신될 수 있다. 또한, 본 발명의 근미래 객체 위치 예측 시스템이 클라우드 서버에 구축되는 경우, 현재 시점의 로우 레벨 영상(
Figure PCTKR2021020095-appb-I000004
)은 차량으로부터 원격으로 수신될 수 있다.
영상 전처리 모듈(110)은 로우 레벨의 영상(
Figure PCTKR2021020095-appb-I000005
)을 전처리하여 현재 시점 영상(
Figure PCTKR2021020095-appb-I000006
)을 생성한다. 영상 전처리 모듈(110)은 로우 레벨의 영상(
Figure PCTKR2021020095-appb-I000007
)에 대하여 이미지 크기 변환(Resize) 및 이미지 자르기(Crop) 중 적어도 어느 하나를 수행하여 정규화 하는 것으로서 현재 시점 영상(
Figure PCTKR2021020095-appb-I000008
)을 생성한다.
영상 버퍼(120)는 영상 데이터들을 프레임 단위로 고속 전송하는 수단으로서, 근미래 객체 예측 신경망(300)에 현재 시점(
Figure PCTKR2021020095-appb-I000009
)으로부터 소정의 과거 시점(
Figure PCTKR2021020095-appb-I000010
)까지의 영상 이력(
Figure PCTKR2021020095-appb-I000011
)을 전송하기 위한 수단이다.
신호 전처리 모듈(210)은 차량에 설치된 복수의 센서들로부터 센싱 신호들을 수집하여 정규화하는 수단이다. 신호 전처리 모듈(210)은 차량 센서들로부터 OBD(On-Board Diagnostics) 신호, IMU(Inertial Measurement Unit) 신호, GPS(Global Positioning System) 신호들, 즉, 현재 시점(
Figure PCTKR2021020095-appb-I000012
)에서의 로우 레벨의 신호(
Figure PCTKR2021020095-appb-I000013
)들을 수신하고, 이들을 조합하여 자차의 움직임과 관련된 자차 운동(Ego-Motion) 신호로 정규화 한다. 정규화 된 신호는 본 발명에서 객체 경계 잔차 추정 신경망(170)의 현재 시점 입력 신호(
Figure PCTKR2021020095-appb-I000014
)로서 제공된다. 예컨대, 입력 신호(
Figure PCTKR2021020095-appb-I000015
)는 정규화 된 자차의 현재 위치, 차속, 오일러 각(euler angle), 회전각, 요 레이트(yaw rate) 중 적어도 어느 하나이거나, 이들 정규화 신호가 조합된 신호이다.
신호 버퍼(210)는 입력 신호(
Figure PCTKR2021020095-appb-I000016
)들을 고속 전송하는 수단으로서, 근미래 객체 예측 신경망(300)에 현재 시점(
Figure PCTKR2021020095-appb-I000017
)으로부터 소정의 과거 시점(
Figure PCTKR2021020095-appb-I000018
)까지의 입력 신호 이력(
Figure PCTKR2021020095-appb-I000019
)을 전송하기 위한 수단이다.
도 4 및 5에 도시된 나머지 블록들에 대하여는 도 6 이하를 참조하여 구체적으로 후술한다.
도 6은 본 발명에서 근미래 객체 경계 상자 표본을 학습하는 과정을 상세하게 묘사한 블록도이다.
도 6을 참조하면, 세그멘테이션 신경망(130)은 차량에서 촬영된 현재 시점 영상(
Figure PCTKR2021020095-appb-I000020
, 610)으로부터 객체를 인식하고 인식된 객체 각각에 속성을 부여하여 분할한 세그멘테이션(Segmentation) 영상(
Figure PCTKR2021020095-appb-I000021
, 620)으로 출력한다. 객체 후처리 모듈(150)은 세그멘테이션 영상(620)에서 동적 객체를 찾아 제거하여 정적(Static) 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000022
,630)으로 변환한다. 도 6에서 점선 박스로 표시한 세그멘테이션 신경망(130)과 객체 후처리 모듈(150)은 본 발명에서 현재 시점 영상(610)에 의미론적 속성을 부여하여 영상을 전처리하는 과정에 해당된다.
도 8은 본 발명에서 세그멘테이션 신경망의 구조를 예시한 블록도로서, 시맨틱 세그멘테이션(Semantic Segmentation) FCN(Fully Convolutional Network) 구조를 예시한 것이다. 시멘택 세그멘테이션은 영상 내의 모든 객체들을 의미있는 단위로 분할하는 작업을 의미하며, 영상 내 모든 픽셀의 레이블을 예측하는 dense prediction으로 지칭되기도 한다. 시맨틱 세그멘테이션 FCN은 입력 영상(810)을 단계적으로 학습하여 객체들이 분할된 세그멘테이션 영상(820)으로 출력한다. 세그멘테이션 신경망(130)은 반드시 시맨틱 세그멘테이션 FCN으로 구성될 필요는 없으며, 인스턴스 세그멘테이션(Instance Segmentation) 신경망 또는 패납틱 세그멘테이션(Panoptic Segmentation) 신경망으로 구성될 수도 있다.
도 9의 (a)는 현재 시점 영상(
Figure PCTKR2021020095-appb-I000023
)의 일예를 보인 것이다. 세그멘테이션 신경망(130)은 도 8에 예시한 바와 같은 시맨틱 세그멘테이션 신경망으로 구성될 수 있으며, 이 경우 현재 시점 영상(
Figure PCTKR2021020095-appb-I000024
)에서 인식된 객체들의 종류에 따라 서로 다른 속성을 부여하여 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000025
)을 생성한다. 가령, 영상 내에서 하늘 영역, 도로 영역, 건물 영역, 표지판 영역, 차량 영역, 사람 영역 등 객체의 종류별로 속성이 부여되어 도 9의 (b)에서와 같이 시맨틱(Semantic) 세그멘테이션 영상이 생성된다.
다른 예로서, 세그멘테이션 신경망(130)은 인스턴스 세그멘테이션(Instance Segmentation) 신경망으로 구성될 수도 있다. 이 경우, 현재 시점 영상(
Figure PCTKR2021020095-appb-I000026
)에서 인식된 객체들 중, 동적 객체 각각에 서로 다른 속성을 부여하고, 정적 객체는 모두 배경 속성으로 부여하여 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000027
)을 생성한다. 예컨대, 차량1, 차량2, 차량3, 사람1, 사람2, 사람3 등과 같이 동적 객체 각각이 서로 다른 속성으로 부여되고 나머지 정적 객체들은 모두 동일한 속성으로 부여되어 도 9의 (c)에서와 같이 인스턴스(Instance) 세그멘테이션 영상이 생성된다.
또 다른 예로서, 세그멘테이션 신경망(130)은 패납틱 세그멘테이션(Panoptic Segmentation) 신경망으로 구성될 수도 있다. 이 경우, 현재 시점 영상(
Figure PCTKR2021020095-appb-I000028
)에서 인식된 객체들 중, 동적 객체 각각에 대하여 서로 다른 속성을 부여하고, 정적 객체들은 객체의 종류에 따라 서로 다른 속성을 부여하여 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000029
)을 생성한다. 패납틱(Panoptic) 세그멘테이션 신경망은 동적 객체는 Instance Segmentation으로 정적 객체는 Semantic Segmentation으로 분할하는 것으로서, 도 9의 (d)에서와 같이 차량1, 차량2, 차량3, 사람1, 사람2, 사람3 등 각각의 동적 객체들이 독립적으로 분할되며, 하늘 영역, 도로 영역, 건물 영역, 표지판 영역 등의 정적 객체들은 동일한 클래스들이 동일한 속성을 갖도록 분할된다.
세그멘테이션 신경망(130)은 객체를 인식하고 분할하는 학습을 수행함에 있어 크로스-엔트로피(Cross-Entropy) 손실 함수를 이용하여 손실을 계산하고, 학습 결과로부터 확률적 경사하강법(Stochastic Gradient Descent)을 이용하여 학습 모델의 파라미터를 갱신할 수 있다.
한편, 도 4를 참조하면, 세그멘테이션 버퍼(140)는 세그멘테이션 신경망(130)에서 출력되는 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000030
)들을 후술하는 근미래 객체 예측 신경망(300)에 고속으로 전송하는 수단으로서, 현재 시점(
Figure PCTKR2021020095-appb-I000031
)으로부터 소정의 과거 시점(
Figure PCTKR2021020095-appb-I000032
)까지의 세그멘테이션 영상 이력(
Figure PCTKR2021020095-appb-I000033
)을 전송하기 위한 수단이다.
도 10은 본 발명에서 객체 후처리 모듈을 상세하게 묘사한 블록도이다. 도 10을 참조하여 객체 후처리 모듈(150)이 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000034
, 1010)으로부터 동적 객체를 찾아 제거하여 정적(Static) 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000035
, 1020)으로 변환하는 과정을 상세히 설명하면 다음과 같다.
도 10을 참조하면, 객체 후처리 모듈(150)은 객체 탐지 신경망(152)과 인페인팅 신경망(154)을 포함한다. 객체 탐지 신경망(152)은 세그멘테이션 영상(1010)으로부터 동적 객체를 탐지하는 신경망으로, Convolution Layer, Fully Connected Layer들의 집합인 CNNs로 구성될 수 있다. 이러한 신경망 집합은 선택적인 탐색 없이 RPN(Region Proposal Network)을 통해서 RoI(Region of Interest)를 연산하며, 연산된 RoI를 풀링하여 동적 객체를 탐지한다. 인페인팅 신경망(154)은 세그멘테이션 영상(1010)에서 동적 객체가 위치하는 픽셀을 제거하고 제거된 픽셀을 이웃하는 정적 객체의 속성으로 채운다. 예를 들어, 인페인팅 신경망(154)은 U-net으로 구성되며, 인페인팅 추정 결과와 정답을 비교하여 Generative Adversarial 손실 함수로 손실을 계산하고, Adam Optimization 알고리즘을 이용하여 학습 모델의 파라미터를 갱신하는 방법으로 학습한다. 인페인팅 신경망(154)은 객체 탐지 신경망(152)으로부터 동적 객체의 중심점 좌표, 폭, 및 높이 정보를 수신하여 동적 객체가 포함되는 경계 상자를 추정한다. 그리고 인페인팅 신경망(154)은 추정된 경계 상자 내의 픽셀을 이웃하는 정적 객체의 픽셀로 채우는 것으로 정적 세그멘테이션 영상(1020)을 생성한다.
다시 도 4를 참조하면, 객체 후처리 모듈(150)에서 탐지된 동적 객체의 경계 상자는 현재 시점(
Figure PCTKR2021020095-appb-I000036
)에서의 영상 기반 객체 경계 상자(
Figure PCTKR2021020095-appb-I000037
)로 출력되어 마스크 생성 모듈(180)의 입력으로 전달된다. 마스크 생성 모듈(180)은 영상 기반 객체 경계 상자(
Figure PCTKR2021020095-appb-I000038
)로부터 동적 객체를 제외한 영역을 마스크 처리한 마스크 영상(
Figure PCTKR2021020095-appb-I000039
)을 생성한다. 마스크 버퍼(190)는 마스크 영상(
Figure PCTKR2021020095-appb-I000040
)들을 후술하는 근미래 객체 예측 신경망(300)에 고속으로 전송하는 수단으로서, 현재 시점(
Figure PCTKR2021020095-appb-I000041
)으로부터 소정의 과거 시점(
Figure PCTKR2021020095-appb-I000042
)까지의 마스크 영상 이력(
Figure PCTKR2021020095-appb-I000043
)을 생성하여 근미래 객체 예측 신경망(300)으로 전송한다.
다시 도 6을 참조하면, 객체 경계 상자 표본 추정 신경망(160)은 정적 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000044
, 630)을 입력받고, 정적 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000045
, 630) 내에서 동적 객체의 위치를 추정한다. 객체 경계 상자 표본 추정 신경망(160)은 동적 객체가 위치할 것으로 추정되는 지점 각각에 객체 추정 경계 상자를 생성하고, 적어도 하나의 객체 추정 경계 상자가 포함된 객체 경계 상자 표본(
Figure PCTKR2021020095-appb-I000046
, 640)을 출력한다. 여기서, 객체 경계 상자 표본 추정 신경망(160)이 정적 세그멘테이션 영상(630) - 즉, 동적 객체가 제거된 영상 - 으로부터 동적 객체의 위치를 추정함에 따라, 현재 시점 영상(610)에서의 실제 동적 객체 위치와는 관계없이 정적 객체들이 형성하는 배경의 맥락에 따라 객체 추정 경계 상자가 생성될 수 있다.
객체 경계 상자 표본 추정 신경망(160)은 객체 추정 경계 상자를 추정하고, 추정된 객체 추정 경계 상자를 정답과 대비하여 손실률을 계산한다. 그리고 계산된 손실률을 최소화 하는 과정을 통해 모델 추정 파라미터를 업데이트하여 객체 경계 상자 표본(540)을 출력한다. 객체 추정 경계 상자는 동적 객체가 위치할 것으로 추정되는 지점의 중심점 좌표, 폭, 및 높이 정보로 규정되는 박스를 의미한다. 도 6의 예시에서 객체 경계 상자 표본(540) 내에는 총 8개의 객체 추정 경계 상자가 샘플링되어 포함된 영상이 예시되었다. 도 6의 객체 경계 상자 표본(540)은 발명의 이해를 돕기 위한 예시이며, 객체 경계 상자 표본은 실제로는 배경 영상 없이 8개의 객체 추정 경계 상자에 대한 정보를 나타내는 데이터 열로서 출력될 것이다.
일실시예로서, 객체 경계 상자 표본 추정 신경망(160)은 정적 세그멘테이션 영상(630) 내에서 정적 객체의 경계 지점에 가중치를 두어 객체 추정 경계 상자를 예측할 수 있다. 다른 실시예로서, 객체 경계 상자 표본 추정 신경망(160)은 정적 세그멘테이션 영상(630) 내에서 정적 객체의 외곽선에 대한 법선의 각도 변화율이 급격한 지점에 가중치를 두어 객체 추정 경계 상자를 예측할 수도 있다.
객체 경계 잔차(Residual) 추정 신경망(170)은 객체 경계 상자 표본(
Figure PCTKR2021020095-appb-I000047
, 640) 내의 객체 추정 경계 상자 각각에 대하여 현재 시점 영상(610)에 포함된 실제 동적 객체의 위치를 반영한 객체 경계 잔차(
Figure PCTKR2021020095-appb-I000048
)를 연산하기 위한 수단이다. 즉, 도 6에서와 같이 현재 시점(
Figure PCTKR2021020095-appb-I000049
)에서의 객체 경계 상자 표본(
Figure PCTKR2021020095-appb-I000050
)과 객체 경계 잔차(
Figure PCTKR2021020095-appb-I000051
)를 합산하는 것으로 현재 시점으로부터 근미래 시점의 객체 경계 상자 표본인 근미래 객체 경계 상자 표본(
Figure PCTKR2021020095-appb-I000052
, 650)이 산출될 수 있다.
객체 경계 잔차 추정 신경망(170)은 현재 시점 영상(
Figure PCTKR2021020095-appb-I000053
, 610)과 정적 세그멘테이션 영상(
Figure PCTKR2021020095-appb-I000054
,630)을 입력받고, 신호 전처리 모듈(210)로부터 현재 시점의 입력 신호(
Figure PCTKR2021020095-appb-I000055
)를 수신한다. 그리고 동적 객체가 존재하지 않는 영상으로부터 동적 객체의 위치를 추정하여 생성된 객체 경계 상자 표본(640)에 대하여 객체 추정 경계 상자의 위치를 실제 동적 객체의 위치에 근접하게 보정하기 위한 객체 경계 잔차(
Figure PCTKR2021020095-appb-I000056
)를 연산한다. 도시한 바와 같이, 객체 경계 상자 표본(640)에 객체 경계 잔차(
Figure PCTKR2021020095-appb-I000057
)를 합산하여 근미래 객체 경계 상자 표본(
Figure PCTKR2021020095-appb-I000058
, 650)이 연산된다.
도 6의 실시예에서, 객체 경계 상자 표본(540) 내에 위치하는 총 8개의 객체 추정 경계 상자가 근미래 객체 경계 상자 표본(650)에서 일부 위치가 조정되어 8개의 근미래 객체 경계 상자로 출력되는 것을 확인할 수 있다.
객체 경계 잔차 추정 신경망(170)은 근미래 객체 경계 상자 표본(650)과 객체 경계 상자 표본(540)을 대비하여 손실률을 계산한다. 그리고 계산된 손실률을 최소화하는 과정을 통해 모델 추정 파라미터를 업데이트하여 객체 경계 잔차(
Figure PCTKR2021020095-appb-I000059
)를 연산한다.
일실시예로서, 객체 경계 잔차 추정 신경망(170)은 현재 시점 영상(610)에서 인식된 동적 객체의 위치와 정적 세그멘테이션 영상(630) 내에서의 정적 객체 경계 지점이 중복되는 위치에 가중치를 두어 객체 경계 잔차(
Figure PCTKR2021020095-appb-I000060
)를 연산할 수 있다. 다른 실시예로서, 객체 경계 잔차 추정 신경망(170)은 현재 시점 영상(610)의 특징맵과 정적 세그멘테이션 영상(630)의 특징맵을 연결하고, 입력 신호(
Figure PCTKR2021020095-appb-I000061
)를 이용하여 특징맵 연결지점을 보정하는 것으로 객체 경계 잔차를 연산할 수도 있다.
도 6의 신경망 학습 결과로서 얻어진 근미래 객체 경계 상자 표본(550)을 내비게이션 단말의 현재 시점 영상에 오버레이하여 출력하는 것만으로, 근미래 동적 객체의 출현 및 변동을 운전자가 쉽게 시인하도록 할 수 있다. 나아가, 도 6의 신경망 학습 결과로서 얻어진 근미래 객체 경계 상자 표본(550)을 다른 신경망의 입력으로 사용하여 자율 주행시 근미래에 닥칠 수 있는 다양한 사고들을 예측할 수도 있다. 여기서, 본 발명의 근미래 객체 위치 예측 시스템은 도 5의 근미래 객체 예측 신경망(300)을 이용하여 현재 시점(
Figure PCTKR2021020095-appb-I000062
)에서 출현되지 아니한 객체의 미래 위치와 이미 출현된 객체의 미래 위치를 좀 더 명료하게 구분지어 학습하고 그 결과를 도출할 수 있다.
도 7은 도 4의 근미래 객체 예측 신경망을 통해 출현되지 아니한 객체 및 출현된 객체의 미래 위치를 예측하는 과정을 상세하게 묘사한 블록도이다. 도 7을 참조하여 본 발명에서 근미래 객체 경계 가설 상자 및 근미래 객체 경계 상자를 예측하는 신경망 학습을 구체적으로 설명하면 다음과 같다.
도 7을 참조하면, 근미래 객체 예측 신경망(300)은 근미래 객체 경계 가설 상자 예측 신경망(310)과 근미래 객체 경계 상자 예측 신경망(320)을 포함한다.
근미래 객체 경계 가설 상자 예측 신경망(310) 및 근미래 객체 경계 상자 예측 신경망(320)은 공히 도 6의 신경망 학습 결과인 근미래 객체 경계 상자 표본(650)을 하나의 입력으로 수신한다. 앞서 설명한 바와 같이, 근미래 객체 경계 상자 표본(650)은 현재 시점 영상(610)에서 동적 객체가 위치할 것으로 예측된 N개의 위치 후보를 나타내는 N개의 근미래 객체 경계 상자를 의미한다.
근미래 객체 경계 가설 상자 예측 신경망(310)의 다른 입력으로서 영상 버퍼(120)에서 출력되는 영상 이력(
Figure PCTKR2021020095-appb-I000063
, 710)과, 세그멘테이션 버퍼(140)에서 출력되는 세그멘테이션 영상 이력(
Figure PCTKR2021020095-appb-I000064
, 720)과, 신호 버퍼(220)에서 출력되는 입력 신호 이력(
Figure PCTKR2021020095-appb-I000065
)이 이용된다. 영상 이력(
Figure PCTKR2021020095-appb-I000066
, 710)과, 세그멘테이션 영상 이력(
Figure PCTKR2021020095-appb-I000067
, 720)과, 입력 신호 이력(
Figure PCTKR2021020095-appb-I000068
)은 모두 현재 시점 기준으로 과거까지의 소정의 시간동안의 데이터를 반영하여 근미래 객체 경계 상자 표본(650) 내의 근미래 객체 경계 상자를 보정하기 위한 데이터들이다. 근미래 객체 경계 가설 상자 예측 신경망(310)은 근미래 객체 경계 상자 표본(650)을 기반으로 한 확률적 모델(GMM: Gaussian Mixture Model)을 생성하고, 이 확률적 모델의 평균을 중심점 좌표로, 표준편차를 폭 및 높이로 정하여 최종 미래 객체 경계 가설 상자를 생성한다.
도 7을 참조하면, 최종 미래 객체 경계 가설 상자 표시 영상(
Figure PCTKR2021020095-appb-I000069
, 740) 내에 4개의 최종 미래 객체 경계 가설 상자가 묘사되어 있다. 근미래 객체 경계 상자 표본(650)과 대비하여 4개의 근미래 객체 경계 상자는 제거되었고, 나머지 4개는 위치가 변동되거나 크기 변동(resize) 되었다. 물론, 최종 미래 객체 경계 가설 상자는 근미래 객체 경계 상자와 동일한 위치 및 크기를 가질 수도 있다. 최종 미래 객체 경계 가설 상자는 배경의 맥락에 따라 현재 시점에서는 출현되지 아니한 동적 객체의 미래 위치를 추천한다.
근미래 객체 경계 가설 상자 예측 신경망(310)은 차량의 내비게이션 단말을 통해 출력되는 현재 시점 영상(610)에 도 7에서 최종 도출된 4개의 최종 미래 객체 경계 가설 상자를 오버레이하여 표시할 수 있다. 또한, 근미래 객체 경계 가설 상자 예측 신경망(310)은 최종 미래 객체 경계 가설 상자에 주석을 첨부하거나 최종 미래 객체 경계 가설 상자의 색상을 달리하는 것으로 객체의 종류를 표시할 수도 있다. 따라서 운전자가 오버레이로 표시되는 최종 미래 객체 경계 가설 상자를 확인하고, 근미래에 출현할 동적 객체를 사전에 인지할 수 있도록 한다.
근미래 객체 경계 가설 상자 신경망(320)은 근미래 객체 경계 가설 상자 예측 신경망(310)과 동일한 이력 데이터(영상 이력(
Figure PCTKR2021020095-appb-I000070
, 710)과, 세그멘테이션 영상 이력(
Figure PCTKR2021020095-appb-I000071
, 720)과, 입력 신호 이력(
Figure PCTKR2021020095-appb-I000072
))를 입력받으며, 추가로 마스크 버퍼(190)에서 출력되는 객체 마스크 영상 이력(
Figure PCTKR2021020095-appb-I000073
)을 더 입력받는다. 객체 마스크 영상 이력(
Figure PCTKR2021020095-appb-I000074
)은 현재 시점 기준으로 과거까지의 소정의 시간동안의 객체의 위치들에 대한 정보를 이용하여 출현된 동적 객체의 후보 위치를 보정하기 위한 데이터이다. 근미래 객체 경계 상자 예측 신경망(320)은 근미래 객체 경계 상자 표본(650)을 기반으로 한 확률적 모델(GMM: Gaussian Mixture Model)을 생성하고, 이 확률적 모델의 평균을 중심점 좌표로, 표준편차를 폭 및 높이로 정하여 최종 미래 객체 경계 상자를 생성한다.
도 7을 참조하면, 최종 미래 객체 경계 상자 표시 영상(
Figure PCTKR2021020095-appb-I000075
, 750) 내에 4개의 최종 미래 객체 경계 상자가 묘사되어 있다. 근미래 객체 경계 상자 표본(650)과 대비하여 4개의 근미래 객체 경계 상자는 제거되었고, 나머지 4개는 위치가 변동되거나 크기 변동(resize) 되었다. 물론, 최종 미래 객체 경계 상자 역시 근미래 객체 경계 상자와 동일한 위치 및 크기를 가질 수도 있다. 최종 미래 객체 경계 상자는 현재 시점 영상에 이미 출현된 동적 객체에 대한 미래의 위치를 추천한다.
근미래 객체 경계 상자 예측 신경망(320)은 차량의 내비게이션 단말을 통해 출력되는 현재 시점 영상(610)에 도 7에서 최종 도출된 4개의 최종 미래 객체 경계 상자를 오버레이하여 표시할 수 있다. 또한, 근미래 객체 경계 상자 예측 신경망(320)은 최종 미래 객체 경계 상자에 주석을 첨부하거나 최종 미래 객체 경계 상자의 색상을 달리하는 것으로 객체의 종류를 표시할 수도 있다. 따라서 운전자가 오버레이로 표시되는 최종 미래 객체 경계 상자를 확인하고, 화면 상에 현재 표시되는 객체의 돌발적인 위치 변동을 사전에 인지할 수 있도록 한다.
도 11 내지 15는 본 발명에 따라 근미래 객체 위치를 예측한 결과가 내비게이션 단말에 표시되는 예를 보인 도면들로서, 도 11 내지 13은 전방 차량에 대한 근미래 위치를 예측하는 화면을 예시하고 있고 도 14 및 15는 전방 보행자에 대한 근미래 위치를 예측하고 있다.
도 11의 (a)는 차량 전방의 현재 시점 영상(
Figure PCTKR2021020095-appb-I000076
)를 예시한 것으로서, 전방의 선행 차량이 주행차로 안을 달리고 있다. 도 11의 (b)는 근미래 객체 경계 상자 예측 신경망(320)이 선행 차량 주변으로 복수의 최종 미래 객체 경계 상자를 생성하여 현재 시점 영상(
Figure PCTKR2021020095-appb-I000077
)에 오버레이하여 표시한 화면을 예시하고 있다. 선행 차량의 근미래 위치가 선행 차량의 좌측과 우측에 근접하여 집중적으로 표시되고 있다.
도 12의 (a)는 도 11의 (a)에서 소정 시간 경과된 후의 현재 시점 영상(도 12의 시점에서 현재 시점 영상)을 나타내고 있으며, 선행 차량이 우측 차로에 걸친 상태임을 확인할 수 있다. 종래 객체를 추적하는 방식의 학습 시스템에서는 전방 차량이 우측으로 차선을 변경하는 것으로 예측할 것이지만, 도 12의 (b)를 참조하면, 본 발명에서는 전방 차량이 우측으로 진행할 것을 예측하는 최종 미래 객체 경계 상자와 더불어 원래의 주행차로로 복귀하거나 좌측으로 방향을 크게 전환하는 돌발 상황을 나타내는 최종 미래 객체 경계 상자가 함께 표시되고 있다.
도 13의 (a)는 도 12의 (a)에서 시간이 좀 더 경과된 후의 영상을 나타내고 있는데, 전방 차량이 우측 차로로 진로를 변경한 상태를 예시하고 있다. 본 발명의 근미래 객체 위치 예측 시스템은, 전방 차량이 갓길을 따라 주행할 것으로 예측하는 최종 미래 객체 경계 상자와 함께 원래 차로로 복귀할 확률을 나타내는 최종 미래 객체 경계 상자, 전방 차량이 현 위치에 정차하는 것을 나타내는 최종 미래 객체 경계 상자가 표시되고 있다.
도 14의 (a)는 좌측의 보행자가 횡단보도 단부에 서있는 상태를 나타내고 있다. 도 14의 (b)에서와 같이, 근미래 객체 경계 상자 예측 신경망(320)은 전방 차량이 존재하는 상태에서 보행자가 근미래에 횡단보도 단부의 근방 주변에서 머무르는 상황을 지배적으로 예측하지만, 횡단보도를 빠른 속도로 건너서 전방 차량 앞까지 보행자가 이동하는 상황(도 14의 (b)에서 화면 중앙에 표시되는 최종 미래 객체 경계 상자에서와 같이)도 예측할 수 있다. 도 14의 (b)와 같은 근미래 객체 위치 예측이 이루어진다면, 전방 차량의 급정거를 예측하여 자차의 속도를 급감속하는 제어를 수행할 수 있을 것이다.
도 15의 (a)는 도 14에서 시간이 진행되어 보행자가 전방 차량의 바로 앞에 위치하는 현재 시점 영상을 나타내고 있다. 도 15의 (b)에서와 같이 보행자가 횡단보도를 완전히 건넌 근미래 상황 또는 보행자가 전방 차량을 피해 횡단보도에서 방향을 바꾸어 대각선 방향으로 진행하는 근미래 상황이 예측되어 표시될 수 있다.
위에서 개시된 발명은 기본적인 사상을 훼손하지 않는 범위 내에서 다양한 변형예가 가능하다. 즉, 위의 실시예들은 모두 예시적으로 해석되어야 하며, 한정적으로 해석되지 않는다. 따라서 본 발명의 보호범위는 상술한 실시예가 아니라 첨부된 청구항에 따라 정해져야 하며, 첨부된 청구항에 한정된 구성요소를 균등물로 치환한 경우 이는 본 발명의 보호범위에 속하는 것으로 보아야 한다.

Claims (26)

  1. 차량에서 촬영된 현재 시점 영상으로부터 객체를 인식하고 인식된 객체 각각에 속성을 부여하여 분할한 세그멘테이션(Segmentation) 영상으로 출력하는 세그멘테이션 신경망;
    상기 세그멘테이션 영상에서 동적 객체를 찾아 제거하여 정적 세그멘테이션 영상으로 변환하는 객체 후처리 모듈;
    상기 정적 세그멘테이션 영상을 입력받아 상기 정적 세그멘테이션 영상 내에서 동적 객체의 위치를 추정하며, 상기 동적 객체가 위치할 것으로 추정되는 지점 각각에 객체 추정 경계 상자를 생성하고, 적어도 하나의 상기 객체 추정 경계 상자가 포함된 객체 경계 상자 표본을 생성하여 출력하는 객체 경계 상자 표본 추정 신경망; 및
    상기 현재 시점 영상과 상기 정적 세그멘테이션 영상을 입력받고, 차량으로부터 상기 현재 시점 영상과 동일한 시간의 센싱 신호를 입력 신호로 수신하며, 상기 현재 시점 영상에서 인식되는 동적 객체가 근미래에 위치할 것으로 예상되는 경계 상자를 예측하고 예측된 경계 상자와 상기 객체 추정 경계 상자의 차이인 객체 경계 잔차(Residual)를 연산하며, 상기 객체 경계 상자 표본에 상기 객체 경계 잔차를 가산하여 근미래 동적 객체의 위치를 나타내는 근미래 객체 경계 상자를 적어도 하나 포함하는 근미래 객체 경계 상자 표본을 출력하는 객체 경계 잔차 추정 신경망
    을 포함하는 근미래 객체 위치 예측 시스템.
  2. 제1항에 있어서,
    차량에서 촬영된 영상을 전처리하여 상기 현재 시점 영상을 생성하는 영상 전처리 모듈을 더 포함하는 근미래 객체 위치 예측 시스템.
  3. 제2항에 있어서,
    상기 영상 전처리 모듈은 차량에서 촬영된 영상에 대하여 이미지 크기 변환(Resize) 및 이미지 자르기(Crop) 중 적어도 어느 하나를 수행하여 상기 현재 시점 영상을 정규화(Normalization) 하는 근미래 객체 위치 예측 시스템.
  4. 제1항에 있어서,
    차량에 설치된 복수의 센서들로부터 센싱 신호들을 수신하여 정규화 하고 상기 객체 경계 잔차 추정 신경망에 상기 입력 신호로 제공하는 신호 전처리 모듈을 더 포함하는 근미래 객체 위치 예측 시스템.
  5. 제4항에 있어서,
    상기 신호 전처리 모듈은 상기 센서들로부터 수신하는 OBD(On-Board Diagnostics) 신호, IMU(Inertial Measurement Unit) 신호, GPS(Global Positioning System) 신호 중 하나 이상을 조합하여 자차의 움직임과 관련된 자차 운동(Ego-Motion) 신호로 정규화 하는 근미래 객체 위치 예측 시스템.
  6. 제5항에 있어서,
    상기 입력 신호는 자차의 현재 위치, 차속, 오일러 각(euler angle), 회전각, 요 레이트(yaw rate) 중 적어도 하나인 근미래 객체 위치 예측 시스템.
  7. 제1항에 있어서,
    상기 세그멘테이션 신경망은 상기 현재 시점 영상에서 인식된 객체들의 종류에 따라 서로 다른 속성을 부여하여 상기 세그멘테이션 영상을 생성하는 근미래 객체 위치 예측 시스템.
  8. 제1항에 있어서,
    상기 세그멘테이션 신경망은 상기 현재 시점 영상에서 인식된 객체들 중, 동적 객체 각각에 서로 다른 속성을 부여하고, 정적 객체는 모두 배경 속성으로 부여하여 상기 세그멘테이션 영상을 생성하는 근미래 객체 위치 예측 시스템.
  9. 제1항에 있어서,
    상기 세그멘테이션 신경망은 상기 현재 시점 영상에서 인식된 객체들 중, 동적 객체 각각에 대하여 서로 다른 속성을 부여하고, 정적 객체들은 객체의 종류에 따라 서로 다른 속성을 부여하여 상기 세그멘테이션 영상을 생성하는 근미래 객체 위치 예측 시스템.
  10. 제1항에 있어서,
    상기 세그멘테이션 신경망은 상기 객체를 인식하고 분할하는 학습을 수행함에 있어 크로스-엔트로피(Cross-Entropy) 손실 함수를 이용하여 손실을 계산하고, 학습 결과로부터 확률적 경사하강법(Stochastic Gradient Descent)을 이용하여 학습 모델의 파라미터를 갱신하는 근미래 객체 위치 예측 시스템.
  11. 제1항에 있어서,
    상기 객체 후처리 모듈은,
    상기 세그멘테이션 영상에서 동적 객체를 탐지하는 객체 탐지 신경망; 및
    상기 세그멘테이션 영상에서 상기 동적 객체가 위치하는 픽셀을 제거하고 제거된 픽셀을 이웃하는 정적 객체의 속성으로 채우는 인페인팅 신경망
    을 포함하는 근미래 객체 위치 예측 시스템.
  12. 제11항에 있어서,
    상기 인페인팅 신경망은 객체 탐지 신경망으로부터 상기 동적 객체의 중심점 좌표, 폭, 및 높이 정보를 수신하여 상기 동적 객체가 포함되는 경계 상자를 추정하고, 해당 경계 상자 내의 픽셀을 이웃하는 정적 객체의 픽셀로 채우는 것으로 상기 정적 세그멘테이션 영상을 생성하는 근미래 객체 위치 예측 시스템.
  13. 제1항에 있어서,
    상기 객체 경계 상자 표본 추정 신경망은 상기 객체 추정 경계 상자를 추정하고, 추정된 객체 추정 경계 상자를 정답과 대비하여 손실률을 계산하고, 계산된 손실률을 최소화하는 과정을 통해 모델 추정 파라미터를 업데이트하여 상기 객체 경계 상자 표본을 출력하는 근미래 객체 위치 예측 시스템.
  14. 제13항에 있어서,
    상기 객체 경계 상자 표본 추정 신경망은 상기 정적 세그멘테이션 영상 내에서 정적 객체의 경계 지점에 가중치를 두어 상기 객체 추정 경계 상자를 예측하는 근미래 객체 위치 예측 시스템.
  15. 제13항에 있어서,
    상기 객체 경계 상자 표본 추정 신경망은 상기 정적 세그멘테이션 영상 내에서 정적 객체의 외곽선에 대한 법선의 각도 변화율이 급격한 지점에 가중치를 두어 상기 객체 추정 경계 상자를 예측하는 근미래 객체 위치 예측 시스템.
  16. 제1항에 있어서,
    상기 객체 경계 잔차 추정 신경망은 상기 근미래 객체 경계 상자 표본과 상기 객체 경계 상자 표본을 대비하여 손실률을 계산하고, 계산된 손실률을 최소화하는 과정을 통해 모델 추정 파라미터를 업데이트하여 상기 객체 경계 잔차를 연산하는 근미래 객체 위치 예측 시스템.
  17. 제16항에 있어서,
    상기 객체 경계 잔차 추정 신경망은 상기 현재 시점 영상에서 인식된 동적 객체의 위치와 상기 정적 세그멘테이션 영상 내에서의 정적 객체 경계 지점이 중복되는 위치에 가중치를 두어 상기 객체 경계 잔차를 연산하는 근미래 객체 위치 예측 시스템.
  18. 제16항에 있어서,
    상기 객체 경계 잔차 추정 신경망은 상기 현재 시점 영상의 특징맵과 상기 정적 세그멘테이션 영상의 특징맵을 연결하고, 상기 입력 신호를 이용하여 특징맵 연결지점을 보정하는 것으로 상기 객체 경계 잔차를 연산하는 근미래 객체 위치 예측 시스템.
  19. 제1항에 있어서,
    상기 현재 시점 영상에 대한 상기 근미래 객체 경계 상자 표본을 하나의 입력으로 수신하여 상기 현재 시점 영상에 출현하지 아니한 객체의 종류 및 미래 위치를 예측하여 최종 미래 객체 경계 가설 상자로 출력하는 근미래 객체 경계 가설 상자 예측 신경망을 더 포함하는 근미래 객체 위치 예측 시스템.
  20. 제19항에 있어서,
    상기 근미래 객체 경계 가설 상자 예측 신경망은, 현재 시점으로부터 소정의 과거까지의 영상의 이력과, 상기 세그멘테이션 신경망으로부터 출력되는 현재 시점으로부터 소정의 과거까지의 세그멘테이션 영상의 이력과, 상기 영상 이력에 포함되는 영상 각각에 대응하는 상기 입력 신호의 이력을 입력받고, 상기 근미래 객체 경계 상자 표본을 기반으로 한 확률적 모델(GMM: Gaussian Mixture Model)을 생성하고, 상기 확률적 모델의 평균을 중심점 좌표로, 표준편차를 폭 및 높이로 정하여 상기 최종 미래 객체 경계 가설 상자를 생성하는 근미래 객체 위치 예측 시스템.
  21. 제20항에 있어서,
    상기 근미래 객체 경계 가설 상자 예측 신경망은, 차량의 내비게이션 단말을 통해 출력되는 상기 현재 시점 영상에 상기 최종 미래 객체 경계 가설 상자를 오버레이하여 표시하는 근미래 객체 위치 예측 시스템.
  22. 제21항에 있어서,
    상기 근미래 객체 경계 가설 상자 예측 신경망은, 상기 최종 미래 객체 경계 가설 상자에 주석을 첨부하거나 상기 최종 미래 객체 경계 가설 상자의 색상을 달리하는 것으로 객체의 종류를 표시하는 근미래 객체 위치 예측 시스템.
  23. 제1항에 있어서,
    상기 현재 시점 영상에 대한 상기 근미래 객체 경계 상자 표본을 하나의 입력으로 수신하여 상기 현재 시점 영상에 출현된 객체의 종류 및 미래 위치를 예측하여 최종 미래 객체 경계 상자로 출력하는 근미래 객체 경계 상자 예측 신경망을 더 포함하는 근미래 객체 위치 예측 시스템.
  24. 제23항에 있어서,
    상기 근미래 객체 경계 상자 예측 신경망은, 현재 시점으로부터 소정의 과거까지의 영상의 이력과, 상기 세그멘테이션 신경망으로부터 출력되는 현재 시점으로부터 소정의 과거까지의 세그멘테이션 영상의 이력과, 상기 영상 이력에 포함되는 영상 각각에 대응하는 상기 입력 신호의 이력과, 상기 객체 후처리 모듈의 후단의 마스크 생성 모듈로부터 출력되는 동적 객체를 제외한 영역을 마스크 처리한 객체 마스크 영상 이력을 입력받고, 상기 근미래 객체 경계 상자 표본을 기반으로 한 확률적 모델(GMM: Gaussian Mixture Model)을 생성하고, 상기 확률적 모델의 평균을 중심점 좌표로, 표준편차를 폭 및 높이로 정하여 상기 최종 미래 객체 경계 상자를 생성하는 근미래 객체 위치 예측 시스템.
  25. 제24항에 있어서,
    상기 근미래 객체 경계 상자 예측 신경망은, 차량의 내비게이션 단말을 통해 출력되는 상기 현재 시점 영상에 상기 최종 미래 객체 경계 상자를 오버레이하여 표시하는 근미래 객체 위치 예측 시스템.
  26. 제25항에 있어서,
    상기 근미래 객체 경계 상자 예측 신경망은, 상기 최종 미래 객체 경계 상자에 주석을 첨부하거나 상기 최종 미래 객체 경계 상자의 색상을 달리하는 것으로 객체의 종류를 표시하는 근미래 객체 위치 예측 시스템.
PCT/KR2021/020095 2020-12-29 2021-12-28 근미래 객체 위치 예측 시스템 WO2022146000A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/635,665 US12026894B2 (en) 2020-12-29 2021-12-28 System for predicting near future location of object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200185615A KR20220094416A (ko) 2020-12-29 2020-12-29 근미래 객체 위치 예측 시스템
KR10-2020-0185615 2020-12-29

Publications (1)

Publication Number Publication Date
WO2022146000A1 true WO2022146000A1 (ko) 2022-07-07

Family

ID=82260906

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020095 WO2022146000A1 (ko) 2020-12-29 2021-12-28 근미래 객체 위치 예측 시스템

Country Status (3)

Country Link
US (1) US12026894B2 (ko)
KR (1) KR20220094416A (ko)
WO (1) WO2022146000A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764890A (zh) * 2020-12-30 2022-07-19 富泰华工业（深圳）有限公司 人行通道环境评估方法、装置及电子设备
WO2022215006A1 (en) * 2021-04-06 2022-10-13 Niantic, Inc. Panoptic segmentation forecasting for augmented reality
US12056857B2 (en) * 2021-11-05 2024-08-06 Adobe Inc. Digital image inpainting utilizing plane panoptic segmentation and plane grouping
WO2024072613A1 (en) * 2022-09-30 2024-04-04 Tile, Inc. Power-efficient tracking using machine-learned patterns and routines
KR102529876B1 (ko) * 2022-11-01 2023-05-09 한밭대학교 산학협력단 행동 인식을 위한 자기 지도 샘플러 및 이를 이용하는 영상 감시 시스템
KR20240070798A (ko) 2022-11-15 2024-05-22 한화비전 주식회사 감시 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075303A1 (en) * 2013-04-19 2018-03-15 Polaris Sensor Technologies, Inc. Traffic Monitoring and Reporting System and Method
US20190094875A1 (en) * 2017-09-28 2019-03-28 Nec Laboratories America, Inc. Generating occlusion-aware bird eye view representations of complex road scenes
JP2019207220A (ja) * 2018-03-13 2019-12-05 本田技研工業株式会社 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行
KR20200136905A (ko) * 2018-03-29 2020-12-08 소니 주식회사 신호 처리 장치 및 신호 처리 방법, 프로그램, 그리고 이동체
US20200401821A1 (en) * 2018-05-25 2020-12-24 Robert Bosch Gmbh Operating assistance method, control unit, operating assistance system and working device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979375B1 (ko) 2018-02-23 2019-08-28 주식회사 삼알글로벌 감시 영상의 객체 행동 예측 방법
US10269125B1 (en) 2018-10-05 2019-04-23 StradVision, Inc. Method for tracking object by using convolutional neural network including tracking network and computing device using the same
KR102143031B1 (ko) 2018-12-21 2020-08-10 네이버랩스 주식회사 정지 영상에서 객체의 미래 움직임을 예측하는 방법 및 시스템
KR102143034B1 (ko) 2018-12-21 2020-08-10 네이버랩스 주식회사 객체의 미래 움직임 예측을 통한 동영상에서의 객체 추적을 위한 방법 및 시스템
US20200356812A1 (en) * 2019-05-10 2020-11-12 Moley Services Uk Limited Systems and methods for automated training of deep-learning-based object detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075303A1 (en) * 2013-04-19 2018-03-15 Polaris Sensor Technologies, Inc. Traffic Monitoring and Reporting System and Method
US20190094875A1 (en) * 2017-09-28 2019-03-28 Nec Laboratories America, Inc. Generating occlusion-aware bird eye view representations of complex road scenes
JP2019207220A (ja) * 2018-03-13 2019-12-05 本田技研工業株式会社 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行
KR20200136905A (ko) * 2018-03-29 2020-12-08 소니 주식회사 신호 처리 장치 및 신호 처리 방법, 프로그램, 그리고 이동체
US20200401821A1 (en) * 2018-05-25 2020-12-24 Robert Bosch Gmbh Operating assistance method, control unit, operating assistance system and working device

Also Published As

Publication number Publication date
KR20220094416A (ko) 2022-07-06
US12026894B2 (en) 2024-07-02
US20230222671A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
WO2022146000A1 (ko) 근미래 객체 위치 예측 시스템
US11175145B2 (en) System and method for precision localization and mapping
US11676296B2 (en) Augmenting reality using semantic segmentation
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
US10794710B1 (en) High-precision multi-layer visual and semantic map by autonomous units
JP7351293B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
CN110007675B (zh) 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法
CN112212872B (zh) 基于激光雷达和导航地图的端到端自动驾驶方法及系统
US10929713B2 (en) Semantic visual landmarks for navigation
CN112740268B (zh) 目标检测方法和装置
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
US20230386323A1 (en) Updating maps based on traffic object detection
KR102388806B1 (ko) 주행 상황 판단 시스템
WO2022041706A1 (zh) 一种定位方法、定位系统和车辆
CN116518984A (zh) 一种煤矿井下辅助运输机器人车路协同定位系统及方法
US11976939B2 (en) High-definition maps and localization for road vehicles
CN116892949A (zh) 地上物检测装置、地上物检测方法以及地上物检测用计算机程序
CN115423932A (zh) 道路标注方法、可读介质、程序产品和电子设备
CN117132980B (zh) 标注模型训练方法、道路标注方法、可读介质和电子设备
Li et al. Improving Vehicle Localization with Lane Marking Detection Based on Visual Perception and Geographic Information
CN118840729A (en) Vehicle vision positioning method and device, electronic equipment and storage medium
KR20240052336A (ko) 서비스 영역에서의 차량의 자율주행 제어 방법 및 시스템
JP2022146384A (ja) 物体検出装置
WO2024118992A1 (en) Multi-frame temporal aggregation and dense motion estimation for autonomous vehicles
CN117928570A (zh) 一种面向微型无人车的动态目标识别追踪的路径规划方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21915798

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21915798

Country of ref document: EP

Kind code of ref document: A1