WO2023184223A1 - 基于脑启发空间编码机制的机器人自主定位方法和装置 - Google Patents

基于脑启发空间编码机制的机器人自主定位方法和装置 Download PDF

Info

Publication number
WO2023184223A1
WO2023184223A1 PCT/CN2022/084014 CN2022084014W WO2023184223A1 WO 2023184223 A1 WO2023184223 A1 WO 2023184223A1 CN 2022084014 W CN2022084014 W CN 2022084014W WO 2023184223 A1 WO2023184223 A1 WO 2023184223A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
spatial
node
image
map node
Prior art date
Application number
PCT/CN2022/084014
Other languages
English (en)
French (fr)
Inventor
赵冬晔
孟祥瑞
李保卫
张德
Original Assignee
中国电子科技集团公司信息科学研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国电子科技集团公司信息科学研究院 filed Critical 中国电子科技集团公司信息科学研究院
Priority to PCT/CN2022/084014 priority Critical patent/WO2023184223A1/zh
Publication of WO2023184223A1 publication Critical patent/WO2023184223A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present disclosure relates to bionic technology, and in particular to a robot autonomous positioning method, device, computer equipment, storage medium, computer program product and robot based on a brain-inspired spatial coding mechanism.
  • the ocean is a very special and hidden environment, which places extremely high demands on the robot's ability to understand the environment and adapt to the environment.
  • external location information such as GPS
  • SLAM simultaneous positioning and mapping
  • a method for autonomous positioning of a robot based on a brain-inspired spatial coding mechanism includes a brain-inspired space, and the brain-inspired space includes N simulated N spatial cognitive neurons of mammals. Position node, N is an integer greater than or equal to 1.
  • the method includes: obtaining the first image and the second image collected by the robot during the movement of the environment, where the first image is collected at time t, and the second image is collected at time t+1 is collected, and the spatial position of the robot in the environment at time t is represented by the t-th map node in the topological map; according to the first image and the second image, predict the movement speed of the robot from time t to time t+1; according to The tth map node and movement speed create the t+1th map node in the topological map.
  • the t+1th map node represents the spatial position of the robot in the environment at time t+1; determine N at time t+1 The response of each location node, where the response of each location node at time t+1 is a function of the inhibition of the location node by the N location nodes at time t and the response of each N location node at time t; according to N at time t+1 The respective responses of the location nodes determine the spatial code corresponding to the t+1th map node, where the spatial code includes the response intensity of the N location nodes at time t+1, and the spatial code corresponds to the t+1th map node.
  • Spatial position and a database based on the spatial code corresponding to the t+1th map node and the corresponding spatial code corresponding to at least one previous map node before the t+1th map node and the spatial position represented by at least one previous map node. , selectively correct the spatial position represented by the t+1th map node.
  • a robot autonomous positioning device based on a brain-inspired spatial coding mechanism wherein the brain-inspired spatial coding mechanism includes a brain-inspired space, and the brain-inspired space includes N spatial cognitive neurons that simulate mammals.
  • the device includes: a first unit configured to obtain the first image and the second image collected by the robot during the movement of the environment, where the first image is collected at time t, The second image is collected at time t+1, and the robot's spatial position in the environment at time t is represented by the t-th map node in the topological map; the second unit is configured to predict based on the first image and the second image.
  • the movement speed of the robot from time t to time t+1; the third unit is configured to create the t+1th map node in the topological map based on the tth map node and movement speed, and the t+1th map node represents The spatial position of the robot in the environment at time t+1; the fourth unit is configured to determine the respective responses of the N position nodes at time t+1, where the response of each position node at time t+1 is the N position nodes at time t A function of the respective inhibition of the position node and the respective responses of the N position nodes at time t; the fifth unit is configured to determine the space corresponding to the t+1th map node based on the respective responses of the N position nodes at time t+1 Encoding, where the spatial encoding includes the response intensity of N position nodes at time t+1, and the spatial encoding corresponds to the spatial position represented by the t+1th map node; and the sixth unit is configured to be based on the t+1th map node The corresponding spatial code
  • a computer device including: a memory; a processor; and a computer program stored on the memory, wherein when the computer program is executed by the processor, the processor implements any of the above methods. A step of.
  • a non-transitory computer-readable storage medium on which a computer program is stored.
  • the computer program When the computer program is executed by a processor, the computer program causes the processor to implement the steps of any one of the above methods.
  • a computer program product including a computer program.
  • the computer program When the computer program is executed by a processor, the computer program causes the processor to implement the steps of any one of the above methods.
  • a robot including: a camera configured to collect a first image and a second image of an environment during travel of the robot; and a computer device as described above.
  • Figure 1 shows a flow chart of a robot autonomous positioning method based on a brain-inspired spatial coding mechanism according to an exemplary embodiment
  • Figure 2 shows a schematic diagram of creating a map node according to an exemplary embodiment
  • Figure 3 shows a schematic diagram of 9 location nodes in a brain-inspired space according to an exemplary embodiment
  • Figure 4 shows a schematic diagram of creating a map node according to an exemplary embodiment
  • Figure 5 shows a flowchart of the steps of predicting the movement speed of the robot from time t to time t+1 in the method of Figure 1 according to an exemplary embodiment
  • Figure 6 shows a structural block diagram of a device for autonomous positioning of a robot based on a brain-inspired spatial coding mechanism according to an exemplary embodiment
  • FIG. 7 shows a structural block diagram of an exemplary electronic device that can be used to implement embodiments of the present disclosure.
  • first”, “second”, etc. to describe various elements is not intended to limit the positional relationship, timing relationship, or importance relationship of these elements. Such terms are only used for Distinguish one element from another.
  • the first element and the second element may refer to the same instance of the element, and in some cases, based on contextual description, they may refer to different instances.
  • Figure 1 shows a flow chart of a robot autonomous positioning method 100 based on a brain-inspired spatial coding mechanism according to an exemplary embodiment.
  • the brain-inspired spatial coding mechanism includes a brain-inspired space, and the brain-inspired space includes N spatial cognitions that simulate mammals. N position nodes of the neuron, N is an integer greater than or equal to 1.
  • the method 100 generally includes steps 101 to 106, which can be executed at a terminal device such as a robot, but the disclosure is not limited in this regard.
  • brain-inspired spatial encoding mechanisms draw on neurobiological research on how mammals understand space.
  • the brain-inspired space coding mechanism there is a brain-inspired space that simulates the mammalian brain.
  • Mammalian cognitive neurons are simulated through N position nodes in the brain-inspired space, and mammalian cognitive neurons are simulated through N position nodes.
  • the discharge mechanism of the element enables the robot to have neurocomputing mechanisms for environmental perception and spatial cognition, and complete a series of tasks such as active exploration, self-positioning and map updating in unknown environments.
  • step 101 the first image and the second image collected by the robot during the movement of the environment are obtained, where the first image is collected at time t, the second image is collected at time t+1, and the robot is in the environment at time t.
  • the spatial position in is represented by the t-th map node in the topological map.
  • the robot Before and after each trip, the robot can collect images of the environment (such as the image in front of the field of view). The first image is collected before the robot moves (time t), and the second image is collected after the robot moves (time t+1). . It can be understood that the interval between time t and time t+1 can be any time, and is not limited here.
  • the first image and the second image are any of a sequence of RGB images, a sequence of RGBD images, a sequence of sonar images, and a sequence of infrared images.
  • the robot can acquire a sequence of RGB images by using an RGB camera, or acquire a sequence of RGBD images by using an RGBD camera, or acquire a sequence of infrared images by using an infrared camera.
  • the robot can send pulses through a sonar device and receive echo signals back. The echo signal is then converted into a sonar image sequence through a signal processor.
  • step 102 predict the movement speed of the robot from time t to time t+1 based on the first image and the second image.
  • the robot Since the environment where the robot works may be in an area without any external positioning support (such as GPS) such as the deep sea, the robot needs to rely on the images it collects to analyze its own movement speed, such as movement rate and movement direction. The operation of predicting the movement speed of the robot from time t to time t+1 based on the first image and the second image will be described in detail later in conjunction with FIG. 5 .
  • step 103 the t+1th map node in the topological map is created based on the tth map node and movement speed.
  • the t+1th map node represents the spatial position of the robot in the environment at time t+1.
  • FIG. 2 shows a schematic diagram of a process 200 of creating a map node according to an exemplary embodiment.
  • the map node 201 is the initial position, and the map node 201 represents the spatial position of the robot in the environment.
  • the direction of arrow 204 is used to represent the predicted movement direction of the robot from time t to time t+1, and the length of arrow 204 is used to represent the predicted movement rate of the robot from time t to time t+1.
  • the map node 202 at time t+1 is created.
  • the direction of arrow 205 is used to represent the predicted movement direction of the robot from time t+1 to time t+2, and the length of arrow 205 is used to represent the predicted movement direction of the robot from time t+1 to time t+2. movement rate.
  • the map node 203 at time t+2 is created.
  • map nodes can be incrementally created at any number of times, which is not limited here.
  • time t is the initial time in the example of FIG. 2
  • time t can also be any time other than the initial time, which is not limited here.
  • step 104 determine the respective responses of the N position nodes at time t+1, where the response of each position node at time t+1 is the suppression sum t of each of the N position nodes at time t.
  • the function of the response of each N position node at time In bionics, the response of position nodes in the brain-inspired space and the inhibition between position nodes simulate the stimulatory discharge and inhibitory discharge phenomena between mammalian cognitive neurons.
  • the respective responses of the N position nodes can be used to determine a spatial encoding that corresponds to the robot's spatial position in the environment, as will be described later.
  • determining the respective responses of the N position nodes at time t+1 includes: for each of the N position nodes: based on the movement speed predicted in step 102, the position node in the brain-inspired space and the respective positions of the N position nodes in the brain-inspired space, determine the inhibition of the N position nodes at time t by each of the position nodes; and based on the suppression of the position node by the N position nodes at time t and t The response of each of the N location nodes at time t+1 determines the response of the location node at time t+1.
  • the suppression of the i-th location node by the k-th location node can be calculated as:
  • p i is the position of position node i in the brain-inspired space
  • p k is the position of position node k in the brain-inspired space
  • J 0 and J 1 are the weight modulation parameters
  • ⁇ is the spatial range modulation parameter.
  • J 0 , J 1 and ⁇ do not change during the movement of the robot and are fixed parameters. It will be understood that equation (1) is exemplary, and in other embodiments, the suppression of location node i by location node k may be calculated in any other suitable manner.
  • FIG. 3 shows a schematic diagram of an example 300 of 9 location nodes in a brain-inspired space according to an exemplary embodiment.
  • the suppression of any position node by position nodes 1 to 9 at time t can be calculated.
  • the suppression of the first position node by the second position node at time t can be calculated as:
  • p 1 is the position of position node 1 in the brain heuristic space
  • p 2 is the position of position node 2 in the brain heuristic space.
  • the suppression of position node 1 by other position nodes at time t can be obtained: w 11 (t), w 13 (t), w 14 (t), w 15 (t), w 16 (t), w 17 ( t), w 18 (t) and w 19 (t).
  • determining the response of the location node at time t+1 includes: for the i-th location node among the N location nodes, changing the i-th location node at time t+1
  • the response of location nodes is calculated as:
  • w ik (t) represents the suppression of the k-th position node at time t to the i-th position node
  • h k (t) represents the response of the k-th position node at time t
  • i, k ⁇ 1,2 ,3,...N ⁇ i, k ⁇ 1,2 ,3,...N ⁇ .
  • the response of the first position node at time t+1 can be expressed as follows:
  • the spatial code corresponding to the t+1th map node is determined based on the respective responses of the N location nodes at time t+1, where the spatial code includes the responses of the N location nodes at time t+1. intensity, and the spatial encoding corresponds to the spatial position represented by the t+1th map node.
  • the response strengths of the nodes at the 1st to 9th positions are 0, 1, 0, 1, 5, 1, 0, 1, 0 respectively.
  • the response intensity of the 9 position nodes is counted, and the spatial code corresponding to the t+1th map node is 010151010.
  • this embodiment determines the spatial code corresponding to the spatial position represented by the t+1th map node through the response intensity of the nine position nodes in the brain-inspired space at time t+1
  • the brain-inspired space can contain any number of location nodes, such as 10,000 location nodes.
  • the unique spatial encoding corresponding to the spatial location represented by a map node is determined by the response intensity of any number of location nodes.
  • step 106 based on the spatial code corresponding to the t+1th map node and the corresponding spatial code corresponding to at least one previous map node before the t+1th map node and at least one previous map node are stored
  • the database represents the spatial position, and selectively corrects the spatial position represented by the t+1th map node.
  • FIG. 4 shows a schematic diagram of a process 400 of creating a map node according to an exemplary embodiment.
  • Figure 4 creates map node 201 at time t1, map node 202 at time t2, map node 203 at time t3 and map node 206 at time t4. The following describes how to selectively correct the spatial position represented by the t+1th map node in conjunction with Figure 4.
  • selectively modifying the spatial location represented by the t+1th map node includes: determining whether there is a duplicate spatial encoding in the database that is the same as the spatial encoding corresponding to the t+1th map node; and responding to determining that the spatial encoding corresponds to the t+1th map node. There is no duplicate spatial code that is the same as the spatial code corresponding to the t+1th map node in the database, and the spatial code corresponding to the t+1th map node and the t+1th map node are represented The spatial location is stored in the database.
  • time t1 is the initial time and the initial spatial position is known.
  • the responses of the N position nodes in the brain-inspired space can take any value between 0 and 1.
  • map node 202 is created based on the spatial position represented by map node 201 and the predicted movement speed from time t1 to time t2.
  • the map node 201 and the map node 202 are connected by an arrow 204 indicating the movement speed.
  • the spatial code corresponding to the map node 202 is obtained.
  • the spatial code corresponding to the map node 202 By comparing the spatial code corresponding to the map node 202 with the spatial code stored in the database, it is confirmed that the spatial code corresponding to the map node 202 does not exist in the database. In order to correct the spatial positions represented by subsequent map nodes, the spatial positions represented by the map node 201 and the map node 202 and the corresponding spatial codes can be stored in the database.
  • map node 203 is similar to the process of creating map node 202 .
  • map node 203 is created based on the spatial position represented by map node 202 and the predicted movement speed from time t2 to time t3.
  • the map node 202 and the map node 203 are connected by an arrow 205 indicating the movement speed.
  • the spatial position represented by the map node 203 and the corresponding spatial code are stored in the database.
  • selectively modifying the spatial location represented by the t+1th map node further includes: in response to determining that a duplicate spatial code identical to the spatial code corresponding to the t+1th map node exists in the database, determining Whether there is a difference between the spatial position corresponding to the repeated spatial code and the spatial position represented by the t+1th map node; and in response to determining the spatial position corresponding to the repeated spatial code and the spatial position represented by the t+1th map node If there is a difference, the spatial position represented by the t+1th map node is corrected to the spatial position corresponding to the repeated spatial coding.
  • map node 206 (indicated by a dotted line) is created based on the spatial position represented by map node 203 and the predicted movement speed from time t3 to time t4 .
  • the map node 203 and the map node 206 (indicated by a dotted line) are connected by an arrow 207 (indicated by a dotted line) indicating the movement speed.
  • the spatial code corresponding to the map node 206 is obtained.
  • the spatial code corresponding to map node 206 (represented by a dotted line) is the same as the spatial code corresponding to map node 202. Since the spatial position represented by map node 206 (represented by a dotted line) is different from the spatial position represented by map node 202, it indicates that the currently predicted time t3 The movement speed to time t4 is wrong. In order to correct this error, the spatial position represented by the map node with the same spatial encoding in the experience pool can be used to correct the spatial position of the map node 206 (indicated by the dotted line).
  • the spatial position of the robot at time t4 should actually be the spatial position represented by map node 202. Therefore, the map node 206 (shown by the solid line) is re-created, and the position of the map node 206 (shown by the solid line) coincides with the position of the map node 202, and then the map node is connected by using the corrected predicted motion speed 207 (shown by the solid line). 203 and map node 206 (represented by solid lines).
  • map node 206 created at time t4 coincides with map node 202, and the spatial code corresponding to map node 206 is the same as the spatial code of map node 202 stored in the database. At this time, the spatial position represented by map node 206 is not processed. Fixed, does not change the position of map node 206.
  • the spatial position of the robot is encoded through a brain-inspired encoding mechanism, so that the robot can use the spatial encoding as a reference to achieve autonomous positioning and complete navigation tasks during its travels.
  • FIG. 5 shows a flowchart of step 102 of predicting the movement speed of the robot from time t to time t+1 in the method of FIG. 1 according to an exemplary embodiment.
  • a first image and a second image are input to a convolutional neural network.
  • a convolutional neural network In one example, two consecutive frames of images in time series are used as input to form an image pair and input to a Siamese deep convolutional neural network (Siamese CNN).
  • Siamese CNN Siamese deep convolutional neural network
  • the changes in visual information between two frames of images express the displacement changes of the robot per unit time.
  • the movement speed of the robot from time t to time t+1 is predicted through the convolutional neural network.
  • the constructed Siamese deep convolutional neural network (Siamese CNN) encodes image pairs and outputs the predicted movement speed of the robot between taking the first image and the second image.
  • the Siamese deep convolutional neural network includes a top-level network and a bottom-level network.
  • step 502-1 in each layer of the underlying network, an image feature of the first image and the second image is extracted.
  • the underlying structure is a visual feature extractor.
  • the Siamese deep convolutional neural network contains multiple visual feature extractors. Each visual feature extractor can obtain a feature of the first image and the second image, such as the color feature, texture feature, shape feature and space of the image. Relationship features and other image features.
  • each image feature extracted by the bottom network is combined.
  • the first layer of the top network fuses different types of features (image color features, texture features, shape features, spatial relationship features, etc.) to generate high-scale features.
  • the robot's movement speed from time t to time t+1 is predicted based on the combined multiple image features.
  • the second layer of the top network is an image-to-visual information transformation predictor.
  • the image-to-visual information transformation predictor processes the high-scale features obtained after the first layer of the top-level network is processed, and predicts and outputs the real-time vector motion speed of the robot.
  • ⁇ is the movement rate of the robot
  • ⁇ [0,2 ⁇ ) is the movement direction of the robot.
  • this embodiment uses a Siamese deep convolutional neural network to predict the robot's movement speed.
  • other convolutional neural networks can also be used to predict the robot's movement speed, which is not limited here.
  • FIG. 6 shows a structural block diagram of a robot autonomous positioning device 600 based on a brain-inspired spatial coding mechanism according to an exemplary embodiment.
  • the brain-inspired space coding mechanism includes a brain-inspired space.
  • the brain-inspired space includes N position nodes that simulate N spatial cognitive neurons of mammals, and N is an integer greater than or equal to 1.
  • the device 600 includes a first unit 601 , a second unit 602 , a third unit 603 , a fourth unit 604 , a fifth unit 605 and a sixth unit 606 .
  • the first unit 601 is configured to obtain a first image and a second image collected by the robot of the environment during travel, wherein the first image is collected at time t, the second image is collected at time t+1, and the robot is collected at time t
  • the spatial position in the environment is represented by the t-th map node in the topological map.
  • the second unit 602 is configured to predict the movement speed of the robot from time t to time t+1 based on the first image and the second image.
  • the third unit 603 is configured to create the t+1th map node in the topological map based on the tth map node and movement speed.
  • the t+1th map node represents the spatial position of the robot in the environment at time t+1. .
  • the fourth unit 604 is configured to determine the response of each of the N location nodes at time t+1, where the response of each location node at time t+1 is the suppression of the location node by each of the N location nodes at time t and the N location nodes at time t A function of the location node's respective response.
  • the fifth unit 605 is configured to determine the spatial code corresponding to the t+1th map node based on the respective responses of the N location nodes at time t+1, where the spatial code includes the response intensity of the N location nodes at time t+1, and The spatial encoding corresponds to the spatial position represented by the t+1th map node.
  • the sixth unit 606 is configured to store a corresponding space code corresponding to at least one previous map node before the t+1 th map node and a space represented by at least one previous map node based on the space code corresponding to the t+1 th map node.
  • the location database selectively corrects the spatial location represented by the t+1th map node.
  • each unit of the device 600 shown in FIG. 6 may correspond to each step in the method 100 described with reference to FIG. 1 . Accordingly, the operations, features and advantages described above with respect to method 100 apply equally to apparatus 600 and the units it includes. For the sake of brevity, certain operations, features, and advantages are not described again here.
  • a specific unit performing an action includes the specific unit itself performing the action, or alternatively the specific unit calling or otherwise accessing another component or unit that performs the action (or performs the action in conjunction with the specific unit).
  • a specific unit that performs an action may include the specific unit that performs the action itself and/or another unit that performs the action that the specific unit calls or otherwise accesses.
  • An SoC may include an integrated circuit chip (which includes a processor (e.g., Central Processing Unit (CPU), microcontroller, microprocessor, Digital Signal Processor (DSP), etc.), memory, a or one or more components in multiple communication interfaces, and/or other circuitry), and may optionally execute received program code and/or include embedded firmware to perform functions.
  • a processor e.g., Central Processing Unit (CPU), microcontroller, microprocessor, Digital Signal Processor (DSP), etc.
  • memory e.g., RAM, RAM, RAM, etc.
  • DSP Digital Signal Processor
  • a computer device which includes a memory, a processor, and a computer program stored on the memory.
  • the processor is configured to implement the steps of any of the method embodiments described above.
  • a non-transitory computer-readable storage medium having a computer program stored thereon, which when executed by a processor implements the steps of any of the method embodiments described above.
  • a computer program product comprising a computer program that, when executed by a processor, implements the steps of any of the above-described method embodiments.
  • a robot which includes: a camera configured to collect a first image and a second image of an environment during travel of the robot; and the computer device as above.
  • Electronic device 700 is an example of a hardware device that may be applied to aspects of the present disclosure.
  • the term electronic device is intended to refer to various forms of digital electronic computing equipment, such as laptop computers, desktop computers, workstations, personal digital assistants, servers, blade servers, mainframe computers, and other suitable computers.
  • Electronic devices may also represent various forms of mobile devices, such as personal digital assistants, cellular phones, smart phones, wearable devices, and other similar computing devices.
  • the components shown herein, their connections and relationships, and their functions are examples only and are not intended to limit implementations of the disclosure described and/or claimed herein.
  • the device 700 includes a computing unit 701 that can execute according to a computer program stored in a read-only memory (ROM) 702 or loaded from a storage unit 708 into a random access memory (RAM) 703 Various appropriate actions and treatments.
  • ROM read-only memory
  • RAM random access memory
  • various programs and data required for the operation of the device 700 can also be stored.
  • the processing unit 701, ROM 702 and RAM 703 are connected to each other through a bus 704.
  • An input/output (I/O) interface 705 is also connected to bus 704.
  • the input unit 706 may be any type of device capable of inputting information to the device 700.
  • the input unit 706 may receive input numeric or character information and generate key signal input related to user settings and/or function control of the electronic device, and may Including, but not limited to, mouse, keyboard, touch screen, trackpad, trackball, joystick, microphone and/or remote control.
  • Output unit 707 may be any type of device capable of presenting information, and may include, but is not limited to, a display, speakers, video/audio output terminal, vibrator, and/or printer.
  • the storage unit 708 may include, but is not limited to, a magnetic disk or an optical disk.
  • the communication unit 709 allows the device 700 to exchange information/data with other devices over a computer network such as the Internet and/or various telecommunications networks, and may include, but is not limited to, a modem, a network card, an infrared communication device, a wireless communication transceiver and/or a chipset , such as BluetoothTM devices, 1302.11 devices, WiFi devices, WiMax devices, cellular communication devices and/or the like.
  • Processing unit 701 may be a variety of general and/or special purpose processing components having processing and computing capabilities. Some examples of the processing unit 701 include, but are not limited to, a central processing unit (CPU), a graphics processing unit (GPU), various dedicated artificial intelligence (AI) computing chips, various computing units that run machine learning model algorithms, digital signal processing processor (DSP), and any appropriate processor, controller, microcontroller, etc.
  • the processing unit 701 performs the various methods and processes described above, such as methods for rendering a virtual representation of a real space. For example, in some embodiments, a method for presenting a virtual representation of a real space may be implemented as a computer software program tangibly embodied in a machine-readable medium, such as storage unit 708.
  • part or all of the computer program may be loaded and/or installed onto device 700 via ROM 702 and/or communication unit 709.
  • the computer program When the computer program is loaded into RAM 703 and executed by computing unit 701, one or more steps of the method for presenting a virtual representation of a real space described above may be performed.
  • the computing unit 701 may be configured in any other suitable manner (eg, by means of firmware) to perform the method for rendering a virtual representation of a real space.
  • Various implementations of the systems and techniques described above may be implemented in digital electronic circuit systems, integrated circuit systems, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), application specific standard products (ASSPs), systems on a chip implemented in a system (SOC), load programmable logic device (CPLD), computer hardware, firmware, software, and/or a combination thereof.
  • FPGAs field programmable gate arrays
  • ASICs application specific integrated circuits
  • ASSPs application specific standard products
  • SOC system
  • CPLD load programmable logic device
  • computer hardware firmware, software, and/or a combination thereof.
  • These various embodiments may include implementation in one or more computer programs executable and/or interpreted on a programmable system including at least one programmable processor, the programmable processor
  • the processor which may be a special purpose or general purpose programmable processor, may receive data and instructions from a storage system, at least one input device, and at least one output device, and transmit data and instructions to the storage system, the at least one input device, and the at least one output device.
  • An output device may be a special purpose or general purpose programmable processor, may receive data and instructions from a storage system, at least one input device, and at least one output device, and transmit data and instructions to the storage system, the at least one input device, and the at least one output device.
  • An output device may be a special purpose or general purpose programmable processor, may receive data and instructions from a storage system, at least one input device, and at least one output device, and transmit data and instructions to the storage system, the at least one input device, and the at least one output device.
  • Program code for implementing the methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general-purpose computer, special-purpose computer, or other programmable data processing device, such that the program codes, when executed by the processor or controller, cause the functions specified in the flowcharts and/or block diagrams/ The operation is implemented.
  • the program code may execute entirely on the machine, partly on the machine, as a stand-alone software package, partly on the machine and partly on a remote machine or entirely on the remote machine or server.
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device.
  • the machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • Machine-readable media may include, but are not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices or devices, or any suitable combination of the foregoing.
  • machine-readable storage media can include an electrical connection based on one or more wires, a portable computer disk, a hard disk, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), optical fiber, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable read only memory
  • CD-ROM portable compact disk read-only memory
  • magnetic storage device or any suitable combination of the above.
  • the systems and techniques described herein may be implemented on a computer having a display device (eg, a CRT (cathode ray tube) or LCD (liquid crystal display) monitor) for displaying information to the user ); and a keyboard and pointing device (eg, a mouse or a trackball) through which a user can provide input to the computer.
  • a display device eg, a CRT (cathode ray tube) or LCD (liquid crystal display) monitor
  • a keyboard and pointing device eg, a mouse or a trackball
  • Other kinds of devices may also be used to provide interaction with the user; for example, the feedback provided to the user may be any form of sensory feedback (e.g., visual feedback, auditory feedback, or tactile feedback); and may be provided in any form, including Acoustic input, voice input or tactile input) to receive input from the user.
  • the systems and techniques described herein may be implemented in a computing system that includes back-end components (e.g., as a data server), or a computing system that includes middleware components (e.g., an application server), or a computing system that includes front-end components (e.g., A user's computer having a graphical user interface or web browser through which the user can interact with implementations of the systems and technologies described herein), or including such backend components, middleware components, or any combination of front-end components in a computing system.
  • the components of the system may be interconnected by any form or medium of digital data communication (eg, a communications network). Examples of communication networks include: local area network (LAN), wide area network (WAN), and the Internet.
  • Computer systems may include clients and servers.
  • Clients and servers are generally remote from each other and typically interact over a communications network.
  • the relationship of client and server is created by computer programs running on corresponding computers and having a client-server relationship with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

提供了一种基于脑启发空间编码机制的机器人自主定位方法和装置、计算机设备、存储介质、计算机程序产品以及机器人。方法包括：获取机器人在行进期间对环境采集的第一图像和第二图像（101）；根据第一图像和第二图像，预测机器人从t时刻到t+1时刻的运动速度（102）；根据第t个地图节点和运动速度，创建拓扑地图中的第t+1个地图节点（103）；根据t+1时刻N个位置节点各自的响应，确定第t+1个地图节点对应的空间编码（105）；以及基于第t+1个地图节点对应的空间编码以及存储有第t+1个地图节点之前的至少一个先前地图节点对应的相应空间编码和至少一个先前地图节点表示的空间位置的数据库，选择性地修正第t+1个地图节点表示的空间位置（106）。

Description

基于脑启发空间编码机制的机器人自主定位方法和装置 技术领域
本公开涉及仿生技术，特别是涉及一种基于脑启发空间编码机制的机器人自主定位方法、装置、计算机设备、存储介质、计算机程序产品和机器人。
背景技术
海洋是一类极为特殊且隐蔽的环境，其对机器人的环境理解能力和环境适应能力均提出了极高的要求。当水下机器人在海洋中执行巡逻和打击任务时，GPS等外源性位置信息很难在水下进行有效的传播，进而大大限制了水下机器人的定位和地图构建性能。传统的同步定位和地图构建(SLAM)技术虽然在一定程度上提高了机器人在海洋中的定位精度，但仍然存在着极大的缺陷，如鲁棒性差、通用性差、经济性差等。
发明内容
提供一种缓解、减轻或甚至消除上述问题中的一个或多个机制将是有利的。
根据本公开的一方面，提供一种基于脑启发空间编码机制的机器人自主定位方法，脑启发空间编码机制包括脑启发空间，脑启发空间包括模拟哺乳动物的N个空间认知神经元的N个位置节点，N为大于等于1的整数，该方法包括：获取机器人在行进期间对环境采集的第一图像和第二图像，其中第一图像在t时刻采集得到，第二图像在t+1时刻采集得到，并且机器人在t时刻在环境中的空间位置由拓扑地图中的第t个地图节点表示；根据第一图像和第二图像，预测机器人从t时刻到t+1时刻的运动速度；根据第t个地图节点和运动速度，创建拓扑地图中的第t+1个地图节点，第t+1个地图节点表示机器人在t+1时刻在环境中的空间位置；确定t+1时刻N个位置节点各自的响应，其中t+1时刻每个位置节点的响应是t时刻N个位置节点各自对该位置节点的抑制和t时刻N个位置节点各自的响应的函数；根据t+1时刻N个位置节点各自的响应，确定第t+1个地图节点对应的空间编码，其中空间编码包括t+1时刻N个位置节点的响应强度，并且空间编码对应于第t+1个地图节点表示的空间位置；以及基于第t+1个地图节点对应的空间编码以及存储有第t+1个地图节点之前的至少一个先前地图节点对应的相应空间编码和至少一个先前地图节点表示的空间位置的数据库，选择性地修正第t+1个地图节点表示 的空间位置。
根据本公开的另一方面，提供一种基于脑启发空间编码机制的机器人自主定位装置，其中，脑启发空间编码机制包括脑启发空间，脑启发空间包括模拟哺乳动物的N个空间认知神经元的N个位置节点，N为大于等于1的整数，装置包括：第一单元，配置成获取机器人在行进期间对环境采集的第一图像和第二图像，其中第一图像在t时刻采集得到，第二图像在t+1时刻采集得到，并且机器人在t时刻在环境中的空间位置由拓扑地图中的第t个地图节点表示；第二单元，配置成根据第一图像和第二图像，预测机器人从t时刻到t+1时刻的运动速度；第三单元，配置成根据第t个地图节点和运动速度，创建拓扑地图中的第t+1个地图节点，第t+1个地图节点表示机器人在t+1时刻在环境中的空间位置；第四单元，配置成确定t+1时刻N个位置节点各自的响应，其中t+1时刻每个位置节点的响应是t时刻N个位置节点各自对该位置节点的抑制和t时刻N个位置节点各自的响应的函数；第五单元，配置成根据t+1时刻N个位置节点各自的响应，确定第t+1个地图节点对应的空间编码，其中空间编码包括t+1时刻N个位置节点的响应强度，并且空间编码对应于第t+1个地图节点表示的空间位置；以及第六单元，配置成基于第t+1个地图节点对应的空间编码以及存储有第t+1个地图节点之前的至少一个先前地图节点对应的相应空间编码和至少一个先前地图节点表示的空间位置的数据库，选择性地修正第t+1个地图节点表示的空间位置。
根据本公开的又另一方面，提供一种计算机设备，包括：存储器；处理器；以及存储在存储器上的计算机程序，其中，计算机程序被处理器执行时，使处理器实现上述任一项方法的步骤。
根据本公开的再另一方面，提供一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使处理器实现上述方法中任一项方法的步骤。
根据本公开的再另一方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时，使处理器实现上述方法中任一项方法的步骤。
根据本公开的再另一方面，提供一种机器人，包括：相机，被配置为在机器人行进期间对环境采集第一图像和第二图像；以及如上所述的计算机设备。
根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
图1示出了根据示例性实施例的基于脑启发空间编码机制的机器人自主定位方法的流程图；
图2示出了根据示例性实施例的创建地图节点的示意图；
图3示出了根据示例性实施例的在脑启发空间中的9个位置节点的示意图；
图4示出了根据示例性实施例的创建地图节点的示意图；
图5示出了根据示例性实施例的在图1的方法中预测机器人从t时刻到t+1时刻的运动速度的步骤的流程图；
图6示出了根据示例性实施例的基于脑启发空间编码机制的机器人自主定位的装置的结构框图；
图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
在本公开中对各种示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及“……中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
下面结合附图详细描述本公开的示例性实施例。
图1示出了根据示例性实施例的基于脑启发空间编码机制的机器人自主定位方法100的流程图，脑启发空间编码机制包括脑启发空间，脑启发空间包括模拟哺乳动物的N个空间认知神经元的N个位置节点，N为大于等于1的整数。如图1所示，该方法100一般性地包括步骤101至106，它们能够在例如机器人这样的终端设备处执行，但是本公 开在此方面不受限制。
在实践中，脑启发空间编码机制是借鉴神经生物学关于哺乳动物如何进行空间理解的研究成果。在脑启发空间编码机制中存在有模拟哺乳动物大脑的脑启发空间，通过在脑启发空间中的N个位置节点模拟哺乳动物认知神经元，并且通过N个位置节点模拟哺乳动物的认知神经元的放电机制，使得机器人能够具有环境感知和空间认知的神经计算机制，在未知环境中完成主动探索、自定位和地图更新等一系列任务。
在步骤101中，获取机器人在行进期间对环境采集的第一图像和第二图像，其中第一图像在t时刻采集得到，第二图像在t+1时刻采集得到，并且机器人在t时刻在环境中的空间位置由拓扑地图中的第t个地图节点表示。
在每一次行进的前后，机器人都能够对环境图像(例如视野前方的图像)进行采集，在机器人行进前(t时刻)采集第一图像，在机器人行进后(t+1时刻)采集第二图像。可以理解的是，在t时刻和t+1时刻之间的间隔可以是任意时间的，在此不做限定。
根据一些实施例，第一图像和第二图像是RGB图像序列、RGBD图像序列、声呐图像序列和红外图像序列中的任一者。在一些示例中，机器人可以通过使用RGB相机采集RGB图像序列，或通过使用RGBD相机采集RGBD图像序列，或通过使用红外相机采集红外图像序列。在另一些示例中，机器人可以通过声纳设备发出脉冲，并且接收返回的回声信号。再通过信号处理器，将回声信号转换为声纳图像序列。
在步骤102中，根据第一图像和第二图像，预测机器人从t时刻到t+1时刻的运动速度。
由于机器人工作的环境可能是在深海这样的失去任何外部定位支持(例如GPS)的区域，机器人需要依靠自己采集到的图像，来分析自己的运动速度，例如运动速率和运动方向。根据第一图像和第二图像来预测机器人从t时刻到t+1时刻的运动速度的操作将在后续结合图5具体描述。
在步骤103中，根据第t个地图节点和运动速度，创建拓扑地图中的第t+1个地图节点，第t+1个地图节点表示机器人在t+1时刻在环境中的空间位置。
图2示出了根据示例性实施例的创建地图节点的过程200的示意图。参考图2，在t时刻，地图节点201是初始位置，并且地图节点201表示机器人在环境中的空间位置。箭头204的方向用来表示预测的机器人在t时刻到t+1时刻的运动方向，箭头204的长度用来表示预测的机器人在t时刻到t+1时刻的运动速率。通过t时刻的地图节点201的位 置和预测的运动速度(运动速率和运动方向)，创建t+1时刻的地图节点202。在t+2时刻，箭头205的方向用来表示预测的机器人在t+1时刻到t+2时刻的运动方向，箭头205的长度用来表示预测的机器人在t+1时刻到t+2时刻的运动速率。通过t+1地图节点202的位置和预测的运动速度(运动速率和运动方向)，创建t+2时刻的地图节点203。
虽然本实施例中在3个时刻增量式地创建3个地图节点，但在其他实施例中，可以在任意数量时刻增量式地创建地图节点，在此不做限定。另外，可以理解的是，虽然在图2的示例中t时刻是初始时刻，在其他实施例中，t时刻也可以是除初始时刻之外的任意时刻，在此不做限定。
返回参考图1，在步骤104中，确定t+1时刻N个位置节点各自的响应，其中t+1时刻每个位置节点的响应是t时刻N个位置节点各自对该位置节点的抑制和t时刻N个位置节点各自的响应的函数。在仿生学上，脑启发空间中位置节点的响应以及位置节点之间的抑制模拟哺乳动物认知神经元之间的刺激放电和抑制放电现象。N个位置节点各自的响应可以用于确定与机器人在环境中的空间位置一一对应的空间编码，如后面将描述的。
根据一些实施例，确定t+1时刻所述N个位置节点各自的响应包括：针对N个位置节点中的每个位置节点：基于步骤102中预测的运动速度、该位置节点在脑启发空间中的位置以及N个位置节点各自在脑启发空间中的位置，确定t时刻N个位置节点各自对该位置节点的抑制；以及基于t时刻所述N个位置节点各自对该位置节点的抑制和t时刻所述N个位置节点各自的响应，确定t+1时刻该位置节点的响应。
下面首先介绍针对N个位置节点中的每个位置节点，如何确定t时刻N个位置节点各自对该位置节点的抑制。
在一些实施例中，在t时刻，第k个位置节点对第i个位置节点的抑制可以计算为：
Figure PCTCN2022084014-appb-000001
其中，i，k∈{1,2,3,…N}，p i是位置节点i在脑启发空间中的位置，p k是位置节点k在脑启发空间中的位置，
Figure PCTCN2022084014-appb-000002
是预测的机器人在t时刻至t+1时刻的运动速度，J 0、J 1为权重调制参数，并且σ为空间范围调制参数。J 0、J 1和σ在机器人行进期间都不发生变化，是固定的参数。将理解的是，式(1)是示例性的，在其他实施例中，可以以任何其他适当的方式计算位置节点k对位置节点i的抑制。
图3示出了根据示例性实施例的在脑启发空间中的9个位置节点的示例300的示意图。参考图3，在脑启发空间上存在9个位置节点：位置节点1至9(N＝9)。根据上面给出的式(1)，可以计算t时刻位置节点1至9分别对任一个位置节点的抑制。例如，t时刻第2个位置节点对第1个位置节点的抑制可以计算为：
Figure PCTCN2022084014-appb-000003
其中，p 1是位置节点1在脑启发空间中的位置，p 2是位置节点2在脑启发空间中的位置。
类似地，可以得到t时刻其他位置节点对位置节点1的抑制：w 11(t)、w 13(t)、w 14(t)、w 15(t)、w 16(t)、w 17(t)、w 18(t)和w 19(t)。虽然在图3的实施例中，脑启发空间中存在9个位置节点，但是在其他实施例中，脑启发空间中可以存在任意数量个位置节点。
接下来，介绍针对N个位置节点中的每个位置节点，如何确定t+1时刻该位置节点的响应。
根据一些实施例，针对N个位置节点中的每个位置节点，确定t+1时刻该位置节点的响应包括：对于N个位置节点中的第i个位置节点，将t+1时刻该第i个位置节点的响应计算为：
Figure PCTCN2022084014-appb-000004
其中，w ik(t)表示t时刻第k个位置节点对该第i个位置节点的抑制，h k(t)表示t时刻第k个位置节点的响应，并且i，k∈{1,2,3,…N}。
继续图3的示例，根据上面给出的式(2)，t+1时刻第1个位置节点的响应可以表示如下：
Figure PCTCN2022084014-appb-000005
通过同样的方式，得到t+1时刻第2至9个位置节点的响应h 2(t+1)、h 3(t+1)、h 4(t+1)、h 5(t+1)、h 6(t+1)、h 7(t+1)、h 8(t+1)和h 9(t+1)。
返回参考图1，在步骤105中，根据t+1时刻N个位置节点各自的响应，确定第t+1个地图节点对应的空间编码，其中空间编码包括t+1时刻N个位置节点的响应强度，并且空间编码对应于第t+1个地图节点表示的空间位置。
继续图3的示例，假设t+1时刻，第1至9个位置节点的响应强度分别为0、1、0、1、5、1、0、1、0。按照从左到右，从上到下的顺序，统计9个位置节点的响应强度，得到第t+1个地图节点对应的空间编码是010151010。虽然本实施例在t+1时刻，通过脑启发空间中9个位置节点的响应强度，确定对应于第t+1个地图节点表示的空间位置的空间编码，但是在其他实施例中，脑启发空间中包含的位置节点可以是任意数量的，例如10000个位置节点。通过任意数量的位置节点的响应强度，确定对应于一个地图节点表示的空间位置的唯一的空间编码。
可以理解的是，在其他实施例中，其他确定空间编码的方式也是可能的，在此不做限定。
由于步骤102中预测的运动速度可能存在一定的误差，在创建拓扑地图的过程中，误差将不断地累加，需要将先前创建的地图节点以及地图节点对应的空间编码和空间位置存储至数据库。在后续创建新的地图节点时，能够通过比对数据库中的数据，来对新的地图节点表示的空间位置进行修正。在脑启发空间编码机制中，这样的数据库也被称为“经验池”。
返回参考图1，在步骤106中，基于第t+1个地图节点对应的空间编码以及存储有第t+1个地图节点之前的至少一个先前地图节点对应的相应空间编码和至少一个先前地图节点表示的空间位置的数据库，选择性地修正第t+1个地图节点表示的空间位置。
图4示出了根据示例性实施例的创建地图节点的过程400的示意图。图4在t1时刻创建地图节点201，在t2时刻创建地图节点202，在t3时刻创建地图节点203以及在t4时刻创建地图节点206。下面结合图4介绍如何选择性地修正第t+1个地图节点表示的空间位置。
根据一些实施例，选择性地修正第t+1个地图节点表示的空间位置包括：确定数据库中是否存在与第t+1个地图节点对应的空间编码相同的重复空间编码；以及响应于确定所述数据库中不存在与所述第t+1个地图节点对应的空间编码相同的重复空间编码，将所述第t+1个地图节点对应的空间编码和所述第t+1个地图节点表示的空间位置存储至所述数据库。
在图4的示例中，假设t1时刻为初始时刻，初始空间位置是已知的。这种情况下，在脑启发空间中的N个位置节点的响应可以取0-1之间的任意值。在创建地图节点201后，确定数据库中不存在与地图节点201对应的空间编码相同的重复空间编码。
在t1时刻，根据地图节点201表示的空间位置以及预测的从t1时刻至t2时刻的运动速度，创建地图节点202。用表示运动速度的箭头204连接地图节点201和地图节点202。通过计算t2时刻在脑启发空间中的N个位置节点的响应，得到地图节点202对应的空间编码。
通过将地图节点202对应的空间编码与数据库中存储的空间编码进行对比，确认数据库中不存在地图节点202对应的空间编码。为了纠正后续地图节点表示的空间位置，可以将地图节点201和地图节点202表示的空间位置以及对应的空间编码存储进数据库。
创建地图节点203的过程与创建地图节点202的过程类似。在t3时刻，根据地图节点202表示的空间位置以及预测的t2时刻至t3时刻的运动速度，创建地图节点203。用表示运动速度的箭头205连接地图节点202和地图节点203。通过计算t3时刻在脑启发空间中的N个位置节点的响应，得到地图节点203对应的空间编码。
由于地图节点203对应的空间编码在数据库中并不存在，为了纠正后续地图节点表示的空间位置，将地图节点203表示的空间位置以及对应的空间编码存储进数据库。
根据一些实施例，选择性地修正所述第t+1个地图节点表示的空间位置还包括：响应于确定数据库中存在与第t+1个地图节点对应的空间编码相同的重复空间编码，确定重复空间编码对应的空间位置与第t+1个地图节点表示的空间位置是否存在差异；以及响应于确定所述重复空间编码对应的空间位置与所述第t+1个地图节点表示的空间位置存在差异，将所述第t+1个地图节点表示的空间位置修正为所述重复空间编码对应的空间位置。
在图4的示例中，在t4时刻，根据地图节点203表示的空间位置以及预测的t3时刻至t4时刻的运动速度，创建地图节点206(虚线表示)。用表示运动速度的箭头207(虚线表示)连接地图节点203和地图节点206(虚线表示)。通过计算t4时刻在脑启发空间中的N个位置的响应，得到地图节点206(虚线表示)对应的空间编码。
假设地图节点206(虚线表示)对应的空间编码与地图节点202对应的空间编码相同，由于地图节点206(虚线表示)表示的空间位置与地图节点202表示的空间位置不同，表明当前预测的t3时刻至t4时刻的运动速度出错。为了修正这种错误，可以利用经 验池中具有相同空间编码的地图节点表示的空间位置来修正地图节点206(虚线表示)的空间位置。
由于地图节点206(虚线表示)对应的空间编码与地图节点202对应的空间编码相同，t4时刻机器人所处的空间位置实际应为地图节点202表示的空间位置。因此，重新创建地图节点206(实线表示)，且地图节点206(实线表示)与地图节点202的位置重合，再用表示修正后的预测的运动速度207(实线表示)来连接地图节点203和地图节点206(实线表示)。
假设在t4时刻创建的地图节点206的位置与地图节点202重合，并且地图节点206对应的空间编码与存储在数据库中的地图节点202的空间编码相同，此时不对地图节点206表示的空间位置进行修正，不改变地图节点206的位置。
通过脑启发编码机制对机器人所处的空间位置进行编码，使得机器人在行进过程中，能够以空间编码为参考，实现自主定位，完成导航任务。
图5示出了根据示例性实施例的在图1的方法中预测机器人从t时刻到t+1时刻的运动速度的步骤102的流程图。
在步骤501中，将第一图像和第二图像输入至卷积神经网络。在一个示例中，将时序上的连续两帧图像作为输入，构成图像对输入至暹罗式深度卷积神经网络(Siamese CNN)。两帧图像间的视觉信息变化表达了机器人单位时间内的位移变化。
在步骤502中，通过卷积神经网络预测机器人从t时刻到t+1时刻的运动速度。在一个示例中，通过构建的暹罗式深度卷积神经网络(Siamese CNN)编码图像对，输出预测的机器人在拍摄第一图像和第二图像之间的运动速度。暹罗式深度卷积神经网络包括顶层网络和底层网络。
在步骤502-1中，在底层网络中的每一层，提取第一图像和第二图像的一种图像特征。底层结构为视觉特征提取器。暹罗式深度卷积神经网络包含多个视觉特征提取器，每一个视觉特征提取器都能获得第一图像和第二图像的一种特征，例如图像的颜色特征、纹理特征、形状特征和空间关系特征等等图像特征。
在步骤502-2中，在顶层网络中的第一层，将底层网络提取的每一种图像特征结合。顶层网络的第一层将不同种类的特征(图像的颜色特征、纹理特征、形状特征和空间关系特征等等)进行融合，生成高尺度的特征。
在步骤502-3中，在顶层网络中的第二层，基于结合后的多种图像特征，预测机器人 从t时刻到t+1时刻的运动速度。顶层网络的第二层是图像对视觉信息变换预测器。图像对视觉信息变换预测器对经过顶层网络第一层处理后得到的高尺度的特征进行处理，预测并输出机器人的实时矢量运动速度
Figure PCTCN2022084014-appb-000006
其中ε为机器人的运动速率，θ∈[0,2π)为机器人的运动方向。
可以理解，本实施例通过暹罗式深度卷积神经网络实现对机器人运动速度的预测。当然在其他实施例中，也可以通过其他卷积神经网络实现对机器人运动速度的预测，在此不做限定。
图6示出了根据示例性实施例的基于脑启发空间编码机制的机器人自主定位装置600的结构框图。脑启发空间编码机制包括脑启发空间，脑启发空间包括模拟哺乳动物的N个空间认知神经元的N个位置节点，N为大于等于1的整数。如图6所示，该装置600包括第一单元601、第二单元602、第三单元603、第四单元604、第五单元605以及第六单元606。
第一单元601被配置成获取机器人在行进期间对环境采集的第一图像和第二图像，其中第一图像在t时刻采集得到，第二图像在t+1时刻采集得到，并且机器人在t时刻在环境中的空间位置由拓扑地图中的第t个地图节点表示。
第二单元602被配置成根据第一图像和第二图像，预测机器人从t时刻到t+1时刻的运动速度。
第三单元603被配置成根据第t个地图节点和运动速度，创建拓扑地图中的第t+1个地图节点，第t+1个地图节点表示机器人在t+1时刻在环境中的空间位置。
第四单元604被配置成确定t+1时刻N个位置节点各自的响应，其中t+1时刻每个位置节点的响应是t时刻N个位置节点各自对该位置节点的抑制和t时刻N个位置节点各自的响应的函数。
第五单元605被配置成根据t+1时刻N个位置节点各自的响应，确定第t+1个地图节点对应的空间编码，其中空间编码包括t+1时刻N个位置节点的响应强度，并且空间编码对应于第t+1个地图节点表示的空间位置。
第六单元606被配置成基于第t+1个地图节点对应的空间编码以及存储有第t+1个地图节点之前的至少一个先前地图节点对应的相应空间编码和至少一个先前地图节点表示的空间位置的数据库，选择性地修正第t+1个地图节点表示的空间位置。
应当理解，图6中所示装置600的各个单元可以与参考图1描述的方法100中的各 个步骤相对应。由此，上面针对方法100描述的操作、特征和优点同样适用于装置600及其包括的单元。为了简洁起见，某些操作、特征和优点在此不再赘述。
虽然上面参考特定单元讨论了特定功能，但是应当注意，本文讨论的各个单元的功能可以分为多个单元，和/或多个单元的至少一些功能可以组合成单个单元。本文讨论的特定单元执行动作包括该特定单元本身执行该动作，或者替换地该特定单元调用或以其他方式访问执行该动作(或结合该特定单元一起执行该动作)的另一个组件或单元。因此，执行动作的特定单元可以包括执行动作的该特定单元本身和/或该特定单元调用或以其他方式访问的、执行动作的另一单元。
还应当理解，本文可以在软件硬件元件或程序单元的一般上下文中描述各种技术。上面关于图6描述的各个单元可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些单元可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些单元可以被实现为硬件逻辑/电路。例如，在一些实施例中，上面关于图6描述的单元中的一个或多个可以一起被实现在片上系统(System on Chip,SoC)中。SoC可以包括集成电路芯片(其包括处理器(例如，中央处理单元(Central Processing Unit,CPU)、微控制器、微处理器、数字信号处理器(Digital Signal Processor,DSP)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
据本公开的一方面，提供了一种计算机设备，其包括存储器、处理器以及存储在存储器上的计算机程序。该处理器被配置实现上文描述的任一方法实施例的步骤。
根据本公开的一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
根据本公开的一方面，提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现上文描述的任一方法实施例的步骤。
根据本公开的一方面，提供了一种机器人，其包括：相机，该相机被配置为在机器人行进期间对环境采集第一图像和第二图像；以及如上的计算机设备。
在下文中，结合图7描述这样的计算机设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
图7示出了能够用于实现本公开的实施例的示例性电子设备700的结构框图。电子 设备700是可以应用于本公开的各方面的硬件设备的示例。术语电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。处理单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
处理单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。处理单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理单元701执行上文所描述的各个方法和处理，例如用于呈现真实空间的虚拟表示的方法。例如，在一些实施例中，用于呈现真实空间的虚拟表示的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并 由计算单元701执行时，可以执行上文描述的用于呈现真实空间的虚拟表示的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于呈现真实空间的虚拟表示的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例能够包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反 馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本公开的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (13)

  1. 一种基于脑启发空间编码机制的机器人自主定位方法，其中，所述脑启发空间编码机制包括脑启发空间，所述脑启发空间包括模拟哺乳动物的N个空间认知神经元的N个位置节点，N为大于等于1的整数，所述方法包括：
    获取所述机器人在行进期间对环境采集的第一图像和第二图像，其中所述第一图像在t时刻采集得到，所述第二图像在t+1时刻采集得到，并且所述机器人在t时刻在所述环境中的空间位置由拓扑地图中的第t个地图节点表示；
    根据所述第一图像和所述第二图像，预测所述机器人从t时刻到t+1时刻的运动速度；
    根据所述第t个地图节点和所述运动速度，创建所述拓扑地图中的第t+1个地图节点，所述第t+1个地图节点表示所述机器人在t+1时刻在所述环境中的空间位置；
    确定t+1时刻所述N个位置节点各自的响应，其中t+1时刻每个位置节点的响应是t时刻所述N个位置节点各自对该位置节点的抑制和t时刻所述N个位置节点各自的响应的函数；
    根据t+1时刻所述N个位置节点各自的响应，确定所述第t+1个地图节点对应的空间编码，其中所述空间编码包括t+1时刻所述N个位置节点的响应强度，并且所述空间编码对应于所述第t+1个地图节点表示的空间位置；以及
    基于所述第t+1个地图节点对应的空间编码以及存储有所述第t+1个地图节点之前的至少一个先前地图节点对应的相应空间编码和所述至少一个先前地图节点表示的空间位置的数据库，选择性地修正所述第t+1个地图节点表示的空间位置。
  2. 根据权利要求1所述的方法，其中，确定t+1时刻所述N个位置节点各自的响应包括：
    针对所述N个位置节点中的每个位置节点：
    基于所述运动速度、该位置节点在所述脑启发空间中的位置、以及所述N个位置节点各自在所述脑启发空间中的位置，确定t时刻所述N个位置节点各自对该位置节点的抑制；以及
    基于t时刻所述N个位置节点各自对该位置节点的抑制和t时刻所述N个位置节点各自的响应，确定t+1时刻该位置节点的响应。
  3. 根据权利要求2所述的方法，其中，针对所述N个位置节点中的每个位置节点，确定t+1时刻该位置节点的响应包括：
    对于所述N个位置节点中的第i个位置节点，将t+1时刻该第i个位置节点的响应计算为：
    Figure PCTCN2022084014-appb-100001
    其中w ik(t)表示t时刻第k个位置节点对该第i个位置节点的抑制，h k(t)表示t时刻第k个位置节点的响应，并且i，k∈{1,2,3,…N}。
  4. 根据权利要求1所述的方法，其中，选择性地修正所述第t+1个地图节点表示的空间位置包括：
    确定所述数据库中是否存在与所述第t+1个地图节点对应的空间编码相同的重复空间编码；
    响应于确定所述数据库中不存在与所述第t+1个地图节点对应的空间编码相同的重复空间编码，将所述第t+1个地图节点对应的空间编码和所述第t+1个地图节点表示的空间位置存储至所述数据库。
  5. 根据权利要求4所述的方法，其中，选择性地修正所述第t+1个地图节点表示的空间位置还包括：
    响应于确定所述数据库中存在与所述第t+1个地图节点对应的空间编码相同的重复空间编码，确定所述重复空间编码对应的空间位置与所述第t+1个地图节点表示的空间位置是否存在差异；以及
    响应于确定所述重复空间编码对应的空间位置与所述第t+1个地图节点表示的空间位置存在差异，将所述第t+1个地图节点表示的空间位置修正为所述重复空间编码对应的空间位置。
  6. 根据权利要求1所述的方法，其中，根据所述第一图像和所述第二图像，预测所述机器人从t时刻到t+1时刻的运动速度包括：
    将所述第一图像和所述第二图像输入至卷积神经网络；以及
    通过所述卷积神经网络预测所述机器人从t时刻到t+1时刻的运动速度。
  7. 根据权利要求6所述的方法，其中，所述卷积神经网络包括顶层网络和底层网络，并且其中，通过所述卷积神经网络预测所述机器人从t时刻到t+1时刻的运动速度包括：
    在所述底层网络中的每一层，提取所述第一图像和所述第二图像的一种图像特征；
    在所述顶层网络中的第一层，将所述底层网络提取的每一种图像特征结合；以及
    在所述顶层网络中的第二层，基于结合后的多种图像特征，预测所述机器人从t时刻到t+1时刻的运动速度。
  8. 如权利要求1-7中任一项所述的方法，所述第一图像和第二图像是RGB图像序列、RGBD图像序列、声呐图像序列和红外图像序列中的任一者。
  9. 一种基于脑启发空间编码机制的机器人自主定位装置，其中，所述脑启发空间编码机制包括脑启发空间，所述脑启发空间包括模拟哺乳动物的N个空间认知神经元的N个位置节点，N为大于等于1的整数，所述装置包括：
    第一单元，配置成获取所述机器人在行进期间对环境采集的第一图像和第二图像，其中所述第一图像在t时刻采集得到，所述第二图像在t+1时刻采集得到，并且所述机器人在t时刻在所述环境中的空间位置由拓扑地图中的第t个地图节点表示；
    第二单元，配置成根据所述第一图像和所述第二图像，预测所述机器人从t时刻到t+1时刻的运动速度；
    第三单元，配置成根据所述第t个地图节点和所述运动速度，创建所述拓扑地图中的第t+1个地图节点，所述第t+1个地图节点表示所述机器人在t+1时刻在所述环境中的空间位置；
    第四单元，配置成确定t+1时刻所述N个位置节点各自的响应，其中t+1时刻每个位置节点的响应是t时刻所述N个位置节点各自对该位置节点的抑制和t时刻所述N个位置节点各自的响应的函数；
    第五单元，配置成根据t+1时刻所述N个位置节点各自的响应，确定所述第t+1个地图节点对应的空间编码，其中所述空间编码包括t+1时刻所述N个位置节点的响应强度，并且所述空间编码对应于所述第t+1个地图节点表示的空间位置；以及
    第六单元，配置成基于所述第t+1个地图节点对应的空间编码以及存储有所述第t+1个地图节点之前的至少一个先前地图节点对应的相应空间编码和所述至少一个先前地图节点表示的空间位置的数据库，选择性地修正所述第t+1个地图节点表示的空间位置。
  10. 一种计算机设备，包括：
    存储器；
    处理器；以及
    存储在所述存储器上的计算机程序，其中，所述计算机程序被所述处理器执行时，使所述处理器实现权利要求1-8中任一项所述方法的步骤。
  11. 一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器实现权利要求1-8中任一项所述方法的步骤。
  12. 一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，使所述处理器实现权利要求1-8中任一项所述方法的步骤。
  13. 一种机器人，包括：
    相机，被配置为在所述机器人行进期间对环境采集第一图像和第二图像；以及
    如权利要求10所述的计算机设备。
PCT/CN2022/084014 2022-03-30 2022-03-30 基于脑启发空间编码机制的机器人自主定位方法和装置 WO2023184223A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/084014 WO2023184223A1 (zh) 2022-03-30 2022-03-30 基于脑启发空间编码机制的机器人自主定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/084014 WO2023184223A1 (zh) 2022-03-30 2022-03-30 基于脑启发空间编码机制的机器人自主定位方法和装置

Publications (1)

Publication Number Publication Date
WO2023184223A1 true WO2023184223A1 (zh) 2023-10-05

Family

ID=88198450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/084014 WO2023184223A1 (zh) 2022-03-30 2022-03-30 基于脑启发空间编码机制的机器人自主定位方法和装置

Country Status (1)

Country Link
WO (1) WO2023184223A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018696A (en) * 1996-12-26 2000-01-25 Fujitsu Limited Learning type position determining device
WO2015063119A1 (fr) * 2013-09-12 2015-05-07 Partnering 3.0 Robot mobile neuro-inspiré multimodal autonome pour la surveillance et le rétablissement d'un environnement
CN106125730A (zh) * 2016-07-10 2016-11-16 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
CN107589749A (zh) * 2017-09-19 2018-01-16 浙江大学 水下机器人自主定位与节点地图构建方法
CN108362284A (zh) * 2018-01-22 2018-08-03 北京工业大学 一种基于仿生海马认知地图的导航方法
CN109240279A (zh) * 2017-07-10 2019-01-18 中国科学院沈阳自动化研究所 一种基于视觉感知和空间认知神经机制的机器人导航方法
CN110764498A (zh) * 2019-09-16 2020-02-07 北京工业大学 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法
CN110774283A (zh) * 2019-10-29 2020-02-11 龙岩学院 一种基于计算机视觉的机器人行走控制系统及方法
CN111376273A (zh) * 2020-04-23 2020-07-07 大连理工大学 一种类脑启发的机器人认知地图构建方法
CN111813113A (zh) * 2020-07-06 2020-10-23 安徽工程大学 仿生视觉自运动感知地图绘制方法、存储介质及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6018696A (en) * 1996-12-26 2000-01-25 Fujitsu Limited Learning type position determining device
WO2015063119A1 (fr) * 2013-09-12 2015-05-07 Partnering 3.0 Robot mobile neuro-inspiré multimodal autonome pour la surveillance et le rétablissement d'un environnement
CN106125730A (zh) * 2016-07-10 2016-11-16 北京工业大学 一种基于鼠脑海马空间细胞的机器人导航地图构建方法
CN109240279A (zh) * 2017-07-10 2019-01-18 中国科学院沈阳自动化研究所 一种基于视觉感知和空间认知神经机制的机器人导航方法
CN107589749A (zh) * 2017-09-19 2018-01-16 浙江大学 水下机器人自主定位与节点地图构建方法
CN108362284A (zh) * 2018-01-22 2018-08-03 北京工业大学 一种基于仿生海马认知地图的导航方法
CN110764498A (zh) * 2019-09-16 2020-02-07 北京工业大学 一种基于鼠脑海马认知机理的智能移动机器人运动状态和位置认知方法
CN110774283A (zh) * 2019-10-29 2020-02-11 龙岩学院 一种基于计算机视觉的机器人行走控制系统及方法
CN111376273A (zh) * 2020-04-23 2020-07-07 大连理工大学 一种类脑启发的机器人认知地图构建方法
CN111813113A (zh) * 2020-07-06 2020-10-23 安徽工程大学 仿生视觉自运动感知地图绘制方法、存储介质及设备

Similar Documents

Publication Publication Date Title
US11995560B2 (en) Method and apparatus for generating vector representation of knowledge graph
CN111401406A (zh) 一种神经网络训练方法、视频帧处理方法以及相关设备
CN115631418A (zh) 图像处理方法、神经辐射场的训练方法和神经网络
EP3944132A1 (en) Active interaction method and apparatus, electronic device and readable storage medium
CN114357105B (zh) 地理预训练模型的预训练方法及模型微调方法
EP4123592A2 (en) Human-object interaction detection method, neural network and training method therefor, device, and medium
WO2023005287A1 (zh) 模型预训练方法、装置、电子设备和存储介质
WO2023221422A1 (zh) 用于文本识别的神经网络及其训练方法、文本识别的方法
CN115578515B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN113642740B (zh) 模型训练方法及装置、电子设备和介质
CN115511779B (zh) 图像检测方法、装置、电子设备和存储介质
CN113035198A (zh) 三维人脸的唇动控制方法、设备和介质
CN116306862B (zh) 用于文本处理神经网络的训练方法、装置和介质
CN112632380A (zh) 兴趣点推荐模型的训练方法和推荐兴趣点的方法
WO2021036397A1 (zh) 目标神经网络模型的生成方法和装置
CN114550313B (zh) 图像处理方法、神经网络及其训练方法、设备和介质
CN116189769A (zh) 神经网络的训练方法和预测蛋白质结构的方法
KR20220042315A (ko) 교통 데이터 예측 방법, 장치 및 전자 기기
WO2022140540A1 (en) Simulated control for 3-dimensional human poses in virtual reality environments
CN113344213A (zh) 知识蒸馏方法、装置、电子设备及计算机可读存储介质
CN116580212B (zh) 图像生成方法、图像生成模型的训练方法、装置和设备
WO2023184223A1 (zh) 基于脑启发空间编码机制的机器人自主定位方法和装置
CN115457365B (zh) 一种模型的解释方法、装置、电子设备及存储介质
CN115690544B (zh) 多任务学习方法及装置、电子设备和介质
CN116030235A (zh) 目标检测模型训练方法、目标检测方法、装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22934075

Country of ref document: EP

Kind code of ref document: A1