WO2023149346A1 - 情報処理装置、制御システム、制御方法、及び記憶媒体 - Google Patents

情報処理装置、制御システム、制御方法、及び記憶媒体 Download PDF

Info

Publication number
WO2023149346A1
WO2023149346A1 PCT/JP2023/002468 JP2023002468W WO2023149346A1 WO 2023149346 A1 WO2023149346 A1 WO 2023149346A1 JP 2023002468 W JP2023002468 W JP 2023002468W WO 2023149346 A1 WO2023149346 A1 WO 2023149346A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
spatial
dynamic
static
autonomous mobile
Prior art date
Application number
PCT/JP2023/002468
Other languages
English (en)
French (fr)
Inventor
譲司 蒲原
洋平 佐藤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022205133A external-priority patent/JP2023112659A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023149346A1 publication Critical patent/WO2023149346A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles

Definitions

  • the present invention relates to an information processing device, a control system, a control method, a storage medium, and the like.
  • a single processor divides a spatio-temporal region in time and space according to spatio-temporal management data provided by a user to generate a plurality of spatio-temporal divided regions.
  • the system of Patent Document 1 uses an identifier expressed by a one-dimensional integer value for uniquely identifying each of a plurality of spatio-temporal segments, taking into consideration the temporal and spatial proximity of the spatio-temporal segments. assign. Further, the system of Patent Document 1 determines the arrangement of time-series data so that data in spatio-temporal divided areas with similar identifiers are arranged closely on the storage device.
  • Patent Document 1 there is no reference to the generation rule of the spatio-temporal segmented regions, and the data regarding the generated regions can be grasped by identifiers only within the processor that generated them.
  • Patent Document 1 does not mention a specific usage method for different users to use the information of the spatio-temporal segmented regions.
  • One of the purposes of the present invention is to provide a spatio-temporal format that enables sharing of location information and spatial information corresponding to various devices.
  • An information processing apparatus as one aspect of the present invention comprises information holding means for converting space information including information on types of objects existing in space and information on time into a format in association with a unique identifier and holding the space;
  • the information includes dynamic information and static information, and the information holding means stores the dynamic information in a first storage device and stores the static information in a second storage device.
  • FIG. 1 is a diagram showing an overall configuration example of an autonomous mobile body control system according to a first embodiment of the present invention
  • FIG. (A) is a diagram showing an example of an input screen when a user inputs position information
  • (B) is a diagram showing an example of a selection screen for selecting an autonomous mobile body to be used.
  • (A) is a diagram showing an example of a screen for confirming the current position of an autonomous mobile body
  • (B) is a diagram showing an example of a map display screen when confirming the current position of an autonomous mobile body.
  • 2 is a block diagram showing an internal configuration example of each device in FIG. 1;
  • FIG. 1 is a diagram showing an overall configuration example of an autonomous mobile body control system according to a first embodiment of the present invention
  • FIG. (A) is a diagram showing an example of an input screen when a user inputs position information
  • (B) is a diagram showing an example of a selection screen for selecting an autonomous mobile body to be used.
  • (A) is a diagram showing
  • FIG. 1 is a diagram showing the spatial positional relationship between the autonomous mobile body 12 in the real world and the pillar 99 that exists as feature information around it
  • (B) shows the autonomous mobile body 12 and the pillar 99
  • P0 as the origin
  • It is a diagram showing a state mapped in an arbitrary XYZ coordinate system space.
  • It is a perspective view showing a mechanical example of composition of autonomous mobile 12 concerning a 1st embodiment.
  • 3 is a block diagram showing a specific hardware configuration example of a control unit 10-2, a control unit 11-2, a control unit 12-2, a control unit 13-2, a control unit 14-3, and a control unit 15-2;
  • FIG. FIG. 4 is a sequence diagram illustrating processing executed by the autonomous mobile body control system according to the first embodiment;
  • FIG. 9 is a sequence diagram continued from FIG. 8;
  • FIG. 10 is a sequence diagram continued from FIG. 9;
  • (A) is a diagram showing latitude/longitude information of the earth, and
  • (B) is a perspective view showing the predetermined space 100 of (A).
  • 4 is a diagram schematically showing spatial information in space 100.
  • FIG. (A) is a diagram showing route information using map information
  • (B) is a diagram showing route information using position point cloud data using map information
  • (C) is a map showing route information using unique identifiers. It is the displayed figure.
  • FIG. 4 is a diagram for explaining input/output of spatial information in a conversion information holding device;
  • FIG. 4 is a flow diagram illustrating processing for storing spatial information in memory/storage;
  • FIG. 4 is a flow diagram illustrating processing for reading out spatial information from a memory/storage and outputting it to the outside;
  • FIG. 4 is a diagram showing an example of the data structure of dynamic information stored in a temporary storage memory;
  • FIG. 4 is a diagram showing an example of data structures of dynamic information and static information stored in a storage for saving;
  • FIG. 4 is a diagram illustrating a system in which a conversion information holding device that controls a wide area and a conversion information holding device that controls a narrow area are hierarchically arranged;
  • FIG. 4 is a diagram showing an image of a hierarchical structure of voxels;
  • FIG. 4 is a diagram showing an example of periodic signal information;
  • the mobile body may be one in which the user can operate at least a part of the movement of the mobile body. That is, for example, various displays related to the moving route and the like may be displayed to the user, and the user may perform a part of the driving operation of the moving body with reference to the display.
  • FIG. 1 is a diagram showing an overall configuration example of an autonomous mobile body control system according to a first embodiment of the present invention.
  • the autonomous mobile body control system (sometimes abbreviated as control system) of the present embodiment includes a system control device 10, a user interface 11, an autonomous mobile body 12, a route determination device 13, conversion information holding It includes a device 14, a sensor node 15, and the like.
  • the user interface 11 means a user terminal device.
  • each device shown in FIG. 1 is connected via the Internet 16 by respective network connection units, which will be described later.
  • network connection units such as LAN (Local Area Network) may be used.
  • part of the system control device 10, the user interface 11, the route determining device 13, the conversion information holding device 14, etc. may be configured as the same device.
  • the system control device 10, the user interface 11, the autonomous mobile body 12, the route determination device 13, the conversion information holding device 14, and the sensor node 15 each contain information such as a CPU as a computer and ROM, RAM, HDD, etc. as storage media. Contains processing equipment. Details of the function and internal configuration of each device will be described later.
  • screen images displayed on the user interface 11 when the user browses the current position of the autonomous mobile body 12 will be described with reference to FIGS. 3(A) and 3(B). Based on these explanations, an example will be used to explain how the application is operated in the autonomous mobile body control system.
  • map display will be described on a two-dimensional plane for convenience. can also be entered. That is, according to this embodiment, a three-dimensional map can be generated.
  • Fig. 2(A) is a diagram showing an example of an input screen when a user inputs position information
  • Fig. 2(B) is a diagram showing an example of a selection screen for selecting an autonomous mobile body to be used.
  • the WEB page of the system control device 10 is displayed.
  • the input screen 40 has a list display button 48 for displaying a list of autonomous moving bodies (mobilities) to be used.
  • a list of mobilities is displayed as shown in FIG. A screen 47 is displayed.
  • the user first selects the autonomous mobile body (mobility) to be used on the list display screen 47 .
  • the autonomous mobile body mobility
  • the list display screen 47 for example, mobilities M1 to M3 are displayed in a selectable manner, but the number is not limited to this.
  • the screen automatically returns to the input screen 40 of FIG. 2(A). Also, the selected mobility name is displayed on the list display button 48 . After that, the user inputs the location to be set as the starting point in the input field 41 of "starting point".
  • the user inputs the location to be set as a transit point in the input field 42 of "transit point 1". It is possible to add a waypoint, and when the add waypoint button 44 is pressed once, an input field 46 for "waypoint 2" is additionally displayed, and the waypoint to be added can be input.
  • add waypoint button 44 Each time the add waypoint button 44 is pressed, additional input fields 46 are displayed, such as "waypoint 3" and "waypoint 4", and multiple additional waypoints can be entered. Also, the user inputs a place to be set as the arrival point in the input field 43 of "arrival point". Although not shown in the figure, when the input fields 41 to 43, 46, etc. are clicked, a keyboard or the like for inputting characters is temporarily displayed so that desired characters can be input.
  • the user can set the movement route of the autonomous mobile body 12 by pressing the decision button 45 .
  • "AAA” is set as the departure point
  • "BBB” is set as the transit point 1
  • "CCC” is set as the arrival point.
  • the text to be entered in the input field may be, for example, an address, or it may be possible to enter location information for indicating a specific location, such as latitude/longitude information, store name, and telephone number.
  • FIG. 3A is a diagram showing an example of a screen for confirming the current position of an autonomous mobile body
  • FIG. 3B is a diagram showing an example of a map display screen when confirming the current position of an autonomous mobile body. be.
  • FIG. 3(A) is a confirmation screen, which is displayed by operating an operation button (not shown) after setting the movement route of the autonomous mobile body 12 on the screen as shown in FIG. 2(A).
  • the confirmation screen 50 the current position of the autonomous mobile body 12 is displayed on the WEB page of the user interface 11 like the current location 56 . Therefore, the user can easily grasp the current position.
  • the user can update the screen display information to display the latest state. Further, the user can change the place of departure, the waypoint, and the place of arrival by pressing the change waypoint/arrival place button 54 . That is, it is possible to change by inputting the places to be reset in the input field 51 of "departure point", the input field 52 of "route point 1", and the input field 53 of "arrival point".
  • FIG. 3(B) shows an example of a map display screen 60 that switches from the confirmation screen 50 when the map display button 55 of FIG. 3(A) is pressed.
  • the current location of the autonomous mobile body 12 can be confirmed more easily by displaying the current location 62 on the map.
  • the return button 61 the display screen can be returned to the confirmation screen 50 of FIG. 3(A).
  • the user can easily set a movement route for moving the autonomous mobile body 12 from a predetermined location to a predetermined location.
  • a route setting application can also be applied to, for example, a taxi dispatch service, a drone home delivery service, and the like.
  • FIG. 4 is a block diagram showing an internal configuration example of each device in FIG.
  • the user interface 11 includes an operation unit 11-1, a control unit 11-2, a display unit 11-3, an information storage unit (memory/HD) 11-4, and a network connection unit 11-5.
  • the operation unit 11-1 is composed of a touch panel, key buttons, etc., and is used for data input.
  • the display unit 11-3 is, for example, a liquid crystal screen, and is used to display route information and other data.
  • the display screen of the user interface 11 shown in FIGS. 2 and 3 is displayed on the display unit 11-3.
  • the user can use the menu displayed on the display unit 11-3 to select a route, input information, confirm information, and the like.
  • the operation unit 11-1 and the display unit 11-3 provide an operation interface for the user to actually operate.
  • a touch panel may be used as both the operation section and the display section.
  • the control unit 11-2 incorporates a CPU as a computer, manages various applications in the user interface 11, manages modes such as information input and information confirmation, and controls communication processing. Also, it controls the processing in each part in the system controller.
  • the information storage unit (memory/HD) 11-4 is a database for holding necessary information such as computer programs to be executed by the CPU.
  • a network connection unit 11-5 controls communication performed via the Internet, LAN, wireless LAN, or the like.
  • the user interface 11 may be, for example, a device such as a smart phone, or may be in the form of a tablet terminal.
  • the user interface 11 of the present embodiment displays the departure point, waypoint, and arrival point on the browser screen of the system control device 10 by the input screen 40, and the user enters the departure point, waypoint, and arrival point. It is possible to enter location information. Furthermore, by displaying the confirmation screen 50 and the map display screen 60 on the browser screen, the current position of the autonomous mobile body 12 can be displayed.
  • the route determination device 13 includes a map information management unit 13-1, a control unit 13-2, a position/route information management unit 13-3, an information storage unit (memory/HD) 13-4, and a network connection unit 13. -5.
  • the map information management unit 13-1 holds wide-area map information, searches for route information indicating a route on the map based on designated predetermined position information, and uses the route information of the search result as a position/ It is transmitted to the route information management section 13-3.
  • the map information is three-dimensional map information that includes information such as terrain and latitude/longitude/altitude, and also includes roadway, sidewalk, direction of travel, and traffic regulation information related to the Road Traffic Law.
  • control unit 13-2 incorporates a CPU as a computer, and controls processing in each unit within the route determination device 13.
  • FIG. 1
  • the position/route information management unit 13-3 manages the position information of the autonomous mobile body acquired via the network connection unit 13-5, transmits the position information to the map information management unit 13-1, and manages the map information. It manages the route information as the search result obtained from the unit 13-1.
  • control unit 13-2 converts the route information managed by the position/route information management unit 13-3 into a predetermined data format and transmits it to the external system.
  • the route determination device 13 is configured to search for a route in compliance with the Road Traffic Law or the like based on designated position information, and to output the route information in a predetermined data format. It is
  • the conversion information holding device 14 in FIG. -5 and a network connection unit 14-6 The conversion information holding device 14 in FIG. -5 and a network connection unit 14-6.
  • the position/route information management unit 14-1 manages predetermined position information acquired through the network connection unit 14-6, and transmits the position information to the control unit 14-3 according to a request from the control unit 14-3.
  • the control unit 14-3 incorporates a CPU as a computer, and controls processing in each unit within the conversion information holding device 14. FIG.
  • the control unit 14-3 Based on the position information acquired from the position/route information management unit 14-1 and the information of the format managed by the format database 14-4, the control unit 14-3 converts the position information into the format defined in the format. unique identifier. Then, it is transmitted to the unique identifier management section 14-2.
  • an identifier (hereinafter referred to as a unique identifier) is assigned to a space starting from a predetermined position, and the space is managed by the unique identifier.
  • a unique identifier is assigned to a space starting from a predetermined position, and the space is managed by the unique identifier.
  • the unique identifier management unit 14-2 manages the unique identifier converted by the control unit 14-3 and transmits it through the network connection unit 14-6.
  • the format database 14-4 manages the format information and transmits the format information to the control unit 14-3 in accordance with a request from the control unit 14-3.
  • the conversion information holding device 14 manages the information related to the space acquired by external devices, devices, and networks in association with unique identifiers. In addition, it provides information on the unique identifier and the space associated with it to external devices, devices, and networks.
  • the conversion information holding device 14 acquires the unique identifier and the information in the space based on the predetermined position information, and can share the information with external devices, devices, and networks connected to itself. managed and provided to
  • the conversion information holding device 14 may be an information processing device to which an external format database 14-4 is connected.
  • the conversion information holding device 14 may be called a spatial information holding device.
  • the conversion information holding device 14 converts the location information specified by the system control device 10 into the unique identifier, and provides the unique identifier to the system control device 10 .
  • the system control device 10 includes a unique identifier management section 10-1, a control section 10-2, a position/route information management section 10-3, an information storage section (memory/HD) 10-4, and a network connection section 10-. 5.
  • the position/route information management unit 10-3 holds simple map information that associates terrain information with latitude/longitude information, and stores predetermined position information and route information obtained through the network connection unit 10-5. to manage.
  • the position/route information management unit 10-3 can also divide the route information at predetermined intervals and generate position information such as the latitude/longitude of the divided locations.
  • the unique identifier management unit 10-1 manages information obtained by converting the position information and the route information into the unique identifier.
  • the control unit 10-2 incorporates a CPU as a computer, controls the communication function of the position information, the route information, and the unique identifier of the system control device 10, and controls the processing in each unit in the system control device 10. do.
  • control unit 10 - 2 provides the user interface 11 with the WEB page and transmits predetermined position information acquired from the WEB page to the route determination device 13 . Further, it acquires predetermined route information from the route determination device 13 and transmits each position information of the route information to the conversion information holding device 14 . Then, the route information converted into the unique identifier acquired from the conversion information holding device 14 is transmitted to the autonomous mobile body 12 .
  • the system control device 10 is configured to acquire predetermined position information designated by the user, transmit and receive position information and route information, generate position information, and transmit and receive route information using unique identifiers.
  • the system control device 10 collects the route information necessary for the autonomous mobile body 12 to move autonomously, and assigns a unique identifier to the autonomous mobile body 12. Provides route information using Incidentally, in this embodiment, the system control device 10, the route determination device 13, and the conversion information holding device 14 function as servers, for example.
  • the autonomous moving body 12 includes a detection unit 12-1, a control unit 12-2, a direction control unit 12-3, an information storage unit (memory/HD) 12-4, a network connection unit 12-5, and a drive unit 12. -6.
  • the detection unit 12-1 has, for example, a plurality of imaging elements, and has a function of performing distance measurement based on phase differences between a plurality of imaging signals obtained from the plurality of imaging elements. It also has a self-position estimation function that acquires detection information (hereinafter referred to as detection information) such as obstacles such as surrounding terrain and building walls, and estimates its own position based on the detection information and map information.
  • detection information detection information
  • obstacles such as surrounding terrain and building walls
  • the detection unit 12-1 also has a self-position detection function such as GPS (Global Positioning System) and a direction detection function such as a geomagnetic sensor. Furthermore, based on the acquired detection information, self-position estimation information, and direction detection information, the control unit 12-2 can generate a three-dimensional map of cyberspace.
  • a self-position detection function such as GPS (Global Positioning System)
  • a direction detection function such as a geomagnetic sensor.
  • the control unit 12-2 can generate a three-dimensional map of cyberspace.
  • a 3D map of cyberspace is one that can express spatial information equivalent to the position of features in the real world as digital data.
  • the autonomous mobile body 12 that exists in the real world and information on features around it are held as spatially equivalent information as digital data. Therefore, by using this digital data, efficient movement is possible.
  • FIG. 5A is a diagram showing the spatial positional relationship between the autonomous mobile body 12 in the real world and a pillar 99 that exists as feature information around it.
  • FIG. 5B shows the autonomous mobile body 12 and the pillar 99. , P0 as the origin, and is mapped in an arbitrary XYZ coordinate system space (three-dimensional coordinate system space).
  • the position of the autonomous mobile body 12 is determined from the latitude and longitude position information acquired by GPS or the like (not shown) mounted on the autonomous mobile body 12. identified as ⁇ 0. Also, the orientation of the autonomous mobile body 12 is specified by the difference between the orientation ⁇ Y acquired by an electronic compass (not shown) or the like and the moving direction 12Y of the autonomous mobile body 12 .
  • the position of the pillar 99 is specified as the position of the vertex 99-1 from position information measured in advance.
  • the distance measurement function of the autonomous mobile body 12 makes it possible to acquire the distance from ⁇ 0 of the autonomous mobile body 12 to the vertex 99-1.
  • FIG. 5A when the moving direction 12Y is the axis of the XYZ coordinate system and ⁇ 0 is the origin, the coordinates (Wx, Wy, Wz) of the vertex 99-1 are shown.
  • the information obtained in this way is managed as digital data, and can be reconstructed as spatial information as shown in FIG. is.
  • FIG. 5(B) shows a state in which the autonomous mobile body 12 and the pillar 99 are mapped in an arbitrary XYZ coordinate system space with P0 as the origin.
  • P0 a predetermined latitude and longitude in the real world and taking the azimuth north of the real world in the Y-axis direction
  • the autonomous mobile body 12 is expressed as P1 and the pillar 99 as P2 in this arbitrary XYZ coordinate system space. be able to.
  • the position P1 of ⁇ 0 in this space can be calculated from the latitude and longitude of ⁇ 0 and the latitude and longitude of P0.
  • the column 99 can be calculated as P2.
  • two of the autonomous mobile body 12 and the pillar 99 are represented by a three-dimensional map of cyber space, but of course, even if there are more, it is possible to treat them in the same way.
  • a three-dimensional map is a mapping of the self-position and objects in the real world in a three-dimensional space.
  • the autonomous mobile body 12 stores learning result data of object detection that has been machine-learned, for example, in an information storage unit (memory/HD) 12-4. Objects can be detected.
  • an information storage unit memory/HD
  • the detection information can also be acquired from an external system via the network connection unit 12-5 and reflected in the three-dimensional map.
  • the control unit 12-2 has a built-in CPU as a computer, controls movement, direction change, and autonomous running functions of the autonomous mobile body 12, and controls processing in each part in the autonomous mobile body 12.
  • the direction control unit 12-3 changes the moving direction of the autonomous moving body 12 by changing the driving direction of the moving body by the driving unit 12-6.
  • the driving unit 12-6 is composed of a driving device such as a motor, and generates a propulsion force for the autonomous mobile body 12.
  • the autonomous mobile body 12 reflects the self-position, detection information, and object detection information in the three-dimensional map, generates a route keeping a certain distance from the surrounding terrain, buildings, obstacles, and objects, and autonomously travels. It can be carried out.
  • the route determination device 13 mainly generates routes in consideration of regulatory information related to the Road Traffic Act.
  • the autonomous mobile body 12 more accurately detects the positions of surrounding obstacles on the route determined by the route determination device 13, and generates a route based on its own size so as to move without touching them.
  • the information storage unit (memory/HD) 12-4 of the autonomous mobile body 12 can store the mobility type of the autonomous mobile body itself.
  • the mobility type is, for example, a legally identified type of moving object, such as a car, bicycle, or drone. Formatted route information, which will be described later, can be generated based on this mobility format.
  • FIG. 6 is a perspective view showing a mechanical configuration example of the autonomous mobile body 12 according to the embodiment.
  • the autonomous mobile body 12 will be described as an example of a traveling body having wheels, but is not limited to this, and may be a flying body such as a drone.
  • the autonomous moving body 12 includes a detection unit 12-1, a control unit 12-2, a direction control unit 12-3, an information storage unit (memory/HD) 12-4, a network connection unit 12-5, a drive unit 12-6 are mounted, and each part is electrically connected to each other. At least two drive units 12-6 and direction control units 12-3 are provided in the autonomous mobile body 12.
  • FIG. 6 the autonomous moving body 12 includes a detection unit 12-1, a control unit 12-2, a direction control unit 12-3, an information storage unit (memory/HD) 12-4, a network connection unit 12-5, a drive unit 12-6 are mounted, and each part is electrically connected to each other. At least two drive units 12-6 and direction control units 12-3 are provided in the autonomous mobile body 12.
  • the direction control unit 12-3 changes the moving direction of the autonomous mobile body 12 by changing the direction of the driving unit 12-6 by rotating the shaft, and the driving unit 12-6 rotates the autonomous mobile body by rotating the shaft. Perform 12 forwards and backwards.
  • the configuration described with reference to FIG. 6 is an example, and the present invention is not limited to this.
  • an omniwheel or the like may be used to change the movement direction.
  • the autonomous mobile body 12 is, for example, a mobile body using SLAM (Simultaneous Localization and Mapping) technology. Further, based on the detection information detected by the detection unit 12-1 and the detection information of the external system obtained via the Internet 16, it is configured so that it can autonomously move along a designated predetermined route.
  • SLAM Simultaneous Localization and Mapping
  • the autonomous mobile body 12 can perform trace movement by tracing finely specified points, and can also generate route information by itself in the space between them while passing through roughly set points and move. It is possible. As described above, the autonomous moving body 12 of this embodiment can autonomously move based on the route information using the unique identifier provided by the system control device 10 . In addition, the system control device 10 functions as control means for giving control instructions to at least one or more autonomous mobile bodies.
  • the sensor node 15 is an external system such as a video surveillance system such as a roadside camera unit, and includes a detection unit 15-1, a control unit 15-2, and an information storage unit (memory/HD) 15-3. , and a network connection unit 15-4.
  • the detection unit 15-1 acquires detection information of an area in which the detection unit 15-1 can detect itself, such as a camera, and has an object detection function and a distance measurement function.
  • the control unit 15-2 incorporates a CPU as a computer, controls the detection of the sensor node 15, data storage, and data transmission functions, and controls processing in each unit within the sensor node 15. Further, the detection information acquired by the detection unit 15-1 is stored in the information storage unit (memory/HD) 15-3, and is transmitted to the conversion information holding device 14 through the network connection unit 15-4.
  • the sensor node 15 is configured so that detection information such as image information detected by the detection unit 15-1, feature point information of a detected object, and position information can be stored in the information storage unit 15-3 and communicated. It is Further, the sensor node 15 provides the conversion information holding device 14 with the detection information of the area detectable by itself.
  • FIG. 7 is a block diagram showing a specific hardware configuration example of the control unit 10-2, the control unit 11-2, the control unit 12-2, the control unit 13-2, the control unit 14-3, and the control unit 15-2. It is a diagram.
  • 21 is a CPU as a computer that manages the calculation and control of the information processing device.
  • a RAM 22 functions as a main memory of the CPU 21, an area for execution programs, an execution area for the programs, and a data area.
  • a ROM 23 stores an operation processing procedure of the CPU 21 .
  • the ROM 23 includes a program ROM that records basic software (OS), which is a system program for controlling the information processing device, and a data ROM that records information necessary for operating the system. Note that an HDD 29, which will be described later, may be used instead of the ROM 23.
  • OS basic software
  • HDD 29 which will be described later, may be used instead of the ROM 23.
  • a network interface (NETIF) 24 controls data transfer between information processing devices via the Internet 16 and diagnoses the connection status.
  • a video RAM (VRAM) 25 develops an image to be displayed on the screen of the LCD 26 and controls the display.
  • 26 is a display device such as a display (hereinafter referred to as LCD).
  • KBC controller
  • Reference numeral 28 denotes an external input device (hereinafter abbreviated as KB) for receiving operations performed by the user, and for example, a pointing device such as a keyboard or mouse is used.
  • HDD 29 is a hard disk drive (hereinafter referred to as HDD), which is used for storing application programs and various data.
  • the application program in this embodiment is a software program or the like that executes various processing functions in this embodiment.
  • a CDD 30 is for inputting/outputting data from/to a removable medium 31 as a removable data recording medium, such as a CDROM drive, DVD drive, Blu-Ray (registered trademark) disk drive, or the like.
  • the CDD 30 is an example of an external input/output device.
  • the CDD 30 is used, for example, when reading the above-described application program from removable media.
  • 31 is a removable medium such as a CDROM disk, DVD, Blu-Ray disk, etc., which is read by the CDD 30 .
  • the removable medium may be a magneto-optical recording medium (eg, MO), a semiconductor recording medium (eg, memory card), or the like. It is also possible to store the application programs and data stored in the HDD 29 in the removable medium 31 and use them.
  • Reference numeral 20 denotes a transmission bus (address bus, data bus, input/output bus, and control bus) for connecting the units described above.
  • FIG. 8 is a sequence diagram illustrating processing executed by the autonomous mobile body control system according to the present embodiment
  • FIG. 9 is a sequence diagram following FIG. 8
  • FIG. 10 is a sequence diagram following FIG. is.
  • each step of the sequence shown in FIGS. 8 to 10 is performed by executing a computer program stored in the memory by the computer in the control section of each device.
  • step S201 the user accesses the WEB page provided by the system control device 10 using the user interface 11.
  • step S202 the system control device 10 displays the position input screen as described with reference to FIG. 2 on the display screen of the WEB page.
  • step S203 as described with reference to FIG. 2, the user selects an autonomous mobile object (mobility) and inputs location information (hereinafter referred to as location information) indicating departure/via/arrival points.
  • mobility autonomous mobile object
  • location information hereinafter referred to as location information
  • the position information may be a word (hereinafter referred to as a position word) specifying a specific place such as a building name, a station name, or an address, or a point (hereinafter referred to as a point) indicating a specific position on the map displayed on the WEB page.
  • a position word a word specifying a specific place such as a building name, a station name, or an address
  • a point hereinafter referred to as a point
  • step S204 the system control device 10 saves the type information of the selected autonomous mobile body 12 and the input position information.
  • the position information is the position word
  • the position word is stored
  • the simple map stored in the position/route information management unit 10-3 is stored. Based on the information, find the latitude/longitude corresponding to the point and save the latitude/longitude.
  • step S205 the system control device 10 designates the type of route that can be traveled (hereinafter referred to as route type) from the mobility type (type) of the autonomous mobile body 12 designated by the user. Then, in step S206, it is transmitted to the route determination device 13 together with the position information.
  • route type the type of route that can be traveled
  • the mobility type mentioned above is a legally distinct type of moving object, and means a type such as a car, bicycle, or drone.
  • the type of route is, for example, a general road, a highway, an exclusive road for automobiles, or the like, and a predetermined sidewalk, a side strip of an ordinary road, or a bicycle lane for a bicycle.
  • step S207 the route determination device 13 inputs the received position information to the owned map information as departure/via/arrival points. If the location information is the location word, search the map information by the location word and use the corresponding latitude/longitude information. When the position information is latitude/longitude information, it is used as it is input to the map information.
  • step S208 the route determination device 13 searches for a route from the departure point to the arrival point via the intermediate points.
  • the route to be searched is searched according to the route type.
  • step S209 the route determination device 13 outputs, as a result of the search, a route from the departure point to the arrival point via the waypoints (hereinafter referred to as route information) in GPX format (GPS eXchange Format), and system control is performed.
  • route information a route from the departure point to the arrival point via the waypoints
  • GPX format GPS eXchange Format
  • GPX format files are mainly divided into three types: waypoints (point information without order), routes (point information with order with time information added), and tracks (collection of multiple point information: trajectory). is configured to
  • Latitude/longitude is described as the attribute value of each point information, altitude, geoid height, GPS reception status/accuracy, etc. are described as child elements.
  • the minimum element required for a GPX file is latitude/longitude information for a single point, and any other information is optional.
  • What is output as the route information is the route, which is a set of point information consisting of latitude/longitude having an order relationship. Note that the route information may be in another format as long as it satisfies the above requirements.
  • FIG. 11(A) is a diagram showing latitude/longitude information of the earth
  • FIG. 11(B) is a perspective view showing the predetermined space 100 in FIG. 11(A).
  • the center of the predetermined space 100 is defined as the center 101.
  • FIG. 12 is a diagram schematically showing spatial information in the space 100. As shown in FIG.
  • the format divides the earth's space into three-dimensional spaces determined by ranges starting from latitude/longitude/height, and assigns a unique identifier to each space. It can be added and managed.
  • the space 100 is displayed as a predetermined three-dimensional space.
  • a space 100 is defined as a center 101 at 20 degrees north latitude, 140 degrees east longitude, and height H, and is a divided space defined with a latitudinal width of D, a longitudinal width of W, and a vertical width of T. be.
  • it is one space obtained by dividing the space of the earth into spaces determined by ranges starting from the latitude/longitude/height.
  • each of the arranged divided spaces has its horizontal position defined by latitude/longitude, overlaps in the height direction, and the position in the height direction is defined by height.
  • center 101 of the divided space is set as the starting point of the latitude/longitude/height in FIG. 11B, it is not limited to this. may be used as the starting point.
  • the shape may be roughly rectangular parallelepiped, and when considering the case of laying it on the surface of a sphere like the earth, it is better to set the top surface slightly wider than the bottom surface of the rectangular parallelepiped so that it can be placed without gaps.
  • the format database 14-4 information (spatial information) about the types of objects existing or capable of entering the space 100 and the time (spatial information) are associated with unique identifiers and formatted. stored in Also, the formatted spatial information is stored in chronological order from the past to the future.
  • the conversion information holding device 14 formats spatial information about the types of objects that exist or can enter a three-dimensional space defined by latitude/longitude/height in association with unique identifiers, and stores the formatted information in the format database 14-4. are doing.
  • the spatial information is updated based on information input by an external system (for example, the sensor node 15) communicatively connected to the conversion information holding device 14, and is updated by other information communicatively connected to the conversion information holding device 14.
  • Information is shared with external systems.
  • spatial information information about the type and time of an object that can exist or enter a three-dimensional space defined by latitude/longitude/height (hereinafter referred to as spatial information) is associated with a unique identifier and formatted. converted and stored in the database. Space-time can be managed by formatted spatial information.
  • step S210 the system control device 10 confirms the interval between each piece of point information in the received route information.
  • Positional point cloud data (hereinafter referred to as positional point cloud data) is created by matching the interval of the point information with the interval between the starting point positions of the divided spaces defined by the format.
  • the system control device 10 thins out the point information in the route information according to the interval of the starting point positions of the divided spaces. group data. Further, when the interval of the point information is larger than the interval between the starting point positions of the divided spaces, the system control device 10 interpolates the point information within a range that does not deviate from the route information to obtain position point group data.
  • step S211 in Fig. 9 the system control device 10 transmits the latitude/longitude information of each point information of the position point cloud data to the conversion information holding device 14 in the order of the route.
  • step S212 the conversion information holding device 14 searches the format database 14-4 for a unique identifier corresponding to the received latitude/longitude information, and transmits it to the system control device 10 in step S213.
  • step S214 the system control device 10 arranges the received unique identifiers in the same order as the original position point cloud data, and stores them as route information using the unique identifiers (hereinafter referred to as format route information).
  • the system control device 10 acquires the spatial information from the database of the conversion information holding device 14, and based on the acquired spatial information and the type information of the mobile object, the route related to the movement route of the mobile object is calculated. generating information.
  • FIG. 13(A) is an image diagram of route information displayed as map information
  • FIG. 13(B) is an image diagram of route information using position point cloud data displayed as map information
  • FIG. 13(C) is an image diagram using unique identifiers.
  • FIG. 10 is an image diagram showing route information as map information;
  • 120 is route information
  • 121 is a non-movable area through which the autonomous mobile body 12 cannot pass
  • 122 is a movable area where the autonomous mobile body 12 can move.
  • the route information 120 generated by the route determination device 13 based on the positional information of the departure point, waypoint, and arrival point specified by the user passes through the departure point, waypoint, and arrival point, and is displayed on the map. It is generated as a route passing over the movable area 122 on the information.
  • 123 is a plurality of pieces of position information on the route information.
  • the system control device 10 that has acquired the route information 120 generates the position information 123 arranged at predetermined intervals on the route information 120 .
  • the position information 123 can be represented by latitude/longitude/height, respectively, and this position information 123 is called position point cloud data in this embodiment. Then, the system control device 10 transmits the latitude/longitude/height of each point of the position information 123 one by one to the conversion information holding device 14 and converts them into unique identifiers.
  • 124 is positional space information in which the positional information 123 is converted into unique identifiers one by one, and the spatial range defined by the unique identifiers is represented by a rectangular frame.
  • the location space information 124 is obtained by converting the location information into a unique identifier.
  • the route represented by the route information 120 is converted into continuous position space information 124 and represented.
  • Each piece of position space information 124 is associated with information on the type and time of an object that can exist or enter the range of the space. This continuous position space information 124 is called format route information in this embodiment.
  • step S215 the system control device 10 downloads the spatial information associated with each unique identifier of the format path information from the conversion information holding device 14.
  • step S216 the system control device 10 converts the spatial information into a format that can be reflected in the three-dimensional map of the cyberspace of the autonomous mobile body 12, and identifies the positions of multiple objects (obstacles) in a predetermined space. Create the information shown (hereafter, cost map).
  • the cost map may be created for all route spaces in the format route information at first, or may be created in a form divided by fixed areas and updated sequentially.
  • step S217 the system control device 10 associates the format route information and the cost map with the unique identification number assigned to the autonomous mobile body 12 and stores them.
  • the autonomous mobile body 12 monitors (hereinafter, polls) its own unique identification number via the network at predetermined time intervals, and downloads the linked cost map in step S218.
  • the autonomous mobile body 12 reflects the latitude/longitude information of each unique identifier of the format route information as route information on the three-dimensional map of the cyberspace created by itself.
  • step S220 the autonomous mobile body 12 reflects the cost map on the three-dimensional map of cyberspace as obstacle information on the route.
  • the cost map is created in a form divided at regular intervals, after moving the area in which the cost map was created, the cost map of the next area is downloaded and the cost map is updated.
  • step S221 the autonomous mobile body 12 moves along the route information while avoiding the objects (obstacles) input in the cost map. That is, movement control is performed based on the cost map.
  • step S222 the autonomous mobile body 12 moves while performing object detection, and moves while updating the cost map using the object detection information if there is a difference from the cost map.
  • step S223 the autonomous mobile body 12 transmits the difference information from the cost map to the system control device 10 together with the corresponding unique identifier.
  • the system control device 10 that has acquired the difference information between the unique identifier and the cost map transmits the spatial information to the conversion information holding device 14 in step S224 of FIG. Update the spatial information of the unique identifier.
  • the content of the spatial information updated here does not directly reflect the difference information from the cost map, but is abstracted by the system control device 10 and then sent to the conversion information holding device 14 . Details of the abstraction will be described later.
  • step S226 the autonomous mobile body 12 that is moving based on the format route information tells the system controller 10 that the space it is currently passing through each time it passes through the divided space linked to each unique identifier. Send the unique identifier associated with the .
  • the system control device 10 grasps the current position of the autonomous mobile body 12 on the format route information.
  • the system control device 10 can grasp where the autonomous mobile body 12 is currently located in the format route information. Note that the system control device 10 may stop holding the unique identifier of the space through which the autonomous mobile body 12 has passed, thereby reducing the holding data capacity of the format route information.
  • step S227 the system control device 10 creates the confirmation screen 50 and the map display screen 60 described with reference to FIGS. do.
  • the system control device 10 updates the confirmation screen 50 and the map display screen 60 each time the autonomous mobile body 12 transmits the unique identifier indicating the current position to the system control device 10 .
  • the sensor node 15 saves the detection information of the detection range, abstracts the detection information in step S229, and transmits it to the conversion information holding device 14 as the spatial information in step S230.
  • the abstraction is, for example, information such as whether or not an object exists, or whether or not the existence state of the object has changed, and is not detailed information about the object.
  • the conversion information holding device 14 stores the spatial information, which is the abstracted detection information, in association with the unique identifier of the position corresponding to the spatial information.
  • the spatial information is stored in one unique identifier in the format database.
  • the external system uses the spatial information in the conversion information holding device 14 to convert the information in the sensor node 15 via the conversion information holding device 14.
  • the detection information is acquired and utilized.
  • the conversion information holding device 14 also has a function of connecting the communication standards of the external system and the sensor node 15 .
  • the conversion information holding device 14 has a function of connecting data of multiple devices with a relatively small amount of data.
  • steps S215 and S216 when the system control device 10 needs detailed object information when creating the cost map, detailed information is downloaded from an external system storing detailed detection information of spatial information. should be used.
  • the sensor node 15 updates the spatial information on the route of the format route information of the autonomous mobile body 12 .
  • the sensor node 15 acquires the detection information in step S232, generates abstracted spatial information in step S233, and transmits it to the conversion information holding device 14 in step S234.
  • the conversion information holding device 14 stores the spatial information in the format database 14-4 in step S235.
  • the system control device 10 checks changes in the spatial information in the managed format path information at predetermined time intervals, and if there is a change, downloads the spatial information in step S236.
  • step S237 the cost map associated with the unique identification number assigned to the autonomous mobile body 12 is updated.
  • step S238, the autonomous mobile body 12 recognizes the update of the cost map by polling, and reflects it on the three-dimensional map of the cyberspace created by itself.
  • the autonomous mobile body 12 can recognize in advance changes in the route that the autonomous mobile body 12 cannot recognize, and can respond to such changes.
  • a unique identifier is transmitted in step S240.
  • the system control device 10 Upon recognizing the unique identifier, the system control device 10 displays an arrival indication on the user interface 11 in step S241, and terminates the application. According to this embodiment, as described above, it is possible to provide a digital architecture format and an autonomous mobile body control system using the same.
  • the format database 14-4 stores information (spatial information) about the state and time of objects existing in a spatial range in chronological order from the past to the future.
  • the spatial information is updated by information input by an external system (for example, the sensor node 15) communicatively connected to the conversion information holding device 14, and is updated by another external system communicatively connected to the conversion information holding device 14.
  • information is shared with
  • the conversion information holding device 14 is a device that can be connected to a network through wired communication or wireless communication.
  • a configuration example of the conversion information holding device 14 will be described below.
  • spatial information is associated with a cubic voxel (VOXEL) of each divided space region obtained by dividing the space region of the real world.
  • Spatial information may be associated with and stored in three-dimensional spatial regions having various shapes such as a rectangular parallelepiped shape, a polygonal shape, and a spherical shape, in addition to the cubic shape.
  • autonomous mobile objects such as automobiles, trucks, drones, airplanes, AGVs (automated guided vehicles), and AMRs (transport robots) are assumed as targets for which spatial information is used in autonomous mobile control systems. be done.
  • AGVs automated guided vehicles
  • AMRs transport robots
  • FIG. 14 is a diagram for explaining input/output of spatial information in the conversion information holding device 14.
  • the conversion information holding device 14 includes a temporary memory 200 , a work memory 201 , a save storage 202 and a save storage 203 .
  • Temporary storage memory 200 is an example of a first storage device.
  • the save storage 202 is an example of a second storage device.
  • the temporary storage memory 200 and the working memory 201 are storage means suitable for high-speed processing of writing and reading information compared to the storage storages 202 and 203 for preservation.
  • the storages 202 and 203 for saving are not suitable for high-speed processing of writing and reading information compared to the temporary storage memory 200 and the working memory 201, but they are large-capacity storage means.
  • the temporary storage memory 200 and the working memory 201 are composed of memories with relatively high manufacturing costs per storage capacity
  • the storage storages 202 and 203 are composed of memories with relatively low manufacturing costs per storage capacity. be done.
  • the temporary storage memory 200 and the working memory 201 are composed of, for example, RAM such as DRAM and SRAM, which are volatile memories.
  • DRAM is an abbreviation for Dynamic RAM.
  • SRAM is an abbreviation for Static RAM.
  • RAM is an abbreviation for Random Access Memory. Volatile memory loses its data when the power is turned off.
  • the preservation storages 202 and 203 are configured by ROMs such as EPROMs and EEPROMs, which are non-volatile memories, for example.
  • EPROM is an abbreviation for Erasable Programmable ROM.
  • EEPROM is an abbreviation for Electrically EPROM.
  • ROM is an abbreviation for Read Only Memory.
  • Non-volatile memory does not lose data even when the power is turned off.
  • the storages 202 and 203 for preservation may be composed of flash memory, SSD, HDD, or the like. It is an abbreviation for SSD. HDD is an abbreviation for Hard Disk Drive.
  • the temporary storage memory 200, working memory 201, and storage storages 202 and 203 are arranged in the format database 14-4 shown in FIG.
  • the temporary storage memory 200 and the working memory 201 may be composed of one integrated memory, or may be composed of two or more divided storage areas within the same memory.
  • the preservation storages 202 and 203 may be composed of one integrated storage and composed of two or more divided storage areas within the same storage.
  • Either or both of the temporary memory 200 and the work memory 201 may be arranged in the information storage unit 14-5.
  • Either or both of the temporary storage memory 200 and the working memory 201 may be arranged in the control unit 14-3.
  • Spatial information includes dynamic information such as information on the presence or absence of vehicles and pedestrians, information on the status of traffic lights (red/blue (green)/yellow), and information on the presence or absence of road surfaces and structures (feature information).
  • static information For example, dynamic information and semi-dynamic information defined in the dynamic map are handled as dynamic information in this embodiment, and static information and semi-static information defined in the dynamic map are treated as static information in this embodiment. Treat as information.
  • the dynamic information defined in the dynamic map, the semi-dynamic information, and the semi-static information are handled as dynamic information in this embodiment, and the static information defined in the dynamic map is treated as the static information in this embodiment. may be treated as information.
  • the dynamic information defined by the dynamic map is handled as the dynamic information in this embodiment, and the semi-dynamic information, semi-static information, and static information defined in the dynamic map are treated as the static information in this embodiment. may be treated as information.
  • dynamic information has a high update frequency, so it is stored in the temporary storage memory 200 suitable for high-speed processing.
  • the static information is not stored in the temporary storage memory 200, but is stored in the preservation storage 203 because the update frequency is low. As a result, use of the storage area of the temporary storage memory 200 is suppressed.
  • the dynamic information is stored in the temporary storage memory 200, it is also stored in the storage storage 202 so that the past situation can be investigated in the event of an accident or the like.
  • the received dynamic information may be stored in the temporary storage memory 200 and concurrently stored directly in the storage storage 202 without going through the temporary storage memory 200 .
  • Dynamic information read from the temporary storage memory 200 or the storage storage 202 and static information read from the storage storage 203 are duplicated and developed in the working memory 201 . Then, the dynamic information and static information that have undergone integration processing in the working memory 201 are transmitted to the system control device 10 or the like via the network connection unit 14-6.
  • only one of the dynamic information and the static information is requested by the system controller 10 or the like, only one of the dynamic information and the static information is stored in the working memory 201. It may be expanded and transmitted to the system control device 10 or the like.
  • the control unit 14-3 controls the writing and reading of dynamic information and static information to/from the memory/storage.
  • the dynamic information stored in the temporary storage memory 200 is deleted sequentially from the oldest information when the usage capacity of the temporary storage memory 200 exceeds a predetermined limit value.
  • FIG. 15 is a flow chart explaining the process of storing the spatial information received from the outside in the memory/storage by the control unit 14-3 of the conversion information holding device 14.
  • the control unit 14-3 acquires spatial information of a certain spatial range from the sensor node 15 such as a video monitoring system such as a roadside unit or a map database (not shown) through the network connection unit 14-6. receive.
  • spatial information may be received by CAM (Cooperative Awareness Message) that notifies vehicle position and speed, etc., as specified by ETSI (European Telecommunications Standards Institute).
  • CAM Cooperative Awareness Message
  • ETSI European Telecommunications Standards Institute
  • Spatial information may also be received by DENM (Decentralized Environmental Notification Message) that notifies when a necessary situation occurs. Spatial information may also be received by CPM (Collective Perception Message) that notifies information of the detected object.
  • DENM Decentralized Environmental Notification Message
  • CPM Cold Perception Message
  • step S12 the control unit 14-3 determines whether the received spatial information is dynamic information.
  • the control section 14-3 executes the process of step S13.
  • step S13 the control unit 14-3 stores the received dynamic information in the temporary storage memory 200 in association with the corresponding voxel of the divided space area. Subsequently, in step S14, the control unit 14-3 reads the dynamic information from the temporary memory 200 and stores it in the save storage 202.
  • step S12 If it is determined in step S12 that the received spatial information is not dynamic information (that is, static information), the control unit 14-3 executes the process of step S15.
  • step S15 the control unit 14-3 stores the received static information in the storage storage 203 in association with the corresponding voxel of the divided space area.
  • steps S12, S13, and S15 function as an information holding step (information holding means). Further, in this conversion information holding step, for example, spatial information including information on the type of an object existing in a space defined by latitude/longitude/height and information on time is associated with a unique identifier, converted into a format, and held. there is In the information holding step, the dynamic information is stored in the first storage device and the static information is stored in the second storage device.
  • control unit 14-3 receives dynamic information from the sensor node 15 and static information from the map database.
  • both dynamic information and static information may be received from the sensor node 15, or both dynamic information and static information may be received from the map database.
  • both dynamic information and static information may be push-transmitted to the conversion information holding device 14, or both dynamic information and static information may be pull-transmitted to the conversion information holding device 14.
  • FIG. 16 is a flow chart explaining the process of reading the spatial information from the memory/storage and outputting it to the outside by the control unit 14-3 of the conversion information holding device 14.
  • step S21 the control unit 14-3 determines whether or not a request for acquisition of real-time or recent spatial information in a certain spatial range has been received from the system control device 10 or the like.
  • step S21 If it is determined in step S21 that a request for acquisition of real-time or recent spatial information in a certain spatial range has been received from the system control device 10 or the like, the control unit 14-3 executes the processing of step S22.
  • step S22 the control unit 14-3 reads the dynamic information linked to the voxels of the corresponding divided spatial region from the temporary storage memory 200, and reads the static information linked to the voxels of the corresponding divided spatial region. is read from the save storage 203 .
  • step S 22 the control unit 14 - 3 develops the read dynamic information and static information in the working memory 201 , performs integration processing and the like, and outputs them to the system control device 10 .
  • step S21 If it is determined in step S21 that a request for acquisition of real-time or recent spatial information in a certain spatial range has not been received from the system control device 10 or the like, the control unit 14-3 executes the processing of step S23.
  • step S23 the control unit 14-3 determines whether or not a request for acquisition of past spatial information in a certain spatial range has been received from the system control device 10 or the like.
  • step S24 the control unit 14-3 reads the dynamic information linked to the voxels of the corresponding divided spatial region from the storage 202 for storage, and reads the static information linked to the voxels of the corresponding divided spatial region. Read from storage 203 for saving.
  • step S24 the control unit 14-3 expands the read dynamic information and static information in the working memory 201, performs integration processing, etc., and outputs them to the system control device 10.
  • step S23 If it is determined in step S23 that a request for acquisition of past spatial information in a certain spatial range has not been received from the system control device 10 or the like, the control section 14-3 ends the process.
  • the control unit 14-3 performs integration processing on the dynamic information and static information in steps S22 and S24.
  • this integration process for example, based on the dynamic information and static information linked to the voxels of each target divided space area, it indicates whether or not an autonomous mobile body can pass through each target divided space area.
  • the point cloud data may be generated and output as a cost map (Costmap).
  • point cloud data indicating the presence/absence of vehicles, the presence/absence of pedestrians, the presence/absence of roadways, the presence/absence of structures, etc. in each target divided space area may be generated and output as a cost map.
  • FIG. 17 is a diagram showing an example of the data structure of dynamic information stored in the temporary storage memory 200.
  • the dynamic information includes the unique identifier of the corresponding voxel, date and time information on the date and time of information reception, vehicle information on the presence or absence of a vehicle, pedestrian information on the presence or absence of pedestrians, and signal status (red/blue (green)/yellow). including information, etc.
  • the dynamic information for the unique identifier is vehicle information: vehicle present, pedestrian information: no pedestrian, and traffic light information: green.
  • each device receives accurate date and time information from an NTP (Network Time Protocol) server via a network and performs accurate time management.
  • NTP Network Time Protocol
  • the signal information may include reference time information that serves as a reference for the periodic change and information including cycle information of the signal colors.
  • FIG. 21 is a diagram showing an example of periodic signal information.
  • the reference time information April 1, 2022, 8:00:00
  • the period information of the signal color the time length of blue is 60 seconds
  • the time length of yellow is 3 seconds
  • the time length of red is 27 seconds.
  • Period information including the signal color state and its time length. If the period of change in the signal color changes depending on the time period, such as at night, the signal color period information corresponding to the time period may be used.
  • the conversion information holding device 14 receives, for example, signal information including reference time information and signal color cycle information from the traffic control center signal system or traffic light of each prefecture, and stores it in memory/storage. do.
  • the system control device 10 acquires signal information including reference time information and signal color cycle information from the conversion information holding device 14 .
  • the system control device 10 is blue from 8:00:00 to 8:01:00 on April 1, 2022, yellow from 8:01:01 to 8:01:03 on April 1, 2022, From 8:01:04 to 8:01:30 on April 1, 2022, information is generated in which each signal color such as red is associated with the time.
  • the conversion information holding device 14 or the autonomous moving body 12 may generate the information that associates each signal color with the time. Note that when the signal color changes from the periodic mode to the non-periodic mode by pressing a button like a push-button traffic signal, event information as shown in FIG. 21 may be included in the signal information.
  • aperiodic mode For example, after switching to aperiodic mode, after 3 seconds of yellow time and 27 seconds of red time, it returns to cyclic mode (returns to blue).
  • information on the aperiodic signal color at the timing of information reception may be used as signal information.
  • both aperiodic signal information and periodic signal information may be used for a traffic light whose signal color changes periodically.
  • the conversion information holding device 14 When a certain traffic signal switches from periodic mode to non-periodic mode, the conversion information holding device 14 receives notification of mode change event information from the traffic control center signal system or traffic signal, and stores it in memory/storage.
  • the autonomous mobile body 12 can start decelerating before the signal changes from blue to yellow, and the autonomous mobile body 12 can prepare to start before the signal changes from red to blue. become.
  • signal information included in dynamic information is used as an example, other types of information that change periodically may also include reference time information that serves as a reference for periodic changes, and period information that includes states and their time lengths. information may be used as spatial information.
  • the dynamic information may include at least reference time information and period information relating to periodically changing states.
  • the reference time information of the high tide of the sea surface at a certain point and the period information including the length of time until the next high tide state may be used as the spatial information.
  • reference time information that serves as a reference for periodic changes and period information that includes states and their time lengths may be handled as static information instead of dynamic information.
  • the control unit 14-3 of the conversion information holding device 14 extracts the dynamic information from the spatial information received from the sensor node 15 or the like, associates it with the voxel of the divided spatial region at the corresponding position, and stores it in the temporary storage memory 200. Store. Specifically, based on the information of longitude, latitude, height (x1, y1, z1) included in the received spatial information and the spatial position information (longitude, latitude, height) of the center of each voxel, Dynamic information is associated with voxels at corresponding locations.
  • Spatial position information (longitude, latitude, height) of the vertices of each voxel may be used instead of the center of each voxel. If spatial information in the form of attribute information (metadata) cannot be obtained from the sensor node 15, image data or the like is obtained from the sensor node 15, and the presence or absence of an object is determined by object detection/object recognition through image analysis. dynamic information may be obtained by
  • a unique ID is assigned so that the voxel can be identified in space. For example, by assigning an ID to each voxel in a Morton order (octree), the positional relationship of each voxel can be specified by the ID, and adjacent voxels and voxels in a parent-child relationship can also be specified.
  • a Morton order (octree) is a kind of tree structure in which each node has up to eight child nodes. It is used when recursively dividing a three-dimensional space into eight octants (octant space).
  • the dynamic information stored in the temporary storage memory 200 needs to support high-speed processing, so it is assumed to be stored, for example, in a non-relational NoSQL (Not Only SQL) column-oriented data format.
  • NoSQL Not Only SQL
  • dynamic information associated with unique identifiers VS1, VS2, VS3, . . . are sequentially stored in a stream.
  • NoSQL NoSQL key-value type, document-oriented type, and graph type
  • NoSQL which is a non-relational database
  • RDB Relational Database
  • NoSQL can process large amounts of unstructured/semi-structured data in various data formats in real time, and can return responses at high speed.
  • a database format other than NoSQL may be used, or a non-database format may be used.
  • FIG. 18 is a diagram showing an example of the data structure of dynamic information and static information stored in storages 202 and 203 for preservation.
  • the dynamic information and static information stored in the storages 202 and 203 are stored, for example, in the form of a relational database (RDB).
  • RDB relational database
  • RDBs are well suited to reliably store consistent, structured data.
  • other database formats such as NoSQL may be used instead of RDB.
  • the dynamic information includes the unique identifier of the corresponding voxel, date and time information on the date and time of information reception, vehicle information on the presence or absence of a vehicle, pedestrian information on the presence or absence of pedestrians, and signal status (red/blue (green)/yellow). including information, etc.
  • the dynamic information for unique identifier: VS1 and date: April 1, 2022, 08:00:02 is the same as that shown in FIG.
  • the dynamic information is managed in a table for each voxel of unique identifiers: VS1, VS2, VS3, . . . , for example.
  • tables may be managed for each type of dynamic information, such as a table of vehicle information and a table of pedestrian information.
  • the static information includes the unique identifier of the corresponding voxel, date and time information on the date and time of information reception, spatial position information (longitude, latitude, height) of the center of each voxel, road surface information on the presence or absence of roads, and structure information on the presence or absence of structures. including information, etc.
  • the static information for the unique identifier: VS1 date and time: April 1, 2022, 8:00:00 is spatial position information (longitude, latitude, height): x1, y1, z1, road surface information: with road , Structure information: There is a structure.
  • the static information is managed in a table for each voxel of unique identifiers: VS1, VS2, VS3, . . . , for example.
  • tables may be managed for each type of static information, such as a road surface information table and a structure information table.
  • Dynamic information and static information stored in storage storages 202 and 203 are subjected to normalization processing and statistical processing as necessary so that past situations can be investigated in the event of an accident or the like. applied. Also, blockchain technology may be applied to prevent tampering.
  • data older than a certain point can be compressed to reduce the amount of data, or data older than a certain point can be moved to an external database.
  • the dynamic information and static information stored in the storage storages 202 and 203 are associated with each other by unique identifiers. can be processed. Further, the dynamic information stored in the temporary storage memory 200 and the static information stored in the storage storage 203 are associated with each other by unique identifiers. Dynamic information and static information can be integrated and processed.
  • dynamic information and static information included in spatial information in different storage areas and manage and process them appropriately.
  • dynamic information with high update frequency is relatively expensive to manufacture per storage capacity and is stored in temporary storage memory suitable for high-speed processing. are stored in archival storage, which is relatively inexpensive to manufacture.
  • the dynamic information read from the storage memory and the static information read from the save storage are developed in the working memory and output to the outside.
  • the dynamic information is also stored in the preservation storage 202 so that the past situation can be investigated in the event of an accident or the like.
  • the dynamic information read from the storage for storage and the static information read from the storage for storage are expanded in the working memory. , is output to the outside.
  • FIG. 19 is a diagram for explaining a system in which the conversion information holding device 14A that controls a wide area and the conversion information holding devices 14B, 14C, 14D and 14E that control a narrow area are hierarchically arranged.
  • the conversion information holding devices 14B, 14C, 14D, and 14E that manage narrow areas hold detailed spatial information on the narrow areas that they manage. Also, the conversion information holding device 14A that has jurisdiction over a wide area holds rough spatial information of the wide area that it has jurisdiction over.
  • real-time processing is performed by the conversion information holding devices 14B, 14C, 14D, and 14E that manage narrow areas, for example.
  • Non-real-time processing is performed by the conversion information holding device 14A that controls a wide area including four narrow areas.
  • autonomous mobile objects for which spatial information is used in an autonomous mobile control system, such as automobiles, trucks, drones, airplanes, AGVs (automated guided vehicles), and AMRs (transport robots). is assumed.
  • the size of voxels suitable for use will differ depending on the type/size of the autonomous mobile body and the use case. If all voxels have a single size, it is not possible to use voxels of a suitable size according to the type/size of the autonomous mobile body, the use case, etc., which is inconvenient. Therefore, in this embodiment, a hierarchical structure of voxel sizes can be employed. This point will be described below with reference to FIG.
  • FIG. 20 is a diagram showing an image of the hierarchical structure of voxels. In the space, large voxels VL1, VL2, VL3, .
  • each large voxel a plurality of medium voxels smaller than the large voxel are arranged, which are obtained by dividing (dividing) the large voxel.
  • VL4 there are medium voxels VM1, VM2, . VM8 is deployed.
  • each medium voxel a plurality of small voxels smaller than the medium voxel are arranged, which are obtained by dividing (dividing) the medium voxel.
  • a plurality of small voxels smaller than the medium voxel are arranged, which are obtained by dividing (dividing) the medium voxel.
  • the middle voxel VM4 there are small voxels VS1, VS2, . VS8 is deployed.
  • a hierarchical structure of three levels of voxels of large, medium and small is exemplified, but it may be two levels or four or more levels.
  • a plurality of micro voxels smaller than the small voxel may be arranged.
  • each micro voxel a plurality of voxels smaller in size than the micro voxel may be arranged. These differently sized voxels have the same shape.
  • the height (z) represents the height from the reference plane/point, but may be the altitude with the sea surface or the ground surface as the reference plane. Sea/ground may have a positive value and underwater/underground may have a negative value. Alternatively, it may represent the height from a reference point with the center of the earth as the reference point.
  • the size of the large voxel is set to an arbitrary value such as 50m or 100m on each side. All the large voxels in the space may have the same size, or may have different sizes depending on the position in the space.
  • the size of large voxels on the ground and in the sky above is 50 m on each side
  • the size of large voxels on the sea and in the sky above where there are not many objects is 100 m on each side
  • the size of large voxels in the sea and underground is 500 m on each side. good.
  • the conversion information holding device 14A responsible for a wide area holds only spatial information linked to large voxels
  • the conversion information holding devices 14B to 14E responsible for a narrow area are tied to medium voxels and small voxels, respectively. holds the spatial information associated with
  • the conversion information holding device 14A that manages a wide area may hold spatial information linked to large voxels and medium voxels.
  • the conversion information holding devices 14B to 14E that manage the narrow area may hold only the spatial information that is associated with each small voxel.
  • the conversion information holding device is not arranged in a two-level hierarchy such as a device that controls a wide area and a device that controls a narrow area. may be placed.
  • a conversion information holding device that controls a wide area holds only spatial information linked to large voxels
  • a conversion information holding device that controls a mid-range area stores only spatial information linked to medium voxels. hold.
  • the conversion information holding device that manages the narrow area holds only the spatial information linked to the small voxels. Further, the processing load on the conversion information holding device that controls the wide area may be reduced by lowering the update frequency of the spatial information of the conversion information holding device that controls the wide area.
  • voxels of suitable size As described above, by adopting a hierarchical structure for the format of the divided space areas arranged in the space, it is possible to select and use voxels of suitable size according to the application. For example, in the use case of route determination of autonomous mobiles, voxels of sizes corresponding to the types of autonomous mobiles to be routed, such as automobiles, trucks, drones, airplanes, AGVs (automated guided vehicles), AMRs (transport robots), etc. can be selected.
  • voxels of a size corresponding to the size of the autonomous mobile object to be routed are selected, such as selecting a large size voxel for a large autonomous mobile object and selecting a small size voxel for a small autonomous mobile object. can be selected.
  • voxels of a size that corresponds to the width of the road on the travel route such as selecting large-sized voxels where the width of the road is wide and selecting small-sized voxels where the width of the road is small. can.
  • the system control device 10 may acquire spatial information from the transformation information holding device that stores spatial information on voxels of the selected size.
  • this embodiment it is possible to select and use voxels of a suitable size according to the application. This has the effect of improving convenience. Moreover, by hierarchically arranging the conversion information holding device that controls a wide area and the conversion information holding device that controls a narrow area, the processing load of the conversion information holding device can be distributed.
  • the format of the digital architecture and the autonomous mobile body control system using the same are provided more efficiently while considering safety.
  • the mobile body of the present invention is not limited to an autonomous mobile body such as an AGV (Automated Guided Vehicle) or an AMR (Autonomous Mobile Robot).
  • AGV Automated Guided Vehicle
  • AMR Autonomous Mobile Robot
  • it can be any mobile device that moves, such as automobiles, trains, ships, airplanes, robots, and drones.
  • a part of the control system of the present invention may or may not be mounted on those moving bodies.
  • the present invention can also be applied to remote control of a moving body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

【課題】様々なデバイスに対応した位置情報及び空間情報を共有できる時空間フォーマットを提供するために、空間に存在する物体の種別に関する情報及び時間に関する情報を含む空間情報を固有識別子と関連付けてフォーマットに変換し保持する情報保持手段を有し、前記空間情報は、動的情報と静的情報とを有し、前記情報保持手段は、前記動的情報を第1記憶装置に記憶し、前記静的情報を第2記憶装置に記憶する、ことを特徴とする。

Description

情報処理装置、制御システム、制御方法、及び記憶媒体
 本発明は、情報処理装置、制御システム、制御方法、及び記憶媒体等に関するものである。
 近年、世界では自律走行モビリティや空間認識システムなどの技術革新に伴い、異なる組織や社会の構成員の間でデータやシステムをつなぐ全体像(以下、デジタルアーキテクチャ)の開発が進んでいる。
 例えば特許文献1のシステムは、ユーザの提供する時空間管理データに従って単一のプロセッサが時空間領域を時間及び空間で分割して、複数の時空間分割領域を生成する。また特許文献1のシステムは、時空間分割領域の時間及び空間の近傍性を考慮して、複数の時空間分割領域の各々を一意に識別するための、一次元の整数値で表現される識別子を割り当てる。また特許文献1のシステムは、識別子が近い時空間分割領域のデータが記憶装置上で近くに配置されるように、時系列データの配置を決定する。
特開2014-2519号公報
 しかしながら、特許文献1では、時空間分割領域の生成ルールへの言及がなく、生成された領域に関するデータを識別子で把握できるのはそれを生成したプロセッサ内でのみである。
 よって、異なる組織や社会の構成員(以下、ユーザ)の間で当該データを共有して使用するためには、予めデータの構造を理解したうえで、各ユーザが既存のシステムを、該データ構造を扱えるように再構築する必要があり、大規模な作業が発生する可能性がある。また、特許文献1では、異なるユーザが時空間分割領域の情報を使用するための具体的な使用方法に関しても言及されていない。
 本発明は、様々なデバイスに対応した位置情報及び空間情報を共有できる時空間フォーマットの提供を1つの目的とする。
 本発明の1側面としての情報処理装置は、空間に存在する物体の種別に関する情報及び時間に関する情報を含む空間情報を固有識別子と関連付けてフォーマットに変換し保持する情報保持手段を有し、前記空間情報は、動的情報と静的情報とを有し、前記情報保持手段は、前記動的情報を第1記憶装置に記憶し、前記静的情報を第2記憶装置に記憶する、ことを特徴とする。
 本発明によれば、様々なデバイスに対応した位置情報及び空間情報を共有できる時空間フォーマットを提供することが出来る。
本発明の第1の実施形態にかかる自律移動体制御システムの全体構成例を示す図である。 (A)はユーザが位置情報を入力する際の入力画面の例を示す図、(B)は使用する自律移動体を選択するための選択画面の例を示す図である。 (A)は自律移動体の現在位置を確認するための画面の例を示す図、(B)は自律移動体の現在位置を確認する際の地図表示画面の例を示す図である。 図1の各装置の内部構成例を示したブロック図である。 (A)は、現実世界における自律移動体12とその周辺の地物情報として存在する柱99の空間的位置関係を示した図、(B)は自律移動体12と柱99を、P0を原点とする任意のXYZ座標系空間にマッピングした状態を示した図である。 第1の実施形態に係る自律移動体12の機械的な構成例を示す斜視図である。 制御部10-2、制御部11-2、制御部12-2、制御部13-2、制御部14-3、制御部15-2の具体的なハードウェア構成例を示すブロック図である。 第1の実施形態に係る自律移動体制御システムが実行する処理を説明するシーケンス図である。 図8の続きのシーケンス図である。 図9の続きのシーケンス図である。 (A)は地球の緯度/経度情報を示す図であり、(B)は(A)の所定の空間100を示す斜視図である。 空間100内の空間情報を模式的に示した図である。 (A)は経路情報を地図情報で表示した図、(B)は位置点群データを用いた経路情報を地図情報で表示した図、(C)は固有識別子を用いた経路情報を地図情報で表示した図である。 変換情報保持装置における空間情報の入出力について説明する図である。 空間情報をメモリ/ストレージに格納する処理について説明するフロー図である。 空間情報をメモリ/ストレージから読み出して外部に出力する処理について説明するフロー図である。 一時記憶用メモリに格納される動的情報のデータ構造の例を示す図である。 保存用ストレージに格納される動的情報及び静的情報のデータ構造の例を示す図である。 広域エリアを管轄する変換情報保持装置と、狭域エリアを管轄する変換情報保持装置とを階層配置したシステムについて説明する図である。 ボクセルの階層構造のイメージを示した図である。 周期的な信号情報の例を示す図である。
 以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。尚、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。
 尚、実施形態においては自律移動体の制御に適用した例について説明するが、移動体はユーザが移動体の移動に関して少なくとも1部を操作可能なものであっても良い。即ち、例えばユーザに対して移動経路等に関する各種表示等を行い、その表示を参照してユーザが移動体の運転操作の一部を行う構成であっても良い。
(第1の実施形態)
 図1は本発明の第1の実施形態にかかる自律移動体制御システムの全体構成例を示す図である。図1に示すように、本実施形態の自律移動体制御システム(制御システムと略すこともある。)は、システム制御装置10、ユーザインターフェース11、自律移動体12、経路決定装置13、変換情報保持装置14、センサノード15等を備える。尚、ここで、ユーザインターフェース11はユーザ端末装置を意味する。
 尚、本実施形態では、図1に示される各装置はインターネット16を介して、後述される夫々のネットワーク接続部によって接続されている。しかし、例えば、LAN(Local Area Network)等の他のネットワークシステムを用いてもかまわない。
 又、システム制御装置10、ユーザインターフェース11、経路決定装置13、変換情報保持装置14等の一部は同一装置として構成しても構わない。
 システム制御装置10、ユーザインターフェース11、自律移動体12、経路決定装置13、変換情報保持装置14、センサノード15は夫々、コンピュータとしてのCPUや、記憶媒体としてのROM、RAM、HDD等からなる情報処理装置を含んでいる。各装置の機能及び内部構成の詳細については後に説明する。
 次に、前記自律移動体制御システムによって提供されるサービスアプリケーションソフトウェア(以下、アプリと略す。)について説明する。尚、説明にあたっては、先ず、ユーザが位置情報を入力する際にユーザインターフェース11に表示される画面イメージを図2(A)、(B)を用いて説明する。
 続いて、ユーザが自律移動体12の現在位置を閲覧する際のユーザインターフェース11に表示される画面イメージを図3(A)、図3(B)を用いて説明する。これらの説明により、前記自律移動体制御システムにおいて、どのようにしてアプリの操作がされるのかを例を用いて説明する。
 尚、本説明において、便宜上、地図表示は二次元の平面で説明するが、本実施形態において、ユーザは「高さ」も含めた3次元的な位置指定が可能であり、「高さ」情報を入力することもできる。即ち、本実施形態によれば3次元地図を生成することができる。
 図2(A)はユーザが位置情報を入力する際の入力画面の例を示す図、図2(B)は使用する自律移動体を選択するための選択画面の例を示す図である。ユーザがユーザインターフェース11の表示画面を操作して、インターネット16にアクセスし、自律移動体制御システムの例えば経路設定アプリを選択すると、システム制御装置10のWEBページが表示される。
 WEBページに先ず表示されるのは、自律移動体12を移動させる際に、出発地、経由地、到着地を設定するための出発地、経由地、到着地の入力画面40である。入力画面40には使用する自律移動体(モビリティ)の一覧を表示させるための一覧表示ボタン48があり、ユーザが一覧表示ボタン48を押下すると、図2(B)で示すようにモビリティの一覧表示画面47が表示される。
 ユーザは先ず、一覧表示画面47において使用する自律移動体(モビリティ)を選択する。一覧表示画面47においては例えばM1~M3のモビリティが選択可能に表示されているが、数はこれに限定されない。
 ユーザがM1~M3のいずれかのモビリティをクリック操作等によって選択すると、自動的に図2(A)の入力画面40に戻る。又、一覧表示ボタン48には、選択されたモビリティ名が表示される。その後ユーザは出発地として設定する場所を「出発地」の入力フィールド41に入力する。
 又、ユーザは経由地として設定する場所を「経由地1」の入力フィールド42に入力する。尚、経由地は追加可能となっており、経由地の追加ボタン44を1回押下すると、「経由地2」の入力フィールド46が追加表示され、追加する経由地を入力することができる。
 経由地の追加ボタン44を押下する度に、「経由地3」、「経由地4」のように、入力フィールド46が追加表示され、追加する経由地を複数地点入力することができる。又、ユーザは到着地として設定する場所を「到着地」の入力フィールド43に入力する。尚、図には示していないが、入力フィールド41~43、46等をクリックすると、文字を入力するためのキーボード等が一時的に表示され、所望の文字を入力可能になっている。
 そして、ユーザは決定ボタン45を押下することにより、自律移動体12の移動経路を設定することができる。図2の例では、出発地として”AAA”、経由地1として”BBB”、到着地として”CCC”と設定している。入力フィールドに入力する文言は、例えば住所等であっても良いし、緯度/経度情報や店名や電話番号などの、特定の位置を示すための位置情報を入力できるようにしても良い。
 図3(A)は自律移動体の現在位置を確認するための画面の例を示す図、図3(B)は自律移動体の現在位置を確認する際の地図表示画面の例を示す図である。
 図3(A)の50は確認画面であり、図2(A)のような画面で自律移動体12の移動経路を設定した後に、不図示の操作ボタンの操作をすることによって表示される。確認画面50では、自律移動体12の現在位置が例えば現在地56のように、ユーザインターフェース11のWEBページに表示される。従ってユーザは容易に現在位置を把握できる。
 又、ユーザは更新ボタン57を押下することにより、画面表示情報を更新して最新状態を表示することができる。又、ユーザは経由地/到着地変更ボタン54を押下することにより、出発地、経由地、到着地を変更することができる。即ち、「出発地」の入力フィールド51、「経由地1」の入力フィールド52、「到着地」の入力フィールド53に夫々再設定したい場所を入力することで変更することができる。
 図3(B)には、図3(A)の地図表示ボタン55を押下した場合に、確認画面50から切り替わる地図表示画面60の例が示されている。地図表示画面60では、現在地62の位置を地図上で表示することによって、自律移動体12の現在地をよりわかりやすく確認する。又、ユーザが戻るボタン61を押下した場合には、図3(A)の確認画面50に表示画面を戻すことができる。
 以上のように、ユーザはユーザインターフェース11の操作により、自律移動体12を所定の場所から所定の場所まで移動するための移動経路を容易に設定できる。尚、このような経路設定アプリは、例えばタクシーの配車サービスや、ドローンの宅配サービスなどにも適用することができる。
 次に図1における各装置10~15の構成例と機能例に関して図4を用いて詳細に説明する。図4は、図1の各装置の内部構成例を示したブロック図である。
 図4において、ユーザインターフェース11は操作部11-1、制御部11-2、表示部11-3、情報記憶部(メモリ/HD)11-4、ネットワーク接続部11-5を備える。操作部11-1は、タッチパネルやキーボタンなどで構成されており、データの入力のために用いられる。表示部11-3は例えば液晶画面などであり、経路情報やその他のデータを表示するために用いられる。
 図2、図3において示したユーザインターフェース11の表示画面は表示部11-3に表示される。ユーザは表示部11-3に表示されたメニューを用いて、経路の選択、情報の入力、情報の確認等を行うことができる。
 つまり操作部11-1及び表示部11-3はユーザが実際に操作をするための操作用のインターフェースを提供している。尚、操作部11-1と表示部11-3を別々に設ける代わりに、タッチパネルによって操作部と表示部を兼用しても良い。
 制御部11-2は、コンピュータとしてのCPUを内蔵し、ユーザインターフェース11における各種アプリの管理や、情報入力、情報確認などのモード管理を行い、通信処理を制御する。又、システム制御装置内の各部における処理を制御する。
 情報記憶部(メモリ/HD)11-4は、例えばCPUが実行するためのコンピュータプログラム等の、必要な情報を保有しておくためのデータベースである。ネットワーク接続部11-5は、インターネットやLAN、無線LANなどを介して行われる通信を制御する。尚、ユーザインターフェース11は例えばスマートフォンのようなデバイスであっても良いし、タブレット端末のような形態であっても良い。
 このように、本実施形態のユーザインターフェース11は、システム制御装置10のブラウザ画面に前記出発地、経由地、到着地を、入力画面40により表示し、ユーザによる出発地点、経由地点、到着地点といった位置情報の入力が可能である。更に又、前記ブラウザ画面に前記確認画面50及び地図表示画面60を表示することで、自律移動体12の現在位置を表示することができる。
 図4における、経路決定装置13は、地図情報管理部13-1、制御部13-2、位置/経路情報管理部13-3、情報記憶部(メモリ/HD)13-4、ネットワーク接続部13-5を備える。地図情報管理部13-1は、広域の地図情報を保有しており、指定された所定の位置情報に基づいて地図上のルートを示す経路情報を探索するとともに、探索結果の経路情報を位置/経路情報管理部13-3に送信する。
 前記地図情報は地形や緯度/経度/高度といった情報を含む3次元の地図情報であると共に、車道、歩道、進行方向、交通規制といった道路交通法に関わる規制情報なども併せて含む。
 又、例えば時間帯によって一方通行となる場合や、時間帯によって歩行者専用道路となるものなど、時間によって変化する規制情報も、それぞれの時間情報とともに含んでいる。制御部13-2は、コンピュータとしてのCPUを内蔵し、経路決定装置13内の各部における処理を制御する。
 位置/経路情報管理部13-3は、ネットワーク接続部13-5を介して取得した自律移動体の位置情報を管理するとともに、地図情報管理部13-1に前記位置情報送信し、地図情報管理部13-1から取得した前記探索結果としての前記経路情報を管理する。
 制御部13-2は、外部システムの要求に従って、位置/経路情報管理部13-3で管理されている前記経路情報を所定のデータ形式に変換するとともに、外部システムに送信する。
 以上のように、本実施形態においては、経路決定装置13は、指定された位置情報に基づいて道路交通法等に則した経路を探索し、経路情報を所定のデータ形式で出力できるように構成されている。
 図4における、変換情報保持装置14は、位置/経路情報管理部14-1、固有識別子管理部14-2、制御部14-3、フォーマットデータベース14-4、情報記憶部(メモリ/HD)14-5、ネットワーク接続部14-6を備える。
 位置/経路情報管理部14-1は、ネットワーク接続部14-6を通して取得した所定の位置情報を管理するとともに、制御部14-3の要求に従って前記位置情報を制御部14-3に送信する。制御部14-3は、コンピュータとしてのCPUを内蔵し、変換情報保持装置14内の各部における処理を制御する。
 制御部14-3は、位置/経路情報管理部14-1から取得した前記位置情報と、フォーマットデータベース14-4で管理されているフォーマットの情報に基づいて、前記位置情報を前記フォーマットで規定された固有識別子に変換する。そして、固有識別子管理部14-2に送信する。
 前記フォーマットについては後に詳しく説明するが、所定の位置を起点とした空間に識別子(以下、固有識別子)を割り振り、固有識別子によって空間を管理するものである。本実施形態においては、所定の位置情報を基に、対応する固有識別子や空間内の情報を取得することができる。
 固有識別子管理部14-2は、制御部14-3にて変換した前記固有識別子を管理するとともにネットワーク接続部14-6を通じて送信する。フォーマットデータベース14-4は、前記フォーマットの情報を管理するとともに、制御部14-3の要求に従って、前記フォーマットの情報を制御部14-3に送信する。
 又、ネットワーク接続部14-6を通じて取得した前記空間内の情報を、前記フォーマットを用いて管理する。変換情報保持装置14は、外部の機器、装置、ネットワークにより取得された前記空間に関する情報を、固有識別子と紐づけて管理する。又、外部の機器、装置、ネットワークに対して固有識別子及びそれに紐づく前記空間に関する情報を提供する。
 以上のように、変換情報保持装置14は、所定の位置情報を基に、固有識別子と空間内の情報を取得し、その情報を自身に接続された外部の機器、装置、ネットワークが共有できる状態に管理、提供する。変換情報保持装置14は、外付けのフォーマットデータベース14-4を接続した情報処理装置であってもよい。変換情報保持装置14は、空間情報保持装置と呼んでもよい。
 又、変換情報保持装置14は、システム制御装置10に指定された前記位置情報を、前記固有識別子に変換し、システム制御装置10に提供する。
 図4において、システム制御装置10は固有識別子管理部10-1、制御部10-2、位置/経路情報管理部10-3、情報記憶部(メモリ/HD)10-4、ネットワーク接続部10-5を備える。位置/経路情報管理部10-3は、地形情報と緯度/経度情報の対応付けをした簡易的な地図情報を保持するとともに、ネットワーク接続部10-5を通して取得した所定の位置情報及び経路情報を管理する。
 また位置/経路情報管理部10-3は、前記経路情報を所定の間隔で区切るとともに、区切った場所の緯度/経度といった位置情報を生成することもできる。固有識別子管理部10-1は、前記位置情報及び前記経路情報を前記固有識別子に変換した情報を管理する。
 制御部10-2は、コンピュータとしてのCPUを内蔵し、システム制御装置10の前記位置情報、前記経路情報、前記固有識別子の通信機能の制御を司り、システム制御装置10内の各部における処理を制御する。
 又、制御部10-2は、ユーザインターフェース11にWEBページを提供するとともに、WEBページから取得した所定の位置情報を、経路決定装置13に送信する。又、経路決定装置13から所定の経路情報を取得し、経路情報の各位置情報を変換情報保持装置14に送信する。そして、変換情報保持装置14から取得した固有識別子に変換された経路情報を自律移動体12に送信する。
 以上のように、システム制御装置10はユーザの指定する所定の位置情報の取得、位置情報及び経路情報の送受信、位置情報の生成、固有識別子を用いた経路情報の送受信を行えるように構成されている。
 又、システム制御装置10は、ユーザインターフェース11に入力された前記位置情報に基づいて、自律移動体12が自律移動を行うのに必要な前記経路情報を収集するとともに、自律移動体12に固有識別子を用いた経路情報を提供する。尚、本実施形態では、システム制御装置10と経路決定装置13、変換情報保持装置14は例えばサーバーとして機能している
 図4において、自律移動体12は検出部12-1、制御部12-2、方向制御部12-3、情報記憶部(メモリ/HD)12-4、ネットワーク接続部12-5、駆動部12-6を備える。
 検出部12-1は、例えば複数の撮像素子を有し、複数の撮像素子から得られた複数の撮像信号の位相差に基づき測距を行う機能を有する。又、周辺の地形・建物の壁などの障害物といった検出情報(以下、検出情報)を取得し、検出情報と地図情報に基づき自己位置を推定する自己位置推定機能を有する。
 又、検出部12-1は、GPS(Global Positioning System)などの自己位置検出機能と、例えば地磁気センサなどの方向検出機能を有する。更に、取得した前記検出情報と自己位置推定情報と方向検出情報を基に、前記制御部12-2はサイバー空間の3次元マップを生成することができる。
 ここで、サイバー空間の3次元マップとは、現実世界の地物位置と等価な空間情報を、デジタルデータとして表現可能なものである。このサイバー空間の3次元マップ内には、現実世界に存在する自律移動体12や、その周辺の地物情報が、デジタルデータとして空間的に等価な情報として保持されている。従って、このデジタルデータを用いることで、効率的な移動が可能である。
 以下図5を例として、本実施形態で用いるサイバー空間の3次元マップについて説明する。図5(A)は、現実世界における自律移動体12とその周辺の地物情報として存在する柱99の空間的位置関係を示した図、図5(B)は自律移動体12と柱99を、P0を原点とする任意のXYZ座標系空間(3次元座標系の空間)にマッピングした状態を示した図である。
 図5(A)、(B)において、自律移動体12の位置は、自律移動体12に搭載された不図示のGPS等によって取得された緯度経度の位置情報から、自律移動体12内の位置α0として特定される。又、自律移動体12の方位は不図示の電子コンパス等によって取得された方位αYと自律移動体12に移動方向12Yの差分によって特定される。
 又、柱99の位置は、予め測定された位置情報から頂点99-1の位置として特定される。また自律移動体12の測距機能によって、自律移動体12のα0から頂点99-1までの距離を取得することが可能である。図5(A)においては移動方向12YをXYZ座標系の軸としてα0を原点とした場合に、頂点99-1の座標(Wx,Wy,Wz)として示される。
 サイバー空間の3次元マップでは、この様に取得された情報がデジタルデータとして管理され、図5(B)のような空間情報としてシステム制御装置10、経路決定装置13等で再構成することが可能である。
 図5(B)においては、自律移動体12と柱99を、P0を原点とする任意のXYZ座標系空間にマッピングした状態を示している。P0を現実世界の所定の緯度経度に設定し、現実世界の方位北をY軸方向に取ることで、この任意のXYZ座標系空間で自律移動体12を、P1と柱99をP2として表現することができる。
 具体的には、α0の緯度経度とP0の緯度経度から、この空間におけるα0の位置P1を算出できる。又、同様に柱99をP2として算出できる。この例では、自律移動体12と柱99の2つをサイバー空間の3次元マップで表現しているが、勿論もっと多数あっても同様に扱うことが可能である。 以上のように、3次元空間に現実世界の自己位置や物体をマッピングしたものが3次元マップである。
 図4に戻り、自律移動体12は、機械学習を行った物体検出の学習結果データを、例えば情報記憶部(メモリ/HD)12-4に記憶しており、機械学習を用いて撮影画像から物体検出することができる。
 尚、前記検出情報に関しては、ネットワーク接続部12-5を経由して、外部のシステムから取得して、3次元マップに反映することもできる。尚、制御部12-2は、コンピュータとしてのCPUを内蔵し、自律移動体12の移動、方向転換、自律走行機能の制御を司り、自律移動体12内の各部における処理を制御する。
 方向制御部12-3は、駆動部12-6による移動体の駆動方向を変更することで、自律移動体12の移動方向の変更を行う。駆動部12-6は、モータなどの駆動装置からなり、自律移動体12の推進力を発生させる。自律移動体12は前記3次元マップ内に前記自己位置及び検出情報、物体検出情報を反映し、周辺の地形・建物・障害物・物体から一定の間隔を保った経路を生成し、自律走行を行うことができる。
 尚、経路決定装置13は主に道路交通法に関わる規制情報を考慮した経路生成を行う。一方、自律移動体12は経路決定装置13による経路において、周辺障害物の位置をより正確に検出し、自分のサイズに基づき、それらに接触せずに移動するための経路生成を行う。
 又、自律移動体12の情報記憶部(メモリ/HD)12-4には自律移動体自身のモビリティ形式を格納することも出来る。このモビリティ形式とは例えば法的に識別された移動体の種別であり、例えば自動車、自転車、ドローンなどの種別を意味する。このモビリティ形式に基づいて、後述するフォーマット経路情報の生成を行うことが出来る。
 ここで本実施形態における自律移動体12の本体構成について図6を用いて説明する。図6は実施形態に係る自律移動体12の機械的な構成例を示す斜視図である。尚、本実施形態においては、自律移動体12は、車輪を有する走行体の例を説明するがこの限りではなく、ドローンなどの飛行体であっても良い。
 図6において、自律移動体12には検出部12-1、制御部12-2、方向制御部12-3、情報記憶部(メモリ/HD)12-4、ネットワーク接続部12-5、駆動部12-6が搭載されており、各部は互いに電気的に接続されている。駆動部12-6、方向制御部12-3は自律移動体12に少なくとも2つ以上配備されている。
 方向制御部12-3は軸の回転駆動により駆動部12-6の方向を変更することで、自律移動体12の移動方向を変更し、駆動部12-6は、軸の回転により自律移動体12の前進、後退を行う。尚、図6を用いて説明した構成は1例であって、これに限定するものではなく、例えば移動方向の変更をオムニホイール等を用いて行っても良い。
 尚、自律移動体12は例えばSLAM(Simultaneous Localization and Mapping)技術を用いた移動体である。又、検出部12-1により検出した検出情報や、インターネット16を介して取得した外部システムの検出情報を基に、指定された所定の経路を自律移動できるように構成されている。
 自律移動体12は細かく指定された地点をトレースするようなトレース移動も可能であるし、大まかに設定された地点を通過しながらその間の空間においては自身で経路情報を生成し、移動することも可能である。以上のように、本実施形態の自律移動体12は、システム制御装置10により提供された前記固有識別子を用いた経路情報に基づき自律移動を行うことができる。尚、システム制御装置10は、少なくとも一台以上の自律移動体に制御指示を行う制御手段として機能している。
 図4に戻り、センサノード15は、例えばロードサイドカメラユニットのような映像監視システムなどの外部システムであり、検出部15-1、制御部15-2、情報記憶部(メモリ/HD)15-3、ネットワーク接続部15-4を備える。検出部15-1は、例えばカメラのような自身が検出可能なエリアの検出情報を取得するとともに、物体検出機能、測距機能を有する。
 制御部15-2は、コンピュータとしてのCPUを内蔵し、センサノード15の検出、データ保管、データ送信機能の制御を司り、センサノード15内の各部における処理を制御する。又、検出部15-1で取得した検出情報を情報記憶部(メモリ/HD)15-3に保管するとともに、ネットワーク接続部15-4を通じて変換情報保持装置14に送信する。
 以上のように、センサノード15は、検出部15-1で検出した画像情報、検出した物体の特徴点情報、位置情報などの検出情報を情報記憶部15-3に保存及び通信できるように構成されている。又、センサノード15は、自身が検出可能なエリアの前記検出情報を、前記変換情報保持装置14に提供する。
 次に、図4における各制御部の具体的なハードウェア構成に関して説明する。図7は、制御部10-2、制御部11-2、制御部12-2、制御部13-2、制御部14-3、制御部15-2の具体的なハードウェア構成例を示すブロック図である。
 図7において、21は情報処理装置の演算・制御を司るコンピュータとしてのCPUである。22はRAMであり、CPU21の主メモリとして、及び実行プログラムの領域や該プログラムの実行エリアならびにデータエリアとして機能する。23はCPU21の動作処理手順を記憶しているROMである。
 ROM23は情報処理装置の機器制御を行うシステムプログラムである基本ソフト(OS)を記録したプログラムROMと、システムを稼働するために必要な情報等が記録されているデータROMとを備える。尚、ROM23の代わりに、後述のHDD29を用いても良い。
 24はネットワークインターフェース(NETIF)であり、インターネット16を介して情報処理装置間のデータ転送を行うための制御や接続状況の診断を行う。25はビデオRAM(VRAM)であり、LCD26の画面に表示させるための画像を展開し、その表示の制御を行う。26はディスプレイ等の表示装置(以下、LCDと記す)である。
 27は外部入力装置28からの入力信号を制御するためのコントローラ(以下、KBCと記す)である。28は利用者が行う操作を受け付けるための外部入力装置(以下、KBと記す)であり、例えばキーボードやマウス等のポインティングデバイスが用いられる。
 29はハードディスクドライブ(以下、HDDと記す)であり、アプリケーションプログラムや各種データ保存用に用いられる。本実施形態におけるアプリケーションプログラムとは、本実施形態における各種処理機能を実行するソフトウェアプログラム等である。
 30はCDDであり、例えばCDROMドライブ、DVDドライブ、Blu-Ray(登録商標)ディスクドライブ等の、取り外し可能なデータ記録媒体としてのリムーバブル・メディア31とデータを入出力するためのものである。
 CDD30は、外部入出力装置の一例である。CDD30は、上述したアプリケーションプログラムをリムーバブル・メディアから読み出す場合等に用いられる。31はCDD30によって読み出しされる、例えば、CDROMディスク、DVD、Blu―Rayディスク等のリムーバブル・メディアである。
 尚、リムーバブル・メディアは、光磁気記録媒体(例えば、MO)、半導体記録媒体(例えば、メモリカード)等であっても良い。尚、HDD29に格納するアプリケーションプログラムやデータをリムーバブル・メディア31に格納して利用することも可能である。20は上述した各ユニット間を接続するための伝送バス(アドレスバス、データバス、入出力バス、及び制御バス)である。
 次に、図2、図3で説明したような経路設定アプリ等を実現するための自律移動体制御システムにおける制御動作の詳細について図8~図10を用いて説明する。図8は本実施形態に係る自律移動体制御システムが実行する処理を説明するシーケンス図であり、図9は、図8の続きのシーケンス図であり、図10は、図9の続きのシーケンス図である。
 図8~図10は、ユーザがユーザインターフェース11に前記位置情報を入力してから自律移動体12の現在位置情報を受け取るまでの、各装置が実行する処理を示している。尚、各装置内の制御部内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図8~図10のシーケンスの各ステップの動作が行われる。
 先ず、ステップS201において、ユーザがユーザインターフェース11でシステム制御装置10が提供するWEBページにアクセスする。ステップS202において、システム制御装置10はWEBページの表示画面に図2で説明したような位置入力画面を表示させる。ステップS203において、図2で説明したように、ユーザは自律移動体(モビリティ)を選択し、出発/経由/到着地点を示す位置情報(以下、位置情報)を入力する。
 前記位置情報は、例えば建物名や駅名や住所など、特定の場所を指定するワード(以下、位置ワード)でも良いし、前記WEBページに表示された地図の特定の位置をポイント(以下、ポイント)として指定する手法でも良い。
 ステップS204において、システム制御装置10は選択された自律移動体12の種別情報と、入力された前記位置情報を保存する。この時、前記位置情報が前記位置ワードの場合は、前記位置ワードを保存し、前記位置情報が前記ポイントの場合は、位置/経路情報管理部10-3に保存してある前記簡易的な地図情報を基に、ポイントに該当する緯度/経度を探索し、緯度/経度を保存する。
 次に、ステップS205において、システム制御装置10はユーザによって指定された自律移動体12のモビリティ形式(種別)から、移動できる経路の種別(以下、経路種別)を指定する。そして、ステップS206において、前記位置情報とともに経路決定装置13に送信する。
 前記モビリティ形式とは法的に区別された移動体の種別であり、例えば自動車、自転車、ドローンなどの種別を意味する。又、経路の種別とは、例えば自動車であれば一般道や高速道路、自動車専用道路等であり、自転車であれば所定の歩道、一般道の路側帯、自転車専用レーンなどである。
 ステップS207において、経路決定装置13は、受信した前記位置情報を、所有する地図情報に出発/経由/到着地点として入力する。前記位置情報が前記位置ワードの場合は、位置ワードにより地図情報で探索し、該当する緯度/経度情報を使用する。前記位置情報が緯度/経度情報の場合はそのまま地図情報に入力して使用する。
 続いて、ステップS208で、経路決定装置13は出発地点から経由地点を経由して到着地点までの経路を探索する。この時、探索する経路は前記経路種別に則った経路を検索する。そして、ステップS209で、経路決定装置13は探索の結果として、出発地点から経由地点を経由して到着地点までの経路(以下、経路情報)をGPX形式(GPS eXchange Format)で出力し、システム制御装置10に送信する。
 GPX形式のファイルは、ウェイポイント(順序関係を持たない地点情報)、ルート(時間情報を付加した順序関係を持つ地点情報)、トラック(複数の地点情報の集合体:軌跡)の3種類で主に構成されている。
 各地点情報の属性値としては緯度/経度、子要素として標高やジオイド高、GPS受信状況・精度などが記載される。GPXファイルに必要な最小要素は、単一ポイントの緯度/経度情報で、それ以外の情報の記述は任意である。前記経路情報として出力するのは前記ルートであり、順序関係を持つ緯度/経度からなる地点情報の集合体である。尚、経路情報は上記を満足できれば他の形式であっても良い。
 ここで、前記変換情報保持装置14のフォーマットデータベース14-4で管理しているフォーマットの構成例に関して図11(A)、図11(B)、図12を参照して詳しく説明する。
 図11(A)は地球の緯度/経度情報を示す図であり、図11(B)は図11(A)の所定の空間100を示す斜視図である。又、図11(B)において所定の空間100の中心を中心101とする。図12は空間100内の空間情報を模式的に示した図である。
 図11(A)、図11(B)において、フォーマットは、地球の空間を緯度/経度/高さを起点とした範囲によって決定される3次元の空間に分割し、夫々の空間に固有識別子を付加して管理可能とするものである。
 例えばここでは所定の3次元の空間として空間100を表示する。空間100は、北緯20度、東経140度、高さHを中心101に規定され、緯度方向の幅をD、経度方向の幅をW、高さ方向の幅をTと規定された分割空間である。又、地球の空間を前記緯度/経度/高さを起点とした範囲によって決定される空間に分割した1つの空間である。
 図11(A)においては便宜上、空間100のみを表示しているが、フォーマットの規定においては前述のとおり空間100と同じように規定された空間が緯度/経度/高さ方向に並んで配置されているものとする。そして配置された各分割空間は夫々緯度/経度によって水平位置を定義されているとともに、高さ方向にも重なりを持ち、高さによって高さ方向の位置を定義されているものとする。
 尚、図11(B)において前記緯度/経度/高さの起点として、前記分割空間の中心101を設定しているが、これに限定するものではなく、例えば空間の角部や、底面の中心を前記起点としても良い。
 又、形状も略直方体であればよく、地球のような球体表面上に敷き詰める場合を考えた時は、直方体の底面よりも天面のほうをわずかに広く設定したほうが、より隙間なく配置できる。
 図12において前記空間100を例にすると、前記フォーマットデータベース14-4には空間100の範囲に存在又は進入可能な物体の種別と時間に関する情報(空間情報)が夫々固有識別子と関連付けてフォーマット化されて保存されている。又、フォーマット化された空間情報は、過去から未来といった時系列に保管されている。
 即ち、変換情報保持装置14は、緯度/経度/高さによって定義される3次元の空間に存在又は進入可能な物体の種別に関する空間情報を固有識別子と関連付けてフォーマット化しフォーマットデータベース14-4に保存している。
 前記空間情報は、変換情報保持装置14に通信可能に接続された外部システム(例えばセンサノード15)などにより入力された情報に基づき更新され、変換情報保持装置14に通信可能に接続された他の外部システムに情報共有される。
 以上のように、本実施形態では、緯度/経度/高さによって定義される3次元の空間に存在又は進入可能な物体の種別と時間に関する情報(以下、空間情報)を固有識別子と関連付けてフォーマット化してデータベースに保存している。そしてフォーマット化された空間情報によって時空間を管理可能としている。
 図8に戻り、改めて自律移動体制御システムが実行する処理の続きを説明していく。ステップS210において、システム制御装置10は、受信した前記経路情報内の各地点情報間の間隔を確認する。そして、地点情報の間隔と前記フォーマットで規定する分割空間の起点位置同士の間隔とを整合したものを、位置点群データ(以下、位置点群データ)として作成する。
 この時、前記地点情報の間隔が前記分割空間の起点位置同士の間隔より小さい場合、システム制御装置10は分割空間の起点位置間隔に合わせて前記経路情報内の地点情報を間引いたものを位置点群データとする。又、前記地点情報の間隔が前記分割空間の起点位置同士の間隔より大きい場合、システム制御装置10は経路情報から逸脱しない範囲で地点情報を補間して位置点群データとする。
 次に、図9のステップS211に示すように、システム制御装置10は、前記位置点群データの各地点情報の緯度/経度情報を、変換情報保持装置14に経路の順番に送信する。又、ステップS212において、変換情報保持装置14は受信した緯度/経度情報に該当する固有識別子をフォーマットデータベース14-4から探索し、ステップS213において、システム制御装置10に送信する。
 ステップS214において、システム制御装置10は受信した固有識別子を元の位置点群データと同じ順に並べ、固有識別子を用いた経路情報(以下、フォーマット経路情報)として保管する。このように、ステップS214においては、システム制御装置10は、変換情報保持装置14のデータベースから空間情報を取得し、取得した空間情報と、移動体の種別情報に基づき前記移動体の移動経路に関する経路情報を生成している。
 ここで、前記経路情報から前記位置点群データを生成し、固有識別子を用いた経路情報に変換する過程を、図13(A)、図13(B)、図13(C)を参照して詳細に説明する。図13(A)は経路情報を地図情報で表示したイメージ図、図13(B)は位置点群データを用いた経路情報を地図情報で表示したイメージ図、図13(C)は固有識別子を用いた経路情報を地図情報で表示したイメージ図である。
 図13(A)において、120は経路情報、121は自律移動体12が通過できない移動不可領域、122は自律移動体12が移動可能な移動可能領域である。前記ユーザが指定した出発地点、経由地点、到着地点の位置情報をもとに、前記経路決定装置13により生成された経路情報120は、前記出発地点、経由地点、到着地点を通過し、かつ地図情報上で移動可能領域122上を通る経路として生成されている。
 図13(B)において、123は前記経路情報上の複数の位置情報である。前記経路情報120を取得したシステム制御装置10は、経路情報120上に、所定の間隔で配置した前記位置情報123を生成する。
 前記位置情報123は夫々緯度/経度/高さで表すことができ、これら位置情報123を本実施形態では位置点群データと呼ぶ。そして、システム制御装置10はこれら位置情報123の各点の緯度/経度/高さを1つずつ前記変換情報保持装置14に送信し、固有識別子に変換する。
 図13(C)において、124は前記位置情報123を1つずつ固有識別子に変換し、固有識別子が規定する空間範囲を四角い枠で表現した位置空間情報である。前記位置情報を固有識別子に変換することで、位置空間情報124が得られる。これにより、前記経路情報120が表現していた経路を、連続した位置空間情報124に変換して表現する。
 尚、各位置空間情報124には、前記空間の範囲に存在又は進入可能な物体の種別と時間に関する情報が紐づけられている。この連続した位置空間情報124を本実施形態ではフォーマット経路情報と呼ぶ。
 図9に戻り、改めて自律移動体制御システムが実行する処理の続きを説明する。ステップS214の次に、ステップS215において、システム制御装置10は前記フォーマット経路情報の各固有識別子に紐づけられた前記空間情報を変換情報保持装置14からダウンロードする。
 そしてステップS216で、システム制御装置10は、前記空間情報を、自律移動体12の前記サイバー空間の3次元マップに反映できる形式に変換して、所定空間内の複数物体(障害物)の位置を示す情報(以下、コストマップ)を作成する。前記コストマップは、前記フォーマット経路情報のすべての経路の空間に関して初めに作成しても良いし、一定領域で区切った形で作成し、順次更新していく方法で作成しても良い。
 次に、ステップS217において、システム制御装置10は、前記フォーマット経路情報と前記コストマップを、自律移動体12に割り当てられた固有識別番号に紐づけて保管する。
 自律移動体12は所定時間間隔で、自己の前記固有識別番号をネットワークを介して監視(以下、ポーリング)しており、ステップS218において、紐づけられたコストマップをダウンロードする。自律移動体12はステップS219において、前記フォーマット経路情報の各固有識別子の緯度/経度情報を、自己が作成したサイバー空間の3次元マップに対して経路情報として反映させる。
 次に、ステップS220において、自律移動体12は前記コストマップをルート上の障害物情報としてサイバー空間の3次元マップに反映する。前記コストマップが一定間隔で区切った形で作成されている場合は、前記コストマップが作成された領域を移動した後に、次の領域のコストマップをダウンロードし、コストマップを更新する。
 ステップS221において、自律移動体12は、前記経路情報に沿って前記コストマップで入力された物体(障害物)を回避しながら移動する。即ち、コストマップに基づき移動制御を行う。この時、ステップS222において、自律移動体12は物体検出を行いながら移動し、前記コストマップとの差異があれば物体検出情報を用いてコストマップを更新しつつ移動する。
 又、ステップS223において、自律移動体12はコストマップとの差異情報を、対応する固有識別子とともにシステム制御装置10に送信する。固有識別子と、コストマップとの差異情報を取得したシステム制御装置10は、図10のステップS224において、変換情報保持装置14に空間情報を送信し、ステップS225で、変換情報保持装置14は該当する固有識別子の空間情報を更新する。
 ここで更新する空間情報の内容は、コストマップとの差異情報をそのまま反映するわけではなく、システム制御装置10にて抽象化されてから変換情報保持装置14に送信される。前記抽象化の詳細な内容に関しては後述する。
 前記フォーマット経路情報に基づき移動している自律移動体12は、ステップS226において、各固有識別子に紐づけられた分割空間を通過するごとにシステム制御装置10に対して現在自身が通過している空間に紐づけられた固有識別子を送信する。
 又は前記ポーリング時に、自身の前記固有識別番号に紐づけても良い。システム制御装置10は、自律移動体12から受け取る、空間の固有識別子情報を基に、フォーマット経路情報上の自律移動体12の現在位置を把握する。
 前記ステップS226を繰り返すことで、システム制御装置10は前記フォーマット経路情報の中で、自律移動体12が現在どこにいるのかを把握することができる。尚、自律移動体12が通過した空間の固有識別子に関して、システム制御装置10は保持することをやめてもよく、それにより前記フォーマット経路情報の保持データ容量を削減することもできる。
 ステップS227において、システム制御装置10は把握した自律移動体12の現在位置情報を基に、図2及び図3で説明した確認画面50及び地図表示画面60を作成し、WEBページの表示画面に表示する。自律移動体12により、現在位置を示す前記固有識別子がシステム制御装置10に送信されるたびに、システム制御装置10は前記確認画面50及び地図表示画面60を更新する。
 一方、ステップS228において、センサノード15は検出範囲の検出情報を保存するとともに、ステップS229において前記検出情報を抽象化して、ステップS230において前記空間情報として変換情報保持装置14に送信する。前記抽象化とは、例えば物体が存在しているか否か、物体の存在状態に変化があったか否かといった情報であり、物体に関する詳細情報ではない。
 物体に関する詳細情報はセンサノード内のメモリに保管される。そして、ステップS231において、変換情報保持装置14は、抽象化された検出情報である前記空間情報を、空間情報に対応する位置の固有識別子に紐づけて保管する。これにより、フォーマットデータベース内の1つの固有識別子に前記空間情報が格納されたことになる。
 又、センサノード15とは異なる外部システムが前記空間情報を活用する場合、外部システムは変換情報保持装置14内の前記空間情報を基に、変換情報保持装置14を経由してセンサノード15内の前記検出情報を取得して活用する。この時、変換情報保持装置14は外部システムとセンサノード15の通信規格をつなぐ機能も有する。
 上記のような空間情報の格納をセンサノード15に限らず複数デバイス間で行うことで、変換情報保持装置14は比較的軽量なデータ量にて複数のデバイスのデータをつなぐ機能を有する。尚、ステップS215、S216においてシステム制御装置10がコストマップを作成の際に詳細な物体情報を必要とする場合は、空間情報の詳細な検出情報を保管している外部システムから詳細情報をダウンロードして使用すれば良い。
 ここで、自律移動体12の前記フォーマット経路情報の経路上において、センサノード15が前記空間情報を更新したとする。この時、ステップS232でセンサノード15は前記検出情報を取得し、ステップS233で抽象化された空間情報を生成して、ステップS234で変換情報保持装置14に送信する。変換情報保持装置14は、ステップS235で前記空間情報をフォーマットデータベース14-4に格納する。
 システム制御装置10は、管理する前記フォーマット経路情報における前記空間情報の変化を所定の時間間隔で確認しており、変化があればステップS236で空間情報をダウンロードする。
 そして、ステップS237で自律移動体12に割り当てられた固有識別番号に紐づけられたコストマップを更新する。自律移動体12はステップS238において、ポーリングにてコストマップの更新を認識し、自己が作成したサイバー空間の3次元マップに反映する。
 以上のように、複数デバイスで共有された空間情報を活用することで、自律移動体12は自己が認識できないルート上の変化を事前に認識でき、その変化に対応することができる。上記一連のシステムを遂行し、ステップS239で自律移動体12が到着地点に到着した場合には、ステップS240で固有識別子を送信する。
 これにより固有識別子を認識したシステム制御装置10は、ステップS241で、到着表示をユーザインターフェース11に表示し、アプリを終了する。本実施形態によれば、以上のようにしてデジタルアーキテクチャのフォーマット及びそれを用いた自律移動体制御システムを提供することができる。
 前述のように、フォーマットデータベース14-4には空間範囲に存在する物体の状態と時間に関する情報(空間情報)が過去から未来といった時系列に保管される。空間情報は、変換情報保持装置14に通信可能に接続された外部システム(例えばセンサノード15)などにより入力された情報により更新され、変換情報保持装置14に通信可能に接続された他の外部システムに情報共有される。変換情報保持装置14は、有線通信又は無線通信でネットワークに接続可能な装置である。
 以下、変換情報保持装置14の構成例について説明する。ここでは、現実世界の空間領域を分割して得られる各分割空間領域の立方体形状のボクセル(VOXEL)に、空間情報が紐づけられる場合について説明する。立方体形状の他、直方体形状、多角形のポリゴン形状、球形状などの各種形状の三次元空間領域に、空間情報が紐づけられて格納されてもよい。
 自律移動体制御システムにおいて空間情報を利用する対象の自律移動体として、自動車、トラック、ドローン、飛行機、AGV(無人搬送車)、AMR(搬送ロボット)など、様々な種類/大きさのものが想定される。フォーマットデータベース14-4内の、各分割空間領域のボクセルに紐づけられる空間情報を利用することで、自律移動体の適切な移動経路を決定することができる。
 図14は、変換情報保持装置14における空間情報の入出力について説明する図である。変換情報保持装置14は、一時記憶用メモリ200、作業用メモリ201、保存用ストレージ202及び保存用ストレージ203を備える。一時記憶用メモリ200は、第1記憶装置の一例である。保存用ストレージ202は、第2記憶装置の一例である。
 一時記憶用メモリ200や作業用メモリ201は、保存用ストレージ202及び203と比較して、情報の書き込み及び読み出しの高速処理に適した格納手段である。一方、保存用ストレージ202及び203は、一時記憶用メモリ200や作業用メモリ201と比較して、情報の書き込み及び読み出しの高速処理には適さないが、大容量の格納手段である。
 例えば、一時記憶用メモリ200と作業用メモリ201は、記憶容量当たりの製造コストが比較的高いメモリで構成され、保存用ストレージ202及び203は、記憶容量当たりの製造コストが比較的低いメモリで構成される。
 一時記憶用メモリ200と作業用メモリ201は、例えば、揮発性メモリであるDRAMやSRAMなどのRAMで構成される。DRAMは、Dynamic RAMの略称である。SRAMは、Static RAMの略称である。RAMは、Random Access Memoryの略称である。揮発性メモリは、電源がオフになるとデータが消える。
 保存用ストレージ202及び203は、例えば、不揮発性メモリであるEPROMやEEPROMなどのROMなどで構成される。EPROMは、Erasable Programmable ROMの略称である。EEPROMは、Electrically EPROMの略称である。ROMは、Read Only Memoryの略称である。
 不揮発性メモリは、電源がオフになってもデータが消えない。保存用ストレージ202及び203は、フラッシュメモリやSSD、HDDなどで構成されてもよい。SSDの略称である。HDDは、Hard Disk Driveの略称である。
 一時記憶用メモリ200、作業用メモリ201並びに保存用ストレージ202及び203は、図4に示したフォーマットデータベース14-4内に配置される。一時記憶用メモリ200と作業用メモリ201は、統合された一つのメモリで構成され、同一メモリ内の分割された2つ以上の記憶領域で構成されてもよい。
 また、保存用ストレージ202及び203は、統合された一つのストレージで構成され、同一ストレージ内の分割された2つ以上の記憶領域で構成されてもよい。また、一時記憶用メモリ200と作業用メモリ201のどちらか一方または両方が情報記憶部14-5内に配置されてもよい。また、一時記憶用メモリ200と作業用メモリ201のどちらか一方または両方が制御部14-3内に配置されてもよい。
 空間情報は、車両や歩行者の有無に関する情報、信号の状態(赤/青(緑)/黄)に関する情報などの動的情報と、路面や構造物の有無に関する情報(地物情報)などの静的情報とを含む。例えば、ダイナミックマップで定義される動的情報と准動的情報を、本実施形態における動的情報として取り扱い、ダイナミックマップで定義される静的情報と准静的情報を、本実施形態における静的情報として取り扱う。
 ただし、ダイナミックマップで定義される動的情報と准動的情報と准静的情報を、本実施形態における動的情報として取り扱い、ダイナミックマップで定義される静的情報を、本実施形態における静的情報として取り扱ってもよい。
 また、ダイナミックマップで定義される動的情報を、本実施形態における動的情報として取り扱い、ダイナミックマップで定義される准動的情報と准静的情報と静的情報を、本実施形態における静的情報として取り扱ってもよい。
 本実施形態では、動的情報は更新頻度が高いので、高速処理に適した一時記憶用メモリ200に格納される。一方、静的情報は更新頻度が低いので、一時記憶用メモリ200には格納されず、保存用ストレージ203に格納される。これにより、一時記憶用メモリ200の記憶領域の使用が抑制される。
 動的情報は、一時記憶用メモリ200に格納された後、事故などが発生した場合に過去の状況が調べられるように保存用ストレージ202にも格納される。ただし、受信した動的情報が、一時記憶用メモリ200に格納されるとともに、並行して、一時記憶用メモリ200を介さずに直接、保存用ストレージ202にも格納されるようにしてもよい。
 作業用メモリ201には、一時記憶用メモリ200または保存用ストレージ202から読み出された動的情報と、保存用ストレージ203から読み出された静的情報が複製・展開される。そして、作業用メモリ201で統合処理などが施された動的情報と静的情報は、ネットワーク接続部14-6を介して、システム制御装置10などに送信される。
 なお、動的情報と静的情報のどちらか一方の情報のみが、システム制御装置10などから要求された場合は、動的情報と静的情報のどちらか一方の情報のみが作業用メモリ201に展開されて、システム制御装置10などに送信されてもよい。
 動的情報と静的情報のメモリ/ストレージへの書き込みと読み出しの制御は、制御部14-3が行う。一時記憶用メモリ200に格納された動的情報は、一時記憶用メモリ200の使用容量が所定の制限値を超えると、古い情報から順次消去されていく。
 図15は、変換情報保持装置14の制御部14-3が、外部から受信した空間情報をメモリ/ストレージに格納する処理について説明するフロー図である。ステップS11で、制御部14-3は、ロードサイドユニットのような映像監視システムなどのセンサノード15、又は図示しない地図データベースなどから、ネットワーク接続部14-6を介して、ある空間範囲の空間情報を受信する。
 例えば、ETSI(欧州電気通信標準化機構)既定の、車両の位置や速度などを通知するCAM(Cooperative Awareness Message)で空間情報を受信してもいい。
 また、必要な事態が発生したときにそれを通知するDENM(Decentralized Environmental Notification Message)で空間情報を受信してもよい。また、検出されたオブジェクトの情報を通知するCPM(Collective Perception Message)で空間情報を受信してもよい。
 次に、ステップS12で、制御部14-3は、受信した空間情報が動的情報か否かを判定する。ステップS12で、受信した空間情報が動的情報であると判定された場合は、制御部14-3はステップS13の処理を実行する。
 ステップS13で、制御部14-3は、受信した動的情報を、対応する分割空間領域のボクセルに紐づけて一時記憶用メモリ200に格納する。続いて、ステップS14で、制御部14-3は、一時記憶用メモリ200から動的情報を読み出して、保存用ストレージ202に格納する。
 ステップS12で、受信した空間情報が動的情報ではない(つまり、静的情報である)と判定された場合は、制御部14-3はステップS15の処理を実行する。ステップS15で、制御部14-3は、受信した静的情報を、対応する分割空間領域のボクセルに紐づけて保存用ストレージ203に格納する。
 ここで、ステップS12、ステップS13,ステップS15は、情報保持工程(情報保持手段)として機能している。又、この変換情報保持工程では、例えば緯度/経度/高さによって定義される空間に存在する物体の種別に関する情報及び時間に関する情報を含む空間情報を固有識別子と関連付けてフォーマットに変換し保持している。又、情報保持工程では、動的情報を第1記憶装置に記憶し、静的情報を第2記憶装置に記憶している。
 本実施形態では、制御部14-3は、動的情報はセンサノード15から受信し、静的情報は地図データベースから受信するものとする。ただし、動的情報と静的情報の両方をセンサノード15から受信してもよいし、動的情報と静的情報の両方を地図データベースから受信してもよい。
 例えば、センサノード15によって動く物体が検出された場合などに、動的情報がセンサノード15から変換情報保持装置14にプッシュ(Push)送信される。また、変換情報保持装置14に予め設定された時間になった場合などに、静的情報が地図データベースから変換情報保持装置14にプル(Pull)送信される。
 ただし、動的情報と静的情報の両方が変換情報保持装置14にプッシュ送信されてもよいし、動的情報と静的情報の両方が変換情報保持装置14にプル送信されてもよい。
 図16は、変換情報保持装置14の制御部14-3が、空間情報をメモリ/ストレージから読み出して外部に出力する処理について説明するフロー図である。ステップS21で、制御部14-3は、システム制御装置10などから、ある空間範囲のリアルタイム又は直近の空間情報の取得要求を受けたかを判定する。
 ステップS21で、システム制御装置10などから、ある空間範囲のリアルタイム又は直近の空間情報の取得要求を受けたと判定された場合は、制御部14-3はステップS22の処理を実行する。
 ステップS22で、制御部14-3は、対応する分割空間領域のボクセルに紐づけられた動的情報を一時記憶用メモリ200から読み出し、対応する分割空間領域のボクセルに紐づけられた静的情報を保存用ストレージ203から読み出す。またステップS22で、制御部14-3は、読みだした動的情報と静的情報を、作業用メモリ201で展開して統合処理などを施し、システム制御装置10に出力する。
 ステップS21で、システム制御装置10などから、ある空間範囲のリアルタイム又は直近の空間情報の取得要求を受けていないと判定された場合は、制御部14-3はステップS23の処理を実行する。ステップS23で、制御部14-3は、システム制御装置10などから、ある空間範囲の過去の空間情報の取得要求を受けたかを判定する。
 ステップS23で、システム制御装置10などから、ある空間範囲の過去の空間情報の取得要求を受けたと判定された場合は、制御部14-3はステップS24の処理を実行する。ステップS24で、制御部14-3は、対応する分割空間領域のボクセルに紐づけられた動的情報を保存用ストレージ202から読み出し、対応する分割空間領域のボクセルに紐づけられた静的情報を保存用ストレージ203から読み出す。
 またステップS24で、制御部14-3は、読みだした動的情報と静的情報を、作業用メモリ201で展開して統合処理などを施し、システム制御装置10に出力する。ステップS23で、システム制御装置10などから、ある空間範囲の過去の空間情報の取得要求を受けていないと判定された場合は、制御部14-3は処理を終了する。
 制御部14-3は、ステップS22及びS24において動的情報や静的情報に統合処理を施す。この統合処理は、例えば、対象の各分割空間領域のボクセルに紐づけられた動的情報と静的情報に基づいて、対象の各分割空間領域を自律移動体が通行できるか否かなどを示す点群データをコストマップ(Costmap)として生成・出力してもよい。
 この統合処理は、例えば、対象の各分割空間領域の車両の有無、歩行者の有無、車道の有無、構造物の有無などを示す点群データをコストマップとして生成・出力してもよい。
 図17は、一時記憶用メモリ200に格納される動的情報のデータ構造の例を示す図である。動的情報は、対応するボクセルの固有識別子、情報受信日時に関する日時情報、車両の有無に関する車両情報、歩行者の有無に関する歩行者情報、信号の状態(赤/青(緑)/黄)に関する信号情報などを含む。
 例えば、固有識別子:VS1の日時:2022年4月1日8時00分02秒における動的情報は、車両情報:車両あり、歩行者情報:歩行者なし、信号情報:青となっている。
 各装置は、例えば、NTP(Network Time Protocol)サーバーからネットワークを介して正確な日時情報を受信し、正確な時刻管理を行っているものとする。なお、赤/青/黄の信号色の状態が周期的に変化する信号機の場合、周期的な変化の基準となる基準時刻情報と、信号色の周期情報を含む情報を信号情報としてもよい。
 図21は、周期的な信号情報の例を示す図である。例えば、基準時刻情報として、2022年4月1日8時00分00秒、信号色の周期情報として、青色の時間長60秒、黄色の時間長3秒、赤色の時間長27秒等の情報(信号色の状態とその時間長を含む周期情報)としてもよい。夜間など、時間帯に応じて信号色の変化の周期が変わる場合は、時間帯に応じた信号色の周期情報を用いればよい。
 この場合、変換情報保持装置14は、例えば、各都道府県の交通管制センターの信号システム又は信号機などから、基準時刻情報と信号色の周期情報を含む信号情報を受信して、メモリ/ストレージに格納する。
 システム制御装置10は、変換情報保持装置14から、基準時刻情報と信号色の周期情報を含む信号情報を取得する。システム制御装置10は、2022年4月1日8時00分00秒~8時01分00秒は青色、2022年4月1日8時01分01秒~8時01分03秒は黄色、2022年4月1日8時01分04秒~8時01分30秒は赤色といった各信号色と時刻とを対応づけた情報を生成する。
 ただし、システム制御装置10ではなく、変換情報保持装置14や自律移動体12が、上記の各信号色と時刻とを対応づけた情報を生成してもよい。なお、押しボタン式信号機のように、ボタン押下により信号色の変化が周期モードから非周期モードに移行する場合は、図21に示したようなイベント情報を信号情報に含んでもよい。
 例えば、非周期モードに移行後、黄色の時間長3秒、赤色の時間長27秒が経過したら、周期モードに戻る(青色に戻る)。信号色の変化が非周期的な信号機の場合は、情報受信時のタイミングにおける非周期的な信号色の情報を信号情報として用いればよい。また、信号色が周期的に変化する信号機について、非周期的な信号情報と周期的な信号情報の両方を用いてもよい。
 ある信号機について周期モードから非周期モードに切り替わる場合、変換情報保持装置14は、交通管制センターの信号システム又は信号機などから、モード変更のイベント情報の通知を受け、メモリ/ストレージに格納する。
 このように、基準時刻情報と信号色の周期情報を信号情報として取り扱う場合は、信号の色が実際に変化する前に、予め信号の状態を把握することができる。したがって、信号が青色から黄色に変化する前に自律移動体12が減速を開始したり、信号が赤色から青色に変化する前に、自律移動体12が発進の準備をしたりすることができるようになる。
 なお、動的情報に含まれる信号情報を例に挙げたが、その他の周期的に変化する各種情報についても、周期的な変化の基準となる基準時刻情報と、状態とその時間長を含む周期情報とを空間情報として用いてもよい。即ち、動的情報は、少なくとも周期的に変化する状態に関する基準時刻情報や周期情報を含むものであれば良い。
 例えば、ある地点における海面の満潮になる基準時刻情報と、次の満潮状態になるまでの時間長を含む周期情報とを空間情報として用いてもよい。また、動的情報としてではなく静的情報として、周期的な変化の基準となる基準時刻情報と、状態とその時間長を含む周期情報とを取り扱ってもよい。
 変換情報保持装置14の制御部14-3は、センサノード15などから受信した空間情報から動的情報を抽出して、対応する位置の分割空間領域のボクセルに紐づけて一時記憶用メモリ200に格納する。具体的には、受信した空間情報に含まれる経度、緯度、高さ(x1,y1,z1)の情報と、各ボクセルの中心の空間位置情報(経度、緯度、高さ)とに基づいて、動的情報が対応する位置のボクセルと紐づけられる。
 各ボクセルの中心ではなく、各ボクセルの頂点の空間位置情報(経度、緯度、高さ)を用いてもよい。なお、センサノード15から、属性情報(メタデータ)の形式での空間情報が取得できない場合は、センサノード15から映像データなどを取得して画像解析による物体検出/物体認識により物体の有無を判別することで、動的情報を取得してもよい。
 各ボクセルの固有識別子として、空間内で当該ボクセルが識別可能なように唯一のIDが割り振られる。例えば、モートンオーダー(八分木)で各ボクセルのIDを割り振ることで、IDによって各ボクセルの位置関係を特定することができ、互いに隣接するボクセルや親子関係のボクセルも特定することができる。モートンオーダー(八分木:Octree)とは、木構造の一種で、各ノードに最大8個の子ノードがある。3次元空間を8つのオクタント(八分空間)に再帰的に分割する場合などに使われる。
 一時記憶用メモリ200に格納される動的情報は、高速処理に対応する必要があるため、例えば、非リレーショナルなNoSQL(Not Only SQL)のカラム指向型のデータ形式で格納されるものとする。図17の例では、固有識別子:VS1,VS2,VS3・・・のそれぞれに紐づけられた動的情報が順次、ストリーム的に格納されていく。
 NoSQLのキーバリュー型、ドキュメント指向型、グラフ型などのデータ形式を用いてもよい。非リレーショナルデータベースであるNoSQLでは、リレーショナルデータベース(RDB:Relational Database)と比べて、処理速度が速く、自由度が高い。NoSQLでは、様々なデータフォーマットの大量の非構造化/半構造化データをリアルタイムで処理することができ、高速に応答を返すことができる。ただし、NoSQL以外のデータベース形式を用いてもよいし、データベースの形式でなくてもよい。
 図18は、保存用ストレージ202及び203に格納される動的情報及び静的情報のデータ構造の例を示す図である。保存用ストレージ202及び203に格納される動的情報及び静的情報は、例えば、リレーショナルデータベース(RDB)の形式で格納される。
 これらの動的情報及び静的情報は、Log用に過去の情報が大量に蓄積されていくので、保存された大量の情報から所望の情報を検索しやすいようなデータ形式で管理することが望ましい。RDBは、一貫性のある構造化データを確実に保存するのに適している。ただし、RDBではなく、NoSQLなどの他のデータベース形式を用いてもよい。
 動的情報は、対応するボクセルの固有識別子、情報受信日時に関する日時情報、車両の有無に関する車両情報、歩行者の有無に関する歩行者情報、信号の状態(赤/青(緑)/黄)に関する信号情報などを含む。例えば、固有識別子:VS1の日時:2022年4月1日8時00分02秒における動的情報は、図17に示したものと同じである。
 動的情報は、例えば、固有識別子:VS1,VS2,VS3・・・のボクセル毎にテーブル管理される。ただし、車両情報のテーブルと歩行者情報のテーブルなどのように、動的情報の種別毎にテーブル管理してもよい。
 静的情報は、対応するボクセルの固有識別子、情報受信日時に関する日時情報、各ボクセルの中心の空間位置情報(経度、緯度、高さ)、道路の有無に関する路面情報、構造物の有無に関する構造物情報などを含む。
 例えば、固有識別子:VS1の日時:2022年4月1日8時00分00秒における静的情報は、空間位置情報(経度、緯度、高さ):x1,y1,z1、路面情報:車道あり、構造物情報:構造物ありとなっている。静的情報は、例えば、固有識別子:VS1,VS2,VS3・・・のボクセル毎にテーブル管理される。ただし、路面情報のテーブルと構造物情報のテーブルなどのように、静的情報の種別毎にテーブル管理してもよい。
 保存用ストレージ202及び203に格納される動的情報及び静的情報は、事故などが発生した場合に過去の状況が調べられるように、必要に応じて、正規化処理が施され、統計処理が施される。また、改ざん防止のためにブロックチェーン技術を適用してもよい。
 また、蓄積される過去のデータが膨大になる場合は、ある時点よりも古いデータを圧縮してデータ量を減らしたり、ある時点よりも古いデータを外部のデータベースに移動したりしてもよい。
 保存用ストレージ202及び203に格納される動的情報及び静的情報は、固有識別子によって互いに対応づけされているので、例えば、同じ固有識別子の同じ時間帯の動的情報と静的情報とを統合処理することができる。また、一時記憶用メモリ200に格納される動的情報と、保存用ストレージ203に格納される静的情報は、固有識別子によって互いに対応づけされているので、例えば、同じ固有識別子の同じ時間帯の動的情報と静的情報とを統合処理することができる。
 本実施形態によれば、空間情報に含まれる動的情報と静的情報を異なる記憶領域に格納し、好適に管理して処理することが可能になる。具体的には、更新頻度が高い動的情報は、記憶容量当たりの製造コストが比較的高く、高速処理に適した一時記憶用メモリに格納され、更新頻度が低い静的情報は、記憶容量当たりの製造コストが比較的低い、保存用ストレージに格納される。
 そして、ある空間範囲のリアルタイム又は直近の空間情報の取得要求を受けた場合、一時 
記憶用メモリから読み出された動的情報と、保存用ストレージから読み出された静的情報が、作業用メモリで展開され、外部に出力される。また、動的情報は、事故などが発生した場合に過去の状況が調べられるように、保存用ストレージ202にも格納される。
 そして、ある空間範囲の過去の空間情報の取得要求を受けた場合、保存用ストレージから読み出された動的情報と、保存用ストレージから読み出された静的情報が、作業用メモリで展開され、外部に出力される。
 ところで、1つの変換情報保持装置が広範囲の空間情報を管理するのは負荷が大きいため、複数の変換情報保持装置で処理負荷を分散させる方法が考えられる。例えば、地理的に分散配置された管轄領域ごとに、管轄する変換情報保持装置が空間情報を管理することが考えられる。この点について、図19を参照して以下に説明する。
 図19は、広域エリアを管轄する変換情報保持装置14Aと、狭域エリアを管轄する変換情報保持装置14B,14C,14D及び14Eとを階層配置したシステムについて説明する図である。
 本実施形態においては、例えば、狭域エリアを管轄する変換情報保持装置14B,14C,14D及び14Eは、それぞれが管轄する狭域エリアの詳細な空間情報を保持する。また、広域エリアを管轄する変換情報保持装置14Aは、管轄する広域エリアの粗い空間情報を保持する。
 本実施形態においては、例えば、狭域エリアを管轄する変換情報保持装置14B,14C,14D及び14Eでリアルタイムの処理を行う。また、4つの狭域エリアを包含する広域エリアを管轄する変換情報保持装置14Aで非リアルタイムの処理を行う。
 ところで、自律移動体制御システムにおいて空間情報を利用する対象の自律移動体として、自動車、トラック、ドローン、飛行機、AGV(無人搬送車)、AMR(搬送ロボット)など、様々な種類/大きさのものが想定される。
 自律移動体の種類/大きさやユースケースなどに応じて、利用に適したボクセルのサイズが異なることが考えられる。仮に、全てのボクセルのサイズが単一であった場合、自律移動体の種類/大きさやユースケースなどに応じて、適したサイズのボクセルを利用することができないので、利便性が良くない。そこで、本実施形態では、ボクセルのサイズの階層構造について採用することができる。この点について、図20を参照して以下に説明する。
 図20は、ボクセルの階層構造のイメージを示した図である。空間内には、大きいサイズの大ボクセルVL1,VL2,VL3,・・・が、経度(x)・緯度(y)・高さ(z)のそれぞれの方向に隣接して配置される。
 また、それぞれの大ボクセルの内部には、大ボクセルを分割(区分)して得られる、大ボクセルよりも小さいサイズの中ボクセルが複数配置されている。例えば、大ボクセルVL4の内部には、大ボクセルVL4を経度(x)・緯度(y)・高さ(z)のそれぞれの方向に均等に分割して得られる中ボクセルVM1,VM2,・・・VM8が配置される。
 また、それぞれの中ボクセルの内部には、中ボクセルを分割(区分)して得られる、中ボクセルよりも小さいサイズの小ボクセルが複数配置される。例えば、中ボクセルVM4の内部には、中ボクセルVM4を経度(x)・緯度(y)・高さ(z)のそれぞれの方向に均等に分割して得られる小ボクセルVS1,VS2,・・・VS8が配置される。
 なお、ここでは大中小の3段階のボクセルの階層構造を例示しているが、2段階であってもよいし、4段階以上であってもよい。例えば、それぞれの小ボクセルの内部に、小ボクセルよりもさらに小さいサイズの微小ボクセルが複数配置されるようにしてもよい。
 さらに、それぞれの微小ボクセルの内部に、微小ボクセルよりもさらに小さいサイズのボクセルが複数配置されるようにしてもよい。これらのサイズの異なるボクセルは同一形状を有する。
 なお、高さ(z)は、基準面/点からの高さを表すものとするが、海面や地表面を基準面とした高度であってもよい。海上/地上はプラスの値で海中/地下はマイナスの値を持つものとしてもよい。また、地球の中心を基準点とした基準点からの高さを表すものとしてもよい。
 大ボクセルのサイズは、例えば各辺50m、又は100mなどの任意の値に設定される。空間内の全ての大ボクセルのサイズが統一されていてもよいし、空間内の位置によって異なるサイズとしてもよい。
 例えば、地上及びその上空における大ボクセルのサイズを各辺50mとし、物体があまり存在しない海上及びその上空における大ボクセルのサイズを各辺100m、海中及び地下の大ボクセルのサイズを各辺500mとしてもよい。
 例えば、広域エリアを管轄する変換情報保持装置14Aは、大ボクセルに紐づけられる空間情報のみを保持し、狭域エリアを管轄する変換情報保持装置14B~14Eは、それぞれ中ボクセル及び小ボクセルに紐づけられる空間情報を保持する。
 これにより、広域エリアを管轄する変換情報保持装置14Aにおける、空間情報を格納する記憶領域の使用容量を抑えることができる。また、狭域エリアを管轄する変換情報保持装置14B~14Eにおける、空間情報を格納する記憶領域の使用容量を抑えることができる。
 なお、広域エリアを管轄する変換情報保持装置14Aは、大ボクセル及び中ボクセルに紐づけられる空間情報を保持するようにしてもよい。この場合、狭域エリアを管轄する変換情報保持装置14B~14Eは、それぞれ小ボクセルに紐づけられる空間情報のみを保持するようにしてもよい。
 また、変換情報保持装置は、広域エリアを管轄する装置及び狭域エリアを管轄する装置のような2段階の階層配置ではなく、例えば、広域エリア、中域エリア及び狭域エリアの3段階の階層配置にしてもよい。
 その場合、例えば、広域エリアを管轄する変換情報保持装置は、大ボクセルに紐づけられる空間情報のみを保持し、中域エリアを管轄する変換情報保持装置は、中ボクセルに紐づけられる空間情報のみを保持する。
 そして、狭域エリアを管轄する変換情報保持装置は、小ボクセルに紐づけられる空間情報のみを保持する。また、広域エリアを管轄する変換情報保持装置の空間情報の更新頻度を低くすることで、広域エリアを管轄する変換情報保持装置の処理負荷を低減してもよい。
 上述のように、空間内に配置される分割空間領域のフォーマットを階層構造とすることにより、用途に応じて適したサイズのボクセルを選択して利用することができる。例えば、自律移動体の経路決定のユースケースでは、自動車、トラック、ドローン、飛行機、AGV(無人搬送車)、AMR(搬送ロボット)など、経路決定する自律移動体の種類に応じたサイズのボクセルを選択することができる。
 また、大きな自律移動体の場合には大きなサイズのボクセルを選択し、小さな自律移動体の場合に小さなサイズのボクセルを選択するなど、経路決定する自律移動体の大きさに応じたサイズのボクセルを選択することができる。
 また、道路の幅が大きい箇所では大きなサイズのボクセルを選択し、道路の幅が小さな箇所では小さなサイズのボクセルを選択するなど、移動経路の道路の幅に応じたサイズのボクセルを選択することもできる。
 また、建造物や道路などをメンテナンスするようなユースケースにおいて、建造物や道路などのひび割れや腐敗箇所を点検・補修する場合に、ひび割れや腐敗箇所の大きさに応じたサイズのボクセルを選択することもできる。
 そして、システム制御装置10は、選択したサイズのボクセルの空間情報を格納している変換情報保持装置から空間情報を取得すればよい。
 仮に、空間内に大ボクセルしか配置されない場合、例えば小さな自律移動体が移動する際にも大ボクセルの空間情報を利用することになるので、適切な経路決定が行えなかったり、高精度な経路決定が行えなかったりする可能性がある。
 また、空間内に小ボクセルしか配置されない場合、例えば大きな自律移動体が移動する際にも小ボクセルの空間情報を利用することになるので、多数の小ボクセルの空間情報を処理する必要が生じ、処理負荷が大きくなる可能性がある。本実施形態によれば、これが解決される。
 本実施形態によれば、用途に応じて適したサイズのボクセルを選択して利用することができるため、処理負荷を低減しつつ、適切な経路決定を行うことが可能になり、空間に関する情報の利便性が向上するなどの効果がある。また、広域エリアを管轄する変換情報保持装置と、狭域エリアを管轄する変換情報保持装置を階層配置することで、変換情報保持装置の処理負荷を分散することができる。
 以上の説明のように、本発明の実施形態によれば、デジタルアーキテクチャのフォーマット及びそれを用いた自律移動体制御システムが安全性を考慮したうえでより効率的に提供される。
 尚、上述の各実施形態においては自律移動体に制御システムを適用した例について説明した。しかし、本発明の移動体は、AGV(Automated Guided Vehicle)やAMR(Autonomous Mobile Robot)などの自律移動体に限らない。
 例えば自動車、列車、船舶、飛行機、ロボット、ドローンなどの移動をする移動装置であればどのようなものであってもよい。また、本発明の制御システムは一部がそれらの移動体に搭載されていても良いし、搭載されていなくても良い。また、移動体をリモートでコントロールする場合にも本発明を適用することができる。
 以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
 尚、上記実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して制御システム等に供給するようにしてもよい。そしてその制御システム等におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
(関連出願の相互参照)
 本出願は、先に出願された、2022年2月1日に出願された日本特許出願第2022-014166号、2022年8月9日に出願された日本特許出願第2022-127409号、2022年12月22日に出願された日本特許出願第2022-205133号の利益を主張するものである。また、上記日本特許出願の内容は本明細書において参照によりその全体が本明細書に組み込まれる。

 

Claims (13)

  1.  空間に存在する物体の種別に関する情報及び時間に関する情報を含む空間情報を固有識別子と関連付けてフォーマットに変換し保持する情報保持手段を有し、
     前記空間情報は、動的情報と静的情報とを有し、
     前記情報保持手段は、前記動的情報を第1記憶装置に記憶し、前記静的情報を第2記憶装置に記憶することを特徴とする情報処理装置。
  2.  前記静的情報は、前記動的情報よりも更新頻度が低い情報であることを特徴とする請求項1に記載の情報処理装置。
  3.  前記動的情報は、車両や歩行者の有無に関する情報、及び信号の状態に関する情報を含み、
     前記静的情報は、路面や構造物の有無に関する情報を含むことを特徴とする請求項1に記載の情報処理装置。
  4.  前記第1記憶装置は、一時記憶メモリであり、
     前記第2記憶装置は、保存用ストレージであることを特徴とする請求項1に記載の情報処理装置。
  5.  前記第1記憶装置は、揮発性メモリであり、
     前記第2記憶装置は、不揮発性メモリであることを特徴とする請求項1に記載の情報処理装置。
  6.  前記動的情報は、NoSQLで記憶され、
     前記静的情報は、RDBで記憶されることを特徴とする請求項1に記載の情報処理装置。
  7.  前記固有識別子は、八分木で記憶されることを特徴とする請求項1に記載の情報処理装置。
  8.  前記動的情報は、周期的に変化する状態に関する周期情報を含むことを特徴とする請求項1に記載の情報処理装置。
  9.  前記動的情報は、周期的に変化する状態に関する基準時刻情報を含むことを特徴とする請求項8に記載の情報処理装置。
  10.  少なくとも一台以上の自律移動体に制御指示を行う制御手段と、
     空間に存在する物体の種別に関する情報及び時間に関する情報を含む空間情報を固有識別子と関連付けてフォーマットに変換し保持する情報保持手段と、を有し、
     前記空間情報は、動的情報と静的情報とを有し、
     前記制御手段は、前記動的情報を第1記憶装置に記憶し、前記静的情報を第2記憶装置に記憶し、
     前記情報保持手段は、前記空間情報に基づき、前記自律移動体の移動経路に関する経路情報を生成することを特徴とする制御システム。
  11.  前記情報保持手段は、異なる広さのエリアのそれぞれを管轄する複数の装置で構成されることを特徴とする請求項10に記載の制御システム。
  12.  緯度/経度/高さによって定義される空間に存在する物体の種別に関する情報及び時間に関する情報を含む空間情報を固有識別子と関連付けてフォーマットに変換し保持する情報保持工程を有し、
     前記空間情報は、動的情報と静的情報とを有し、
     前記情報保持工程は、前記動的情報を第1記憶装置に記憶し、前記静的情報を第2記憶装置に記憶することを特徴とする制御方法。
  13.  以下の制御方法の各工程を実行させるためのコンピュータプログラムを記憶した記憶媒体であって、制御方法は、
     空間に存在する物体の種別に関する情報及び時間に関する情報を含む空間情報を固有識別子と関連付けてフォーマットに変換し保持する情報保持工程を有し、
     前記空間情報は、動的情報と静的情報とを有し、
     前記情報保持工程は、前記動的情報を第1記憶装置に記憶し、前記静的情報を第2記憶装置に記憶することを特徴とする。

     
PCT/JP2023/002468 2022-02-01 2023-01-26 情報処理装置、制御システム、制御方法、及び記憶媒体 WO2023149346A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2022-014166 2022-02-01
JP2022014166 2022-02-01
JP2022127409 2022-08-09
JP2022-127409 2022-08-09
JP2022205133A JP2023112659A (ja) 2022-02-01 2022-12-22 情報処理装置、制御システム、制御方法、及びコンピュータプログラム
JP2022-205133 2022-12-22

Publications (1)

Publication Number Publication Date
WO2023149346A1 true WO2023149346A1 (ja) 2023-08-10

Family

ID=87552397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/002468 WO2023149346A1 (ja) 2022-02-01 2023-01-26 情報処理装置、制御システム、制御方法、及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2023149346A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126683A (ja) * 2004-11-01 2006-05-18 Hitachi Ltd 差分地図データ配信方法
JP2007121000A (ja) * 2005-10-26 2007-05-17 Nissan Motor Co Ltd ナビゲーション装置
WO2017145361A1 (ja) * 2016-02-26 2017-08-31 三菱電機株式会社 情報処理装置及び情報処理方法
US10186083B1 (en) * 2015-03-26 2019-01-22 Google Llc Method and system for navigating in panoramic images using voxel maps
JP2020038360A (ja) * 2018-08-31 2020-03-12 株式会社デンソー 車両側装置、方法および記憶媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126683A (ja) * 2004-11-01 2006-05-18 Hitachi Ltd 差分地図データ配信方法
JP2007121000A (ja) * 2005-10-26 2007-05-17 Nissan Motor Co Ltd ナビゲーション装置
US10186083B1 (en) * 2015-03-26 2019-01-22 Google Llc Method and system for navigating in panoramic images using voxel maps
WO2017145361A1 (ja) * 2016-02-26 2017-08-31 三菱電機株式会社 情報処理装置及び情報処理方法
JP2020038360A (ja) * 2018-08-31 2020-03-12 株式会社デンソー 車両側装置、方法および記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAMIBAYASHI, TAKASHI: "Database Issues. RDB or NoSQL. Which one? Ironclad rules for thinking about DBs properly.", SOFTWARE DESIGN, GIJUTSU HYORONSHA, TOKYO,, JP, no. 281, 18 March 2014 (2014-03-18), JP , pages 42 - 53, XP009548408, ISSN: 0916-6297 *

Similar Documents

Publication Publication Date Title
US11068516B2 (en) High definition map and route storage management system for autonomous vehicles
US11754716B2 (en) Encoding LiDAR scanned data for generating high definition maps for autonomous vehicles
US11598876B2 (en) Segmenting ground points from non-ground points to assist with localization of autonomous vehicles
US11460580B2 (en) Nearest neighbor search using compressed octrees representing high definition maps for autonomous vehicles
US20200393268A1 (en) Storing normals in compressed octrees representing high definition maps for autonomous vehicles
WO2023149346A1 (ja) 情報処理装置、制御システム、制御方法、及び記憶媒体
JP2023112659A (ja) 情報処理装置、制御システム、制御方法、及びコンピュータプログラム
WO2023149288A1 (ja) 情報処理装置、情報処理方法、及び記憶媒体
WO2023149308A1 (ja) 制御システム、制御方法、及び記憶媒体
WO2023149264A1 (ja) 制御システム、制御方法、及び記憶媒体
WO2023149358A1 (ja) 制御システム、制御方法、及び記憶媒体
WO2023149353A1 (ja) 制御システム、制御方法、及び記憶媒体
JP2023112672A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2023149349A1 (ja) 制御システム、制御方法、及び記憶媒体
JP2023112665A (ja) 制御システム、制御方法、及びコンピュータプログラム
WO2023149370A1 (ja) 制御システム、制御方法、及び記憶媒体
WO2023149373A1 (ja) 制御システム、制御方法、及び記憶媒体
JP2023112656A (ja) 制御システム、制御方法、及びコンピュータプログラム
JP2023112669A (ja) 制御システム、制御方法、及びコンピュータプログラム
WO2023149292A1 (ja) 情報処理システム、制御方法、及び記憶媒体
WO2023149319A1 (ja) 自律移動体制御システム、制御方法
JP2023112658A (ja) 制御システム、制御方法、及びコンピュータプログラム
US11618477B2 (en) Service area maps for autonomous vehicles
US20230196246A1 (en) Systems and methods for determining a sustainability score
JP2023112666A (ja) 制御システム、制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23749662

Country of ref document: EP

Kind code of ref document: A1