WO2022264493A1 - 情報生成方法、情報生成装置及びプログラム - Google Patents

情報生成方法、情報生成装置及びプログラム Download PDF

Info

Publication number
WO2022264493A1
WO2022264493A1 PCT/JP2022/005115 JP2022005115W WO2022264493A1 WO 2022264493 A1 WO2022264493 A1 WO 2022264493A1 JP 2022005115 W JP2022005115 W JP 2022005115W WO 2022264493 A1 WO2022264493 A1 WO 2022264493A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
moving body
area
move
movement
Prior art date
Application number
PCT/JP2022/005115
Other languages
English (en)
French (fr)
Inventor
達也 小山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023529482A priority Critical patent/JPWO2022264493A1/ja
Priority to EP22824494.3A priority patent/EP4357872A1/en
Priority to CN202280040217.8A priority patent/CN117529693A/zh
Publication of WO2022264493A1 publication Critical patent/WO2022264493A1/ja
Priority to US18/530,534 priority patent/US20240103541A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/229—Command input data, e.g. waypoints
    • G05D1/2297—Command input data, e.g. waypoints positional data taught by the user, e.g. paths
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G05D1/2249—Optic providing the operator with simple or augmented images from one or more cameras using augmented reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G05D1/222—Remote-control arrangements operated by humans
    • G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244—Optic
    • G05D1/2247—Optic providing the operator with simple or augmented images from one or more cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/622—Obstacle avoidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00—Details of software or hardware architectures used for the control of position
    • G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
    • G05D2101/15—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques using machine learning, e.g. neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles

Definitions

  • the present invention relates to an information generation method, an information generation device, and a program.
  • the present disclosure provides an information generation method and the like that can appropriately generate learning data.
  • An information generation method is an information generation method in an information generation device for generating machine learning information for estimating whether a mobile object can move in a predetermined area, When the mobile body moves in the first area, (1) first information obtained from at least a sensor installed on the mobile body, and (2) second information about the movement of the mobile body are acquired. and estimating whether or not the moving object is movable in the first area according to the second information, and estimating whether or not the moving object is movable using the first information and the second information.
  • the fourth information for the learning model is generated in association with the third information indicating the result.
  • the information generation method of the present disclosure can appropriately generate learning data.
  • FIG. 1 is a diagram schematically showing the configuration of a learning system according to an embodiment.
  • FIG. 2 is a diagram schematically showing the functional configuration of the vehicle according to the embodiment.
  • FIG. 3 is a diagram schematically showing the configuration of the remote control device according to the embodiment.
  • FIG. 4 is a diagram showing an example of semi-automatic remote control according to the embodiment.
  • FIG. 5 is a first diagram showing an example of teacher data according to the embodiment.
  • FIG. 6 is a second diagram showing an example of teacher data according to the embodiment.
  • FIG. 7 is a flow chart showing processing of the learning system in the embodiment.
  • a moving region also referred to as a running region
  • Impossible regions must be added as annotation information. Attachment of such annotation information requires a large human cost because it is necessary to designate movable and immovable regions pixel by pixel while viewing the image. This human cost makes it difficult to generate a huge amount of data for learning. Therefore, in the present disclosure, an information generation device capable of generating information for machine learning that can automatically add annotation information to a self-propelled (autonomously movable) mobile body, and An information generation method and the like in the information generation device are provided.
  • an information generation method provides information generation for generating machine learning information for estimating whether a moving body can move in a predetermined area.
  • a method for generating information in a device comprising: (1) first information obtained from at least a sensor installed on the moving body and (2) movement of the moving body when the moving body moves in a first region obtaining second information about the moving object, estimating whether or not the moving body can move in the first area according to the second information, determining whether or not moving is possible with the first information and the second information
  • the fourth information for the learning model is generated in association with the third information indicating the estimation result.
  • Such an information generating method includes, in a first area, first information about the movement of a moving body when it moves, second information obtained from a sensor when the moving body moves within the area, and Fourth information is generated in association with third information of the estimation result as to whether or not the moving body can move in the first area.
  • the result of estimating whether or not the moving object can move in the first area is added as annotation information to the fourth information.
  • the fourth information it is possible to determine whether the moving object can move in the predetermined area corresponding to the third information from the first information and the second information in the predetermined area. It is possible to build a learning model that can output In this way, the fourth information to which the annotation information is automatically added is generated, so that there is no need to perform the conventional annotation addition operation, which requires a large human cost. Therefore, learning data can be generated appropriately.
  • the estimation of whether or not the mobile body can move in the first area is performed by moving the first area included in the first information obtained when the mobile body moves according to the second information. It may be based on whether the difference between the movement data in and the threshold is within a predetermined range.
  • the third information can be generated based on the first information obtained when the moving body moves according to the second information.
  • the fourth information it is possible to generate the fourth information in which the first information, the second information, and the third information are associated with each other, so that there is no need to perform the conventional operation of adding annotations, which requires a large human cost. Therefore, learning data can be generated appropriately. can.
  • the second information may be input by an operator who remotely operates the mobile object.
  • the fourth information that is, the learning data is appropriately generated from the first information and the second information when the mobile body moves according to the second information input by the operator who remotely operates the mobile body. can be done.
  • the difficulty level of movement of the moving body is further estimated, and in the generation of the fourth information, the first information and the second information, the fifth information indicating the estimation result of the difficulty level, and the third information. You may generate
  • the mode of machine learning can be changed according to the estimation result of the movement difficulty of the moving object.
  • the generation of the fourth information may be performed only when the third information and the fifth information satisfy predetermined conditions.
  • the fourth information is generated and generated only when the predetermined condition indicating that the generated fourth information is appropriate learning data is satisfied. It is possible to prevent the fourth information from being generated when a predetermined condition indicating that the fourth information is not suitable learning data is not satisfied. As a result, it is possible not to generate the fourth information, which is inappropriate to be used as learning data and meaningless to generate.
  • the fourth information may include the reliability estimated based on the first information.
  • the fourth information including the reliability estimated based on the first information is generated.
  • reliability information can be used in machine learning.
  • the sixth information that divides the first region into a plurality of sections for each type is acquired, and the fourth information is the image of the first region included in the first information, and the sixth information is used to divide the image of the first region.
  • a composite image may be included in which information indicating whether or not the moving object based on the third information is movable is superimposed on the image of the first area.
  • the other moving bodies in estimating whether or not other moving bodies existing in the first area can be identified based on the first information, and whether or not the first area can be moved, (a) the other moving bodies (b) estimating that the other moving body can move in a first area where the other moving body is present if the first condition is satisfied; and (b) moving the other moving body if the second condition is satisfied. At least one of presuming that the first region in which the body resides is not movable may be performed.
  • the first area in which the other moving object exists is assumed to be movable, and the other moving object exists in the first area. If the other moving body that is moving satisfies the second condition, third information can be generated that estimates that the first area in which the other moving body is present is immovable. Since the third information can generate the fourth information in correspondence with the first information and the second information, it is not necessary to perform the conventional operation of annotating with a large human cost. Therefore, learning data can be generated appropriately.
  • a program according to one aspect of the present disclosure is a program for causing a computer to execute the information generation method described above.
  • a computer can be used to achieve the same effect as the information generation method described above.
  • an information generation device for generating information for a learning model that estimates whether or not a mobile body can move in a predetermined area, an acquisition unit that acquires (1) first information acquired from at least a sensor installed on the moving body and (2) second information about the first area when the moves in the first area; an estimating unit that estimates whether or not the moving body can move in the first region based on the first information; the first information and the second information; and a generation unit that generates fourth information for a learning model associated with the indicated third information.
  • these general or specific aspects may be realized by a system, device, integrated circuit, computer program, or a recording medium such as a computer-readable CD-ROM. Or it may be realized by any combination of recording media.
  • FIG. 1 is a diagram schematically showing the configuration of the learning system according to the embodiment.
  • FIG. 2 is a diagram schematically showing the functional configuration of the vehicle according to the embodiment.
  • a learning system 500 of the present embodiment is implemented by a mobile object 100, a server device 200 connected via a network 150, and a remote control device 300.
  • the moving body 100 is a device capable of autonomous movement, such as an automobile, robot, drone, bicycle, or wheelchair, and is used, for example, for the purpose of delivering a package while it is placed thereon.
  • the moving body 100 includes a motor or the like that serves as power, a drive unit such as wheels that are driven by the motor, and a function unit that stores a power source (for example, electric power) for operating the power.
  • learning system 500 only needs to be able to generate teacher data with annotations, and a dedicated moving object for this learning may be used.
  • This study-only mobile body may not include a function such as placing a load, or may not include a function for autonomous movement.
  • the network 150 is a communication network for communicably connecting the mobile unit 100, the server device 200, and the remote control device 300.
  • a communication network such as the Internet is used as the network 150 here, it is not limited to this.
  • the connection between the mobile object 100 and the network 150, the connection between the server device 200 and the network 150, and the connection between the remote control device 300 and the network 150 may be performed by wireless communication or by wired communication.
  • mobile unit 100 is preferably connected to network 150 by wireless communication.
  • the mobile unit 100 In order to connect the mobile unit 100 and the network 150 by wire communication, the mobile unit 100 only needs to be equipped with a storage device for accumulating various data. Then, at the timing when the power source of the mobile object 100 is replenished, a wired connection with the network 150 is formed, and various data accumulated in the storage device are transmitted to the network 150 .
  • the moving object 100 includes a control unit 101, a control information reception unit 102, a sensor information transmission unit 103, a sensing unit 104, and a recognition unit 105, as shown in FIG.
  • Each functional block that constitutes the mobile object 100 is realized using, for example, a processor and a memory. Details of each functional block will be described later.
  • the server device 200 is a device for performing information processing and the like, and is implemented using, for example, a processor and memory.
  • the server device 200 may be implemented by an edge computer or by a cloud computer.
  • one server device 200 may be provided for one mobile object 100 , or one server device 200 may be provided for a plurality of mobile objects 100 .
  • the server device 200 includes a remote control unit 201, a control information transmission unit 202, a sensor information reception unit 203, a learning data generation unit 204, a learning unit 205, and a storage device 206. Prepare. Details of each functional block constituting the server device 200 will be described later.
  • FIG. 3 is a diagram schematically showing the configuration of the remote control device according to the embodiment.
  • Remote control device 300 is implemented by, for example, a computer.
  • the remote control device 300 includes, for example, a display device 301 and a steering section 302 which is a user interface for input.
  • a keyboard, a touch panel, a mouse, a dedicated controller, a foot panel, a combination of VR glasses and a controller, a sound pickup for voice input, and the like may be used. It may be a combination using a plurality of.
  • a remote control device 300 is used to remotely control the mobile object 100 .
  • the sensing unit 104 is connected to sensors (not shown), and acquires the result of sensing the environment of the moving object 100 (sensor information: first information) from these sensors.
  • This sensor includes, for example, a camera, LiDAR, radar, sonar, microphone, GPS, vibration sensor, acceleration sensor, gyro sensor, temperature sensor, and the like.
  • the sensing unit 104 transmits the acquired sensor information to the sensor information transmission unit 103 , the recognition unit 105 and the control unit 101 .
  • the recognition unit 105 acquires the sensor information transmitted from the sensing unit 104, recognizes the environment of the mobile object 100, and transmits the recognition result to the sensor information transmission unit 103 and the control unit 101.
  • the environment recognition performed by the recognition unit 105 includes generating information (sixth information) that divides the environment of the mobile object 100 into a plurality of categories for each type.
  • the recognition unit 105 recognizes the environment necessary for the movement of the mobile body 100 . For example, the recognition unit 105 recognizes obstacles of the moving object 100, other moving objects, and movable areas.
  • the recognition unit 105 also performs a process of recognizing the difficulty level by estimating the difficulty level of movement of the mobile body 100 .
  • the degree of difficulty of movement of the moving body 100 refers to, for example, the number of times the moving body 100 brakes and changes directions required to move within the area, and the magnitude of vibrations that adversely affect the movement of the moving body. It is estimated based on the speed and number of detections, the number of other moving objects, and the like, and the greater the number (or magnitude), the higher the difficulty of movement of the moving object 100 is.
  • examples of the difficulty of moving the mobile body 100 include roads with narrow roads, such as roads where it is difficult for the mobile body 100 to pass other mobile bodies, and roads where on-street parking of cars occurs frequently. , roads scattered with objects large enough to hinder movement, roads with radio wave environments such as low quality (frequently interrupted) communication with the network 150, and the like.
  • At least part of the environment recognition processing may be executed sequentially as soon as the sensor information is input from the sensing unit 104, or the sensor information may be buffered (accumulated) in a data storage area (not shown) and later ( For example, after the delivery service using the mobile unit 100 ends).
  • a learning model learned in advance by machine learning may be used, or may be performed based on predetermined rules. Note that this learning model may be learned using teacher data to which annotation information generated in the present embodiment is attached.
  • the sensor information transmission unit 103 transmits the sensor information transmitted from the sensing unit 104 and the recognition result transmitted from the recognition unit 105 to the sensor information reception unit 203 of the server device 200 .
  • transmission and reception of information between the mobile unit 100 and the server device 200 undergoes compression for the purpose of data reduction and alteration of information such as encryption for the purpose of maintaining confidentiality. may be In this case, decompression of compressed information, decoding of encrypted information, and restoration of altered information may be performed in the functional block that received the altered information.
  • various types of information may be transmitted and received only when the network bandwidth (communication capacity) between the mobile unit 100 and the server device 200 is equal to or greater than a predetermined value. Additional information such as an ID and time stamp may also be attached to match the information sent and received. In this manner, any form of transmission and reception of information between mobile unit 100 and server device 200 may be employed.
  • the sensor information reception unit 203 transmits the sensor information and recognition results transmitted from the sensor information transmission unit 103 to the remote control unit 201 and the learning data generation unit 204.
  • the remote control unit 201 determines the moving direction of the moving body 100 as necessary based on the sensor information and the recognition result transmitted from the sensor information receiving unit 203, and remotely controls the moving body 100 so that the moving body 100 moves in the determined moving direction. perform an operation. Specifically, control information (second information) relating to movement of the mobile object 100 for remote control is generated and transmitted to the control information transmission unit 202 . Also, the control information is transmitted to the learning data generation unit 204 .
  • Determination of the movement direction of the mobile body 100 in the present embodiment that is, remote control of the mobile body 100 is performed by the operator. Therefore, the remote control device 300 shown in FIG. 3 is used by the operator.
  • an image of the environment of the mobile object included in the sensor information is transmitted from the remote control unit 201 to the remote control device 300 and displayed on the display device 301 .
  • a display device such as a smartphone or VR/AR glasses may be used instead of the display device 301 .
  • the operator can check the sensor information (the image of the environment in this case) displayed on the display device 301, and if he/she determines that remote control is necessary, he can operate the movement direction of the mobile body 100.
  • the direction of movement is determined by the operator by judging the area in which the moving body 100 can move.
  • the operator makes an input through the user interface such as the steering unit 302 so that the moving body 100 moves in the determined moving direction, and an input signal is sent from the remote control device 300 to the remote control unit 201 based on the input. sent.
  • the remote control unit 201 generates control information according to the input signal.
  • the control information generated by the remote control unit 201 includes information such as the angle of the tires as the driving unit of the moving body 100, information regarding accelerator opening and opening/closing timing, and information regarding brake strength and braking timing.
  • a dedicated controller, smartphone, keyboard, mouse, or the like may be used instead of the steering unit 302 .
  • the determination of the moving direction of the moving body 100 and the remote control of the moving body 100 may be performed automatically or semi-automatically.
  • the movement direction may be automatically determined from within the movable area of the mobile body 100 based on the recognition result, and control information may be generated so that the mobile body 100 moves in the determined movement direction.
  • operator intervention is not essential, and remote control device 300 may not be provided.
  • the learning system 500 can be configured without providing the remote control unit 201 in the server device 200.
  • the moving direction of the moving body 100 can also be determined manually.
  • an administrator or a maintenance company of the mobile body 100 may move the mobile body 100 by directly urging the mobile body 100 by pushing the mobile body 100 by hand.
  • the administrator or maintenance company of the mobile body 100 may remotely operate the mobile body 100 from the vicinity of the mobile body 100 using radio control or infrared control to move the mobile body 100 .
  • a manager or a maintenance company of the mobile body 100 may operate a device such as a steering unit provided in the mobile body 100 while riding on the mobile body 100 to move the mobile body 100 .
  • FIG. 4 is a diagram showing an example of semi-automatic remote control according to the embodiment.
  • candidates for the direction of movement are automatically generated and displayed from the sensor information and the recognition results, and an appropriate one from these candidates is given to the operator.
  • the direction of movement may be determined by making a selection. In this case, there is an advantage that it becomes easy to simplify the configuration of the user interface.
  • the control information transmission unit 202 transmits the control information transmitted from the remote control unit 201 to the control information reception unit 102 within the mobile object 100 .
  • Control information receiving section 102 transmits the control information transmitted from control information transmitting section 202 to control section 101 .
  • the control unit 101 drives the driving unit and the like to move the moving object 100 according to the control information transmitted from the control information receiving unit 102 .
  • the control information generated by the intervention of a person or the functions of the relatively high-performance server device 200 as described above is information that allows the mobile object 100 to move appropriately.
  • the sensor information transmitted to the remote control unit 201 includes information directly obtained by the mobile object from the surrounding environment in order to determine the moving direction of the mobile object 100. . That is, by using sensor information as input data for teacher data and adding control information as annotation information to the input data, it is possible to automatically generate teacher data to which annotation information is added. . That is, the generation of information for machine learning, which will be described below, is performed using at least sensor information and control information.
  • the learning data generation unit 204 acquires sensor information transmitted from the sensor information reception unit 203 and control information input from the remote control unit 201 .
  • the function of the learning data generation unit 204 relating to acquisition of information is an example of what implements the function of the acquisition unit.
  • the learning data generating unit 204 also acquires the recognition result transmitted from the sensor information receiving unit 203.
  • As annotation information for the sensor information area information on the sensor information corresponding to the area where the moving body 100 actually moved (area where the moving body 100 can move) and information indicating the difficulty of movement in the surrounding environment.
  • teacher data fourth information for machine learning is generated.
  • the function of the learning data generation unit 204 relating to the generation of teacher data is an example of what realizes the function of the generation unit.
  • the learning data generation unit 204 further determines whether the movement based on the control information was appropriate based on the sensor information acquired by the sensing unit 104 when the moving object 100 moved based on the control information.
  • An estimation result (third information) is generated by estimating whether or not it was possible to move this area.
  • the function of the learning data generation unit 204 related to the generation of the estimation result is an example of what realizes the function of the estimation unit.
  • the learning data generation unit 204 is an example of an information generation device having functions of an acquisition unit, a generation unit, and an estimation unit.
  • the number of times the mobile body 100 brakes and changes direction while moving according to the control information, the magnitude and number of detections of vibrations that adversely affect the movement of the mobile body, and the number of other mobile bodies. is estimated based on the difficulty level of movement of the moving object 100 estimated based on the above.
  • the number of braking times is 1, 2, 3, 5, or 10, and the number of braking times actually used is greater than the threshold value set based on the moving distance of the moving body 100. If so, an estimation result is generated that indicates that movement of this region was impossible, and if it is small, an estimation result is generated that indicates that movement of this region was possible.
  • the number of direction changes, the magnitude and number of detections of vibrations that adversely affect the movement of the moving body, and the number of other moving bodies are set based on the moving distance of the moving body. For a threshold value, if the difference is within a pre-determined range, an estimate is generated that indicates that movement of this region was possible; Producing an inferred result indicating that it was not possible.
  • the estimation result generated in this way is used to verify whether or not the moving object 100 could actually move in this area. For example, if the control information indicates that the moving object 100 cannot move, information indicating that the mobile object 100 cannot move is attached to the control information as annotation information. If it is desired to use only movable annotation information for machine learning, teacher data to which annotation information related to the above control information is attached should be excluded. Also, if the learning model is a model for distinguishing (clustering) whether it corresponds to a movable area or an immovable area, annotation information indicating that it is movable, and , and annotation information indicating that it cannot be moved. Thus, the estimation results generated above are utilized to determine the type of annotation information.
  • the information (fifth information) regarding the difficulty level of movement described above may also be used.
  • the combination of the sensor information, the control information, and the estimation result satisfies the threshold criteria and is movable, if the movement of the mobile body 100 is relatively difficult, other Depending on the factors, it may become immobile. In other words, the combination of sensor information, control information, and estimation results for which movement is highly difficult has poor reliability. Therefore, such combinations of sensor information, control information, and estimation results may not be used for machine learning.
  • the reliability and difference to other combinations of sensor information, control information, and estimation results are given to the machine It may be used for learning.
  • the difficulty of movement may be used for clustering of movable regions.
  • an area that is movable and has a high difficulty of movement is defined as an "area that requires careful movement”
  • an area that is movable and has a low difficulty of movement is defined as an "area that can be easily moved”.
  • the area in which the moving body 100 can move is expanded. be able to.
  • sensor information, control information, and A combination of estimation results may be preferentially used for machine learning.
  • a sufficient amount of training data necessary for learning is needed to accurately determine whether or not to move an area that is a combination of sensor information, control information, and estimation results that are difficult to move. Therefore, the effect of the information generation method of this embodiment can be significant.
  • the term “preferentially used for machine learning” means that after all machine learning using teacher data of combinations of highly difficult sensor information, control information, and estimation results is completed, teacher data of other combinations machine learning is performed. At this time, machine learning for other combinations of teacher data may be omitted.
  • Other combinations of teacher data are teacher data for areas where the degree of difficulty of movement is relatively low. In other words, in such areas, rule-based autonomous movement based on sensor information may be sufficient without relying on machine learning. Omissions are permissible.
  • further learning may be performed using teacher data with a high degree of difficulty.
  • bias may be applied so that teacher data with a high degree of difficulty influences learning results more. For example, even if the ratio of the number of teacher data with a high difficulty level to the number of teacher data with a low difficulty level is larger than the number of teacher data with a high difficulty level, the teacher data with a low difficulty level may be thinned out. good.
  • the combination of sensor information and control information is determined so that both the estimation result of whether or not the mobile body 100 can move and the difficulty of moving the mobile body 100 satisfy a predetermined condition.
  • teacher data with annotation information for machine learning is generated.
  • the learning data generating unit 204 transmits the teacher data generated in this way to the storage device 206 and stores it.
  • FIG. 5 is the first diagram showing an example of teacher data according to the embodiment.
  • FIG. 6 is a second diagram showing an example of teacher data according to the embodiment.
  • the teacher data generated as described above includes annotation information as a movable area (rough dot hatching in the figure) with respect to the movable area where the moving object 100 was movable.
  • the teacher data output in the present embodiment divides the image of the region in which the moving object 100 moves, which is included in the sensor information, into a plurality of segments, and for each of the plurality of segments, Information indicating whether or not the moving body 100 can move may include a composite image superimposed on the above image. Therefore, for example, information (sixth information) that divides the area in which the moving body 100 moves into a plurality of sections for each type may be acquired. This information may be generated separately by using, for example, recognition results.
  • an area having a predetermined width along the direction of movement may be used by superimposing the history of passing through the same area several times. However, as shown in FIG. 6, a region obtained by combining the width of the vehicle of the moving object 100 may be used as the movement region for one passage.
  • the association between the area where the moving object 100 has moved and the pixels on the image may be determined from a combination of control information, sensor information, and additional information such as IDs and time stamps for matching information. good.
  • a region in which a moving body (another moving body) other than the moving body 100 moving in the surrounding environment moves may be used for adding annotation information.
  • a moving body that is sufficiently larger and faster than the moving body 100 is identified as a dangerous moving body, and an area in which such a dangerous moving body moves is set as an unmovable area. good.
  • a dangerous moving body an automobile is exemplified for the moving body 100 for transporting cargo.
  • a vehicle or the like may be directly identified by a technique such as pattern matching.
  • a moving object having a size equivalent to that of the moving object 100 and not moving so fast is identified as a trackable moving object, and the area in which such a trackable moving object moves is a movable area.
  • Such trackable moving bodies include bicycles and wheelchairs for the moving body 100 for transporting goods.
  • bicycles, wheelchairs, and the like may be directly identified by techniques such as pattern matching.
  • annotation information is attached not only to a part of the sensor information (a certain area in the image of one frame, that is, some pixels, etc.), but also to the entire sensor information (the whole image of one frame, etc.). good too.
  • a learning model that can obtain a determination result such as whether the object can be moved or not, or whether it is easy or difficult to move.
  • the learning unit 205 uses the teacher data to which the annotation information is added and stored in the storage device 206 to learn the learning model by machine learning. After completing this learning, the learning unit 205 outputs the learned learning model to the recognition unit.
  • FIG. 7 is a flowchart showing processing of the learning system according to the embodiment.
  • the learning data generation unit 204 acquires sensor information and control information (acquisition step S101). Sensor information and control information are acquired from the moving body via the sensor information acquisition unit 203 .
  • the learning data generation unit 204 acquires sensor information and recognition results of the moving body 100 when moving according to the control information, and based on the sensor information and recognition results, the moving body 100 moves according to the control information. It is estimated whether or not the area is movable when it is set (estimation step S102).
  • the learning data generation unit 204 generates teacher data with annotation information based on the sensor information, the control information, and the estimation result in the estimation step S102 (generation step S103).
  • the teacher data generated in this way is given appropriate annotation information, so it can be used as it is as teacher data for machine learning.
  • this training data is generated automatically, the human cost is suppressed, and a large amount of training data can be generated at once by using a plurality of moving bodies 100 or the like.
  • each component may be configured with dedicated hardware or realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • the software that realizes the information generation device and the like of the above embodiment is the following program.
  • this program is a program that causes a computer to execute an information generation method.
  • the present disclosure can be used, for example, to learn a learning model that is used for determining the movement area of a self-propelled mobile body.
  • REFERENCE SIGNS LIST 100 moving object 101 control unit 102 control information reception unit 103 sensor information transmission unit 104 sensing unit 105 recognition unit 150 network 200 server device 201 remote control unit 202 control information transmission unit 203 sensor information reception unit 204 learning data generation unit 205 learning unit 206 Storage Device 300 Remote Controller 301 Display Device 302 Steering Unit 500 Learning System

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

情報生成方法は、移動体（１００）が所定の領域を移動可能であるか否かを推定する機械学習用の情報を生成するための情報生成装置における情報生成方法であって、移動体（１００）が第１の領域を移動する際に、（１）少なくとも移動体（１００）に設置されたセンサから取得される第１情報、及び、（２）移動体（１００）の移動に関する第２情報を取得し、第２情報に従って、移動体（１００）が、第１の領域を移動可能であるか否かを推定し、第１情報及び第２情報と、移動可能であるか否かの推定の結果を示す第３情報とを対応付けた学習モデル用の第４情報を生成する。

Description

情報生成方法、情報生成装置及びプログラム
　本発明は、情報生成方法、情報生成装置及びプログラムに関する。
　近年、機械学習がロボットの制御に利用される機会が増えている。例えば、従来、機械学習を利用して人が操作した時と同じような制御をロボットに自動的に行わせる技術について開示されている（特許文献１参照）。
特開２０１８－１４９６６９号公報
　ところで、機械学習の課題として、学習用データを適切に生成することが困難であるということが知られている。
　本開示は、学習用データを適切に生成することが可能な情報生成方法などを提供する。
　本発明の一態様に係る情報生成方法は、移動体が所定の領域を移動可能であるか否かを推定する機械学習用の情報を生成するための情報生成装置における情報生成方法であって、移動体が第１の領域を移動する際に、（１）少なくとも前記移動体に設置されたセンサから取得される第１情報、及び、（２）前記移動体の移動に関する第２情報を取得し、前記第２情報に従って、前記移動体が、前記第１の領域を移動可能であるか否かを推定し、前記第１情報及び前記第２情報と、移動可能であるか否かの推定の結果を示す第３情報とを対応付けた前記学習モデル用の第４情報を生成する。
　なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の情報生成方法は、学習用データを適切に生成することができる。
図１は、実施の形態に係る学習システムの構成を模式的に示す図である。 図２は、実施の形態に係る車両の機能構成を模式的に示す図である。 図３は、実施の形態に係る遠隔操作装置の構成を模式的に示す図である。 図４は、実施の形態に係る半自動的な遠隔操作の例を示す図である。 図５は、実施の形態に係る教師データの一例を示す第１図である。 図６は実施の形態に係る教師データの一例を示す第２図である。 図７は、実施の形態における学習システムの処理を示すフローチャートである。
　（開示の基礎となった知見）
　本開示の発明者は、「背景技術」の欄において記載した、機械学習を用いてロボット等を自動的に制御（自律動作）させる技術に関し、以下の問題が生じることを見出した。
　このような人の操作を模した制御を自動的に行わせるためには、膨大な量の教師データを用いて制御のパターンを学習させる必要がある。この膨大な量の教師データのそれぞれには、制御のパターンとして正解である制御と、制御のパターンとして不正解である制御とを区別するために、教師データのそれぞれに正解／不正解といったアノテーション情報が付与されている。ロボットなどの制御においては、動く、又は、動かないといった単純なアノテーション情報を付与すればよいので、このようなアノテーション情報の付与は比較的容易に行うことができる。
　しかしながら、移動体を自動的に移動させるための移動領域（又は、走行領域ともいう）を自動的に決定させるためには、例えば、所定の領域が撮像された画像において、移動可能な領域と移動不可能な領域とをそれぞれアノテーション情報として付与する必要がある。このようなアノテーション情報の付与は、画像を人が目で見ながら、移動可能な領域および移動不可能な領域をピクセル単位で指定する必要があり人的コストが大きい。この人的コストのために、学習のための膨大なデータを生成することが困難となっている。そこで、本開示では、自走式の（自律移動可能な）移動体について、アノテーション情報を自動的に付与することが可能な、機械学習用の情報を生成することができる情報生成装置、及び、当該情報生成装置における情報生成方法等を提供する。
　この情報生成方法等により、自走式の移動体における移動領域の決定のための学習モデルを学習させる際に利用可能な教師データを、人的コストを低く抑制しながら生成することが可能となる。このため、従来、移動領域の決定のための学習モデルのアップデートの障壁となっていた教師データの準備を加速することができ、学習モデルの頻繁なアップデートが可能となる。
　上記の課題を解決するために、本開示の一態様に係る情報生成方法は、移動体が所定の領域を移動可能であるか否かを推定する機械学習用の情報を生成するための情報生成装置における情報生成方法であって、移動体が第１の領域を移動する際に、（１）少なくとも移動体に設置されたセンサから取得される第１情報、及び、（２）移動体の移動に関する第２情報を取得し、第２情報に従って、移動体が、第１の領域を移動可能であるか否かを推定し、第１情報及び第２情報と、移動可能であるか否かの推定の結果を示す第３情報とを対応付けた学習モデル用の第４情報を生成する。
　このような情報生成方法は、第１の領域において、移動体が移動する際の当該移動に関する第１情報、及び、領域内を移動体が移動する際にセンサから取得した第２情報と、この移動体が第１の領域を移動可能であるか否かの推定結果の第３情報とを対応付けた第４情報が生成される。第４情報には、つまり、移動体が第１の領域を移動可能であるか否かを推定した結果がアノテーション情報として付与されている。これにより、第４情報を用いて機械学習を行うことで、所定の領域における第１情報及び第２情報から、第３情報に相当する当該所定の領域を移動体が移動可能であるか否かを出力可能な学習モデルを構築することができる。このように、アノテーション情報が自動的に付与された第４情報が生成されるので、従来のような人的コストの大きいアノテーション付与の操作を行う必要がなくなる。よって、学習用データを適切に生成することができる。
　また、例えば、移動体が、第１の領域を移動可能であるか否かの推定は、第２情報に従って移動体が移動した場合に得られた第１情報に含まれる第１の領域を移動中の移動データと閾値との差が所定の範囲内であるか否かに基づいてもよい。
　これによれば、第２情報に従って移動体が移動した場合に得られた第１情報に基づいて、第３情報を生成することができる。この結果第１情報及び第２情報と、第３情報とを対応付けた第４情報が生成できるので、従来のような人的コストの大きいアノテーション付与の操作を行う必要がなくなる。よって、学習用データを適切に生成することができる。できる。
　また、例えば、第２情報は、移動体を遠隔操作するオペレータによって入力されてもよい。
　これによれば、移動体を遠隔操作するオペレータによって入力された第２情報に従って移動体が移動する際の第１情報及び第２情報から、第４情報、すなわち学習用データを適切に生成することができる。
　また、例えば、さらに、移動体の移動の難易度を推定し、第４情報の生成では、第１情報及び第２情報と、難易度の推定の結果を示す第５情報と、第３情報とを対応付けた第４情報を生成してもよい。
　これによれば、第１情報及び第２情報、ならびに、第３情報と対応付けられた第５情報を含む第４情報を生成することができる。生成された第４情報において、対応付けられている第５情報をもとに、機械学習の態様等を移動体の移動の難易度の推定結果に応じて変更することができる。
　また、例えば、第４情報の生成は、第３情報及び第５情報が所定の条件を満たす場合にのみ実行されてもよい。
　これによれば、第３情報及び第５情報から、生成される第４情報が適切な学習用データであることを示すような所定の条件を満たす場合のみ第４情報が生成され、生成される第４情報が適切な学習用データでないことを示すような所定の条件を満たさない場合の第４情報の生成がされないようにできる。この結果、学習用データとして利用することが適切でなく生成することの意味がない第４情報の生成を行わないようにできる。
　また、例えば、第４情報は、第１情報に基づいて推定された信頼度を含んでもよい。
　これによれば、第１情報に基づいて推定された信頼度を含む第４情報が生成される。この第４情報を学習用データとして用いることで、機械学習の際に信頼度の情報を利用することができる。
　また、例えば、さらに、第１の領域を種別ごとの複数の区分に分割する第６情報を取得し、第４情報は、第１情報に含まれる第１の領域の画像を、第６情報によって分割したときの複数の区分のそれぞれについて、第３情報に基づく移動体が移動可能であるか否かを示す情報が第１の領域の画像に重畳された合成画像を含んでもよい。
　これによれば、一つの画像を第６情報に基づいて分割した複数の区分のそれぞれにおいて、移動体が移動可能であるか否かの情報が重畳された合成画像を出力することができる。
　また、例えば、第１情報に基づいて、第１の領域に存在する他の移動体を識別し、第１の領域を移動可能であるか否かの推定では、（ａ）他の移動体が第１条件を満たす場合に、他の移動体が存在する第１の領域を移動可能であると推定すること、及び、（ｂ）他の移動体が第２条件を満たす場合に、他の移動体が存在する第１の領域を移動可能でないと推定することの、少なくとも一方を行ってもよい。
　これによれば、第１の領域に存在する他の移動体が第１条件を満たす場合には、他の移動体が存在する第１の領域を移動可能であるとし、第１の領域に存在する他の移動体が第２条件を満たす場合には、他の移動体が存在する第１の領域を移動不可能であるとして推定した第３情報を生成できる。このような第３情報が、第１情報及び第２情報と対応付けられた第４情報が生成できるので、従来のような人的コストの大きいアノテーション付与の操作を行う必要がなくなる。よって、学習用データを適切に生成することができる。
　また、本開示の一態様に係るプログラムは、上記に記載の情報生成方法をコンピュータに実行させるためのプログラムである。
　これによれば、コンピュータを用いて、上記に記載の情報生成方法と同様の効果を奏することができる。
　また、本開示の一態様に係る情報生成装置は、移動体が所定の領域を移動可能であるか否かを推定する学習モデル用の情報を生成するための情報生成装置であって、移動体が第１の領域を移動する際に、（１）少なくとも移動体に設置されたセンサから取得される第１情報、及び、（２）第１の領域に関する第２情報を取得する取得部と、第１情報に基づき、移動体が、第１の領域を移動可能であるか否かを推定する推定部と、第１情報及び第２情報と、移動可能であるか否かの推定の結果を示す第３情報とを対応付けた学習モデル用の第４情報を生成する生成部と、を備える。
　これによれば、上記に記載の情報生成方法と同様の効果を奏することができる。
　なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　まず、本実施の形態における学習システムの構成について説明する。
　図１は、実施の形態に係る学習システムの構成を模式的に示す図である。また、図２は、実施の形態に係る車両の機能構成を模式的に示す図である。
　図１に示すように、本実施の形態の学習システム５００は、移動体１００と、ネットワーク１５０を介して接続されたサーバ装置２００と、遠隔操作装置３００とによって実現される。
　移動体１００は、自動車、ロボット、ドローン、自転車、車いすなどの、自律移動が可能な装置であり、例えば、荷物などを載置した状態で、当該荷物を配達するなどの目的で使用される。移動体１００は、動力となるモータ等と、モータによって駆動される車輪などの駆動部と、動力を動作させるための動力源（例えば電力）を蓄積しておく機能部と、を備える。なお、学習システム５００においては、アノテーションが付与された教師データを生成できればよく、この学習のための専用の移動体が用いられてもよい。この学習専用の移動体には、荷物の載置などの機能が含まれていなくてもよいし、自律移動のための機能が含まれていなくてもよい。
　ネットワーク１５０は、移動体１００と、サーバ装置２００と、遠隔操作装置３００との間を通信可能に接続するための通信網である。ここではネットワーク１５０として、インターネット等の通信網が用いられるがこれに限られない。また、移動体１００とネットワーク１５０との接続、サーバ装置２００とネットワーク１５０との接続、及び、遠隔操作装置３００とネットワーク１５０との接続は無線通信によって行われてもよいし、有線通信によって行われてもよい。ただし、移動体１００は、その性質上、無線通信によってネットワーク１５０に接続されることが好ましい。
　移動体１００とネットワーク１５０との接続を有線通信で行うには、移動体１００に各種のデータを蓄積するための記憶デバイスが搭載されていればよい。そして、移動体１００の動力源などを補充するタイミングで、ネットワーク１５０との有線接続を形成して、記憶デバイスに蓄積された各種のデータをネットワーク１５０に送信すればよい。
　移動体１００は、図２に示すように、制御部１０１と、制御情報受信部１０２と、センサ情報送信部１０３と、センシング部１０４と、認識部１０５と、を備える。これら移動体１００を構成する各機能ブロックは、例えば、プロセッサとメモリとを用いて実現される。各機能ブロックの詳細は後述する。
　サーバ装置２００は、情報処理等を行うための装置であり、例えば、プロセッサとメモリとを用いて実現される。サーバ装置２００は、エッジコンピュータによって実現されてもよいし、クラウドコンピュータによって実現されてもよい。また、サーバ装置２００は、１つの移動体１００に対して１つ設けられてもよいし、複数の移動体１００に対して１つ設けられてもよい。
　サーバ装置２００は、図２に示すように、遠隔操作部２０１と、制御情報送信部２０２と、センサ情報受信部２０３と、学習データ生成部２０４と、学習部２０５と、記憶デバイス２０６と、を備える。これらサーバ装置２００を構成する各機能ブロックの詳細は後述する。
　図３は、実施の形態に係る遠隔操作装置の構成を模式的に示す図である。遠隔操作装置３００は、例えば、コンピュータなどによって実現される。遠隔操作装置３００は、図３に示すように、例えば、ディスプレイ装置３０１と入力用のユーザインタフェースである操舵部３０２とを備える。ユーザインタフェースとしては、操舵部３０２の他に、キーボード、タッチパネル、マウス、専用のコントローラ、フットパネル、ＶＲグラスとコントローラとの組み合わせ、音声入力用の収音器などが用いられてもよいし、これらのうちの複数を用いた組み合わせであってもよい。遠隔操作装置３００は、移動体１００を遠隔操作するために用いられる。
　以下、引き続き図１～図３を参照しながら各構成間でのデータの送受信を説明しつつ、それぞれの構成の機能について説明する。
　センシング部１０４は、センサ（不図示）に接続され、これらのセンサから、移動体１００の環境をセンシングした結果（センサ情報：第１情報）を取得する。このセンサとしては、例えば、カメラ、ＬｉＤＡＲ、レーダ、ソナー、マイク、ＧＰＳ、振動センサ、加速度センサ、ジャイロセンサ、温度センサ等が含まれる。センシング部１０４は、取得したセンサ情報をセンサ情報送信部１０３、認識部１０５、及び、制御部１０１に送信する。
　認識部１０５は、センシング部１０４から送信されたセンサ情報を取得して、移動体１００の環境の認識を行い、その認識結果をセンサ情報送信部１０３及び制御部１０１へと送信する。認識部１０５によって行われる環境の認識は、移動体１００の環境を種別ごとの複数の区分に分割する情報（第６情報）を生成することを含む。この他、認識部１０５は、移動体１００の移動のために必要な環境の認識を行う。例えば、認識部１０５は、移動体１００の障害物、他の移動体、及び、移動可能な領域の認識などを行う。
　また、認識部１０５は、移動体１００の移動の難易度を推定することによってこの難易度を認識する処理も行う。ここでの移動体１００の移動の難易度とは、例えば、移動体１００が領域内を移動するために要したブレーキの回数及び方向転換の回数、移動体の移動に悪影響を与える振動などの大きさ及び検知回数、ならびに、他の移動体の個数などに基づいて推定され、その回数（又は大きさ）が大きいほど、移動体１００の移動の難易度が高いことを示す。また、移動体１００の移動の難易度が高い例としては、さらに、移動体１００と他の移動体とのすれ違いが困難であるなどの道幅が狭い道路、自動車の路上駐車が頻繁に発生する道路、移動の障害になりうる大きさの物体が散乱している道路、及び、ネットワーク１５０との通信品質が低い（頻繁に途切れる）などの電波環境のある道路等が挙げられる。
　環境の認識の処理の少なくとも一部は、センサ情報がセンシング部１０４から入力され次第、順次実行されてもよいし、センサ情報をデータ保存領域（不図示）にバッファリング（蓄積）し、後ほど（例えば、移動体１００を用いた配送サービスの終了後などに）実行されてもよい。ここでの環境の認識のためには、機械学習により事前に学習した学習モデルが用いられてもよいし、あらかじめ定められたルールに基づいて実施されてもよい。なお、この学習モデルは、本実施の形態において生成されるアノテーション情報が付与された教師データによって学習されたものであってもよい。
　センサ情報送信部１０３は、センシング部１０４から送信されたセンサ情報、認識部１０５から送信された認識結果をサーバ装置２００のセンサ情報受信部２０３へ送信する。なお、ここでの通信を含む、移動体１００とサーバ装置２００との情報の送受信は、データ縮小の目的での圧縮、及び、機密性の保持の目的での暗号化など情報の変質が行われていてもよい。この場合、圧縮された情報の解凍、及び、暗号化された情報の複合など、変質した情報の復元は、当該変質した情報を受信した機能ブロックにおいて行われればよい。また、移動体１００とサーバ装置２００との間のネットワーク帯域（通信容量）が所定以上の時のみに各種の情報の送受信が行われてもよい。また、送受信される情報を整合するために、ＩＤ及びタイムスタンプなどの付加的な情報が付されていてもよい。このように移動体１００とサーバ装置２００との間の情報の送受信の形態は、どのようなものであってもよい。
　センサ情報受信部２０３はセンサ情報送信部１０３から送信されたセンサ情報及び認識結果を遠隔操作部２０１及び学習データ生成部２０４へ送信する。
　遠隔操作部２０１は、センサ情報受信部２０３から送信されたセンサ情報及び認識結果に基づき、必要に応じて移動体１００の移動方向を決定し、決定した移動方向へ移動体１００が移動するよう遠隔操作を行う。具体的には、遠隔操作するための移動体１００の移動に関する制御情報（第２情報）が生成され、制御情報送信部２０２に送信される。また、制御情報は、学習データ生成部２０４に送信される。
　本実施の形態における移動体１００の移動方向の決定、すなわち、移動体１００の遠隔操作は、オペレータによって行われる。したがって、図３に示す遠隔操作装置３００は、オペレータによって使用される。
　例えば、センサ情報に含まれる移動体の環境の画像などが遠隔操作部２０１から遠隔操作装置３００へと送信されてディスプレイ装置３０１に表示される。ディスプレイ装置３０１に代えて、スマートフォン又はＶＲ／ＡＲグラス等の表示装置が使用されてもよい。
　オペレータはディスプレイ装置３０１に表示されたセンサ情報（ここでは環境の画像）を確認し、遠隔操作の必要があると判断した場合は、移動体１００の移動方向を操作することができる。移動方向の決定は移動体１００が移動可能な領域をオペレータが判断して決定する。その後、オペレータは、決定した移動方向へ移動体１００が移動するように操舵部３０２などのユーザインタフェースを介して入力を行い、入力に基づいて遠隔操作装置３００から遠隔操作部２０１へと入力信号が送信される。遠隔操作部２０１では、入力信号に沿って制御情報が生成される。遠隔操作部２０１において生成される制御情報には、移動体１００の駆動部としてのタイヤの角度等の情報、アクセル開度及び開閉タイミングに関する情報、ならびに、ブレーキ強度及び制動タイミングに関する情報が含まれる。
　なお、操舵部３０２に代えて、専用のコントローラ、スマートフォン、キーボード、マウスなどが用いられてもよい。
　また、移動体１００の移動方向の決定および移動体１００の遠隔操作が、自動的又は半自動的に行われてもよい。例えば、認識結果に基づいて移動体１００の移動可能な領域の中から移動方向を自動的に決定し、移動体１００が決定された移動方向へ移動するように制御情報が生成されてもよい。この場合、オペレータの介入は必須ではなく、遠隔操作装置３００が備えられなくてもよい。また、この自動的な遠隔操作の構成を移動体１００に内蔵することにより、サーバ装置２００に遠隔操作部２０１を備えることなく学習システム５００を構成することもできる。
　一方で、移動体１００の移動方向の決定を、手動で行うこともできる。例えば、移動体１００の管理者又は保守業者などが、移動体１００を手で押すなどして直接的に付勢することで、移動体１００を移動させてもよい。また、移動体１００の管理者又は保守業者などが、移動体１００の付近からラジオコントロール又は赤外線コントロールなどを利用して遠隔操作して移動体１００を移動させてもよい。さらには、移動体１００の管理者又は保守業者などが、移動体１００に設けられた操舵部などの装置を移動体１００に搭乗しながら操作して移動体１００を移動させてもよい。
　また、図４は、実施の形態に係る半自動的な遠隔操作の例を示す図である。図４に示すようにセンサ情報、及び、認識結果から移動方向の候補（図中の太線矢印及び太線破線）を自動的に生成して表示し、これらの候補の中から適切なものをオペレータに選択させることで移動方向を決定してもよい。この場合、ユーザインタフェースの構成を簡略化することが容易となるメリットがある。
　制御情報送信部２０２は、遠隔操作部２０１から送信された制御情報を、移動体１００内の制御情報受信部１０２へと送信する。制御情報受信部１０２は、制御情報送信部２０２から送信された制御情報を、制御部１０１へと送信する。そして、制御部１０１は、制御情報受信部１０２から送信された制御情報に従って、駆動部等を駆動させて移動体１００を移動させる。
　ここで、上記のようにして、人又は比較的高性能なサーバ装置２００の機能が介入することによって生成された制御情報は、移動体１００を適切に移動させることが可能な情報である。また、制御情報を生成するにあたり、遠隔操作部２０１へと送信されたセンサ情報には、移動体１００の移動方向を決定するために周辺環境から、移動体が直接的に得られる情報が含まれる。すなわち、センサ情報を教師データ用の入力データとして用い、制御情報をアノテーション情報として、当該入力データに付与することで、アノテーション情報が付与された教師データを生成することを自動的に行うことができる。つまり、以下説明される機械学習用の情報の生成は、少なくとも、センサ情報及び制御情報を用いて行われる。
　学習データ生成部２０４は、センサ情報受信部２０３から送信されたセンサ情報、及び、遠隔操作部２０１から入力された制御情報を取得する。この学習データ生成部２０４の情報の取得に関する機能は、つまり、取得部の機能を実現するものの一例である。
　また、学習データ生成部２０４は、センサ情報受信部２０３から送信された認識結果も取得する。センサ情報に対してアノテーション情報として、移動体１００が実際に移動した領域に対応するセンサ情報上の領域情報（移動体１００が移動可能な領域）及び周辺環境の移動の難易度等を示す情報を付与することで、機械学習用の教師データ（第４情報）を生成する。この学習データ生成部２０４の教師データの生成に関する機能は、つまり、生成部の機能を実現するものの一例である。
　学習データ生成部２０４は、さらに、制御情報に基づいて移動体１００が移動したときにセンシング部１０４において取得されたセンサ情報から、この制御情報に基づく移動が適切であったか否か、すなわち、実際にこの領域を移動することが可能であったか否かを推定して、推定結果（第３情報）を生成する。この学習データ生成部２０４の推定結果の生成に関する機能は、つまり、推定部の機能を実現するものの一例である。学習データ生成部２０４は、取得部、生成部、及び、推定部の機能を有する情報生成装置の一例である。
　例えば、移動体１００が制御情報に従って移動中に要したブレーキの回数及び方向転換の回数、移動体の移動に悪影響を与える振動などの大きさ及び検知回数、ならびに、他の移動体の個数などに基づいて推定された、移動体１００の移動の難易度に基づいて推定される。例えば、ブレーキの回数が１回、２回、３回、５回、又は、１０回等、移動体１００の移動距離などから設定される閾値に対して、実際に使用されたブレーキの回数が大きい場合に、この領域の移動が不可能であったことを示す推定結果を生成し、小さい場合に、この領域の移動が可能であったことを示す推定結果を生成する。
　同様に、例えば、方向転換の回数、移動体の移動に悪影響を与える振動などの大きさ及び検知回数、ならびに、他の移動体の個数などのそれぞれについて、移動体の移動距離に基づいて設定される閾値に対して、差が所定の範囲内である場合に、この領域の移動が可能であったことを示す推定結果を生成し、差が所定の範囲を超える場合に、この領域の移動が不可能であったことを示す推定結果を生成する。
　このようにして、生成された推定結果は、この領域を移動体１００が実際に移動可能であったか否かを検証するために用いられる。例えば、制御情報によって移動体１００の移動が不可能であった場合、当該制御情報は、アノテーション情報として、移動できないことを示す情報が付される。移動可能であったアノテーション情報のみを機械学習に用いたい場合には、上記の制御情報に関するアノテーション情報が付された教師データは排除されるべきである。また、学習モデルが、移動可能である領域と移動不可能な領域とのいずれに該当するかを区別（クラスタリング）するためのモデルである場合には、移動可能であることを示すアノテーション情報、及び、移動できないことを示すアノテーション情報の両方を用いればよい。このように、アノテーション情報の種類を決定するために、上記に生成された推定結果が利用される。
　また、先に説明した移動の難易度に関する情報（第５情報）も、利用してもよい。具体的には、仮に、閾値の基準を満たして移動可能であったセンサ情報、制御情報、及び、推定結果の組み合わせであっても、移動体１００の移動が比較的困難であれば、ほかの要因によって、移動不可能に転じる可能性がある。すなわち、移動の難易度が高いセンサ情報、制御情報、及び、推定結果の組み合わせは、信頼性に乏しい。したがって、このような組み合わせのセンサ情報、制御情報、及び、推定結果については、機械学習用として用いられないようになっていてもよい。あるいは、このような組み合わせのセンサ情報、制御情報、及び、推定結果については、低い信頼性であるとして、その他の組み合わせのセンサ情報、制御情報、及び、推定結果に対する信頼性と差異をつけて機械学習に用いられるようにしてもよい。さらに、移動の難易度を、移動可能な領域のクラスタリングに用いてもよい。例えば、移動可能な領域、かつ、移動の難易度が高い領域を「移動に注意が必要な領域」とし、移動可能な領域、かつ、移動の難易度が低い領域を「容易に移動できる領域」としてクラス分けしてそれぞれ機械学習に用いられてもよい。
　一方で、このような移動の難易度が高いセンサ情報、制御情報、及び、推定結果の組み合わせとなる領域について、正確な移動の可否の判断ができれば、移動体１００の移動可能な領域を拡大することができる。つまり、移動可能な領域が少ない、又は、代替できる移動領域が少ない等の移動可能な領域を拡大するメリットが重要視される状況においては、移動の難易度が高いセンサ情報、制御情報、及び、推定結果の組み合わせが優先的に機械学習に用いられるようになっていてもよい。このような移動の難易度が高いセンサ情報、制御情報、及び、推定結果の組み合わせとなる領域について、正確な移動の可否の判断をするためには、学習に必要な十分な量の教師データが生成される必要があり、本実施の形態の情報生成方法の効果が顕著になりうる。
　なお、優先的に機械学習に用いられるとは、難易度が高いセンサ情報、制御情報、及び、推定結果の組み合わせの教師データを用いた機械学習がすべて完了した後に、他の組み合わせの教師データについての機械学習が行われることである。このとき、他の組み合わせの教師データについての機械学習が省略されてもよい。他の組み合わせの教師データは、比較的移動の難易度が低い領域の教師データである。つまりこのような領域では、機械学習に頼らずともセンサ情報に基づくルールベースでの自律移動で十分に移動可能である場合もあるため、条件によっては、他の組み合わせの教師データについての機械学習の省略が許容されうる。
　優先的に機械学習に用いる方法として、他に、難易度が低い組み合わせの教師データを用いて学習した後、難易度が高い組み合わせの教師データを用いて学習することを行ってもよい。機械学習の条件によっては、上記の時系列において優先的に機械学習に用いる場合に比べて、より後に学習したデータの影響が大きくなる場合があり、このような場合に有効である。
　また、全ての教師データを用いて学習した後、難易度が高い教師データでさらに学習することを行ってもよい。また、難易度が高い教師データがより学習結果に影響するようバイアスをかけてもよい。例えば、難易度が高い教師データの数と難易度が低い教師データの数との割合を、難易度が高い教師データのほうが多くなるように、難易度が低い教師データを間引きするなどしてもよい。
　以上の説明を要約すると、本実施の形態においては、センサ情報及び制御情報の組み合わせを、移動体１００の移動の可否の推定結果と移動体１００の移動の難易度とがいずれも所定の条件を満たす場合に機械学習用のアノテーション情報が付与された教師データの生成が行われる。学習データ生成部２０４は、このようにして生成した教師データを記憶デバイス２０６に送信して保存する。
　図５は、実施の形態に係る教師データの一例を示す第１図である。また、図６は実施の形態に係る教師データの一例を示す第２図である。図５に示すように、上記のようにして生成される教師データは、移動体１００が移動可能であった領域に対して移動可能な領域（図中の荒いドットハッチング）であるとしてアノテーション情報を付与する。このように、本実施の形態において出力される教師データは、センサ情報に含まれる移動体１００が移動する領域の画像を、複数の区分に分割し、複数の区分のそれぞれについて、推定結果に基づく移動体１００が移動可能であるか否かを示す情報が上記の画像に重畳された合成画像を含んでいてもよい。このため、例えば、移動体１００が移動する領域を種別ごとの複数の区分に分割する情報（第６情報）が取得されていてもよい。この情報としては、例えば、認識結果などを利用することで、別に生成されればよい。
　移動体１００が移動可能な領域を決定する際には、同じ領域を何度か通過したときの履歴を重ね合わせるようにして移動方向に沿って所定の幅をもった領域を利用してもよいし、図６に示すように、１度の通過における移動領域に、移動体１００の自車幅を組み合わせた領域を利用してもよい。移動体１００が移動した領域と、画像上の画素との対応付けは、制御情報及びセンサ情報と、情報を整合するためのＩＤ及びタイムスタンプなどの付加的な情報との組み合わせから決定してもよい。
　また、周辺環境内で移動する移動体１００以外の移動体（他の移動体）が移動する領域をアノテーション情報付与に利用してもよい。具体的には、移動体１００より十分大きく、かつ、十分に高速な移動体を危険な移動体であるとして識別し、このような危険な移動体が移動する領域を移動不可能な領域としてもよい。このような危険な移動体としては、荷物搬送用の移動体１００に対しては、自動車などが挙げられる。また、自動車などを、パターンマッチングなどの技術により直接的に識別するとしてもよい。
　また、移動体１００と同等な大きさ、かつ、移動速度がそれほど速くない移動体を追跡可能な移動体であるとして識別し、このような追跡可能な移動体が移動する領域を移動可能な領域としてもよい。このような追跡可能な移動体としては、荷物搬送用の移動体１００に対しては、自転車及び車いすなどが挙げられる。また、自転車及び車いすなどを、パターンマッチングなどの技術により直接的に識別するとしてもよい。
　また、センサ情報のある一部（１フレームの画像内のある領域、すなわち一部の画素など）のみでなく、センサ情報の全体（１フレームの画像全体など）に対してアノテーション情報を付与してもよい。これにより、例えば、センサ情報としての画像１枚を入力すれば、出力として移動可能もしくは不可能である、又は、移動が容易もしくは困難であるといった判定結果が得られる学習モデルが構築できる。
　学習部２０５は、記憶デバイス２０６に保存された、アノテーション情報が付与された教師データを利用し、機械学習により学習モデルを学習させる。この学習が完了した後に、学習部２０５は、学習済みの学習モデルを認識部に出力する。
　次に、以上に説明した学習システム５００を、図７を参照して説明する。図７は、実施の形態に係る学習システムの処理を示すフローチャートである。
　図７に示すように、まず、学習データ生成部２０４が、センサ情報及び制御情報を取得する（取得ステップＳ１０１）。センサ情報及び制御情報は、センサ情報取得部２０３を介して、移動体から取得される。
　次に、学習データ生成部２０４が、制御情報に従って移動するときの移動体１００のセンサ情報、及び、認識結果を取得し、このセンサ情報及び認識結果に基づいて、移動体１００が制御情報に従って移動するときの領域が移動可能であるか否かを推定する（推定ステップＳ１０２）。
　次に、学習データ生成部２０４が、センサ情報及び制御情報と、推定ステップＳ１０２における推定結果とに基づいて、アノテーション情報が付与された教師データを生成する（生成ステップＳ１０３）。
　このようにして生成された教師データは、適切な、アノテーション情報が付与されているので、そのまま、機械学習用の教師データとして利用することができる。また、この教師データの生成は、自動的に行われるので、人的コストが抑制されており、複数の移動体１００などを用いる等して、一挙に大量に生成することができる。
　以上、一つまたは複数の態様に係る情報生成方法などについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　例えば、上記実施の形態におけるサーバ装置の機能すべてを移動体に備えることにより、スタンドアロンで移動体が所定の領域を移動可能であるか否かを推定する学習モデル用の情報を効率的に生成する。
　また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の情報生成装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、情報生成方法を実行させるプログラムである。
　本開示は、自走式の移動体における移動領域の決定など利用される学習モデルを学習させることなどに利用可能である。
　　１００　移動体
　　１０１　制御部
　　１０２　制御情報受信部
　　１０３　センサ情報送信部
　　１０４　センシング部
　　１０５　認識部
　　１５０　ネットワーク
　　２００　サーバ装置
　　２０１　遠隔操作部
　　２０２　制御情報送信部
　　２０３　センサ情報受信部
　　２０４　学習データ生成部
　　２０５　学習部
　　２０６　記憶デバイス
　　３００　遠隔操作装置
　　３０１　ディスプレイ装置
　　３０２　操舵部
　　５００　学習システム

Claims (10)

  1. 　移動体が所定の領域を移動可能であるか否かを推定する機械学習用の情報を生成するための情報生成装置における情報生成方法であって、
    　移動体が第１の領域を移動する際に、（１）少なくとも前記移動体に設置されたセンサから取得される第１情報、及び、（２）前記移動体の移動に関する第２情報を取得し、
    　前記第２情報に従って、前記移動体が、前記第１の領域を移動可能であるか否かを推定し、
    　前記第１情報及び前記第２情報と、移動可能であるか否かの推定の結果を示す第３情報とを対応付けた前記学習モデル用の第４情報を生成する
    　情報生成方法。
  2. 　前記移動体が、前記第１の領域を移動可能であるか否かの推定は、前記第２情報に従って前記移動体が移動した場合に得られた前記第１情報に含まれる前記第１の領域を移動中の移動データと閾値との差が所定の範囲内であるか否かに基づく
    　請求項１に記載の情報生成方法。
  3. 　前記第２情報は、前記移動体を遠隔操作するオペレータによって入力される
    　請求項２に記載の情報生成方法。
  4. 　さらに、前記移動体の移動の難易度を推定し、
    　前記第４情報の生成では、前記第１情報及び前記第２情報と、難易度の推定の結果を示す第５情報と、前記第３情報とを対応付けた前記第４情報を生成する
    　請求項１～３のいずれか１項に記載の情報生成方法。
  5. 　前記第４情報の生成は、前記第３情報及び前記第５情報が所定の条件を満たす場合にのみ実行される
    　請求項４に記載の情報生成方法。
  6. 　前記第４情報は、前記第１情報に基づいて推定された信頼度を含む
    　請求項１～５のいずれか１項に記載の情報生成方法。
  7. 　さらに、前記第１の領域を種別ごとの複数の区分に分割する第６情報を取得し、
    　前記第４情報は、前記第１情報に含まれる前記第１の領域の画像を、前記第６情報によって分割したときの複数の区分のそれぞれについて、前記第３情報に基づく前記移動体が移動可能であるか否かを示す情報が前記第１の領域の画像に重畳された合成画像を含む
    　請求項１～６のいずれか１項に記載の情報生成方法。
  8. 　前記第１情報に基づいて、前記第１の領域に存在する他の移動体を識別し、
    　前記第１の領域を移動可能であるか否かの推定では、
    　　（ａ）前記他の移動体が第１条件を満たす場合に、前記他の移動体が存在する前記第１の領域を移動可能であると推定すること、及び、
    　　（ｂ）前記他の移動体が第２条件を満たす場合に、前記他の移動体が存在する前記第１の領域を移動可能でないと推定することの、少なくとも一方を行う
    　請求項１～７のいずれか１項に記載の情報生成方法。
  9. 　請求項１～８のいずれか１項に記載の情報生成方法をコンピュータに実行させるための
    　プログラム。
  10. 　移動体が所定の領域を移動可能であるか否かを推定する学習モデル用の情報を生成するための情報生成装置であって、
    　移動体が第１の領域を移動する際に、（１）少なくとも前記移動体に設置されたセンサから取得される第１情報、及び、（２）前記第１の領域に関する第２情報を取得する取得部と、
    　前記第１情報に基づき、前記移動体が、前記第１の領域を移動可能であるか否かを推定する推定部と、
    　前記第１情報及び前記第２情報と、移動可能であるか否かの推定の結果を示す第３情報とを対応付けた前記学習モデル用の第４情報を生成する生成部と、を備える
    　情報生成装置。
PCT/JP2022/005115 2021-06-15 2022-02-09 情報生成方法、情報生成装置及びプログラム WO2022264493A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023529482A JPWO2022264493A1 (ja) 2021-06-15 2022-02-09
EP22824494.3A EP4357872A1 (en) 2021-06-15 2022-02-09 Information-generating method, information-generating device, and program
CN202280040217.8A CN117529693A (zh) 2021-06-15 2022-02-09 信息生成方法、信息生成装置以及程序
US18/530,534 US20240103541A1 (en) 2021-06-15 2023-12-06 Information generation method, information generation device, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-099525 2021-06-15
JP2021099525 2021-06-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/530,534 Continuation US20240103541A1 (en) 2021-06-15 2023-12-06 Information generation method, information generation device, and recording medium

Publications (1)

Publication Number Publication Date
WO2022264493A1 true WO2022264493A1 (ja) 2022-12-22

Family

ID=84526979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005115 WO2022264493A1 (ja) 2021-06-15 2022-02-09 情報生成方法、情報生成装置及びプログラム

Country Status (5)

Country Link
US (1) US20240103541A1 (ja)
EP (1) EP4357872A1 (ja)
JP (1) JPWO2022264493A1 (ja)
CN (1) CN117529693A (ja)
WO (1) WO2022264493A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067125A (ja) * 1999-08-27 2001-03-16 Fujitsu Ltd 実世界情報データベース構築方法及び装置と自律移動走行体学習方法
JP2006185438A (ja) * 2004-12-03 2006-07-13 Matsushita Electric Ind Co Ltd ロボット制御装置
JP2018149669A (ja) 2017-03-14 2018-09-27 オムロン株式会社 学習装置及び学習方法
JP6815571B1 (ja) * 2020-02-27 2021-01-20 三菱電機株式会社 ロボット制御装置、ロボット制御方法及び学習モデル生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067125A (ja) * 1999-08-27 2001-03-16 Fujitsu Ltd 実世界情報データベース構築方法及び装置と自律移動走行体学習方法
JP2006185438A (ja) * 2004-12-03 2006-07-13 Matsushita Electric Ind Co Ltd ロボット制御装置
JP2018149669A (ja) 2017-03-14 2018-09-27 オムロン株式会社 学習装置及び学習方法
JP6815571B1 (ja) * 2020-02-27 2021-01-20 三菱電機株式会社 ロボット制御装置、ロボット制御方法及び学習モデル生成装置

Also Published As

Publication number Publication date
JPWO2022264493A1 (ja) 2022-12-22
EP4357872A1 (en) 2024-04-24
US20240103541A1 (en) 2024-03-28
CN117529693A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110214107B (zh) 提供驾驶员教育的自主车辆
US11061406B2 (en) Object action classification for autonomous vehicles
US10915101B2 (en) Context-dependent alertness monitor in an autonomous vehicle
JP6962926B2 (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
JP6605642B2 (ja) 車両及び車両を管理制御するシステム
US11157001B2 (en) Device and method for assisting with driving of vehicle
KR102106875B1 (ko) 차량학습에 기반한 자율주행 중 사고 회피 시스템 및 방법
CN112166304A (zh) 传感器数据的误差检测
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
WO2019047596A1 (zh) 一种用于驾驶模式切换的方法和装置
JPWO2017168883A1 (ja) 情報処理装置、情報処理方法、プログラム、およびシステム
US11508158B2 (en) Electronic device and method for vehicle driving assistance
US20220261590A1 (en) Apparatus, system and method for fusing sensor data to do sensor translation
US11270689B2 (en) Detection of anomalies in the interior of an autonomous vehicle
US11847562B2 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
KR102659059B1 (ko) 차량용 아바타 처리 장치 및 그를 제어 방법
US11904853B2 (en) Apparatus for preventing vehicle collision and method thereof
US20230046289A1 (en) Automatic labeling of objects in sensor data
US20230343108A1 (en) Systems and methods for detecting projection attacks on object identification systems
WO2022264493A1 (ja) 情報生成方法、情報生成装置及びプログラム
US11704827B2 (en) Electronic apparatus and method for assisting with driving of vehicle
EP3786854A1 (en) Methods and systems for determining driving behavior
US20220284746A1 (en) Collecting sensor data of vehicles
US11881065B2 (en) Information recording device, information recording method, and program for recording information
US20240062550A1 (en) Method for Providing a Neural Network for Directly Validating an Environment Map in a Vehicle by Means of Sensor Data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22824494

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280040217.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2023529482

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2022824494

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022824494

Country of ref document: EP

Effective date: 20240115