WO2021125063A1 - 情報処理装置、情報処理方法、プログラムおよび移動体 - Google Patents
情報処理装置、情報処理方法、プログラムおよび移動体 Download PDFInfo
- Publication number
- WO2021125063A1 WO2021125063A1 PCT/JP2020/046163 JP2020046163W WO2021125063A1 WO 2021125063 A1 WO2021125063 A1 WO 2021125063A1 JP 2020046163 W JP2020046163 W JP 2020046163W WO 2021125063 A1 WO2021125063 A1 WO 2021125063A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- dnn
- coefficient
- inference
- unit
- image data
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Definitions
- This technology relates to an information processing device, an information processing method, a program, and a moving body, and more specifically, to an information processing device for improving the identification accuracy of the external environment of the moving body.
- an autonomous driving vehicle is equipped with an in-vehicle camera, identifies the external environment based on image data of a driving scene, and uses the result to automatically control driving.
- the identification result includes semantic segmentation, depth, and the like. Since it is directly related to safety, extremely high accuracy is required to identify this external environment.
- DNN Deep Neural Network
- the coefficient of the inference DNN is acquired by learning in advance using the image data of the traveling scene actually captured by the in-vehicle camera.
- the identification result When identifying the external environment based on the image data of the driving scene using DNN, if there is a large gap between the image data of the driving scene and the image data of the driving scene used for learning, the identification result will be displayed.
- the accuracy does not increase.
- the accuracy of the identification result can be improved to some extent.
- Patent Document 1 discloses that it is possible to obtain a general-purpose learning coefficient by eliminating a bias in the amount of learning data for each shooting position.
- the purpose of this technology is to improve the identification accuracy of the external environment of a moving object.
- the concept of this technology is An image data acquisition unit that acquires image data with image features corresponding to the moving scene of a moving object, A learning DNN unit that performs learning using the image data acquired by the image data acquisition unit and acquires a coefficient of the inference DNN for identifying the external environment of the moving body from the image data of the moving scene. It is in the information processing device provided.
- the image data acquisition unit acquires image data having image features corresponding to the moving scene of the moving object.
- image features may include positional elements.
- the image feature may further include weather or date and time elements.
- the learning DNN unit performs learning using the image data acquired by the image data acquisition unit, and acquires the coefficient of the inference DNN for identifying the external environment of the moving body from the image data of the moving scene. ..
- the learning DNN unit is a second time zone following the first time zone by transfer learning using the image data acquired by the image data acquisition unit from the coefficient of the inference DNN in the first time zone.
- the inference DNN coefficient to be used in may be obtained.
- the inference DNN in which the coefficient of the inference DNN is set makes it possible to accurately identify the external environment of the moving body from the image data of the moving scene.
- an image data receiving unit that receives image data of a moving scene from a moving body in a state where position information and date and time information are added may be further provided.
- a coefficient transmission unit for transmitting the coefficient of the inference DNN acquired by the learning DNN unit to the moving body may be further provided.
- the coefficient transmission unit has the coefficient of the inference DNN acquired by the learning DNN unit. May be sent to the moving body. This makes it possible to use a coefficient having a higher evaluation value in the moving body.
- a DNN part for inference to identify the external environment from the image data of the moving scene A control unit for controlling movement based on the identification result of the inference DNN unit, and A coefficient receiving unit for receiving the coefficient of the inference DNN used in the inference DNN unit from the cloud server is provided.
- the coefficient of the inference DNN is in a moving body obtained by learning using image data having image features corresponding to the moving scene.
- an inference DNN unit for identifying the external environment from the image data of the moving scene.
- the control unit controls the movement based on the identification result of the inference DNN unit.
- the coefficient receiving unit receives the coefficient of the inference DNN used in the inference DNN unit from the cloud server.
- the coefficient of the inference DNN is obtained by learning using image data having image features corresponding to the moving scene.
- the coefficient of the inference DNN used in the inference DNN unit which is acquired by learning using the image data having the image features corresponding to the moving scene, is received from the cloud server. Is. Therefore, the inference DNN unit can accurately identify the external environment of the moving body from the image data of the moving scene.
- the present technology may further include, for example, an image data transmission unit that transmits image data of a moving scene to a cloud server with location information and date and time information added.
- an image data transmission unit that transmits image data of a moving scene to a cloud server with location information and date and time information added.
- the image data of the moving scene can be provided to the cloud server.
- a learning DNN unit that acquires a coefficient of the inference DNN by learning using image data of a moving scene and a coefficient of the inference DNN acquired by the learning DNN unit are obtained. It may be configured to further include a coefficient transmitter for transmitting to the cloud server. As a result, when the coefficient of the inference DNN cannot be obtained by learning because the image data is not collected by the cloud server, it can be used as a substitute.
- the coefficient receiving unit is moved from the cloud server to the second area while the moving body is moving the overlapping area between the first area and the second area to the second area side.
- the coefficient of the inference DNN corresponding to the first district may be switched to the coefficient of the inference DNN corresponding to the second district.
- the inference DNN unit has a first inference DNN and a second inference DNN
- the coefficient receiving unit is a second unit in which the moving body moves next while moving in the first district.
- the inference DNN coefficient corresponding to the two districts is received, the inference DNN coefficient of the first inference is set in the first inference DNN, and the second inference DNN is set in the second inference DNN.
- the inference DNN unit is used for the second inference from the usage state of the first inference DNN. It may be possible to switch to the DNN usage state. As a result, even when the area where the moving body is moving changes, it is possible to make the inference DNN function in a state where an appropriate coefficient is set without being affected by the transmission delay.
- the storage for holding the coefficient of the inference DNN corresponding to the area where the moving body is moving and the area around it, which is received by the coefficient receiving unit, is further provided, and the inference DNN unit is the moving body.
- the coefficient of the second district inference DNN may be taken out from the storage and used.
- FIG. 1 shows a configuration example of the automatic operation system 10 as an embodiment.
- the automatic driving system 10 has a configuration in which an automobile (hereinafter, appropriately referred to as an “autonomous driving vehicle”) 100 having a plurality of automatic driving functions is connected to a cloud server 200 via the Internet 300.
- an automobile hereinafter, appropriately referred to as an “autonomous driving vehicle”
- a cloud server 200 via the Internet 300.
- Self-driving cars are traveling in multiple districts, in the example shown, in districts 1, 2, ... N.
- Each self-driving car 100 periodically acquires image data of a scene having image features corresponding to a traveling scene, and transmits the image data of the scene to the server 200 via the Internet 300.
- the image features corresponding to the traveling scene include elements of the position of the traveling scene, for example, information on the area in which the vehicle is traveling, as well as weather elements and date and time elements of the traveling scene.
- Each self-driving car 100 includes an inference DNN (Deep Neural Network) unit 101 that identifies the external environment from image data of a driving scene.
- the external environment identified by the inference DNN unit 101 is, for example, Semantic Segmentation or Depth.
- the power, the brake, and the like in the autonomous driving are controlled based on the identification result of the external environment by the inference DNN unit 101.
- the cloud server 200 includes a learning DNN unit 201.
- the learning DNN unit 201 periodically sets the DNN unit 101 for inference of the above-mentioned autonomous driving vehicle 100 for each district and weather based on the image data sent from each autonomous driving vehicle 100. Get the coefficient. Then, the cloud server 200 periodically transmits the DNN coefficient corresponding to the area in which the vehicle is traveling and the weather at that time to each autonomous vehicle 100 via the Internet 300.
- the cloud server 200 transmits the DNN coefficient corresponding to the area in which each is traveling and the weather at that time to each autonomous vehicle 100. Therefore, it is possible to improve the accuracy of the identification result of the external environment in the reasoning DNN unit 101 of each autonomous driving vehicle 100, and therefore, it is possible to more accurately control the power, the brake, and the like in the autonomous driving.
- FIG. 2 shows a configuration example of the autonomous driving vehicle 100 and the cloud server 200.
- the autonomous driving vehicle 100 includes a DNN unit 101 for inference, an imaging unit 102, a position / date / time acquisition unit 103, an image data memory 104, a data transmission unit 105, a data reception unit 106, a DNN coefficient memory 107, and the like. It has a control unit 108 and a learning DNN unit 109.
- the image pickup unit 102 is composed of an image pickup element such as a lens, a CCD image sensor, and a CMOS image sensor, and periodically acquires image data corresponding to a driving scene.
- the position / date / time acquisition unit 103 acquires information on the current position using, for example, GPS (Global Positioning System) or the like. Further, the position / date / time acquisition unit 104 acquires information on the current date / time from a clock unit (not shown).
- the image data memory 104 temporarily holds the image data of the running scene acquired by the imaging unit 102 with the position / date / time information acquired by the position / date / time acquisition unit 103 attached.
- the data transmission unit 105 transmits the image data (with position / date / time information) stored in the image data memory 104 to the cloud server 200 via the Internet 300.
- the data receiving unit 106 receives the DNN coefficient transmitted from the cloud server 200 via the Internet 300.
- the DNN coefficient memory 107 temporarily stores the DNN coefficient received by the data receiving unit 106.
- the DNN coefficient stored in the DNN coefficient memory 107 is taken out and set in the inference DNN unit 101.
- the inference DNN unit 101 identifies the external environment from the image data of the traveling scene acquired by the imaging unit 102.
- the external environment is semantic segmentation, depth, and the like.
- FIG. 3A shows an example of image data of a driving scene.
- FIG. 3B shows an example of the identification result of semantic segmentation with respect to the image data of the driving scene.
- the control unit 108 controls the power, the brake, and the like in the automatic operation based on the identification result of the external environment of the inference DNN unit 101.
- the learning DNN unit 109 performs learning using the image data stored in the memory 104 as learning data and obtains the DNN coefficient. get.
- transfer learning based on the DNN coefficient set and used in the inference DNN unit 101 is performed in a certain time zone (first time zone), and the next time zone (second time zone) is performed. ) Is used to obtain the DNN coefficient.
- This DNN coefficient is a special coefficient corresponding to the district (position) and weather of the driving scene.
- the DNN coefficient acquired by the learning DNN unit 109 is transmitted from the data transmission unit 105 to the cloud server 200 via the Internet 300 when communication with the cloud server 200 becomes possible.
- the DNN coefficient acquired by the learning DNN unit 109 is set and used in the inference DNN unit 101 in the next time zone.
- the cloud server 200 has a learning DNN unit 201, a data receiving unit 202, an image database unit 203, a coefficient database unit 204, and a data transmitting unit 205.
- FIG. 4 shows a detailed configuration example of the cloud server 200.
- the data receiving unit 202 receives the image data (with position / date / time information) of the driving scene transmitted from the autonomous driving vehicle 100 through the Internet 300, for example, by communication such as 5G. Further, the data receiving unit 202 receives the DNN coefficient (specialization coefficient) transmitted from the autonomous driving vehicle 100.
- the DNN coefficient specialization coefficient
- the image database unit 203 stores the image data of the driving scene received by the data receiving unit 202 according to the district, the date and time, and the weather based on the position / date / time information and the weather information added to the image data.
- the weather information can be obtained from the weather information server or by analyzing the image data.
- the position / date / time information is attached to the image data of the traveling scene transmitted from the autonomous driving vehicle 100, but the weather information may be further attached.
- the image database unit 203 of the learning data set for each district and weather in order to acquire the DNN coefficient for use in the inference DNN unit 101 of the autonomous driving vehicle 100 in a certain time zone in the next time zone. Configure and get.
- FIG. 5 corresponds to sunny weather in a certain area that should be used in the next 01:00 to 01:30 time zone in the time zone from 00:30 to 01:00 (running time zone).
- An example of the structure of the training data set used for learning the DNN coefficient is shown.
- the ratio of the image data from 00:00 to 00:30 today (sunny) is "3”
- the ratio of the image data from 01:00 to 01:30 on June 9 (sunny) is "5".
- the ratio of the image data from 01:00 to 01:30 on June 10 (cloudy) is set to "3”.
- the image data from 01:00 to 01:30 on June 8 (rain) will not be used because the weather is completely different.
- the image data of today's (sunny) driving time zone is not included in the configuration of the learning data set, but it is possible to include it. It is also possible to refer to the date and time on a yearly basis. For example, it is effective in constructing a learning data set used for learning the DNN coefficient corresponding to today's (snow) weather in a rare snowy area.
- the time zone is set in 30-minute increments, but the length of this time zone can be defined according to the calculation speed of learning.
- the training data set is composed only of the image data of the same area, but if the number of image data is small only with the image data of the same area, it is conceivable to refer to the image data of the adjacent area, for example. Be done.
- the learning DNN unit 201 performs learning in the learning DNN for each district and weather at a certain time zone based on the learning data set for each district and weather acquired by the image database unit 203. In the next time zone, the DNN coefficient to be used by setting in the inference DNN unit 101 of the autonomous driving vehicle 100 is acquired.
- transfer learning (unsupervised) based on the DNN coefficient in a certain time zone is performed, and the DNN coefficient to be used in the next time zone is acquired.
- the change between the driving scene in one time zone and the driving scene in the next time zone is not so large, and it is possible to efficiently perform highly accurate learning in a short time and with a small number of image data by sequentially performing transfer learning. It will be possible.
- the learning end condition is determined by, for example, a predetermined learning time or a predetermined number of epochs (number of coefficient updates).
- FIG. 6 shows a detailed configuration example of the learning DNN unit 201.
- the learning DNN unit 201 includes a learning DNN for each district and weather, and distributed learning in which learning for each district and weather is performed in parallel is executed. This distributed learning makes it possible to increase the calculation speed as a whole.
- the illustrated example shows the case where the districts are 1 to N and the weather types are 1 to n.
- the types of weather can be sunny, cloudy, rainy, snowy, and so on.
- the coefficient database unit 204 should be set and used in the inference DNN unit 101 of the autonomous driving vehicle 100 in a certain time zone after being acquired by the learning DNN unit 201 in a certain time zone. , The DNN coefficient (specialization coefficient) for each weather is temporarily stored. In addition, the coefficient database unit 204 also temporarily stores the DNN coefficient (specialization coefficient) transmitted from the autonomous driving vehicle 100.
- the coefficient database unit 204 determines and outputs the DNN coefficient to be transmitted to each autonomous driving vehicle 100.
- the DNN coefficient corresponding to each district and the weather that is, the specialization coefficient is determined as the DNN coefficient to be transmitted.
- the general-purpose coefficient is determined as the DNN coefficient to be transmitted instead of the specialization coefficient.
- the general-purpose coefficient is a DNN coefficient obtained by learning in advance using image data of a driving scene that satisfies a wide variety of conditions (position, weather, date and time, etc.), and can correspond to a wide variety of conditions. It is a coefficient.
- FIG. 7 shows a detailed configuration example of the coefficient database unit 204.
- the coefficient database unit 204 has a storage unit 241 for storing the DNN coefficient and a DNN coefficient determining unit 242 for determining and outputting the DNN coefficient to be transmitted to each autonomous driving vehicle 100. Then, the storage unit 241 temporarily stores the area acquired by the learning DNN unit 201, the DNN coefficient (specialization coefficient) for each weather, the storage unit 241a, the area received by the data reception unit 202, and the weather. It has a storage unit 241b that temporarily stores another DNN coefficient (specialization coefficient).
- the DNN coefficient determining unit 242 basically determines the DNN coefficient corresponding to each district and the weather as the DNN coefficient of the next time zone to be transmitted to each autonomous driving vehicle 100, and the DNN coefficient is determined.
- the DNN coefficient is taken out from the storage unit 241 and output as a DNN coefficient to be transmitted.
- the determined DNN coefficient is basically taken out from the storage unit 241a, but when the storage unit 241a does not have the DNN coefficient (corresponding to the case where learning cannot be performed due to a system malfunction, etc.). If the storage unit 241b has the DNN coefficient, it is taken out from the storage unit 241b.
- the DNN coefficient determination unit 242 is configured to output the higher evaluation value as the DNN coefficient to be transmitted. Is also possible.
- the DNN coefficient determination unit 242 actually determines the specialization coefficient only when the DNN coefficient extracted from the storage unit 241, that is, the evaluation value of the specialization coefficient is higher than the evaluation value of the general-purpose coefficient. Output as the DNN coefficient to be transmitted. When the evaluation value of the specialization coefficient is lower than the evaluation value of the general-purpose coefficient, the general-purpose coefficient is output as the DNN coefficient to be transmitted.
- the evaluation value of the specialization coefficient is lower than the evaluation value of the general-purpose coefficient, for example, it is assumed that the number of image data for learning is insufficient and sufficient learning cannot be performed. As a result, when the specialization coefficient is an inappropriate DNN coefficient, it can be avoided that it is used on the autonomous driving vehicle 100 side.
- the DNN coefficient determination unit 242 may be configured to output the general-purpose coefficient as the DNN coefficient to be transmitted when the determined DNN coefficient is not in the storage unit 241 (storage unit 241a, 241b).
- the data transmission unit 205 transmits the DNN coefficient (specialization coefficient or general-purpose coefficient) determined by the coefficient database unit 204 to each autonomous driving vehicle 100 via the Internet 300.
- the DNN coefficient to be used in the next time zone is transmitted to each autonomous driving vehicle 100 in a certain time zone.
- the coefficient database unit 204 when the evaluation value of the specialization coefficient is lower, the coefficient database unit 204 outputs the general-purpose coefficient as a DNN coefficient to be transmitted, and the data transmission unit 205 outputs the general-purpose coefficient to the autonomous driving vehicle 100.
- the coefficient database unit 204 when the evaluation value of the specialization coefficient is lower, the coefficient database unit 204 outputs an instruction instructing to use the general-purpose coefficient, and the data transmission unit 205 transmits the instruction to the autonomous driving vehicle 100.
- the configuration to do is also conceivable. In that case, in the self-driving car 100, the general-purpose coefficient provided by the self-driving car 100 is used according to the instruction.
- the coefficient database unit 204 does not compare the evaluation values of the specialization coefficient and the general-purpose coefficient, but always outputs the specialization coefficient, and the data transmission unit 205 transmits the specialization coefficient to the autonomous driving vehicle 100 and automatically. It is also conceivable to compare the evaluation values of the specialization coefficient and the general-purpose coefficient on the driving vehicle 100 side and determine which one to use.
- the coefficient database unit 204 When the coefficient database unit 204 outputs a general-purpose coefficient as the DNN coefficient of a certain area and weather, and when the learning DNN unit 201 acquires the DNN coefficient of the time zone next to the area and weather, this general-purpose coefficient is used. It is conceivable to perform transfer learning based on the coefficient.
- step ST1 the image database unit 203 acquires image data (with position / date / time information) of the driving scene of each autonomous driving vehicle 100 from the data receiving unit 202.
- step ST2 the image database unit 203 adds weather information to the image data (with position / date / time information) of the driving scene of each autonomous driving vehicle 100 acquired in step ST2.
- step ST3 the image database unit 203 saves the acquired image data of the driving scene of each autonomous vehicle 100 for each image feature (district, date and time, weather).
- step ST4 the image database unit 203 determines an image data set for learning the DNN coefficient in the next time zone for each image feature (district, weather) (see FIG. 5).
- the image database unit 203 preprocesses each image data set for each image feature (district, weather) and sends it to the learning DNN unit 201.
- the preprocessing includes, for example, a process of cutting out image data into a patch, a process of normalizing pixel values, a process of shuffling the order, and the like. This is generally a pre-processing performed for learning about image data.
- the flowchart of FIG. 9 shows an example of the processing procedure of the learning DNN unit 201.
- the learning DNN unit 201 acquires an image data set for each image feature (district, weather) from the image database unit 203.
- the learning DNN unit 201 learns (transfer learning) the DNN coefficient with the learning DNN using the image data set for each image feature (district, weather).
- the learning DNN unit 201 finishes learning in step ST13 at the specified learning time or the number of epochs.
- the learning DNN unit 201 sends the DNN coefficient learned for each image feature (district, weather) to the coefficient database unit 204 in step ST14.
- the flowchart of FIG. 10 shows an example of the processing procedure of the coefficient database unit 204.
- the coefficient database unit 204 acquires the DNN coefficient learned for each image feature (district, weather) from the learning DNN unit 201.
- the coefficient database unit 204 calculates the DNN coefficient acquired in step ST22. Add information on image features (district, weather) and save.
- the coefficient database unit 204 evaluates whether or not the acquired DNN coefficient (specialization coefficient) is more accurate than the general-purpose coefficient in step ST23. This evaluation is based on the loss function.
- the coefficient database unit 204 sends the acquired DNN coefficient (specialization coefficient) to the data transmission unit 205 if it is highly accurate, or sends the general-purpose coefficient to the data transmission unit 205 if it is not highly accurate. Alternatively, an instruction to use the in-vehicle general-purpose coefficient is sent to the data transmission unit 205.
- the data receiving unit 106 is in the cloud while the autonomous driving vehicle 100 is moving the overlapping area between the first district and the second district to the second district side.
- the coefficient corresponding to the second district is received from the server 200, the DNN coefficient corresponding to the first district is switched to the DNN coefficient corresponding to the second district.
- the inference DNN unit 101 has a first inference DNN and a second inference DNN, and the data receiving unit 106 moves next while the autonomous vehicle 100 is moving in the first district. Receive the DNN coefficient corresponding to the second district. Then, the DNN coefficient of the first district is set in the first inference DNN, the DNN coefficient of the second district is set in the second inference DNN, and the autonomous driving vehicle 100 is set from the first district.
- the inference DNN unit 101 is switched from the usage state of the first inference DNN to the usage state of the second inference DNN.
- the self-driving car 100 On the self-driving car 100 side, a wide range of DNN coefficients including the running area is stored in the storage in advance, and the self-driving car 100 travels across the area or in the overlapping area. This is a method of switching the DNN coefficient used in the inference DNN unit 101.
- the self-driving car 100 includes a storage that holds the DNN coefficient corresponding to the moving district and the surrounding district received by the data receiving unit 106, and the inference DNN unit 101 is the first traveling district. When moving from the district to the second district, the DNN coefficient of the second district is taken out from the storage and used.
- the range of the DNN coefficient held in the storage changes according to the running of the autonomous driving vehicle 100.
- the broken line ellipse indicates the area where the autonomous driving vehicle 100 is traveling, and the solid line ellipse indicates the surrounding area by holding the DNN coefficient in the storage in advance.
- there is an overlapping area of the district but there may be a case where there is no overlapping area.
- FIG. 12 is a block diagram showing a configuration example of the hardware of the cloud server 200.
- the CPU Central Processing Unit
- the ROM Read Only Memory
- the RAM Random Access Memory
- An input / output interface 505 is further connected to the bus 504.
- An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
- the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
- the output unit 507 includes a display, a speaker, and the like.
- the storage unit 508 includes a hard disk, a non-volatile memory, and the like.
- the communication unit 509 includes a network interface and the like.
- the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 501 loads the program stored in the storage unit 508 into the RAM 503 via the input / output interface 505 and the bus 504 and executes the program. A series of processing is performed.
- the program executed by the CPU 501 can be recorded and provided on the removable media 511 as a package media or the like, for example.
- the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be installed in the storage unit 508 via the input / output interface 505 by mounting the removable media 511 in the drive 510. Further, the program can be received by the communication unit 509 and installed in the storage unit 508 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 502 or the storage unit 508.
- the program executed by the CPU 501 may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
- the cloud server 200 to each automatic driving vehicle 100 has a DNN coefficient (specialization coefficient) corresponding to the area in which each vehicle is traveling and the weather at that time. Will be sent. Therefore, it is possible to improve the accuracy of the identification result of the external environment in the reasoning DNN unit 101 of each autonomous driving vehicle 100, and therefore, it is possible to more accurately control the power, the brake, and the like in the autonomous driving.
- DNN coefficient specialization coefficient
- the district is not particularly mentioned, but it is conceivable to narrow down the scope of the district to study the dangerous district. By conducting learning by narrowing down the range of the district in this way, it is possible to improve the accuracy of the learned DNN coefficient.
- the example in which the moving body is the automobile 100 is shown, but in the present technology, even if the moving body is, for example, an autonomous traveling robot, a flying body such as a drone, or the like Can be applied.
- a flying object such as a drone
- image features related to flight altitude For example, if the altitude is 0 to 2 m, it is close to the viewpoint of a person, and if the altitude is several tens of meters or more, the scene is aerial photography.
- the present technology can have the following configurations.
- An image data acquisition unit that acquires image data having image features corresponding to a moving scene of a moving object, and an image data acquisition unit.
- a learning DNN unit that performs learning using the image data acquired by the image data acquisition unit and acquires a coefficient of the inference DNN for identifying the external environment of the moving body from the image data of the moving scene.
- Information processing device to be equipped.
- the image feature further includes a weather element.
- the learning DNN unit follows the first time zone by transfer learning using the image data acquired by the image data acquisition unit from the coefficient of the inference DNN in the first time zone.
- the information processing apparatus according to any one of (1) to (4) above, which acquires a coefficient of the inference DNN to be used in the second time zone.
- Information processing device (7)
- the information processing apparatus according to any one of (1) to (6) above, further comprising a coefficient transmitting unit that transmits the coefficient of the inference DNN acquired by the learning DNN unit to the moving body.
- the coefficient transmitting unit is used for inference when the evaluation value of the coefficient of the inference DNN acquired by the learning DNN unit is higher than the evaluation value of the general-purpose coefficient.
- the information processing apparatus according to (7) above which transmits a DNN coefficient to the moving body.
- (9) A procedure for acquiring image data having image features corresponding to a moving scene of a moving body, and An information processing method having a procedure of performing learning using the acquired image data and acquiring an inference DNN coefficient for identifying the external environment of the moving body from the image data of the moving scene.
- (10) Computer An image data acquisition means for acquiring image data having image features corresponding to a moving scene of a moving object, and As a learning DNN means that performs learning using the image data acquired by the image data acquisition means and acquires a coefficient of the inference DNN for identifying the external environment of the moving body from the image data of the moving scene.
- a program that works (11) An inference DNN unit for identifying the external environment from the image data of the moving scene, A control unit for controlling movement based on the identification result of the inference DNN unit, and A coefficient receiving unit for receiving the coefficient of the inference DNN used in the inference DNN unit from the cloud server is provided.
- the coefficient of the inference DNN is a moving body obtained by learning using image data having image features corresponding to the moving scene.
- a learning DNN unit that performs learning using the image data of the moving scene and acquires the coefficient of the inference DNN.
- the coefficient receiving unit receives the coefficient from the cloud server while the moving body moves the overlapping region of the first area and the second area to the second area side.
- the inference DNN unit has a first inference DNN and a second inference DNN.
- the coefficient receiving unit receives the coefficient of the inference DNN corresponding to the second district to which the moving body moves next while moving in the first district.
- the coefficient of the inference DNN in the first district is set in the first inference DNN, and the coefficient of the inference DNN in the second district is set in the second inference DNN.
- the inference DNN unit is switched from the usage state of the first inference DNN to the usage state of the second inference DNN.
- the moving body according to any one of (11) to (13).
- the inference DNN unit is used by extracting the coefficient of the inference DNN in the second area from the storage when the moving body moves from the first area to the second area (11).
- the moving body according to any one of (13).
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
移動体の外部環境の識別精度を高める。 移動体の移動シーンに対応した画像特徴(地区、日時、天気など)を持つ画像データを取得する。この画像データを用いた学習を行って、移動シーンの画像データから移動体の外部環境を識別するための推論用DNNの係数を取得する。例えば、外部環境は、セマンティックセグメンテーションやデプスなどである。この推論用DNNの係数を設定した推論用DNNにより、移動シーンの画像データから移動体の外部環境を精度よく識別することが可能となる。
Description
本技術は、情報処理装置、情報処理方法、プログラムおよび移動体に関し、詳しくは、移動体の外部環境の識別精度を高めるための情報処理装置等に関する。
従来、自動運転車は、車載カメラを搭載し、走行シーンの画像データに基づいて外部環境を識別し、その結果を利用して運転の自動制御を行う構成となっている。例えば、識別結果としては、セマンティックセグメンテーションやデプス等がある。安全性に直結することから、この外部環境の識別には非常に高い精度が求められる。
走行シーンの画像データを識別するために、機械学習的手法であるDNN(Deep Neural Network)を用いることが知られている。この場合、事前に、実際に車載カメラで撮像された走行シーンの画像データを用いて学習を行うことで、推論用DNNの係数が取得されている。
DNNを用いて走行シーンの画像データに基づいて外部環境を識別する際、その走行シーンの画像データと、学習に用いられた走行シーンの画像データに大きなギャップがあった場合には、識別結果の精度を高くならない。学習時になるべく多くのシーンの画像データを用いることで、識別結果の精度をある程度は高くできる。しかし、全世界の様々なシーンの画像データを網羅して学習を行うことは不可能である。
例えば、特許文献1には、撮影位置毎の学習データ量の偏りを無くして、汎用的な学習係数の取得を可能とすることが開示されている。
本技術の目的は、移動体の外部環境の識別精度を高めることにある。
本技術の概念は、
移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得部と、
前記画像データ取得部で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する学習用DNN部を備える
情報処理装置にある。
移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得部と、
前記画像データ取得部で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する学習用DNN部を備える
情報処理装置にある。
本技術において、画像データ取得部により、移動体の移動シーンに対応した画像特徴を持つ画像データが取得される。例えば、画像特徴には、位置の要素が含まれてもよい。この場合、例えば、画像特徴には、天気または日時の要素がさらに含まれてもよい。
学習用DNN部により、画像データ取得部で取得された画像データを用いた学習が行われて、移動シーンの画像データから移動体の外部環境を識別するための推論用DNNの係数が取得される。例えば、学習用DNN部は、第1の時間帯の推論用DNNの係数から、画像データ取得部で取得された画像データを用いた転移学習により、第1の時間帯に続く第2の時間帯で使用すべき推論用DNNの係数を取得する、ようにされてもよい。
このように本技術においては、移動体の移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って、移動シーンの画像データから移動体の外部環境を識別するための推論用DNNの係数を取得するものである。この推論用DNNの係数を設定した推論用DNNにより、移動シーンの画像データから移動体の外部環境を精度よく識別することが可能となる。
なお、本技術において、例えば、移動体から、移動シーンの画像データを、位置情報および日時情報が付加された状態で受信する画像データ受信部をさらに備える、ようにされてもよい。また、本技術において、例えば、学習用DNN部で取得された推論用DNNの係数を移動体に送信する係数送信部をさらに備える、ようにされてもよい。この場合、例えば、係数送信部は、学習用DNN部で取得された推論用DNNの係数の評価値が汎用係数の評価値より高い場合に、学習用DNN部で取得された推論用DNNの係数を移動体に送信する、ようにされてもよい。これにより、移動体では、より評価値の高い係数を用いることが可能となる。
また、本技術の他の概念は、
移動シーンの画像データから外部環境を識別するための推論用DNN部と、
前記推論用DNN部の識別結果に基づいて移動を制御するための制御部と、
クラウドサーバから前記推論用DNN部で使用する推論用DNNの係数を受信する係数受信部を備え、
前記推論用DNNの係数は、前記移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである
移動体にある。
移動シーンの画像データから外部環境を識別するための推論用DNN部と、
前記推論用DNN部の識別結果に基づいて移動を制御するための制御部と、
クラウドサーバから前記推論用DNN部で使用する推論用DNNの係数を受信する係数受信部を備え、
前記推論用DNNの係数は、前記移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである
移動体にある。
本技術においては、移動シーンの画像データから外部環境を識別するための推論用DNN部が備えられている。制御部により、推論用DNN部の識別結果に基づいて移動が制御される。また、係数受信部により、クラウドサーバから推論用DNN部で使用する推論用DNNの係数が受信される。ここで、推論用DNNの係数は、移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである。
このように本技術においては、クラウドサーバから、移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得された、推論用DNN部で使用する推論用DNNの係数を受信するものである。そのため、推論用DNN部では移動シーンの画像データから移動体の外部環境を精度よく識別することが可能となる。
なお、本技術において、例えば、移動シーンの画像データを、位置情報および日時情報が付加された状態でクラウドサーバに送信する画像データ送信部をさらに備える、ようにされてもよい。これにより、クラウドサーバに移動シーンの画像データを提供できる。また、クラウドサーバに自身の位置情報を提供でき、クラウドサーバから自身が移動中の地区に対応した推論用DNNの係数の送信を受けることが容易に可能となる。
また、本技術において、例えば、移動シーンの画像データを用いた学習を行って、推論用DNNの係数を取得する学習用DNN部と、この学習用DNN部で取得された推論用DNNの係数をクラウドサーバに送信する係数送信部をさらに備える、ようにされてもよい。これにより、クラウドサーバで画像データが集まらないことから学習によって推論用DNNの係数を得ることができない場合に、その代わりとして使用することが可能となる。
また、本技術において、例えば、推論用DNN部は、移動体が第1の地区と第2の地区のオーバーラップ領域を第2の地区側に移動中に、係数受信部がクラウドサーバから第2の地区に対応した推論用DNNの係数を受信したとき、第1の地区に対応した推論用DNNの係数から第2の地区に対応した推論用DNNの係数に切り替える、ようにされてもよい。これにより、移動体が移動している地区が変わる場合であっても、伝送遅延に影響されることなく、適切な係数が設定された状態で推論用DNNを機能させることが可能となる。
また、本技術において、推論用DNN部は、第1の推論用DNNおよび第2の推論用DNNを有し、係数受信部は、移動体が第1の地区を移動中に次に移動する第2の地区に対応した推論用DNNの係数を受信し、第1の推論用DNNには第1の地区の前記推論用DNNの係数が設定され、第2の推論用DNNには第2の地区の前記推論用のDNNの係数が設定され、移動体が第1の地区から第2の地区に移動するとき、推論用DNN部は、第1の推論用DNNの使用状態から第2の推論用DNNの使用状態に切り替えられる、ようにされてもよい。これにより、移動体が移動している地区が変わる場合であっても、伝送遅延に影響されることなく、適切な係数が設定された状態で推論用DNNを機能させることが可能となる。
また、本技術において、係数受信部で受信される、移動体が移動中の地区およびその周辺の地区に対応した推論用DNNの係数を保持するストレージをさらに備え、推論用DNN部は、移動体が第1の地区から第2の地区に移動するとき、ストレージから第2に地区の推論用DNNの係数を取り出して使用する、ようにされてもよい。これにより、移動体が移動している地区が変わる場合であっても、伝送遅延に影響されることなく、適切な係数が設定された状態で推論用DNNを機能させることが可能となる。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
1.実施の形態
2.変形例
<1.実施の形態>
[自動運転システムの構成]
図1は、実施の形態としての自動運転システム10の構成例を示している。この自動運転システム10は、複数の自動運転機能を有する自動車(以下、適宜、「自動運転車」という)100が、インターネット300を介して、クラウドサーバ200に接続された構成となっている。
[自動運転システムの構成]
図1は、実施の形態としての自動運転システム10の構成例を示している。この自動運転システム10は、複数の自動運転機能を有する自動車(以下、適宜、「自動運転車」という)100が、インターネット300を介して、クラウドサーバ200に接続された構成となっている。
複数の地区、図示の例においては、地区1,2、・・・Nを、自動運転車が走行している。各自動運転車100は、走行シーンに対応した画像特徴を持つシーンの画像データを定期的に取得し、当該シーンの画像データを、インターネット300を通じて、サーバ200に送信する。ここで、走行シーンに対応した画像特徴には、走行シーンの位置の要素、例えば走行している地区情報が含まれる他、走行シーンの天気の要素や日時の要素等も含まれる。
各自動運転車100は、走行シーンの画像データから外部環境を識別する推論用DNN(Deep Neural Network)部101を備えている。この推論用DNN部101で識別される外部環境は、例えば、セマンティックセグメンテーション(Semantic Segmentation)やデプス(Depth)などである。各自動運転車100では、推論用DNN部101による外部環境の識別結果に基づいて、自動運転における動力やブレーキ等を制御することが行われる。
クラウドサーバ200は、学習用DNN部201を備えている。学習用DNN部201は、定期的に、各自動運転車100から送られてくる画像データに基づき、地区および天気毎に、上述した自動運転車100の推論用DNN部101に設定するためのDNN係数を取得する。そして、クラウドサーバ200は、定期的に、各自動運転車100に、インターネット300を通じて、それぞれが走行している地区およびそのときの天気に対応したDNN係数を送信する。
このようにクラウドサーバ200から各自動運転車100に、それぞれが走行している地区およびそのときの天気に対応したDNN係数が送信される。そのため、各自動運転車100の推論用DNN部101における外部環境の識別結果の精度を高めることが可能となり、従って自動運転における動力やブレーキ等の制御をより精度よく行うことが可能となる。
「自動運転車とクラウドサーバの構成例」
図2は、自動運転車100とクラウドサーバ200の構成例を示している。自動運転車100は、推論用DNN部101と、撮像部102と、位置・日時取得部103と、画像データメモリ104と、データ送信部105と、データ受信部106と、DNN係数メモリ107と、制御部108と、学習用DNN部109を有している。
図2は、自動運転車100とクラウドサーバ200の構成例を示している。自動運転車100は、推論用DNN部101と、撮像部102と、位置・日時取得部103と、画像データメモリ104と、データ送信部105と、データ受信部106と、DNN係数メモリ107と、制御部108と、学習用DNN部109を有している。
撮像部102は、レンズやCCDイメージセンサ、CMOSイメージセンサ等の撮像素子等で構成されており、走行シーンに対応した画像データを定期的に取得する。位置・日時取得部103は、例えばGPS(Global Positioning System)等を用いて、現在の位置の情報を取得する。また、位置・日時取得部104は、図示しない時計部から現在の日時の情報を取得する。
画像データメモリ104は、撮像部102で取得された走行シーンの画像データを、位置・日時取得部103で取得された位置・日時情報が付けられた状態で一時的に保持する。データ送信部105は、画像データメモリ104に保持されている画像データ(位置・日時情報付き)を、インターネット300を通じて、クラウドサーバ200に送信する。
データ受信部106は、クラウドサーバ200からインターネット300を通じて送信されてくるDNN係数を受信する。DNN係数メモリ107は、データ受信部106で受信されたDNN係数を一時的に記憶する。推論用DNN部101には、DNN係数メモリ107に記憶されているDNN係数が取り出されて設定される。
そして、推論用DNN部101は、撮像部102で取得された走行シーンの画像データから外部環境を識別する。例えば、外部環境は、セマンティックセグメンテーションやデプス等である。例えば、図3(a)は、走行シーンの画像データの一例を示している。図3(b)は、その走行シーンの画像データに対するセマンティックセグメンテーションの識別結果の一例を示している。制御部108は、推論用DNN部101の外部環境の識別結果に基づいて、自動運転における動力やブレーキ等を制御する。
学習用DNN部109は、例えば、通信網がなく、クラウドサーバ200との間で通信ができない場合に、メモリ104に記憶された画像データを学習用データとして用いて学習を行って、DNN係数を取得する。この場合、例えば、ある時間帯(第1の時間帯)において推論用DNN部101に設定されて使用されているDNN係数に基づく転移学習が行われて、次の時間帯(第2の時間帯)で使用すべきDNN係数を取得することが行われる。このDNN係数は、走行シーンの地区(位置)、天気に対応した特化係数である。
学習用DNN部109で取得されたDNN係数は、クラウドサーバ200との間で通信が可能になった場合に、データ送信部105から、インターネット300を通じて、クラウドサーバ200に送信される。あるいは、学習用DNN部109で取得されたDNN係数は、次の時間帯に、推論用DNN部101に設定されて使用される。
クラウドサーバ200は、学習用DNN部201と、データ受信部202と、画像データベース部203と、係数データベース部204と、データ送信部205を有している。
「クラウドサーバの詳細な構成例」
図4は、クラウドサーバ200の詳細な構成例を示している。データ受信部202は、自動運転車100から送信されてくる走行シーンの画像データ(位置・日時情報付き)を、インターネット300を通じて、例えば5G等の通信により、受信する。また、データ受信部202は、自動運転車100から送信されてくるDNN係数(特化係数)を、受信する。
図4は、クラウドサーバ200の詳細な構成例を示している。データ受信部202は、自動運転車100から送信されてくる走行シーンの画像データ(位置・日時情報付き)を、インターネット300を通じて、例えば5G等の通信により、受信する。また、データ受信部202は、自動運転車100から送信されてくるDNN係数(特化係数)を、受信する。
「画像データベース部の説明」
画像データベース部203は、データ受信部202で受信された走行シーンの画像データを、それに付加されている位置・日時情報および天気情報に基づいて、地区、日時、天気別に保存する。この場合、天気情報に関しては、天気情報サーバから取得するか、あるいは画像データを解析することで取得することができる。なお、上述では自動運転車100から送信されてくる走行シーンの画像データには位置・日時情報が付けられているが、さらに天気情報が付けられてきてもよい。
画像データベース部203は、データ受信部202で受信された走行シーンの画像データを、それに付加されている位置・日時情報および天気情報に基づいて、地区、日時、天気別に保存する。この場合、天気情報に関しては、天気情報サーバから取得するか、あるいは画像データを解析することで取得することができる。なお、上述では自動運転車100から送信されてくる走行シーンの画像データには位置・日時情報が付けられているが、さらに天気情報が付けられてきてもよい。
また、画像データベース部203は、ある時間帯において、次の時間帯において自動運転車100の推論用DNN部101で使用するためのDNN係数を取得するために、地区、天気別に、学習データセットの構成と取得を行う。
図5は、00:30~01:00の時間帯(走行中の時間帯)において、次の01:00~01:30の時間帯で使用すべき、ある地区で、晴れの天気に対応したDNN係数を学習するために用いられる学習データセットの構成の一例を示している。この例では、今日(晴れ)の00:00~00:30の画像データの比率が“3”、6月9日(晴れ)の01:00~01:30の画像データの比率が“5”、6月10日(曇り)の01:00~01:30の画像データの比率が“3”とされている。6月8日(雨)の01:00~01:30の画像データは、天気が全く違うので使用されない。
なお、この例では、今日(晴れ)の走行中の時間帯の画像データを学習データセットの構成に含めていないが、含めることも考えられる。また、日時については、年単位で参照することも考えられる。例えば、稀に雪が降る地区で、本日(雪)の天気に対応したDNN係数を学習するために用いられる学習データセットを構成する際に有効となる。
また、この例では、時間帯を30分刻みとしているが、この時間帯の長さは学習の演算速度に応じて定義することが可能である。また、この例では同一地区の画像データのみで学習データセットを構成しているが、同一地区の画像データだけでは画像データ数が少ない場合には、例えば隣接地区の画像データを参照することも考えられる。
「学習用DNN部の説明」
図4に戻って、学習用DNN部201は、画像データベース部203で取得される地区、天気別の学習データセットに基づいて、ある時間帯において地区、天気別に学習用DNNで学習を行って、次の時間帯で自動運転車100の推論用DNN部101に設定して使用すべきDNN係数を取得する。
図4に戻って、学習用DNN部201は、画像データベース部203で取得される地区、天気別の学習データセットに基づいて、ある時間帯において地区、天気別に学習用DNNで学習を行って、次の時間帯で自動運転車100の推論用DNN部101に設定して使用すべきDNN係数を取得する。
この場合、ある時間帯におけるDNN係数に基づく転移学習(教師なし)が行われて、次の時間帯で使用すべきDNN係数を取得することが行われる。ある時間帯の走行シーンと次の時間帯の走行シーンの変化はそれ程大きくはなく、順次転移学習をしていくことで短い時間および少ない画像データ数で効率的に精度の高い学習を行うことが可能となる。学習の終了条件は、例えば、予め規定された学習時間や、予め規定されたエポック数(係数の更新回数)で定められる。
図6は、学習用DNN部201の詳細構成例を示している。学習用DNN部201は、地区、天気別に学習用DNNを備えており、地区、天気別の学習が並行して行われる分散学習が実行される。この分散学習により、全体としての演算速度を高めることが可能となる。図示の例は、地区が1~Nであり、天気の種類が1~nの場合を示している。天気の種類には、晴れ、曇り、雨、雪等が考えられる。
なお、上述では、今日のある時間帯において、次の時間帯における全ての天気の種類に対応した各地区のDNN係数の学習するように説明したが、今日の各地区で全く該当しない天気の種類に関しては、DNN係数の学習を省略することも考えられる。例えば、今日の各地区で該当する天気は晴れのみである場合には、その他の曇り、雨、雪等に対応するDNN係数の学習は無意味となるので省略してもよい。
「係数データベース部の説明」
図4に戻って、係数データベース部204は、ある時間帯において学習用DNN部201で取得された、次に時間帯で自動運転車100の推論用DNN部101に設定して使用すべき、地区、天気別のDNN係数(特化係数)を、一時的に記憶する。また、係数データベース部204は、自動運転車100から送信されてくるDNN係数(特化係数)も、一時的に記憶する。
図4に戻って、係数データベース部204は、ある時間帯において学習用DNN部201で取得された、次に時間帯で自動運転車100の推論用DNN部101に設定して使用すべき、地区、天気別のDNN係数(特化係数)を、一時的に記憶する。また、係数データベース部204は、自動運転車100から送信されてくるDNN係数(特化係数)も、一時的に記憶する。
また、係数データベース部204は、各自動運転車100に送信すべきDNN係数を決定して出力する。この場合、基本的には、それぞれの地区、天気に対応したDNN係数、つまり特化係数を送信すべきDNN係数として決定される。しかし、DNNの損失関数を基に評価し、特化係数の評価値が汎用係数の評価値より低いなる場合には、特化係数の代わりに汎用係数が送信すべきDNN係数として決定される。ここで、汎用係数とは、広く様々な条件(位置、天気、日時など)を満たす走行シーンの画像データを用いて予め学習されて得られたDNN係数であり、広く様々な条件に対応できるDNN係数である。
図7は、係数データベース部204の詳細構成例を示している。係数データベース部204は、DNN係数を記憶する記憶部241と、各自動運転車100に送信すべきDNN係数を決定して出力するDNN係数決定部242を有する。そして、記憶部241は、学習用DNN部201で取得された地区、天気別のDNN係数(特化係数)を一時的に記憶する記憶部241aと、データ受信部202で受信された地区、天気別のDNN係数(特化係数)を一時的に記憶する記憶部241bを有している。
また、DNN係数決定部242は、各自動運転車100に送信すべき次の時間帯のDNN係数として、基本的には、それぞれの地区、天気に対応したDNN係数を決定し、その決定されたDNN係数を記憶部241から取り出して送信すべきDNN係数として出力する。この場合、その決定されたDNN係数を基本的には記憶部241aから取り出すが、この記憶部241aにそのDNN係数がない場合(システム不具合で学習ができなかった場合等が該当する)には、記憶部241bにそのDNN係数があればこの記憶部241bから取り出すようにされる。
なお、DNN係数決定部242は、記憶部241aおよび記憶部241bの双方に決定されたDNN係数がある場合には、評価値の高い方を、送信すべきDNN係数として出力するように構成することも考えられる。
この実施の形態においては、実際には、DNN係数決定部242は、記憶部241から取り出したDNN係数、つまり特化係数の評価値が汎用係数の評価値より高い場合だけ、その特化係数を送信すべきDNN係数として出力する。特化係数の評価値が汎用係数の評価値より低い場合には、汎用係数を送信すべきDNN係数として出力する。
特化係数の評価値の方が汎用係数の評価値より低くなるケースとしては、例えば、学習用の画像データの数が不足していて充分に学習ができなかった場合等が想定される。これにより、特化係数が不適当なDNN係数である場合に、それが自動運転車100側で使用されることを回避でできる。
また、DNN係数決定部242は、決定されたDNN係数が記憶部241(記憶部241a,241b)にない場合、汎用係数を送信すべきDNN係数として出力するように構成されてもよい。
図4に戻って、データ送信部205は、各自動運転車100に、インターネット300を通じて、係数データベース部204で決定されたDNN係数(特化係数または汎用係数)を送信する。この場合、各自動運転車100には、ある時間帯において、次の時間帯に使用すべきDNN係数が送信される。
なお、上述では、係数データベース部204は特化係数の評価値の方が低い場合には、汎用係数を送信すべきDNN係数として出力し、データ送信部205はその汎用係数を自動運転車100に送信するように説明した。しかし、係数データベース部204は、特化係数の評価値の方が低い場合には、汎用係数を使用することを指示する命令を出力し、データ送信部205はその命令を自動運転車100に送信する構成も考えられる。その場合には、自動運転車100において、その命令に従って自身が備える汎用係数を使用することになる。
また、係数データベース部204では特化係数と汎用係数の評価値の比較はせずに、常に特化係数を出力し、データ送信部205はその特化係数を自動運転車100に送信し、自動運転車100側で特化係数と汎用係数の評価値を比較し、いずれを使用するかを決定するように構成することも考えられる。
なお、ある地区、天気のDNN係数として係数データベース部204が汎用係数を出力する場合、学習用DNN部201では、その地区、天気の次の時間帯のDNN係数を取得する場合には、この汎用係数に基づく転移学習を行うことが考えられる。
「画像データベース部、学習用DNN部および係数データベース部の処理手順例」
図8のフローチャートは、画像データベース部203の処理手順の一例を示している。画像データベース部203は、ステップST1において、データ受信部202から各自動運転車100の走行シーンの画像データ(位置・日時情報付き)を取得する。次に、画像データベース部203は、ステップST2において、取得した各自動運転車100の走行シーンの画像データ(位置・日時情報付き)に、天気情報を付加する。
図8のフローチャートは、画像データベース部203の処理手順の一例を示している。画像データベース部203は、ステップST1において、データ受信部202から各自動運転車100の走行シーンの画像データ(位置・日時情報付き)を取得する。次に、画像データベース部203は、ステップST2において、取得した各自動運転車100の走行シーンの画像データ(位置・日時情報付き)に、天気情報を付加する。
次に、画像データベース部203は、ステップST3において、画像特徴(地区、日時、天気)別に、取得した各自動運転車100の走行シーンの画像データを保存する。次に、画像データベース部203は、ステップST4において、画像特徴(地区、天気)別に、次の時間帯のDNN係数を学習するための画像データセットを決定する(図5参照)。
次に、画像データベース部203は、ステップST5において、画像特徴(地区、天気)別の画像データセットにそれぞれ前処理をして学習用DNN部201に送る。前処理には、例えば、画像データをパッチに切出す処理、画素値を正規化する処理、そして順番をシャッフルする処理等が含まれる。これは、一般的に、画像データに関する学習に行われる前処理である。
図9のフローチャートは、学習用DNN部201の処理手順の一例を示している。学習用DNN部201は、ステップST11において、画像データベース部203から画像特徴(地区、天気)別の画像データセットを取得する。次に、学習用DNN部201は、ステップST12において、画像特徴(地区、天気)別に、画像データセットを用いて、学習用DNNでDNN係数を学習(転移学習)する。
次に、学習用DNN部201は、ステップST13において、規定の学習時間、またはエポック数で、学習を終了する。次に、学習用DNN部201は、ステップST14において、画像特徴(地区、天気)別に学習したDNN係数を、係数データベース部204に送る。
図10のフローチャートは、係数データベース部204の処理手順の一例を示している。係数データベース部204は、ステップST21において、学習用DNN部201から、画像特徴(地区、天気)別に学習したDNN係数を取得する。次に、係数データベース部204は、ステップST22において、取得したDNN係数を。画像特徴(地区、天気)の情報を加えて、保存する。
次に、係数データベース部204は、ステップST23において、取得したDNN係数(特化係数)が汎用係数より高精度か否かを評価する。この評価は、損失関数を基に評価する。次に、係数データベース部204は、ステップST24において、高精度であれば、取得したDNN係数(特化係数)を、一方、高精度でなければ、汎用係数を、データ送信部205に送るか、または車載の汎用係数の使用命令をデータ送信部205に送る。
「DNN係数の伝送遅延の対処方法」
クラウドサーバ200から自動運転車100にDNN係数を送信する際に、伝送遅延が発生した場合、自動運転車100では、走行地区に対応したDNN係数を受信できない区間が生じる。このような伝送遅延の対処方法として、例えば、以下の(1)~(3)が考えられる。これらの対処方法により、自動運転車100が走行している地区が変わる場合であっても、伝送遅延に影響されることなく、適切なDNN係数が設定された状態で推論用DNNを機能させることが可能となる。
クラウドサーバ200から自動運転車100にDNN係数を送信する際に、伝送遅延が発生した場合、自動運転車100では、走行地区に対応したDNN係数を受信できない区間が生じる。このような伝送遅延の対処方法として、例えば、以下の(1)~(3)が考えられる。これらの対処方法により、自動運転車100が走行している地区が変わる場合であっても、伝送遅延に影響されることなく、適切なDNN係数が設定された状態で推論用DNNを機能させることが可能となる。
(1)地区と地区との間にオーバーラップ領域を設け、この領域内でDNN係数を切り替える方法である。この場合、自動運転車100の推論用DNN部101は、自動運転車100が第1の地区と第2の地区のオーバーラップ領域を第2の地区側に移動中に、データ受信部106がクラウドサーバ200から第2の地区に対応した係数を受信したとき、第1の地区に対応したDNN係数から第2の地区に対応したDNN係数に切り替える。
(2)移動先の地区(領域)を自動運転車100の進行方向から予測し、別途用意した2つの推論用DNNに、移動先の地区に対応した係数を事前に適用しておき、自動運転車100が地区を跨ぐ際、またはオーバーラップ領域内を走行する際に、使用する推論用DNNを切り替える方法である。この場合、推論用DNN部101は、第1の推論用DNNおよび第2の推論用DNNを有し、データ受信部106は、自動運転車100が第1の地区を移動中に次に移動する第2の地区に対応したDNN係数を受信する。そして、第1の推論用DNNには第1の地区のDNN係数が設定され、第2の推論用DNNには第2の地区のDNN係数が設定され、自動運転車100が第1の地区から第2の地区に移動するとき、推論用DNN部101は、第1の推論用DNNの使用状態から前記第2の推論用DNNの使用状態に切り替えられる。
(3)自動運転車100側では、事前に、走行中の地区を含む広い範囲のDNN係数をストレージに保持しておき、自動運転車100が地区を跨ぐ際、またはオーバーラップ領域内を走行する際に、推論用DNN部101で使用するDNN係数を切り替える方法である。この場合、自動運転車100は、データ受信部106で受信される移動中の地区およびその周辺の地区に対応したDNN係数を保持するストレージを備え、推論用DNN部101は、走行中の第1の地区から第2の地区に移動する際に、ストレージから第2に地区のDNN係数を取り出して使用する。
この場合、ストレージに保持するDNN係数の範囲は、自動運転車100の走行に応じて変化していく。図11において、破線の楕円は自動運転車100が走行している地区を示しており、実線の楕円は事前にストレージにDNN係数を保持して周辺の地区を示している。なお、図示の例では、地区のオーバーラップ領域が存在するが、オーバーラップ領域がない場合も考えられる。
「クラウドサーバのハード構成例」
図12は、クラウドサーバ200のハードウエアの構成例を示すブロック図である。クラウドサーバ200において、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503は、バス504により相互に接続されている。バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、およびドライブ510が接続されている。
図12は、クラウドサーバ200のハードウエアの構成例を示すブロック図である。クラウドサーバ200において、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503は、バス504により相互に接続されている。バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、およびドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロフォンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるクラウドサーバ200では、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505およびバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
CPU501が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
クラウドサーバ200では、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、予めインストールしておくことができる。
なお、CPU501が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
上述したように、図1に示す自動運転システム10においては、クラウドサーバ200から各自動運転車100に、それぞれが走行している地区およびそのときの天気に対応したDNN係数(特化係数)が送信される。そのため、各自動運転車100の推論用DNN部101における外部環境の識別結果の精度を高めることが可能となり、従って自動運転における動力やブレーキ等の制御をより精度よく行うことが可能となる。
<2.変形例>
なお、上述実施の形態においては、地区については特に言及していないが、危険地区については、地区の範囲を絞って学習することも考えられる。このように地区の範囲を絞って学習を行うことで、学習されたDNN係数の精度を上げることが可能となる。
なお、上述実施の形態においては、地区については特に言及していないが、危険地区については、地区の範囲を絞って学習することも考えられる。このように地区の範囲を絞って学習を行うことで、学習されたDNN係数の精度を上げることが可能となる。
また、上述実施の形態においては、移動体が自動車100である例を示したが、本技術は、移動体が、例えば、自律走行ロボット、ドローン等の飛行体、などであっても、同様に適用することができる。例えば、ドローン等の飛行体の場合、飛行高度に関する画像特徴を定義することも考えられる。例えば、高度が0~2mであると人の視点に近く、また高度が数10m以上であると空撮のシーンとなる。
添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は、以下のような構成もとることができる。
(1)移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得部と、
前記画像データ取得部で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する学習用DNN部を備える
情報処理装置。
(2)前記画像特徴には、位置の要素が含まれる
前記(1)に記載の情報処理装置。
(3)前記画像特徴には、天気の要素がさらに含まれる
前記(2)に記載の情報処理装置。
(4)前記画像特徴には、日時の要素がさらに含まれる
前記(2)または(3)に記載の情報処理装置。
(5)前記学習用DNN部は、第1の時間帯の前記推論用DNNの係数から、前記画像データ取得部で取得された画像データを用いた転移学習により、前記第1の時間帯に続く第2の時間帯で使用すべき前記推論用DNNの係数を取得する
前記(1)から(4)のいずれかに記載の情報処理装置。
(6)前記移動体から、前記移動シーンの画像データを、位置情報および日時情報が付加された状態で受信する画像データ受信部をさらに備える
前記(1)から(5)のいずれかに記載の情報処理装置。
(7)前記学習用DNN部で取得された前記推論用DNNの係数を前記移動体に送信する係数送信部をさらに備える
前記(1)から(6)のいずれかに記載の情報処理装置。
(8)前記係数送信部は、前記学習用DNN部で取得された前記推論用DNNの係数の評価値が汎用係数の評価値より高い場合に、前記学習用DNN部で取得された前記推論用DNNの係数を前記移動体に送信する
前記(7)に記載の情報処理装置。
(9)移動体の移動シーンに対応した画像特徴を持つ画像データを取得する手順と、
前記取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する手順を有する
情報処理方法。
(10)コンピュータを、
移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する学習用DNN手段として機能させる
プログラム。
(11)移動シーンの画像データから外部環境を識別するための推論用DNN部と、
前記推論用DNN部の識別結果に基づいて移動を制御するための制御部と、
クラウドサーバから前記推論用DNN部で使用する推論用DNNの係数を受信する係数受信部を備え、
前記推論用DNNの係数は、前記移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである
移動体。
(12)前記移動シーンの画像データを、位置情報および日時情報が付加された状態で前記クラウドサーバに送信する画像データ送信部をさらに備える
前記(11)に記載の移動体。
(13)前記移動シーンの画像データを用いた学習を行って、前記推論用DNNの係数を取得する学習用DNN部と、
前記学習用DNN部で取得された前記推論用DNNの係数を前記クラウドサーバに送信する係数送信部をさらに備える
前記(11)または(12)に記載の移動体。
(14)前記推論用DNN部は、前記移動体が第1の地区と第2の地区のオーバーラップ領域を前記第2の地区側に移動中に、前記係数受信部が前記クラウドサーバから前記第2の地区に対応した前記推論用DNNの係数を受信したとき、前記第1の地区に対応した前記推論用DNNの係数から前記第2の地区に対応した前記推論用DNNの係数に切り替える
前記(11)から(13)のいずれかに記載の移動体。
(15)前記推論用DNN部は、第1の推論用DNNおよび第2の推論用DNNを有し、
前記係数受信部は、前記移動体が第1の地区を移動中に次に移動する第2の地区に対応した前記推論用DNNの係数を受信し、
前記第1の推論用DNNには前記第1の地区の前記推論用DNNの係数が設定され、前記第2の推論用DNNには前記第2の地区の前記推論用のDNNの係数が設定され、
前記移動体が前記第1の地区から第2の地区に移動するとき、前記推論用DNN部は、前記第1の推論用DNNの使用状態から前記第2の推論用DNNの使用状態に切り替えられる
前記(11)から(13)のいずれかに記載の移動体。
(16)前記係数受信部で受信される、前記移動体が移動中の地区およびその周辺の地区に対応した前記推論用DNNの係数を保持するストレージをさらに備え、
前記推論用DNN部は、前記移動体が第1の地区から第2の地区に移動するとき、前記ストレージから前記第2に地区の前記推論用DNNの係数を取り出して使用する
前記(11)から(13)のいずれかに記載の移動体。
(1)移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得部と、
前記画像データ取得部で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する学習用DNN部を備える
情報処理装置。
(2)前記画像特徴には、位置の要素が含まれる
前記(1)に記載の情報処理装置。
(3)前記画像特徴には、天気の要素がさらに含まれる
前記(2)に記載の情報処理装置。
(4)前記画像特徴には、日時の要素がさらに含まれる
前記(2)または(3)に記載の情報処理装置。
(5)前記学習用DNN部は、第1の時間帯の前記推論用DNNの係数から、前記画像データ取得部で取得された画像データを用いた転移学習により、前記第1の時間帯に続く第2の時間帯で使用すべき前記推論用DNNの係数を取得する
前記(1)から(4)のいずれかに記載の情報処理装置。
(6)前記移動体から、前記移動シーンの画像データを、位置情報および日時情報が付加された状態で受信する画像データ受信部をさらに備える
前記(1)から(5)のいずれかに記載の情報処理装置。
(7)前記学習用DNN部で取得された前記推論用DNNの係数を前記移動体に送信する係数送信部をさらに備える
前記(1)から(6)のいずれかに記載の情報処理装置。
(8)前記係数送信部は、前記学習用DNN部で取得された前記推論用DNNの係数の評価値が汎用係数の評価値より高い場合に、前記学習用DNN部で取得された前記推論用DNNの係数を前記移動体に送信する
前記(7)に記載の情報処理装置。
(9)移動体の移動シーンに対応した画像特徴を持つ画像データを取得する手順と、
前記取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する手順を有する
情報処理方法。
(10)コンピュータを、
移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する学習用DNN手段として機能させる
プログラム。
(11)移動シーンの画像データから外部環境を識別するための推論用DNN部と、
前記推論用DNN部の識別結果に基づいて移動を制御するための制御部と、
クラウドサーバから前記推論用DNN部で使用する推論用DNNの係数を受信する係数受信部を備え、
前記推論用DNNの係数は、前記移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである
移動体。
(12)前記移動シーンの画像データを、位置情報および日時情報が付加された状態で前記クラウドサーバに送信する画像データ送信部をさらに備える
前記(11)に記載の移動体。
(13)前記移動シーンの画像データを用いた学習を行って、前記推論用DNNの係数を取得する学習用DNN部と、
前記学習用DNN部で取得された前記推論用DNNの係数を前記クラウドサーバに送信する係数送信部をさらに備える
前記(11)または(12)に記載の移動体。
(14)前記推論用DNN部は、前記移動体が第1の地区と第2の地区のオーバーラップ領域を前記第2の地区側に移動中に、前記係数受信部が前記クラウドサーバから前記第2の地区に対応した前記推論用DNNの係数を受信したとき、前記第1の地区に対応した前記推論用DNNの係数から前記第2の地区に対応した前記推論用DNNの係数に切り替える
前記(11)から(13)のいずれかに記載の移動体。
(15)前記推論用DNN部は、第1の推論用DNNおよび第2の推論用DNNを有し、
前記係数受信部は、前記移動体が第1の地区を移動中に次に移動する第2の地区に対応した前記推論用DNNの係数を受信し、
前記第1の推論用DNNには前記第1の地区の前記推論用DNNの係数が設定され、前記第2の推論用DNNには前記第2の地区の前記推論用のDNNの係数が設定され、
前記移動体が前記第1の地区から第2の地区に移動するとき、前記推論用DNN部は、前記第1の推論用DNNの使用状態から前記第2の推論用DNNの使用状態に切り替えられる
前記(11)から(13)のいずれかに記載の移動体。
(16)前記係数受信部で受信される、前記移動体が移動中の地区およびその周辺の地区に対応した前記推論用DNNの係数を保持するストレージをさらに備え、
前記推論用DNN部は、前記移動体が第1の地区から第2の地区に移動するとき、前記ストレージから前記第2に地区の前記推論用DNNの係数を取り出して使用する
前記(11)から(13)のいずれかに記載の移動体。
10・・・自動運転システム
100・・・自動運転車
101・・・推論用DNN部
102・・・撮像部
103・・・位置・日時取得部
104・・・画像データメモリ
105・・・データ送信部
106・・・データ受信部
107・・・DNN係数メモリ
108・・・制御部
109・・・学習用DNN部
200・・・クラウドサーバ
201・・・学習用DNN部
202・・・データ受信部
203・・・画像データベース部
204・・・係数データベース部
205・・・データ送信部
241,241a,241b・・・記憶部
242・・・出力DNN係数決定部
300・・・インターネット
100・・・自動運転車
101・・・推論用DNN部
102・・・撮像部
103・・・位置・日時取得部
104・・・画像データメモリ
105・・・データ送信部
106・・・データ受信部
107・・・DNN係数メモリ
108・・・制御部
109・・・学習用DNN部
200・・・クラウドサーバ
201・・・学習用DNN部
202・・・データ受信部
203・・・画像データベース部
204・・・係数データベース部
205・・・データ送信部
241,241a,241b・・・記憶部
242・・・出力DNN係数決定部
300・・・インターネット
Claims (16)
- 移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得部と、
前記画像データ取得部で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する学習用DNN部を備える
情報処理装置。 - 前記画像特徴には、位置の要素が含まれる
請求項1に記載の情報処理装置。 - 前記画像特徴には、天気の要素がさらに含まれる
請求項2に記載の情報処理装置。 - 前記画像特徴には、日時の要素がさらに含まれる
請求項2に記載の情報処理装置。 - 前記学習用DNN部は、第1の時間帯の前記推論用DNNの係数から、前記画像データ取得部で取得された画像データを用いた転移学習により、前記第1の時間帯に続く第2の時間帯で使用すべき前記推論用DNNの係数を取得する
請求項1に記載の情報処理装置。 - 前記移動体から、前記移動シーンの画像データを、位置情報および日時情報が付加された状態で受信する画像データ受信部をさらに備える
請求項1に記載の情報処理装置。 - 前記学習用DNN部で取得された前記推論用DNNの係数を前記移動体に送信する係数送信部をさらに備える
請求項1に記載の情報処理装置。 - 前記係数送信部は、前記学習用DNN部で取得された前記推論用DNNの係数の評価値が汎用係数の評価値より高い場合に、前記学習用DNN部で取得された前記推論用DNNの係数を前記移動体に送信する
請求項7に記載の情報処理装置。 - 移動体の移動シーンに対応した画像特徴を持つ画像データを取得する手順と、
前記取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する手順を有する
情報処理方法。 - コンピュータを、
移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得手段と、
前記画像データ取得手段で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用DNNの係数を取得する学習用DNN手段として機能させる
プログラム。 - 移動シーンの画像データから外部環境を識別するための推論用DNN部と、
前記推論用DNN部の識別結果に基づいて移動を制御するための制御部と、
クラウドサーバから前記推論用DNN部で使用する推論用DNNの係数を受信する係数受信部を備え、
前記推論用DNNの係数は、前記移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである
移動体。 - 前記移動シーンの画像データを、位置情報および日時情報が付加された状態で前記クラウドサーバに送信する画像データ送信部をさらに備える
請求項11に記載の移動体。 - 前記移動シーンの画像データを用いた学習を行って、前記推論用DNNの係数を取得する学習用DNN部と、
前記学習用DNN部で取得された前記推論用DNNの係数を前記クラウドサーバに送信する係数送信部をさらに備える
請求項11に記載の移動体。 - 前記推論用DNN部は、前記移動体が第1の地区と第2の地区のオーバーラップ領域を前記第2の地区側に移動中に、前記係数受信部が前記クラウドサーバから前記第2の地区に対応した前記推論用DNNの係数を受信したとき、前記第1の地区に対応した前記推論用DNNの係数から前記第2の地区に対応した前記推論用DNNの係数に切り替える
請求項11に記載の移動体。 - 前記推論用DNN部は、第1の推論用DNNおよび第2の推論用DNNを有し、
前記係数受信部は、前記移動体が第1の地区を移動中に次に移動する第2の地区に対応した前記推論用DNNの係数を受信し、
前記第1の推論用DNNには前記第1の地区の前記推論用DNNの係数が設定され、前記第2の推論用DNNには前記第2の地区の前記推論用のDNNの係数が設定され、
前記移動体が前記第1の地区から第2の地区に移動するとき、前記推論用DNN部は、前記第1の推論用DNNの使用状態から前記第2の推論用DNNの使用状態に切り替えられる
請求項11に記載の移動体。 - 前記係数受信部で受信される、前記移動体が移動中の地区およびその周辺の地区に対応した前記推論用DNNの係数を保持するストレージをさらに備え、
前記推論用DNN部は、前記移動体が第1の地区から第2の地区に移動するとき、前記ストレージから前記第2に地区の前記推論用DNNの係数を取り出して使用する
請求項11に記載の移動体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080085823.2A CN114787886A (zh) | 2019-12-18 | 2020-12-10 | 信息处理装置、信息处理方法、程序和可移动对象 |
US17/783,767 US20230005273A1 (en) | 2019-12-18 | 2020-12-10 | Information processing apparatus, information processing method, program, and movable object |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-227970 | 2019-12-18 | ||
JP2019227970 | 2019-12-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021125063A1 true WO2021125063A1 (ja) | 2021-06-24 |
Family
ID=76478755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/046163 WO2021125063A1 (ja) | 2019-12-18 | 2020-12-10 | 情報処理装置、情報処理方法、プログラムおよび移動体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230005273A1 (ja) |
CN (1) | CN114787886A (ja) |
WO (1) | WO2021125063A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200168094A1 (en) * | 2017-07-18 | 2020-05-28 | Pioneer Corporation | Control device, control method, and program |
US11904906B2 (en) * | 2021-08-05 | 2024-02-20 | Argo AI, LLC | Systems and methods for prediction of a jaywalker trajectory through an intersection |
CN118246547A (zh) * | 2024-03-06 | 2024-06-25 | 深圳市震有智联科技有限公司 | 一种基于多场景分析的智能预警推理系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195237A (ja) * | 2017-05-22 | 2018-12-06 | トヨタ自動車株式会社 | 画像処理システム、画像処理方法、情報処理装置及び記録媒体 |
JP2019164611A (ja) * | 2018-03-20 | 2019-09-26 | アイシン・エィ・ダブリュ株式会社 | 走行支援装置及びコンピュータプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4141398C2 (de) * | 1991-12-16 | 1994-01-20 | Detecon Gmbh | Verfahren zum Verbessern der Funkzellenausleuchtung bei eimen zellularen Mobilfunksystem und Vorrichtung zum Ausüben des Verfahrens |
JP4591541B2 (ja) * | 2008-05-14 | 2010-12-01 | 横浜ゴム株式会社 | 車両の走行条件評価方法及びその評価装置 |
WO2013179742A1 (ja) * | 2012-05-30 | 2013-12-05 | ソニー株式会社 | 情報処理装置、システム、および記憶媒体 |
JP5983373B2 (ja) * | 2012-12-07 | 2016-08-31 | 富士通株式会社 | 画像処理装置、情報処理方法及びプログラム |
CN105912500B (zh) * | 2016-03-30 | 2017-11-14 | 百度在线网络技术(北京)有限公司 | 机器学习模型生成方法和装置 |
CN107045788B (zh) * | 2017-06-28 | 2020-04-10 | 北京数行健科技有限公司 | 交通路况预测方法及装置 |
DE102017007136A1 (de) * | 2017-07-27 | 2019-01-31 | Opel Automobile Gmbh | Verfahren und Vorrichtung zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug |
KR102481817B1 (ko) * | 2017-11-30 | 2022-12-27 | 재단법인 대구경북과학기술원 | 전달 학습을 통한 운전자의 시선 응시영역 추정 방법 |
US20190279082A1 (en) * | 2018-03-07 | 2019-09-12 | Movidius Ltd. | Methods and apparatus to determine weights for use with convolutional neural networks |
US10733484B2 (en) * | 2018-03-22 | 2020-08-04 | Here Global B.V. | Method, apparatus, and system for dynamic adaptation of an in-vehicle feature detector |
CN108920805B (zh) * | 2018-06-25 | 2022-04-05 | 大连大学 | 具有状态特征提取功能的驾驶员行为建模系统 |
US20210312725A1 (en) * | 2018-07-14 | 2021-10-07 | Moove.Ai | Vehicle-data analytics |
CN109829469A (zh) * | 2018-11-08 | 2019-05-31 | 电子科技大学 | 一种基于深度学习的车辆检测方法 |
US20200272899A1 (en) * | 2019-02-22 | 2020-08-27 | Ubotica Technologies Limited | Systems and Methods for Deploying and Updating Neural Networks at the Edge of a Network |
CN110555465B (zh) * | 2019-08-13 | 2022-03-11 | 成都信息工程大学 | 一种基于cnn与多特征融合的天气图像识别方法 |
US20220202348A1 (en) * | 2020-12-31 | 2022-06-30 | X Development Llc | Implementing brain emulation neural networks on user devices |
-
2020
- 2020-12-10 WO PCT/JP2020/046163 patent/WO2021125063A1/ja active Application Filing
- 2020-12-10 US US17/783,767 patent/US20230005273A1/en active Pending
- 2020-12-10 CN CN202080085823.2A patent/CN114787886A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195237A (ja) * | 2017-05-22 | 2018-12-06 | トヨタ自動車株式会社 | 画像処理システム、画像処理方法、情報処理装置及び記録媒体 |
JP2019164611A (ja) * | 2018-03-20 | 2019-09-26 | アイシン・エィ・ダブリュ株式会社 | 走行支援装置及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230005273A1 (en) | 2023-01-05 |
CN114787886A (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021125063A1 (ja) | 情報処理装置、情報処理方法、プログラムおよび移動体 | |
US20210302585A1 (en) | Smart navigation method and system based on topological map | |
CN111127329B (zh) | 用于重建云层处的车辆场景的方法和系统 | |
US11164051B2 (en) | Image and LiDAR segmentation for LiDAR-camera calibration | |
WO2019047656A1 (zh) | 用于控制无人驾驶车辆的方法和装置 | |
CN110135302B (zh) | 训练车道线识别模型的方法、装置、设备和存储介质 | |
US20210287387A1 (en) | Lidar point selection using image segmentation | |
CN116880462B (zh) | 自动驾驶模型、训练方法和自动驾驶方法和车辆 | |
CN116881707A (zh) | 自动驾驶模型、训练方法、装置和车辆 | |
CN112622923B (zh) | 用于控制车辆的方法和装置 | |
CN116776151A (zh) | 可与车外人员进行自主交互的自动驾驶模型和训练方法 | |
US11987264B2 (en) | Method and system for recognizing activities in surrounding environment for controlling navigation of autonomous vehicle | |
CN112712608B (zh) | 用于通过车辆收集性能数据的系统和方法 | |
FR3103616A1 (fr) | Procede et dispositif pour la determination de trajectoires d'elements mobiles | |
CN117035032B (zh) | 融合文本数据和自动驾驶数据进行模型训练的方法和车辆 | |
CN117755336A (zh) | 基于大模型的车辆自动驾驶方法及系统 | |
US11333519B2 (en) | Dynamic map generation with focus on construction and localization field of technology | |
CN115512336B (zh) | 基于路灯光源的车辆定位方法、装置和电子设备 | |
CN116776999A (zh) | 自动驾驶系统中的自我监督网络的联合学习的系统和方法 | |
WO2023137285A1 (en) | Systems and methods for cloud-based flight path optimization for unmanned aerial vehicles | |
CN115439815A (zh) | 行驶工况识别方法、装置、设备、介质及车辆 | |
US11544899B2 (en) | System and method for generating terrain maps | |
CN116991157B (zh) | 具备人类专家驾驶能力的自动驾驶模型、训练方法和车辆 | |
CN112526477A (zh) | 用于处理信息的方法和装置 | |
CN116343469B (zh) | 数据处理方法和数据处理装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20903109 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20903109 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |