WO2021125063A1 - 情報処理装置、情報処理方法、プログラムおよび移動体 - Google Patents

情報処理装置、情報処理方法、プログラムおよび移動体 Download PDF

Info

Publication number
WO2021125063A1
WO2021125063A1 PCT/JP2020/046163 JP2020046163W WO2021125063A1 WO 2021125063 A1 WO2021125063 A1 WO 2021125063A1 JP 2020046163 W JP2020046163 W JP 2020046163W WO 2021125063 A1 WO2021125063 A1 WO 2021125063A1
Authority
WO
WIPO (PCT)
Prior art keywords
dnn
coefficient
inference
unit
image data
Prior art date
Application number
PCT/JP2020/046163
Other languages
English (en)
French (fr)
Inventor
大輔 入江
高橋　修一
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/783,767 priority Critical patent/US20230005273A1/en
Priority to CN202080085823.2A priority patent/CN114787886A/zh
Publication of WO2021125063A1 publication Critical patent/WO2021125063A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • This technology relates to an information processing device, an information processing method, a program, and a moving body, and more specifically, to an information processing device for improving the identification accuracy of the external environment of the moving body.
  • an autonomous driving vehicle is equipped with an in-vehicle camera, identifies the external environment based on image data of a driving scene, and uses the result to automatically control driving.
  • the identification result includes semantic segmentation, depth, and the like. Since it is directly related to safety, extremely high accuracy is required to identify this external environment.
  • DNN Deep Neural Network
  • the coefficient of the inference DNN is acquired by learning in advance using the image data of the traveling scene actually captured by the in-vehicle camera.
  • the identification result When identifying the external environment based on the image data of the driving scene using DNN, if there is a large gap between the image data of the driving scene and the image data of the driving scene used for learning, the identification result will be displayed.
  • the accuracy does not increase.
  • the accuracy of the identification result can be improved to some extent.
  • Patent Document 1 discloses that it is possible to obtain a general-purpose learning coefficient by eliminating a bias in the amount of learning data for each shooting position.
  • the purpose of this technology is to improve the identification accuracy of the external environment of a moving object.
  • the concept of this technology is An image data acquisition unit that acquires image data with image features corresponding to the moving scene of a moving object, A learning DNN unit that performs learning using the image data acquired by the image data acquisition unit and acquires a coefficient of the inference DNN for identifying the external environment of the moving body from the image data of the moving scene. It is in the information processing device provided.
  • the image data acquisition unit acquires image data having image features corresponding to the moving scene of the moving object.
  • image features may include positional elements.
  • the image feature may further include weather or date and time elements.
  • the learning DNN unit performs learning using the image data acquired by the image data acquisition unit, and acquires the coefficient of the inference DNN for identifying the external environment of the moving body from the image data of the moving scene. ..
  • the learning DNN unit is a second time zone following the first time zone by transfer learning using the image data acquired by the image data acquisition unit from the coefficient of the inference DNN in the first time zone.
  • the inference DNN coefficient to be used in may be obtained.
  • the inference DNN in which the coefficient of the inference DNN is set makes it possible to accurately identify the external environment of the moving body from the image data of the moving scene.
  • an image data receiving unit that receives image data of a moving scene from a moving body in a state where position information and date and time information are added may be further provided.
  • a coefficient transmission unit for transmitting the coefficient of the inference DNN acquired by the learning DNN unit to the moving body may be further provided.
  • the coefficient transmission unit has the coefficient of the inference DNN acquired by the learning DNN unit. May be sent to the moving body. This makes it possible to use a coefficient having a higher evaluation value in the moving body.
  • a DNN part for inference to identify the external environment from the image data of the moving scene A control unit for controlling movement based on the identification result of the inference DNN unit, and A coefficient receiving unit for receiving the coefficient of the inference DNN used in the inference DNN unit from the cloud server is provided.
  • the coefficient of the inference DNN is in a moving body obtained by learning using image data having image features corresponding to the moving scene.
  • an inference DNN unit for identifying the external environment from the image data of the moving scene.
  • the control unit controls the movement based on the identification result of the inference DNN unit.
  • the coefficient receiving unit receives the coefficient of the inference DNN used in the inference DNN unit from the cloud server.
  • the coefficient of the inference DNN is obtained by learning using image data having image features corresponding to the moving scene.
  • the coefficient of the inference DNN used in the inference DNN unit which is acquired by learning using the image data having the image features corresponding to the moving scene, is received from the cloud server. Is. Therefore, the inference DNN unit can accurately identify the external environment of the moving body from the image data of the moving scene.
  • the present technology may further include, for example, an image data transmission unit that transmits image data of a moving scene to a cloud server with location information and date and time information added.
  • an image data transmission unit that transmits image data of a moving scene to a cloud server with location information and date and time information added.
  • the image data of the moving scene can be provided to the cloud server.
  • a learning DNN unit that acquires a coefficient of the inference DNN by learning using image data of a moving scene and a coefficient of the inference DNN acquired by the learning DNN unit are obtained. It may be configured to further include a coefficient transmitter for transmitting to the cloud server. As a result, when the coefficient of the inference DNN cannot be obtained by learning because the image data is not collected by the cloud server, it can be used as a substitute.
  • the coefficient receiving unit is moved from the cloud server to the second area while the moving body is moving the overlapping area between the first area and the second area to the second area side.
  • the coefficient of the inference DNN corresponding to the first district may be switched to the coefficient of the inference DNN corresponding to the second district.
  • the inference DNN unit has a first inference DNN and a second inference DNN
  • the coefficient receiving unit is a second unit in which the moving body moves next while moving in the first district.
  • the inference DNN coefficient corresponding to the two districts is received, the inference DNN coefficient of the first inference is set in the first inference DNN, and the second inference DNN is set in the second inference DNN.
  • the inference DNN unit is used for the second inference from the usage state of the first inference DNN. It may be possible to switch to the DNN usage state. As a result, even when the area where the moving body is moving changes, it is possible to make the inference DNN function in a state where an appropriate coefficient is set without being affected by the transmission delay.
  • the storage for holding the coefficient of the inference DNN corresponding to the area where the moving body is moving and the area around it, which is received by the coefficient receiving unit, is further provided, and the inference DNN unit is the moving body.
  • the coefficient of the second district inference DNN may be taken out from the storage and used.
  • FIG. 1 shows a configuration example of the automatic operation system 10 as an embodiment.
  • the automatic driving system 10 has a configuration in which an automobile (hereinafter, appropriately referred to as an “autonomous driving vehicle”) 100 having a plurality of automatic driving functions is connected to a cloud server 200 via the Internet 300.
  • an automobile hereinafter, appropriately referred to as an “autonomous driving vehicle”
  • a cloud server 200 via the Internet 300.
  • Self-driving cars are traveling in multiple districts, in the example shown, in districts 1, 2, ... N.
  • Each self-driving car 100 periodically acquires image data of a scene having image features corresponding to a traveling scene, and transmits the image data of the scene to the server 200 via the Internet 300.
  • the image features corresponding to the traveling scene include elements of the position of the traveling scene, for example, information on the area in which the vehicle is traveling, as well as weather elements and date and time elements of the traveling scene.
  • Each self-driving car 100 includes an inference DNN (Deep Neural Network) unit 101 that identifies the external environment from image data of a driving scene.
  • the external environment identified by the inference DNN unit 101 is, for example, Semantic Segmentation or Depth.
  • the power, the brake, and the like in the autonomous driving are controlled based on the identification result of the external environment by the inference DNN unit 101.
  • the cloud server 200 includes a learning DNN unit 201.
  • the learning DNN unit 201 periodically sets the DNN unit 101 for inference of the above-mentioned autonomous driving vehicle 100 for each district and weather based on the image data sent from each autonomous driving vehicle 100. Get the coefficient. Then, the cloud server 200 periodically transmits the DNN coefficient corresponding to the area in which the vehicle is traveling and the weather at that time to each autonomous vehicle 100 via the Internet 300.
  • the cloud server 200 transmits the DNN coefficient corresponding to the area in which each is traveling and the weather at that time to each autonomous vehicle 100. Therefore, it is possible to improve the accuracy of the identification result of the external environment in the reasoning DNN unit 101 of each autonomous driving vehicle 100, and therefore, it is possible to more accurately control the power, the brake, and the like in the autonomous driving.
  • FIG. 2 shows a configuration example of the autonomous driving vehicle 100 and the cloud server 200.
  • the autonomous driving vehicle 100 includes a DNN unit 101 for inference, an imaging unit 102, a position / date / time acquisition unit 103, an image data memory 104, a data transmission unit 105, a data reception unit 106, a DNN coefficient memory 107, and the like. It has a control unit 108 and a learning DNN unit 109.
  • the image pickup unit 102 is composed of an image pickup element such as a lens, a CCD image sensor, and a CMOS image sensor, and periodically acquires image data corresponding to a driving scene.
  • the position / date / time acquisition unit 103 acquires information on the current position using, for example, GPS (Global Positioning System) or the like. Further, the position / date / time acquisition unit 104 acquires information on the current date / time from a clock unit (not shown).
  • the image data memory 104 temporarily holds the image data of the running scene acquired by the imaging unit 102 with the position / date / time information acquired by the position / date / time acquisition unit 103 attached.
  • the data transmission unit 105 transmits the image data (with position / date / time information) stored in the image data memory 104 to the cloud server 200 via the Internet 300.
  • the data receiving unit 106 receives the DNN coefficient transmitted from the cloud server 200 via the Internet 300.
  • the DNN coefficient memory 107 temporarily stores the DNN coefficient received by the data receiving unit 106.
  • the DNN coefficient stored in the DNN coefficient memory 107 is taken out and set in the inference DNN unit 101.
  • the inference DNN unit 101 identifies the external environment from the image data of the traveling scene acquired by the imaging unit 102.
  • the external environment is semantic segmentation, depth, and the like.
  • FIG. 3A shows an example of image data of a driving scene.
  • FIG. 3B shows an example of the identification result of semantic segmentation with respect to the image data of the driving scene.
  • the control unit 108 controls the power, the brake, and the like in the automatic operation based on the identification result of the external environment of the inference DNN unit 101.
  • the learning DNN unit 109 performs learning using the image data stored in the memory 104 as learning data and obtains the DNN coefficient. get.
  • transfer learning based on the DNN coefficient set and used in the inference DNN unit 101 is performed in a certain time zone (first time zone), and the next time zone (second time zone) is performed. ) Is used to obtain the DNN coefficient.
  • This DNN coefficient is a special coefficient corresponding to the district (position) and weather of the driving scene.
  • the DNN coefficient acquired by the learning DNN unit 109 is transmitted from the data transmission unit 105 to the cloud server 200 via the Internet 300 when communication with the cloud server 200 becomes possible.
  • the DNN coefficient acquired by the learning DNN unit 109 is set and used in the inference DNN unit 101 in the next time zone.
  • the cloud server 200 has a learning DNN unit 201, a data receiving unit 202, an image database unit 203, a coefficient database unit 204, and a data transmitting unit 205.
  • FIG. 4 shows a detailed configuration example of the cloud server 200.
  • the data receiving unit 202 receives the image data (with position / date / time information) of the driving scene transmitted from the autonomous driving vehicle 100 through the Internet 300, for example, by communication such as 5G. Further, the data receiving unit 202 receives the DNN coefficient (specialization coefficient) transmitted from the autonomous driving vehicle 100.
  • the DNN coefficient specialization coefficient
  • the image database unit 203 stores the image data of the driving scene received by the data receiving unit 202 according to the district, the date and time, and the weather based on the position / date / time information and the weather information added to the image data.
  • the weather information can be obtained from the weather information server or by analyzing the image data.
  • the position / date / time information is attached to the image data of the traveling scene transmitted from the autonomous driving vehicle 100, but the weather information may be further attached.
  • the image database unit 203 of the learning data set for each district and weather in order to acquire the DNN coefficient for use in the inference DNN unit 101 of the autonomous driving vehicle 100 in a certain time zone in the next time zone. Configure and get.
  • FIG. 5 corresponds to sunny weather in a certain area that should be used in the next 01:00 to 01:30 time zone in the time zone from 00:30 to 01:00 (running time zone).
  • An example of the structure of the training data set used for learning the DNN coefficient is shown.
  • the ratio of the image data from 00:00 to 00:30 today (sunny) is "3”
  • the ratio of the image data from 01:00 to 01:30 on June 9 (sunny) is "5".
  • the ratio of the image data from 01:00 to 01:30 on June 10 (cloudy) is set to "3”.
  • the image data from 01:00 to 01:30 on June 8 (rain) will not be used because the weather is completely different.
  • the image data of today's (sunny) driving time zone is not included in the configuration of the learning data set, but it is possible to include it. It is also possible to refer to the date and time on a yearly basis. For example, it is effective in constructing a learning data set used for learning the DNN coefficient corresponding to today's (snow) weather in a rare snowy area.
  • the time zone is set in 30-minute increments, but the length of this time zone can be defined according to the calculation speed of learning.
  • the training data set is composed only of the image data of the same area, but if the number of image data is small only with the image data of the same area, it is conceivable to refer to the image data of the adjacent area, for example. Be done.
  • the learning DNN unit 201 performs learning in the learning DNN for each district and weather at a certain time zone based on the learning data set for each district and weather acquired by the image database unit 203. In the next time zone, the DNN coefficient to be used by setting in the inference DNN unit 101 of the autonomous driving vehicle 100 is acquired.
  • transfer learning (unsupervised) based on the DNN coefficient in a certain time zone is performed, and the DNN coefficient to be used in the next time zone is acquired.
  • the change between the driving scene in one time zone and the driving scene in the next time zone is not so large, and it is possible to efficiently perform highly accurate learning in a short time and with a small number of image data by sequentially performing transfer learning. It will be possible.
  • the learning end condition is determined by, for example, a predetermined learning time or a predetermined number of epochs (number of coefficient updates).
  • FIG. 6 shows a detailed configuration example of the learning DNN unit 201.
  • the learning DNN unit 201 includes a learning DNN for each district and weather, and distributed learning in which learning for each district and weather is performed in parallel is executed. This distributed learning makes it possible to increase the calculation speed as a whole.
  • the illustrated example shows the case where the districts are 1 to N and the weather types are 1 to n.
  • the types of weather can be sunny, cloudy, rainy, snowy, and so on.
  • the coefficient database unit 204 should be set and used in the inference DNN unit 101 of the autonomous driving vehicle 100 in a certain time zone after being acquired by the learning DNN unit 201 in a certain time zone. , The DNN coefficient (specialization coefficient) for each weather is temporarily stored. In addition, the coefficient database unit 204 also temporarily stores the DNN coefficient (specialization coefficient) transmitted from the autonomous driving vehicle 100.
  • the coefficient database unit 204 determines and outputs the DNN coefficient to be transmitted to each autonomous driving vehicle 100.
  • the DNN coefficient corresponding to each district and the weather that is, the specialization coefficient is determined as the DNN coefficient to be transmitted.
  • the general-purpose coefficient is determined as the DNN coefficient to be transmitted instead of the specialization coefficient.
  • the general-purpose coefficient is a DNN coefficient obtained by learning in advance using image data of a driving scene that satisfies a wide variety of conditions (position, weather, date and time, etc.), and can correspond to a wide variety of conditions. It is a coefficient.
  • FIG. 7 shows a detailed configuration example of the coefficient database unit 204.
  • the coefficient database unit 204 has a storage unit 241 for storing the DNN coefficient and a DNN coefficient determining unit 242 for determining and outputting the DNN coefficient to be transmitted to each autonomous driving vehicle 100. Then, the storage unit 241 temporarily stores the area acquired by the learning DNN unit 201, the DNN coefficient (specialization coefficient) for each weather, the storage unit 241a, the area received by the data reception unit 202, and the weather. It has a storage unit 241b that temporarily stores another DNN coefficient (specialization coefficient).
  • the DNN coefficient determining unit 242 basically determines the DNN coefficient corresponding to each district and the weather as the DNN coefficient of the next time zone to be transmitted to each autonomous driving vehicle 100, and the DNN coefficient is determined.
  • the DNN coefficient is taken out from the storage unit 241 and output as a DNN coefficient to be transmitted.
  • the determined DNN coefficient is basically taken out from the storage unit 241a, but when the storage unit 241a does not have the DNN coefficient (corresponding to the case where learning cannot be performed due to a system malfunction, etc.). If the storage unit 241b has the DNN coefficient, it is taken out from the storage unit 241b.
  • the DNN coefficient determination unit 242 is configured to output the higher evaluation value as the DNN coefficient to be transmitted. Is also possible.
  • the DNN coefficient determination unit 242 actually determines the specialization coefficient only when the DNN coefficient extracted from the storage unit 241, that is, the evaluation value of the specialization coefficient is higher than the evaluation value of the general-purpose coefficient. Output as the DNN coefficient to be transmitted. When the evaluation value of the specialization coefficient is lower than the evaluation value of the general-purpose coefficient, the general-purpose coefficient is output as the DNN coefficient to be transmitted.
  • the evaluation value of the specialization coefficient is lower than the evaluation value of the general-purpose coefficient, for example, it is assumed that the number of image data for learning is insufficient and sufficient learning cannot be performed. As a result, when the specialization coefficient is an inappropriate DNN coefficient, it can be avoided that it is used on the autonomous driving vehicle 100 side.
  • the DNN coefficient determination unit 242 may be configured to output the general-purpose coefficient as the DNN coefficient to be transmitted when the determined DNN coefficient is not in the storage unit 241 (storage unit 241a, 241b).
  • the data transmission unit 205 transmits the DNN coefficient (specialization coefficient or general-purpose coefficient) determined by the coefficient database unit 204 to each autonomous driving vehicle 100 via the Internet 300.
  • the DNN coefficient to be used in the next time zone is transmitted to each autonomous driving vehicle 100 in a certain time zone.
  • the coefficient database unit 204 when the evaluation value of the specialization coefficient is lower, the coefficient database unit 204 outputs the general-purpose coefficient as a DNN coefficient to be transmitted, and the data transmission unit 205 outputs the general-purpose coefficient to the autonomous driving vehicle 100.
  • the coefficient database unit 204 when the evaluation value of the specialization coefficient is lower, the coefficient database unit 204 outputs an instruction instructing to use the general-purpose coefficient, and the data transmission unit 205 transmits the instruction to the autonomous driving vehicle 100.
  • the configuration to do is also conceivable. In that case, in the self-driving car 100, the general-purpose coefficient provided by the self-driving car 100 is used according to the instruction.
  • the coefficient database unit 204 does not compare the evaluation values of the specialization coefficient and the general-purpose coefficient, but always outputs the specialization coefficient, and the data transmission unit 205 transmits the specialization coefficient to the autonomous driving vehicle 100 and automatically. It is also conceivable to compare the evaluation values of the specialization coefficient and the general-purpose coefficient on the driving vehicle 100 side and determine which one to use.
  • the coefficient database unit 204 When the coefficient database unit 204 outputs a general-purpose coefficient as the DNN coefficient of a certain area and weather, and when the learning DNN unit 201 acquires the DNN coefficient of the time zone next to the area and weather, this general-purpose coefficient is used. It is conceivable to perform transfer learning based on the coefficient.
  • step ST1 the image database unit 203 acquires image data (with position / date / time information) of the driving scene of each autonomous driving vehicle 100 from the data receiving unit 202.
  • step ST2 the image database unit 203 adds weather information to the image data (with position / date / time information) of the driving scene of each autonomous driving vehicle 100 acquired in step ST2.
  • step ST3 the image database unit 203 saves the acquired image data of the driving scene of each autonomous vehicle 100 for each image feature (district, date and time, weather).
  • step ST4 the image database unit 203 determines an image data set for learning the DNN coefficient in the next time zone for each image feature (district, weather) (see FIG. 5).
  • the image database unit 203 preprocesses each image data set for each image feature (district, weather) and sends it to the learning DNN unit 201.
  • the preprocessing includes, for example, a process of cutting out image data into a patch, a process of normalizing pixel values, a process of shuffling the order, and the like. This is generally a pre-processing performed for learning about image data.
  • the flowchart of FIG. 9 shows an example of the processing procedure of the learning DNN unit 201.
  • the learning DNN unit 201 acquires an image data set for each image feature (district, weather) from the image database unit 203.
  • the learning DNN unit 201 learns (transfer learning) the DNN coefficient with the learning DNN using the image data set for each image feature (district, weather).
  • the learning DNN unit 201 finishes learning in step ST13 at the specified learning time or the number of epochs.
  • the learning DNN unit 201 sends the DNN coefficient learned for each image feature (district, weather) to the coefficient database unit 204 in step ST14.
  • the flowchart of FIG. 10 shows an example of the processing procedure of the coefficient database unit 204.
  • the coefficient database unit 204 acquires the DNN coefficient learned for each image feature (district, weather) from the learning DNN unit 201.
  • the coefficient database unit 204 calculates the DNN coefficient acquired in step ST22. Add information on image features (district, weather) and save.
  • the coefficient database unit 204 evaluates whether or not the acquired DNN coefficient (specialization coefficient) is more accurate than the general-purpose coefficient in step ST23. This evaluation is based on the loss function.
  • the coefficient database unit 204 sends the acquired DNN coefficient (specialization coefficient) to the data transmission unit 205 if it is highly accurate, or sends the general-purpose coefficient to the data transmission unit 205 if it is not highly accurate. Alternatively, an instruction to use the in-vehicle general-purpose coefficient is sent to the data transmission unit 205.
  • the data receiving unit 106 is in the cloud while the autonomous driving vehicle 100 is moving the overlapping area between the first district and the second district to the second district side.
  • the coefficient corresponding to the second district is received from the server 200, the DNN coefficient corresponding to the first district is switched to the DNN coefficient corresponding to the second district.
  • the inference DNN unit 101 has a first inference DNN and a second inference DNN, and the data receiving unit 106 moves next while the autonomous vehicle 100 is moving in the first district. Receive the DNN coefficient corresponding to the second district. Then, the DNN coefficient of the first district is set in the first inference DNN, the DNN coefficient of the second district is set in the second inference DNN, and the autonomous driving vehicle 100 is set from the first district.
  • the inference DNN unit 101 is switched from the usage state of the first inference DNN to the usage state of the second inference DNN.
  • the self-driving car 100 On the self-driving car 100 side, a wide range of DNN coefficients including the running area is stored in the storage in advance, and the self-driving car 100 travels across the area or in the overlapping area. This is a method of switching the DNN coefficient used in the inference DNN unit 101.
  • the self-driving car 100 includes a storage that holds the DNN coefficient corresponding to the moving district and the surrounding district received by the data receiving unit 106, and the inference DNN unit 101 is the first traveling district. When moving from the district to the second district, the DNN coefficient of the second district is taken out from the storage and used.
  • the range of the DNN coefficient held in the storage changes according to the running of the autonomous driving vehicle 100.
  • the broken line ellipse indicates the area where the autonomous driving vehicle 100 is traveling, and the solid line ellipse indicates the surrounding area by holding the DNN coefficient in the storage in advance.
  • there is an overlapping area of the district but there may be a case where there is no overlapping area.
  • FIG. 12 is a block diagram showing a configuration example of the hardware of the cloud server 200.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a storage unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the storage unit 508 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 509 includes a network interface and the like.
  • the drive 510 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program stored in the storage unit 508 into the RAM 503 via the input / output interface 505 and the bus 504 and executes the program. A series of processing is performed.
  • the program executed by the CPU 501 can be recorded and provided on the removable media 511 as a package media or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 508 via the input / output interface 505 by mounting the removable media 511 in the drive 510. Further, the program can be received by the communication unit 509 and installed in the storage unit 508 via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM 502 or the storage unit 508.
  • the program executed by the CPU 501 may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the cloud server 200 to each automatic driving vehicle 100 has a DNN coefficient (specialization coefficient) corresponding to the area in which each vehicle is traveling and the weather at that time. Will be sent. Therefore, it is possible to improve the accuracy of the identification result of the external environment in the reasoning DNN unit 101 of each autonomous driving vehicle 100, and therefore, it is possible to more accurately control the power, the brake, and the like in the autonomous driving.
  • DNN coefficient specialization coefficient
  • the district is not particularly mentioned, but it is conceivable to narrow down the scope of the district to study the dangerous district. By conducting learning by narrowing down the range of the district in this way, it is possible to improve the accuracy of the learned DNN coefficient.
  • the example in which the moving body is the automobile 100 is shown, but in the present technology, even if the moving body is, for example, an autonomous traveling robot, a flying body such as a drone, or the like Can be applied.
  • a flying object such as a drone
  • image features related to flight altitude For example, if the altitude is 0 to 2 m, it is close to the viewpoint of a person, and if the altitude is several tens of meters or more, the scene is aerial photography.
  • the present technology can have the following configurations.
  • An image data acquisition unit that acquires image data having image features corresponding to a moving scene of a moving object, and an image data acquisition unit.
  • a learning DNN unit that performs learning using the image data acquired by the image data acquisition unit and acquires a coefficient of the inference DNN for identifying the external environment of the moving body from the image data of the moving scene.
  • Information processing device to be equipped.
  • the image feature further includes a weather element.
  • the learning DNN unit follows the first time zone by transfer learning using the image data acquired by the image data acquisition unit from the coefficient of the inference DNN in the first time zone.
  • the information processing apparatus according to any one of (1) to (4) above, which acquires a coefficient of the inference DNN to be used in the second time zone.
  • Information processing device (7)
  • the information processing apparatus according to any one of (1) to (6) above, further comprising a coefficient transmitting unit that transmits the coefficient of the inference DNN acquired by the learning DNN unit to the moving body.
  • the coefficient transmitting unit is used for inference when the evaluation value of the coefficient of the inference DNN acquired by the learning DNN unit is higher than the evaluation value of the general-purpose coefficient.
  • the information processing apparatus according to (7) above which transmits a DNN coefficient to the moving body.
  • (9) A procedure for acquiring image data having image features corresponding to a moving scene of a moving body, and An information processing method having a procedure of performing learning using the acquired image data and acquiring an inference DNN coefficient for identifying the external environment of the moving body from the image data of the moving scene.
  • (10) Computer An image data acquisition means for acquiring image data having image features corresponding to a moving scene of a moving object, and As a learning DNN means that performs learning using the image data acquired by the image data acquisition means and acquires a coefficient of the inference DNN for identifying the external environment of the moving body from the image data of the moving scene.
  • a program that works (11) An inference DNN unit for identifying the external environment from the image data of the moving scene, A control unit for controlling movement based on the identification result of the inference DNN unit, and A coefficient receiving unit for receiving the coefficient of the inference DNN used in the inference DNN unit from the cloud server is provided.
  • the coefficient of the inference DNN is a moving body obtained by learning using image data having image features corresponding to the moving scene.
  • a learning DNN unit that performs learning using the image data of the moving scene and acquires the coefficient of the inference DNN.
  • the coefficient receiving unit receives the coefficient from the cloud server while the moving body moves the overlapping region of the first area and the second area to the second area side.
  • the inference DNN unit has a first inference DNN and a second inference DNN.
  • the coefficient receiving unit receives the coefficient of the inference DNN corresponding to the second district to which the moving body moves next while moving in the first district.
  • the coefficient of the inference DNN in the first district is set in the first inference DNN, and the coefficient of the inference DNN in the second district is set in the second inference DNN.
  • the inference DNN unit is switched from the usage state of the first inference DNN to the usage state of the second inference DNN.
  • the moving body according to any one of (11) to (13).
  • the inference DNN unit is used by extracting the coefficient of the inference DNN in the second area from the storage when the moving body moves from the first area to the second area (11).
  • the moving body according to any one of (13).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

移動体の外部環境の識別精度を高める。　移動体の移動シーンに対応した画像特徴（地区、日時、天気など）を持つ画像データを取得する。この画像データを用いた学習を行って、移動シーンの画像データから移動体の外部環境を識別するための推論用ＤＮＮの係数を取得する。例えば、外部環境は、セマンティックセグメンテーションやデプスなどである。この推論用ＤＮＮの係数を設定した推論用ＤＮＮにより、移動シーンの画像データから移動体の外部環境を精度よく識別することが可能となる。

Description

情報処理装置、情報処理方法、プログラムおよび移動体
　本技術は、情報処理装置、情報処理方法、プログラムおよび移動体に関し、詳しくは、移動体の外部環境の識別精度を高めるための情報処理装置等に関する。
　従来、自動運転車は、車載カメラを搭載し、走行シーンの画像データに基づいて外部環境を識別し、その結果を利用して運転の自動制御を行う構成となっている。例えば、識別結果としては、セマンティックセグメンテーションやデプス等がある。安全性に直結することから、この外部環境の識別には非常に高い精度が求められる。
　走行シーンの画像データを識別するために、機械学習的手法であるＤＮＮ（Deep Neural Network）を用いることが知られている。この場合、事前に、実際に車載カメラで撮像された走行シーンの画像データを用いて学習を行うことで、推論用ＤＮＮの係数が取得されている。
　ＤＮＮを用いて走行シーンの画像データに基づいて外部環境を識別する際、その走行シーンの画像データと、学習に用いられた走行シーンの画像データに大きなギャップがあった場合には、識別結果の精度を高くならない。学習時になるべく多くのシーンの画像データを用いることで、識別結果の精度をある程度は高くできる。しかし、全世界の様々なシーンの画像データを網羅して学習を行うことは不可能である。
　例えば、特許文献１には、撮影位置毎の学習データ量の偏りを無くして、汎用的な学習係数の取得を可能とすることが開示されている。
特開２０１８－１９５２３７号公報
　本技術の目的は、移動体の外部環境の識別精度を高めることにある。
　本技術の概念は、
　移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得部と、
　前記画像データ取得部で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用ＤＮＮの係数を取得する学習用ＤＮＮ部を備える
　情報処理装置にある。
　本技術において、画像データ取得部により、移動体の移動シーンに対応した画像特徴を持つ画像データが取得される。例えば、画像特徴には、位置の要素が含まれてもよい。この場合、例えば、画像特徴には、天気または日時の要素がさらに含まれてもよい。
　学習用ＤＮＮ部により、画像データ取得部で取得された画像データを用いた学習が行われて、移動シーンの画像データから移動体の外部環境を識別するための推論用ＤＮＮの係数が取得される。例えば、学習用ＤＮＮ部は、第１の時間帯の推論用ＤＮＮの係数から、画像データ取得部で取得された画像データを用いた転移学習により、第１の時間帯に続く第２の時間帯で使用すべき推論用ＤＮＮの係数を取得する、ようにされてもよい。
　このように本技術においては、移動体の移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って、移動シーンの画像データから移動体の外部環境を識別するための推論用ＤＮＮの係数を取得するものである。この推論用ＤＮＮの係数を設定した推論用ＤＮＮにより、移動シーンの画像データから移動体の外部環境を精度よく識別することが可能となる。
　なお、本技術において、例えば、移動体から、移動シーンの画像データを、位置情報および日時情報が付加された状態で受信する画像データ受信部をさらに備える、ようにされてもよい。また、本技術において、例えば、学習用ＤＮＮ部で取得された推論用ＤＮＮの係数を移動体に送信する係数送信部をさらに備える、ようにされてもよい。この場合、例えば、係数送信部は、学習用ＤＮＮ部で取得された推論用ＤＮＮの係数の評価値が汎用係数の評価値より高い場合に、学習用ＤＮＮ部で取得された推論用ＤＮＮの係数を移動体に送信する、ようにされてもよい。これにより、移動体では、より評価値の高い係数を用いることが可能となる。
　また、本技術の他の概念は、
　移動シーンの画像データから外部環境を識別するための推論用ＤＮＮ部と、
　前記推論用ＤＮＮ部の識別結果に基づいて移動を制御するための制御部と、
　クラウドサーバから前記推論用ＤＮＮ部で使用する推論用ＤＮＮの係数を受信する係数受信部を備え、
　前記推論用ＤＮＮの係数は、前記移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである
　移動体にある。
　本技術においては、移動シーンの画像データから外部環境を識別するための推論用ＤＮＮ部が備えられている。制御部により、推論用ＤＮＮ部の識別結果に基づいて移動が制御される。また、係数受信部により、クラウドサーバから推論用ＤＮＮ部で使用する推論用ＤＮＮの係数が受信される。ここで、推論用ＤＮＮの係数は、移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである。
　このように本技術においては、クラウドサーバから、移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得された、推論用ＤＮＮ部で使用する推論用ＤＮＮの係数を受信するものである。そのため、推論用ＤＮＮ部では移動シーンの画像データから移動体の外部環境を精度よく識別することが可能となる。
　なお、本技術において、例えば、移動シーンの画像データを、位置情報および日時情報が付加された状態でクラウドサーバに送信する画像データ送信部をさらに備える、ようにされてもよい。これにより、クラウドサーバに移動シーンの画像データを提供できる。また、クラウドサーバに自身の位置情報を提供でき、クラウドサーバから自身が移動中の地区に対応した推論用ＤＮＮの係数の送信を受けることが容易に可能となる。
　また、本技術において、例えば、移動シーンの画像データを用いた学習を行って、推論用ＤＮＮの係数を取得する学習用ＤＮＮ部と、この学習用ＤＮＮ部で取得された推論用ＤＮＮの係数をクラウドサーバに送信する係数送信部をさらに備える、ようにされてもよい。これにより、クラウドサーバで画像データが集まらないことから学習によって推論用ＤＮＮの係数を得ることができない場合に、その代わりとして使用することが可能となる。
　また、本技術において、例えば、推論用ＤＮＮ部は、移動体が第１の地区と第２の地区のオーバーラップ領域を第２の地区側に移動中に、係数受信部がクラウドサーバから第２の地区に対応した推論用ＤＮＮの係数を受信したとき、第１の地区に対応した推論用ＤＮＮの係数から第２の地区に対応した推論用ＤＮＮの係数に切り替える、ようにされてもよい。これにより、移動体が移動している地区が変わる場合であっても、伝送遅延に影響されることなく、適切な係数が設定された状態で推論用ＤＮＮを機能させることが可能となる。
　また、本技術において、推論用ＤＮＮ部は、第１の推論用ＤＮＮおよび第２の推論用ＤＮＮを有し、係数受信部は、移動体が第１の地区を移動中に次に移動する第２の地区に対応した推論用ＤＮＮの係数を受信し、第１の推論用ＤＮＮには第１の地区の前記推論用ＤＮＮの係数が設定され、第２の推論用ＤＮＮには第２の地区の前記推論用のＤＮＮの係数が設定され、移動体が第１の地区から第２の地区に移動するとき、推論用ＤＮＮ部は、第１の推論用ＤＮＮの使用状態から第２の推論用ＤＮＮの使用状態に切り替えられる、ようにされてもよい。これにより、移動体が移動している地区が変わる場合であっても、伝送遅延に影響されることなく、適切な係数が設定された状態で推論用ＤＮＮを機能させることが可能となる。
　また、本技術において、係数受信部で受信される、移動体が移動中の地区およびその周辺の地区に対応した推論用ＤＮＮの係数を保持するストレージをさらに備え、推論用ＤＮＮ部は、移動体が第１の地区から第２の地区に移動するとき、ストレージから第２に地区の推論用ＤＮＮの係数を取り出して使用する、ようにされてもよい。これにより、移動体が移動している地区が変わる場合であっても、伝送遅延に影響されることなく、適切な係数が設定された状態で推論用ＤＮＮを機能させることが可能となる。
実施の形態としての自動運転システムの構成例を示すブロック図である。 自動運転車とクラウドサーバの構成例を示すブロック図である。 走行シーンの画像データの一例と、その走行シーンの画像データに対するセマンティックセグメンテーションの識別結果の一例を示す図である。 クラウドサーバの詳細な構成例を示すブロック図である。 画像データベース部の処理を説明するための図である。 学習用ＤＮＮ部の詳細構成例を示すブロック図である。 係数データベース部の詳細構成例を示すブロック図である。 画像データベース部の処理手順の一例を示すフローチャートである。 学習用ＤＮＮ部の処理手順の一例を示すフローチャートである。 係数データベース部の処理手順の一例を示すフローチャートである。 ＤＮＮ係数の伝送遅延の対処方法の一例を説明するための図である。 クラウドサーバのハードウエアの構成例を示すブロック図である
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［自動運転システムの構成］
　図１は、実施の形態としての自動運転システム１０の構成例を示している。この自動運転システム１０は、複数の自動運転機能を有する自動車（以下、適宜、「自動運転車」という）１００が、インターネット３００を介して、クラウドサーバ２００に接続された構成となっている。
　複数の地区、図示の例においては、地区１，２、・・・Ｎを、自動運転車が走行している。各自動運転車１００は、走行シーンに対応した画像特徴を持つシーンの画像データを定期的に取得し、当該シーンの画像データを、インターネット３００を通じて、サーバ２００に送信する。ここで、走行シーンに対応した画像特徴には、走行シーンの位置の要素、例えば走行している地区情報が含まれる他、走行シーンの天気の要素や日時の要素等も含まれる。
　各自動運転車１００は、走行シーンの画像データから外部環境を識別する推論用ＤＮＮ（Deep Neural Network）部１０１を備えている。この推論用ＤＮＮ部１０１で識別される外部環境は、例えば、セマンティックセグメンテーション（Semantic Segmentation）やデプス（Depth）などである。各自動運転車１００では、推論用ＤＮＮ部１０１による外部環境の識別結果に基づいて、自動運転における動力やブレーキ等を制御することが行われる。
　クラウドサーバ２００は、学習用ＤＮＮ部２０１を備えている。学習用ＤＮＮ部２０１は、定期的に、各自動運転車１００から送られてくる画像データに基づき、地区および天気毎に、上述した自動運転車１００の推論用ＤＮＮ部１０１に設定するためのＤＮＮ係数を取得する。そして、クラウドサーバ２００は、定期的に、各自動運転車１００に、インターネット３００を通じて、それぞれが走行している地区およびそのときの天気に対応したＤＮＮ係数を送信する。
　このようにクラウドサーバ２００から各自動運転車１００に、それぞれが走行している地区およびそのときの天気に対応したＤＮＮ係数が送信される。そのため、各自動運転車１００の推論用ＤＮＮ部１０１における外部環境の識別結果の精度を高めることが可能となり、従って自動運転における動力やブレーキ等の制御をより精度よく行うことが可能となる。
　「自動運転車とクラウドサーバの構成例」
　図２は、自動運転車１００とクラウドサーバ２００の構成例を示している。自動運転車１００は、推論用ＤＮＮ部１０１と、撮像部１０２と、位置・日時取得部１０３と、画像データメモリ１０４と、データ送信部１０５と、データ受信部１０６と、ＤＮＮ係数メモリ１０７と、制御部１０８と、学習用ＤＮＮ部１０９を有している。
　撮像部１０２は、レンズやＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の撮像素子等で構成されており、走行シーンに対応した画像データを定期的に取得する。位置・日時取得部１０３は、例えばＧＰＳ（Global Positioning System）等を用いて、現在の位置の情報を取得する。また、位置・日時取得部１０４は、図示しない時計部から現在の日時の情報を取得する。
　画像データメモリ１０４は、撮像部１０２で取得された走行シーンの画像データを、位置・日時取得部１０３で取得された位置・日時情報が付けられた状態で一時的に保持する。データ送信部１０５は、画像データメモリ１０４に保持されている画像データ（位置・日時情報付き）を、インターネット３００を通じて、クラウドサーバ２００に送信する。
　データ受信部１０６は、クラウドサーバ２００からインターネット３００を通じて送信されてくるＤＮＮ係数を受信する。ＤＮＮ係数メモリ１０７は、データ受信部１０６で受信されたＤＮＮ係数を一時的に記憶する。推論用ＤＮＮ部１０１には、ＤＮＮ係数メモリ１０７に記憶されているＤＮＮ係数が取り出されて設定される。
　そして、推論用ＤＮＮ部１０１は、撮像部１０２で取得された走行シーンの画像データから外部環境を識別する。例えば、外部環境は、セマンティックセグメンテーションやデプス等である。例えば、図３（ａ）は、走行シーンの画像データの一例を示している。図３（ｂ）は、その走行シーンの画像データに対するセマンティックセグメンテーションの識別結果の一例を示している。制御部１０８は、推論用ＤＮＮ部１０１の外部環境の識別結果に基づいて、自動運転における動力やブレーキ等を制御する。
　学習用ＤＮＮ部１０９は、例えば、通信網がなく、クラウドサーバ２００との間で通信ができない場合に、メモリ１０４に記憶された画像データを学習用データとして用いて学習を行って、ＤＮＮ係数を取得する。この場合、例えば、ある時間帯（第１の時間帯）において推論用ＤＮＮ部１０１に設定されて使用されているＤＮＮ係数に基づく転移学習が行われて、次の時間帯（第２の時間帯）で使用すべきＤＮＮ係数を取得することが行われる。このＤＮＮ係数は、走行シーンの地区（位置）、天気に対応した特化係数である。
　学習用ＤＮＮ部１０９で取得されたＤＮＮ係数は、クラウドサーバ２００との間で通信が可能になった場合に、データ送信部１０５から、インターネット３００を通じて、クラウドサーバ２００に送信される。あるいは、学習用ＤＮＮ部１０９で取得されたＤＮＮ係数は、次の時間帯に、推論用ＤＮＮ部１０１に設定されて使用される。
　クラウドサーバ２００は、学習用ＤＮＮ部２０１と、データ受信部２０２と、画像データベース部２０３と、係数データベース部２０４と、データ送信部２０５を有している。
　「クラウドサーバの詳細な構成例」
　図４は、クラウドサーバ２００の詳細な構成例を示している。データ受信部２０２は、自動運転車１００から送信されてくる走行シーンの画像データ（位置・日時情報付き）を、インターネット３００を通じて、例えば５Ｇ等の通信により、受信する。また、データ受信部２０２は、自動運転車１００から送信されてくるＤＮＮ係数（特化係数）を、受信する。
　「画像データベース部の説明」
　画像データベース部２０３は、データ受信部２０２で受信された走行シーンの画像データを、それに付加されている位置・日時情報および天気情報に基づいて、地区、日時、天気別に保存する。この場合、天気情報に関しては、天気情報サーバから取得するか、あるいは画像データを解析することで取得することができる。なお、上述では自動運転車１００から送信されてくる走行シーンの画像データには位置・日時情報が付けられているが、さらに天気情報が付けられてきてもよい。
　また、画像データベース部２０３は、ある時間帯において、次の時間帯において自動運転車１００の推論用ＤＮＮ部１０１で使用するためのＤＮＮ係数を取得するために、地区、天気別に、学習データセットの構成と取得を行う。
　図５は、００：３０～０１：００の時間帯（走行中の時間帯）において、次の０１：００～０１：３０の時間帯で使用すべき、ある地区で、晴れの天気に対応したＤＮＮ係数を学習するために用いられる学習データセットの構成の一例を示している。この例では、今日（晴れ）の００：００～００：３０の画像データの比率が“３”、６月９日（晴れ）の０１：００～０１：３０の画像データの比率が“５”、６月１０日（曇り）の０１：００～０１：３０の画像データの比率が“３”とされている。６月８日（雨）の０１：００～０１：３０の画像データは、天気が全く違うので使用されない。
　なお、この例では、今日（晴れ）の走行中の時間帯の画像データを学習データセットの構成に含めていないが、含めることも考えられる。また、日時については、年単位で参照することも考えられる。例えば、稀に雪が降る地区で、本日（雪）の天気に対応したＤＮＮ係数を学習するために用いられる学習データセットを構成する際に有効となる。
　また、この例では、時間帯を３０分刻みとしているが、この時間帯の長さは学習の演算速度に応じて定義することが可能である。また、この例では同一地区の画像データのみで学習データセットを構成しているが、同一地区の画像データだけでは画像データ数が少ない場合には、例えば隣接地区の画像データを参照することも考えられる。
　「学習用ＤＮＮ部の説明」
　図４に戻って、学習用ＤＮＮ部２０１は、画像データベース部２０３で取得される地区、天気別の学習データセットに基づいて、ある時間帯において地区、天気別に学習用ＤＮＮで学習を行って、次の時間帯で自動運転車１００の推論用ＤＮＮ部１０１に設定して使用すべきＤＮＮ係数を取得する。
　この場合、ある時間帯におけるＤＮＮ係数に基づく転移学習（教師なし）が行われて、次の時間帯で使用すべきＤＮＮ係数を取得することが行われる。ある時間帯の走行シーンと次の時間帯の走行シーンの変化はそれ程大きくはなく、順次転移学習をしていくことで短い時間および少ない画像データ数で効率的に精度の高い学習を行うことが可能となる。学習の終了条件は、例えば、予め規定された学習時間や、予め規定されたエポック数（係数の更新回数）で定められる。
　図６は、学習用ＤＮＮ部２０１の詳細構成例を示している。学習用ＤＮＮ部２０１は、地区、天気別に学習用ＤＮＮを備えており、地区、天気別の学習が並行して行われる分散学習が実行される。この分散学習により、全体としての演算速度を高めることが可能となる。図示の例は、地区が１～Ｎであり、天気の種類が１～ｎの場合を示している。天気の種類には、晴れ、曇り、雨、雪等が考えられる。
　なお、上述では、今日のある時間帯において、次の時間帯における全ての天気の種類に対応した各地区のＤＮＮ係数の学習するように説明したが、今日の各地区で全く該当しない天気の種類に関しては、ＤＮＮ係数の学習を省略することも考えられる。例えば、今日の各地区で該当する天気は晴れのみである場合には、その他の曇り、雨、雪等に対応するＤＮＮ係数の学習は無意味となるので省略してもよい。
　「係数データベース部の説明」
　図４に戻って、係数データベース部２０４は、ある時間帯において学習用ＤＮＮ部２０１で取得された、次に時間帯で自動運転車１００の推論用ＤＮＮ部１０１に設定して使用すべき、地区、天気別のＤＮＮ係数（特化係数）を、一時的に記憶する。また、係数データベース部２０４は、自動運転車１００から送信されてくるＤＮＮ係数（特化係数）も、一時的に記憶する。
　また、係数データベース部２０４は、各自動運転車１００に送信すべきＤＮＮ係数を決定して出力する。この場合、基本的には、それぞれの地区、天気に対応したＤＮＮ係数、つまり特化係数を送信すべきＤＮＮ係数として決定される。しかし、ＤＮＮの損失関数を基に評価し、特化係数の評価値が汎用係数の評価値より低いなる場合には、特化係数の代わりに汎用係数が送信すべきＤＮＮ係数として決定される。ここで、汎用係数とは、広く様々な条件（位置、天気、日時など）を満たす走行シーンの画像データを用いて予め学習されて得られたＤＮＮ係数であり、広く様々な条件に対応できるＤＮＮ係数である。
　図７は、係数データベース部２０４の詳細構成例を示している。係数データベース部２０４は、ＤＮＮ係数を記憶する記憶部２４１と、各自動運転車１００に送信すべきＤＮＮ係数を決定して出力するＤＮＮ係数決定部２４２を有する。そして、記憶部２４１は、学習用ＤＮＮ部２０１で取得された地区、天気別のＤＮＮ係数（特化係数）を一時的に記憶する記憶部２４１ａと、データ受信部２０２で受信された地区、天気別のＤＮＮ係数（特化係数）を一時的に記憶する記憶部２４１ｂを有している。
　また、ＤＮＮ係数決定部２４２は、各自動運転車１００に送信すべき次の時間帯のＤＮＮ係数として、基本的には、それぞれの地区、天気に対応したＤＮＮ係数を決定し、その決定されたＤＮＮ係数を記憶部２４１から取り出して送信すべきＤＮＮ係数として出力する。この場合、その決定されたＤＮＮ係数を基本的には記憶部２４１ａから取り出すが、この記憶部２４１ａにそのＤＮＮ係数がない場合（システム不具合で学習ができなかった場合等が該当する）には、記憶部２４１ｂにそのＤＮＮ係数があればこの記憶部２４１ｂから取り出すようにされる。
　なお、ＤＮＮ係数決定部２４２は、記憶部２４１ａおよび記憶部２４１ｂの双方に決定されたＤＮＮ係数がある場合には、評価値の高い方を、送信すべきＤＮＮ係数として出力するように構成することも考えられる。
　この実施の形態においては、実際には、ＤＮＮ係数決定部２４２は、記憶部２４１から取り出したＤＮＮ係数、つまり特化係数の評価値が汎用係数の評価値より高い場合だけ、その特化係数を送信すべきＤＮＮ係数として出力する。特化係数の評価値が汎用係数の評価値より低い場合には、汎用係数を送信すべきＤＮＮ係数として出力する。
　特化係数の評価値の方が汎用係数の評価値より低くなるケースとしては、例えば、学習用の画像データの数が不足していて充分に学習ができなかった場合等が想定される。これにより、特化係数が不適当なＤＮＮ係数である場合に、それが自動運転車１００側で使用されることを回避でできる。
　また、ＤＮＮ係数決定部２４２は、決定されたＤＮＮ係数が記憶部２４１（記憶部２４１ａ，２４１ｂ）にない場合、汎用係数を送信すべきＤＮＮ係数として出力するように構成されてもよい。
　図４に戻って、データ送信部２０５は、各自動運転車１００に、インターネット３００を通じて、係数データベース部２０４で決定されたＤＮＮ係数（特化係数または汎用係数）を送信する。この場合、各自動運転車１００には、ある時間帯において、次の時間帯に使用すべきＤＮＮ係数が送信される。
　なお、上述では、係数データベース部２０４は特化係数の評価値の方が低い場合には、汎用係数を送信すべきＤＮＮ係数として出力し、データ送信部２０５はその汎用係数を自動運転車１００に送信するように説明した。しかし、係数データベース部２０４は、特化係数の評価値の方が低い場合には、汎用係数を使用することを指示する命令を出力し、データ送信部２０５はその命令を自動運転車１００に送信する構成も考えられる。その場合には、自動運転車１００において、その命令に従って自身が備える汎用係数を使用することになる。
　また、係数データベース部２０４では特化係数と汎用係数の評価値の比較はせずに、常に特化係数を出力し、データ送信部２０５はその特化係数を自動運転車１００に送信し、自動運転車１００側で特化係数と汎用係数の評価値を比較し、いずれを使用するかを決定するように構成することも考えられる。
　なお、ある地区、天気のＤＮＮ係数として係数データベース部２０４が汎用係数を出力する場合、学習用ＤＮＮ部２０１では、その地区、天気の次の時間帯のＤＮＮ係数を取得する場合には、この汎用係数に基づく転移学習を行うことが考えられる。
　「画像データベース部、学習用ＤＮＮ部および係数データベース部の処理手順例」
　図８のフローチャートは、画像データベース部２０３の処理手順の一例を示している。画像データベース部２０３は、ステップＳＴ１において、データ受信部２０２から各自動運転車１００の走行シーンの画像データ（位置・日時情報付き）を取得する。次に、画像データベース部２０３は、ステップＳＴ２において、取得した各自動運転車１００の走行シーンの画像データ（位置・日時情報付き）に、天気情報を付加する。
　次に、画像データベース部２０３は、ステップＳＴ３において、画像特徴（地区、日時、天気）別に、取得した各自動運転車１００の走行シーンの画像データを保存する。次に、画像データベース部２０３は、ステップＳＴ４において、画像特徴（地区、天気）別に、次の時間帯のＤＮＮ係数を学習するための画像データセットを決定する（図５参照）。
　次に、画像データベース部２０３は、ステップＳＴ５において、画像特徴（地区、天気）別の画像データセットにそれぞれ前処理をして学習用ＤＮＮ部２０１に送る。前処理には、例えば、画像データをパッチに切出す処理、画素値を正規化する処理、そして順番をシャッフルする処理等が含まれる。これは、一般的に、画像データに関する学習に行われる前処理である。
　図９のフローチャートは、学習用ＤＮＮ部２０１の処理手順の一例を示している。学習用ＤＮＮ部２０１は、ステップＳＴ１１において、画像データベース部２０３から画像特徴（地区、天気）別の画像データセットを取得する。次に、学習用ＤＮＮ部２０１は、ステップＳＴ１２において、画像特徴（地区、天気）別に、画像データセットを用いて、学習用ＤＮＮでＤＮＮ係数を学習（転移学習）する。
　次に、学習用ＤＮＮ部２０１は、ステップＳＴ１３において、規定の学習時間、またはエポック数で、学習を終了する。次に、学習用ＤＮＮ部２０１は、ステップＳＴ１４において、画像特徴（地区、天気）別に学習したＤＮＮ係数を、係数データベース部２０４に送る。
　図１０のフローチャートは、係数データベース部２０４の処理手順の一例を示している。係数データベース部２０４は、ステップＳＴ２１において、学習用ＤＮＮ部２０１から、画像特徴（地区、天気）別に学習したＤＮＮ係数を取得する。次に、係数データベース部２０４は、ステップＳＴ２２において、取得したＤＮＮ係数を。画像特徴（地区、天気）の情報を加えて、保存する。
　次に、係数データベース部２０４は、ステップＳＴ２３において、取得したＤＮＮ係数（特化係数）が汎用係数より高精度か否かを評価する。この評価は、損失関数を基に評価する。次に、係数データベース部２０４は、ステップＳＴ２４において、高精度であれば、取得したＤＮＮ係数（特化係数）を、一方、高精度でなければ、汎用係数を、データ送信部２０５に送るか、または車載の汎用係数の使用命令をデータ送信部２０５に送る。
　「ＤＮＮ係数の伝送遅延の対処方法」
　クラウドサーバ２００から自動運転車１００にＤＮＮ係数を送信する際に、伝送遅延が発生した場合、自動運転車１００では、走行地区に対応したＤＮＮ係数を受信できない区間が生じる。このような伝送遅延の対処方法として、例えば、以下の（１）～（３）が考えられる。これらの対処方法により、自動運転車１００が走行している地区が変わる場合であっても、伝送遅延に影響されることなく、適切なＤＮＮ係数が設定された状態で推論用ＤＮＮを機能させることが可能となる。
　（１）地区と地区との間にオーバーラップ領域を設け、この領域内でＤＮＮ係数を切り替える方法である。この場合、自動運転車１００の推論用ＤＮＮ部１０１は、自動運転車１００が第１の地区と第２の地区のオーバーラップ領域を第２の地区側に移動中に、データ受信部１０６がクラウドサーバ２００から第２の地区に対応した係数を受信したとき、第１の地区に対応したＤＮＮ係数から第２の地区に対応したＤＮＮ係数に切り替える。
　（２）移動先の地区（領域）を自動運転車１００の進行方向から予測し、別途用意した２つの推論用ＤＮＮに、移動先の地区に対応した係数を事前に適用しておき、自動運転車１００が地区を跨ぐ際、またはオーバーラップ領域内を走行する際に、使用する推論用ＤＮＮを切り替える方法である。この場合、推論用ＤＮＮ部１０１は、第１の推論用ＤＮＮおよび第２の推論用ＤＮＮを有し、データ受信部１０６は、自動運転車１００が第１の地区を移動中に次に移動する第２の地区に対応したＤＮＮ係数を受信する。そして、第１の推論用ＤＮＮには第１の地区のＤＮＮ係数が設定され、第２の推論用ＤＮＮには第２の地区のＤＮＮ係数が設定され、自動運転車１００が第１の地区から第２の地区に移動するとき、推論用ＤＮＮ部１０１は、第１の推論用ＤＮＮの使用状態から前記第２の推論用ＤＮＮの使用状態に切り替えられる。
　（３）自動運転車１００側では、事前に、走行中の地区を含む広い範囲のＤＮＮ係数をストレージに保持しておき、自動運転車１００が地区を跨ぐ際、またはオーバーラップ領域内を走行する際に、推論用ＤＮＮ部１０１で使用するＤＮＮ係数を切り替える方法である。この場合、自動運転車１００は、データ受信部１０６で受信される移動中の地区およびその周辺の地区に対応したＤＮＮ係数を保持するストレージを備え、推論用ＤＮＮ部１０１は、走行中の第１の地区から第２の地区に移動する際に、ストレージから第２に地区のＤＮＮ係数を取り出して使用する。
　この場合、ストレージに保持するＤＮＮ係数の範囲は、自動運転車１００の走行に応じて変化していく。図１１において、破線の楕円は自動運転車１００が走行している地区を示しており、実線の楕円は事前にストレージにＤＮＮ係数を保持して周辺の地区を示している。なお、図示の例では、地区のオーバーラップ領域が存在するが、オーバーラップ領域がない場合も考えられる。
　「クラウドサーバのハード構成例」
　図１２は、クラウドサーバ２００のハードウエアの構成例を示すブロック図である。クラウドサーバ２００において、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、およびドライブ５１０が接続されている。
　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア５１１を駆動する。
　以上のように構成されるクラウドサーバ２００では、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５およびバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
　ＣＰＵ５０１が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　クラウドサーバ２００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、予めインストールしておくことができる。
　なお、ＣＰＵ５０１が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　上述したように、図１に示す自動運転システム１０においては、クラウドサーバ２００から各自動運転車１００に、それぞれが走行している地区およびそのときの天気に対応したＤＮＮ係数（特化係数）が送信される。そのため、各自動運転車１００の推論用ＤＮＮ部１０１における外部環境の識別結果の精度を高めることが可能となり、従って自動運転における動力やブレーキ等の制御をより精度よく行うことが可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、地区については特に言及していないが、危険地区については、地区の範囲を絞って学習することも考えられる。このように地区の範囲を絞って学習を行うことで、学習されたＤＮＮ係数の精度を上げることが可能となる。
　また、上述実施の形態においては、移動体が自動車１００である例を示したが、本技術は、移動体が、例えば、自律走行ロボット、ドローン等の飛行体、などであっても、同様に適用することができる。例えば、ドローン等の飛行体の場合、飛行高度に関する画像特徴を定義することも考えられる。例えば、高度が０～２ｍであると人の視点に近く、また高度が数１０ｍ以上であると空撮のシーンとなる。
　添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は、以下のような構成もとることができる。
　（１）移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得部と、
　前記画像データ取得部で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用ＤＮＮの係数を取得する学習用ＤＮＮ部を備える
　情報処理装置。
　（２）前記画像特徴には、位置の要素が含まれる
　前記（１）に記載の情報処理装置。
　（３）前記画像特徴には、天気の要素がさらに含まれる
　前記（２）に記載の情報処理装置。
　（４）前記画像特徴には、日時の要素がさらに含まれる
　前記（２）または（３）に記載の情報処理装置。
　（５）前記学習用ＤＮＮ部は、第１の時間帯の前記推論用ＤＮＮの係数から、前記画像データ取得部で取得された画像データを用いた転移学習により、前記第１の時間帯に続く第２の時間帯で使用すべき前記推論用ＤＮＮの係数を取得する
　前記（１）から（４）のいずれかに記載の情報処理装置。
　（６）前記移動体から、前記移動シーンの画像データを、位置情報および日時情報が付加された状態で受信する画像データ受信部をさらに備える
　前記（１）から（５）のいずれかに記載の情報処理装置。
　（７）前記学習用ＤＮＮ部で取得された前記推論用ＤＮＮの係数を前記移動体に送信する係数送信部をさらに備える
　前記（１）から（６）のいずれかに記載の情報処理装置。
　（８）前記係数送信部は、前記学習用ＤＮＮ部で取得された前記推論用ＤＮＮの係数の評価値が汎用係数の評価値より高い場合に、前記学習用ＤＮＮ部で取得された前記推論用ＤＮＮの係数を前記移動体に送信する
　前記（７）に記載の情報処理装置。
　（９）移動体の移動シーンに対応した画像特徴を持つ画像データを取得する手順と、
　前記取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用ＤＮＮの係数を取得する手順を有する
　情報処理方法。
　（１０）コンピュータを、
　移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得手段と、
　前記画像データ取得手段で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用ＤＮＮの係数を取得する学習用ＤＮＮ手段として機能させる
　プログラム。
　（１１）移動シーンの画像データから外部環境を識別するための推論用ＤＮＮ部と、
　前記推論用ＤＮＮ部の識別結果に基づいて移動を制御するための制御部と、
　クラウドサーバから前記推論用ＤＮＮ部で使用する推論用ＤＮＮの係数を受信する係数受信部を備え、
　前記推論用ＤＮＮの係数は、前記移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである
　移動体。
　（１２）前記移動シーンの画像データを、位置情報および日時情報が付加された状態で前記クラウドサーバに送信する画像データ送信部をさらに備える
　前記（１１）に記載の移動体。
　（１３）前記移動シーンの画像データを用いた学習を行って、前記推論用ＤＮＮの係数を取得する学習用ＤＮＮ部と、
　前記学習用ＤＮＮ部で取得された前記推論用ＤＮＮの係数を前記クラウドサーバに送信する係数送信部をさらに備える
　前記（１１）または（１２）に記載の移動体。
　（１４）前記推論用ＤＮＮ部は、前記移動体が第１の地区と第２の地区のオーバーラップ領域を前記第２の地区側に移動中に、前記係数受信部が前記クラウドサーバから前記第２の地区に対応した前記推論用ＤＮＮの係数を受信したとき、前記第１の地区に対応した前記推論用ＤＮＮの係数から前記第２の地区に対応した前記推論用ＤＮＮの係数に切り替える
　前記（１１）から（１３）のいずれかに記載の移動体。
　（１５）前記推論用ＤＮＮ部は、第１の推論用ＤＮＮおよび第２の推論用ＤＮＮを有し、
　前記係数受信部は、前記移動体が第１の地区を移動中に次に移動する第２の地区に対応した前記推論用ＤＮＮの係数を受信し、
　前記第１の推論用ＤＮＮには前記第１の地区の前記推論用ＤＮＮの係数が設定され、前記第２の推論用ＤＮＮには前記第２の地区の前記推論用のＤＮＮの係数が設定され、
　前記移動体が前記第１の地区から第２の地区に移動するとき、前記推論用ＤＮＮ部は、前記第１の推論用ＤＮＮの使用状態から前記第２の推論用ＤＮＮの使用状態に切り替えられる
　前記（１１）から（１３）のいずれかに記載の移動体。
　（１６）前記係数受信部で受信される、前記移動体が移動中の地区およびその周辺の地区に対応した前記推論用ＤＮＮの係数を保持するストレージをさらに備え、
　前記推論用ＤＮＮ部は、前記移動体が第１の地区から第２の地区に移動するとき、前記ストレージから前記第２に地区の前記推論用ＤＮＮの係数を取り出して使用する
　前記（１１）から（１３）のいずれかに記載の移動体。
　１０・・・自動運転システム
　１００・・・自動運転車
　１０１・・・推論用ＤＮＮ部
　１０２・・・撮像部
　１０３・・・位置・日時取得部
　１０４・・・画像データメモリ
　１０５・・・データ送信部
　１０６・・・データ受信部
　１０７・・・ＤＮＮ係数メモリ
　１０８・・・制御部
　１０９・・・学習用ＤＮＮ部
　２００・・・クラウドサーバ
　２０１・・・学習用ＤＮＮ部
　２０２・・・データ受信部
　２０３・・・画像データベース部
　２０４・・・係数データベース部
　２０５・・・データ送信部
　２４１，２４１ａ，２４１ｂ・・・記憶部
　２４２・・・出力ＤＮＮ係数決定部
　３００・・・インターネット

Claims (16)

  1. 　移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得部と、
    　前記画像データ取得部で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用ＤＮＮの係数を取得する学習用ＤＮＮ部を備える
    　情報処理装置。
  2. 　前記画像特徴には、位置の要素が含まれる
    　請求項１に記載の情報処理装置。
  3. 　前記画像特徴には、天気の要素がさらに含まれる
    　請求項２に記載の情報処理装置。
  4. 　前記画像特徴には、日時の要素がさらに含まれる
    　請求項２に記載の情報処理装置。
  5. 　前記学習用ＤＮＮ部は、第１の時間帯の前記推論用ＤＮＮの係数から、前記画像データ取得部で取得された画像データを用いた転移学習により、前記第１の時間帯に続く第２の時間帯で使用すべき前記推論用ＤＮＮの係数を取得する
    　請求項１に記載の情報処理装置。
  6. 　前記移動体から、前記移動シーンの画像データを、位置情報および日時情報が付加された状態で受信する画像データ受信部をさらに備える
    　請求項１に記載の情報処理装置。
  7. 　前記学習用ＤＮＮ部で取得された前記推論用ＤＮＮの係数を前記移動体に送信する係数送信部をさらに備える
    　請求項１に記載の情報処理装置。
  8. 　前記係数送信部は、前記学習用ＤＮＮ部で取得された前記推論用ＤＮＮの係数の評価値が汎用係数の評価値より高い場合に、前記学習用ＤＮＮ部で取得された前記推論用ＤＮＮの係数を前記移動体に送信する
    　請求項７に記載の情報処理装置。
  9. 　移動体の移動シーンに対応した画像特徴を持つ画像データを取得する手順と、
    　前記取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用ＤＮＮの係数を取得する手順を有する
    　情報処理方法。
  10. 　コンピュータを、
    　移動体の移動シーンに対応した画像特徴を持つ画像データを取得する画像データ取得手段と、
    　前記画像データ取得手段で取得された画像データを用いた学習を行って、前記移動シーンの画像データから前記移動体の外部環境を識別するための推論用ＤＮＮの係数を取得する学習用ＤＮＮ手段として機能させる
    　プログラム。
  11. 　移動シーンの画像データから外部環境を識別するための推論用ＤＮＮ部と、
    　前記推論用ＤＮＮ部の識別結果に基づいて移動を制御するための制御部と、
    　クラウドサーバから前記推論用ＤＮＮ部で使用する推論用ＤＮＮの係数を受信する係数受信部を備え、
    　前記推論用ＤＮＮの係数は、前記移動シーンに対応した画像特徴を持つ画像データを用いた学習を行って取得されたものである
    　移動体。
  12. 　前記移動シーンの画像データを、位置情報および日時情報が付加された状態で前記クラウドサーバに送信する画像データ送信部をさらに備える
    　請求項１１に記載の移動体。
  13. 　前記移動シーンの画像データを用いた学習を行って、前記推論用ＤＮＮの係数を取得する学習用ＤＮＮ部と、
    　前記学習用ＤＮＮ部で取得された前記推論用ＤＮＮの係数を前記クラウドサーバに送信する係数送信部をさらに備える
    　請求項１１に記載の移動体。
  14. 　前記推論用ＤＮＮ部は、前記移動体が第１の地区と第２の地区のオーバーラップ領域を前記第２の地区側に移動中に、前記係数受信部が前記クラウドサーバから前記第２の地区に対応した前記推論用ＤＮＮの係数を受信したとき、前記第１の地区に対応した前記推論用ＤＮＮの係数から前記第２の地区に対応した前記推論用ＤＮＮの係数に切り替える
    　請求項１１に記載の移動体。
  15. 　前記推論用ＤＮＮ部は、第１の推論用ＤＮＮおよび第２の推論用ＤＮＮを有し、
    　前記係数受信部は、前記移動体が第１の地区を移動中に次に移動する第２の地区に対応した前記推論用ＤＮＮの係数を受信し、
    　前記第１の推論用ＤＮＮには前記第１の地区の前記推論用ＤＮＮの係数が設定され、前記第２の推論用ＤＮＮには前記第２の地区の前記推論用のＤＮＮの係数が設定され、
    　前記移動体が前記第１の地区から第２の地区に移動するとき、前記推論用ＤＮＮ部は、前記第１の推論用ＤＮＮの使用状態から前記第２の推論用ＤＮＮの使用状態に切り替えられる
    　請求項１１に記載の移動体。
  16. 　前記係数受信部で受信される、前記移動体が移動中の地区およびその周辺の地区に対応した前記推論用ＤＮＮの係数を保持するストレージをさらに備え、
    　前記推論用ＤＮＮ部は、前記移動体が第１の地区から第２の地区に移動するとき、前記ストレージから前記第２に地区の前記推論用ＤＮＮの係数を取り出して使用する
    　請求項１１に記載の移動体。
PCT/JP2020/046163 2019-12-18 2020-12-10 情報処理装置、情報処理方法、プログラムおよび移動体 WO2021125063A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/783,767 US20230005273A1 (en) 2019-12-18 2020-12-10 Information processing apparatus, information processing method, program, and movable object
CN202080085823.2A CN114787886A (zh) 2019-12-18 2020-12-10 信息处理装置、信息处理方法、程序和可移动对象

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-227970 2019-12-18
JP2019227970 2019-12-18

Publications (1)

Publication Number Publication Date
WO2021125063A1 true WO2021125063A1 (ja) 2021-06-24

Family

ID=76478755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046163 WO2021125063A1 (ja) 2019-12-18 2020-12-10 情報処理装置、情報処理方法、プログラムおよび移動体

Country Status (3)

Country Link
US (1) US20230005273A1 (ja)
CN (1) CN114787886A (ja)
WO (1) WO2021125063A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017253A1 (ja) * 2017-07-18 2019-01-24 パイオニア株式会社 制御装置、制御方法、およびプログラム
US11904906B2 (en) * 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
CN118246547A (zh) * 2024-03-06 2024-06-25 深圳市震有智联科技有限公司 一种基于多场景分析的智能预警推理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195237A (ja) * 2017-05-22 2018-12-06 トヨタ自動車株式会社 画像処理システム、画像処理方法、情報処理装置及び記録媒体
JP2019164611A (ja) * 2018-03-20 2019-09-26 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4591541B2 (ja) * 2008-05-14 2010-12-01 横浜ゴム株式会社 車両の走行条件評価方法及びその評価装置
CN104335570A (zh) * 2012-05-30 2015-02-04 索尼公司 信息处理装置、系统和存储介质
JP5983373B2 (ja) * 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
CN105912500B (zh) * 2016-03-30 2017-11-14 百度在线网络技术（北京）有限公司 机器学习模型生成方法和装置
CN107045788B (zh) * 2017-06-28 2020-04-10 北京数行健科技有限公司 交通路况预测方法及装置
DE102017007136A1 (de) * 2017-07-27 2019-01-31 Opel Automobile Gmbh Verfahren und Vorrichtung zum Trainieren selbstlernender Algorithmen für ein automatisiert fahrbares Fahrzeug
KR102481817B1 (ko) * 2017-11-30 2022-12-27 재단법인 대구경북과학기술원 전달 학습을 통한 운전자의 시선 응시영역 추정 방법
CN108920805B (zh) * 2018-06-25 2022-04-05 大连大学 具有状态特征提取功能的驾驶员行为建模系统
CN109829469A (zh) * 2018-11-08 2019-05-31 电子科技大学 一种基于深度学习的车辆检测方法
CN110555465B (zh) * 2019-08-13 2022-03-11 成都信息工程大学 一种基于cnn与多特征融合的天气图像识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195237A (ja) * 2017-05-22 2018-12-06 トヨタ自動車株式会社 画像処理システム、画像処理方法、情報処理装置及び記録媒体
JP2019164611A (ja) * 2018-03-20 2019-09-26 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム

Also Published As

Publication number Publication date
US20230005273A1 (en) 2023-01-05
CN114787886A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
WO2021125063A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動体
CN110356412B (zh) 用于自主驾驶的自动规则学习的方法和设备
US10642268B2 (en) Method and apparatus for generating automatic driving strategy
US11164051B2 (en) Image and LiDAR segmentation for LiDAR-camera calibration
WO2019047656A1 (zh) 用于控制无人驾驶车辆的方法和装置
CN110135302B (zh) 训练车道线识别模型的方法、装置、设备和存储介质
US20210287387A1 (en) Lidar point selection using image segmentation
CN116880462B (zh) 自动驾驶模型、训练方法和自动驾驶方法和车辆
CN116881707A (zh) 自动驾驶模型、训练方法、装置和车辆
CN113392793A (zh) 用于识别车道线的方法、装置、设备、存储介质以及无人车
CN112622923B (zh) 用于控制车辆的方法和装置
CN116776151A (zh) 可与车外人员进行自主交互的自动驾驶模型和训练方法
US11987264B2 (en) Method and system for recognizing activities in surrounding environment for controlling navigation of autonomous vehicle
CN112712608B (zh) 用于通过车辆收集性能数据的系统和方法
FR3103616A1 (fr) Procede et dispositif pour la determination de trajectoires d'elements mobiles
CN117755336A (zh) 基于大模型的车辆自动驾驶方法及系统
US11333519B2 (en) Dynamic map generation with focus on construction and localization field of technology
CN115512336B (zh) 基于路灯光源的车辆定位方法、装置和电子设备
CN117035032A (zh) 融合文本数据和自动驾驶数据进行模型训练的方法和车辆
CN116776999A (zh) 自动驾驶系统中的自我监督网络的联合学习的系统和方法
WO2023137285A1 (en) Systems and methods for cloud-based flight path optimization for unmanned aerial vehicles
CN115439815A (zh) 行驶工况识别方法、装置、设备、介质及车辆
US11544899B2 (en) System and method for generating terrain maps
CN116991157B (zh) 具备人类专家驾驶能力的自动驾驶模型、训练方法和车辆
CN112526477A (zh) 用于处理信息的方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20903109

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20903109

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP