WO2020203240A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2020203240A1
WO2020203240A1 PCT/JP2020/011600 JP2020011600W WO2020203240A1 WO 2020203240 A1 WO2020203240 A1 WO 2020203240A1 JP 2020011600 W JP2020011600 W JP 2020011600W WO 2020203240 A1 WO2020203240 A1 WO 2020203240A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
unit
predetermined number
image
information processing
Prior art date
Application number
PCT/JP2020/011600
Other languages
English (en)
French (fr)
Inventor
山本　祐輝
竜太 佐藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2021511391A priority Critical patent/JPWO2020203240A1/ja
Priority to KR1020217026864A priority patent/KR20210146891A/ko
Priority to EP20783497.9A priority patent/EP3951709A4/en
Priority to US17/440,194 priority patent/US20220012552A1/en
Priority to CN202080023017.2A priority patent/CN113614732A/zh
Publication of WO2020203240A1 publication Critical patent/WO2020203240A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Definitions

  • the present disclosure relates to an information processing device and an information processing method, and more particularly to an information processing device and an information processing method capable of further improving recognition performance.
  • Patent Document 1 discloses, for example, a neural network system in which a management device receives weight parameters obtained by learning in a plurality of terminal devices and an optimum weight parameter is selected.
  • This disclosure was made in view of such a situation, and is intended to make it possible to further improve the recognition performance.
  • a model to be updated by performing image recognition on a predetermined number of terminals and executing unsupervised learning is set, and image recognition is performed on the predetermined number of terminals. It includes a predetermined number of recognition units that perform image recognition on the performed image, and an evaluation value calculation unit that evaluates the recognition results of the predetermined number of the recognition units and calculates the evaluation value for each recognition unit.
  • the information processing apparatus performs image recognition on a predetermined number of terminals, and the model updated by executing unsupervised learning recognizes a predetermined number of models.
  • image recognition is performed on a predetermined number of images that have been image-recognized by the terminal, and the recognition results of the predetermined number of the recognition units are evaluated, and the evaluation value for each recognition unit is calculated. And include.
  • a model updated by performing image recognition on a predetermined number of terminals and executing unsupervised learning is performed on a predetermined number of terminals in a predetermined number of recognition units set respectively.
  • Image recognition is performed on the image for which image recognition has been performed, the recognition results in a predetermined number of recognition units are evaluated, and the evaluation value for each recognition unit is calculated.
  • the information processing device of the second aspect of the present disclosure is different for the execution unit that executes unsupervised learning for the model of the recognizer that performs image recognition for the image and the model that is updated by the learning in the execution unit.
  • a determination unit for determining whether or not learning has been performed correctly based on an evaluation value obtained by using recognition results obtained by performing image recognition in a predetermined number of models is provided, and the execution unit is included in the determination unit. If it is determined that the training is not performed correctly, the model is returned to the model before the training was performed.
  • the information processing method of the second aspect of the present disclosure is different for the information processing apparatus performing unsupervised learning for the model of the recognizer that performs image recognition for the image and the model updated by the learning. It is determined that the learning is not performed correctly, including determining whether or not the learning is performed correctly based on the evaluation value obtained by using the recognition result of the image recognition performed in the predetermined number of models. If so, return to the model before the training was performed.
  • unsupervised learning is performed on a model of a recognizer that recognizes an image on an image, and image recognition is performed on a predetermined number of different models for the model updated by the learning. Based on the evaluation value obtained by using the recognition result, it is determined whether or not the learning is performed correctly. Then, if it is determined that the training is not performed correctly, the model is returned to the model before the training is performed.
  • FIG. 1 is a diagram schematically showing a processing flow in a conventional learning process.
  • a recognizer CNN that performs image recognition using deep learning is used, and the recognizer CNN has a label for classifying a plurality of subjects shown in the image. An image with a label created in advance is input.
  • the recognizer CNN performs image recognition on a labeled image, recognizes a plurality of subjects shown in the labeled image, and outputs a recognition result in which each subject is classified. Then, the recognition result output from the recognizer CNN is compared with the correct label for the labeled image, and feedback is given to the recognizer CNN so that the recognition result approaches the correct label.
  • FIGS. 2 and 3 are diagrams schematically showing the flow of processing in the learning process to which the present technology is applied.
  • an image in which a correct label is prepared hereinafter referred to as an image with a label
  • an image in which a correct label is not necessarily prepared hereinafter referred to as an unlabeled image.
  • the correct label is not required in the learning process to which the present technology is applied. That is, no correct label is prepared for the two types of input images used in the learning process to which the present technology is applied, and the learning process is performed using such an image.
  • the recognizer CNN1 performs image recognition on an unlabeled image and outputs a recognition result (unlabeled) that classifies a plurality of subjects shown in the unlabeled image. Furthermore, learning that this recognition result is input to the recognizer CNN2 so that the recognizer CNN2 can distinguish between the recognition result (with label) and the recognition result (without label) is the correct answer value (labeled / labeled). None) is used.
  • the recognition result of the recognizer CNN1 for the unlabeled image can be brought closer to the recognition result with the label.
  • the recognizer CNN1 accurately classifies the part of the unlabeled image where the subject could not be classified accurately, and in the example shown in FIG. 2, the boundary between the roadway and the sidewalk on the right side of the recognition result. Will be able to.
  • two images an image of the first environment and an image of the second environment captured in different environments are used.
  • the recognizer CNN1 performs image recognition on the image of the second environment, and outputs a recognition result (second environment) that classifies a plurality of subjects shown in the image of the second environment. Furthermore, the learning that the recognition result is input to the recognizer CNN2 and the recognizer CNN2 can distinguish between the recognition result (first environment) and the recognition result (second environment) is the correct answer value (the correct answer value (2nd environment). It is performed using the first environment / second environment).
  • the recognition result of the recognizer CNN1 for the image of the second environment can be brought closer to the recognition result of the first environment.
  • the recognizer CNN1 can accurately classify the parts of the image in the second environment where the subjects could not be correctly classified, as in the example shown in FIG. Therefore, the learning process is performed so that the image recognition can be performed accurately by using the image of the first environment and the image of the second environment in which the correct label does not exist.
  • the recognizer CNN1 it is possible for the recognizer CNN1 to perform accurate image recognition without preparing a correct label, and to perform accurate image recognition for an unlabeled image. That is, the recognition performance can be improved.
  • the learning process performed without a teacher using an image for which a correct label is not always prepared is hereinafter referred to as a domain adaptation process.
  • FIG. 4 is a block diagram showing a configuration example of an embodiment of a learning system to which the present technology is applied.
  • the learning system 11 shown in FIG. 4 is configured by connecting N vehicles 13-1 to 13-N and a server 14 via a network 12, and each of the vehicles 13-1 to 13-N is a recognizer. have.
  • the vehicles 13-1 to 13-N are configured in the same manner, and hereinafter, when it is not necessary to distinguish between them, they are also simply referred to as a vehicle 13.
  • domain adaptation processing is learned in real time (for example, frame rate level) inside each of the vehicles 13-1 to 13-N with respect to the images captured by the vehicles 13-1 to 13-N. .. Then, in the learning system 11, N images captured in the vehicles 13-1 to 13-N and models of N recognizers are uploaded to the server 14 via the network 12.
  • the server 14 has N recognizers in which N images collected from the vehicles 13-1 to 13-N are composed of models of the vehicles 13-1 to 13-N. It is entered in all of. Then, in the server 14, the integrated recognition result in which the recognition results by the N recognizers are integrated is calculated, and the integrated recognition result and the recognition result of each of the N recognizers are used to obtain individual recognition results. Be evaluated. For example, the calculation of the evaluation value for evaluating the recognition result is performed at regular intervals longer than the frame rate at which the image is captured in the vehicle 13.
  • the server 14 when the evaluation value representing the evaluation for those recognition results is equal to or less than a certain value, the server 14 provides feedback to the vehicle 13 having the recognizer of the model from which the recognition result is obtained. It is said. In response to this, the vehicle 13 rolls back from the model at that time to the state before learning, and discards the input data used for the learning.
  • the recognizers of the vehicles 13-1 to 13-N are configured in the same manner, and the images captured by the respective vehicles 13 are input to the recognizers. The recognition result of image recognition for the image is output.
  • the evaluation and the feedback do not always operate, but only when the verification for the domain adaptation process in the vehicles 13-1 to 13-N is performed, for example, about once every few hours. That is, in the learning system 11, the learning processes are performed at a high frequency on the vehicles 13-1 to 13-N, and the evaluation and feedback are performed at a low frequency on the server 14.
  • FIG. 5 is a block diagram showing a configuration example of the information processing device 21 included in the vehicle 13.
  • the information processing device 21 includes an image acquisition unit 31, a storage unit 32, a domain adaptation processing execution unit 33, a transmission unit 34, a reception unit 35, a determination unit 36, and a recognition processing unit 37. Will be done.
  • the image acquisition unit 31 acquires an image captured by an image pickup device (not shown) mounted on the vehicle 13 and supplies it to the domain adaptation processing execution unit 33 and the recognition processing unit 37.
  • the storage unit 32 stores a model of a recognizer that performs image recognition in the information processing device 21.
  • the storage unit 32 stores an initial model which is a model set as an initial state, the latest model updated by the domain adaptation processing execution unit 33, a model immediately before the update, and the like.
  • the domain adaptation processing execution unit 33 sets the model loaded from the storage unit 32 in the recognizer, and executes the domain adaptation processing for the image supplied from the image acquisition unit 31. Then, the domain adaptation processing execution unit 33 supplies the model set in the recognizer and the image used for image recognition to the transmission unit 34 at the timing when the evaluation and feedback are performed in the server 14, for example. Further, when the model of the recognizer is correctly learned, the domain adaptation processing execution unit 33 can supply the model to the storage unit 32 and update the model. The detailed configuration of the domain adaptation processing execution unit 33 will be described later with reference to FIG.
  • the transmission unit 34 together with the image and the model supplied from the domain adaptation processing execution unit 33, includes additional information (for example, position information of the vehicle 13, vehicle type information, imaging equipment information, imaging condition information, etc.) from a higher-level control device (not shown). ) Is acquired and transmitted to the server 14 via the network 12 of FIG.
  • the receiving unit 35 receives the evaluation value transmitted from the server 14 via the network 12 and supplies it to the determination unit 36.
  • the determination unit 36 compares the evaluation value obtained in the server 14 with a predetermined evaluation value threshold value, determines whether or not the learning has been performed correctly in the domain adaptation processing execution unit 33, and determines the determination result in the domain adaptation processing. Notify the execution unit 33.
  • the recognition processing unit 37 reads the latest model from the storage unit 32, performs recognition processing on the image supplied from the image acquisition unit 31 using the recognizer in which the model is set, and recognizes the image obtained by the recognition processing. Output the result.
  • the recognition result by the recognition processing unit 37 is input to the automatic driving system of the vehicle 13, and the automatic driving of the vehicle 13 is controlled using the recognition result. Therefore, when the recognition processing unit 37 uses the model correctly learned by the domain adaptation processing execution unit 33, the recognition performance of the recognition processing unit 37 can be improved and safer automatic operation can be realized.
  • FIG. 6 is a block diagram showing a configuration example of the domain adaptation processing execution unit 33 of FIG.
  • the domain adaptation processing execution unit 33 is configured to include an environment feature amount calculation unit 41, a domain determination unit 42, and an update value calculation unit 43.
  • the environment feature amount calculation unit 41 and the domain determination unit 33 are included.
  • the recognizer is composed of the unit 42.
  • the environmental feature amount calculation unit 41 calculates the environmental feature amount representing the characteristics of each pixel of the image from the image supplied from the image acquisition unit 31 of FIG. 5 using a predetermined coefficient, and the domain determination unit 42. Supply to.
  • the domain discrimination unit 42 classifies the environmental feature amount supplied from the environmental feature amount calculation unit 41 according to a predetermined threshold value, and discriminates a region consisting of pixels indicating the environmental feature amount classified by the threshold value as one domain. Make a judgment. Then, the domain discrimination unit 42 classifies the domain discrimination result obtained as a result of the domain discrimination for each subject shown in the image, for example, as shown in FIGS. 2 and 3. It is supplied to the updated value calculation unit 43.
  • the update value calculation unit 43 updates the coefficient used for the calculation of the environment feature amount in the environment feature amount calculation unit 41 according to the domain determination result supplied from the domain determination unit 42, and the environment feature amount calculation update value and the domain determination.
  • the domain discrimination update value for updating the threshold used for the domain discrimination in the part 42 is calculated. Then, the update value calculation unit 43 feeds back the environmental feature amount calculation update value to the environment feature amount calculation unit 41, and feeds back the domain discrimination update value to the domain discrimination unit 42.
  • the update value calculation unit 43 uses the coefficient used for calculating the environmental feature amount in the environmental feature amount calculation unit 41 and the threshold value used for domain discrimination in the domain discrimination unit 42 as a model of the recognizer in FIG. It supplies to the transmission unit 34.
  • FIG. 7 is a block diagram showing a configuration example of the information processing device 22 included in the server 14.
  • the information processing device 22 includes a receiving unit 51, N recognition units 52-1 to 52-N, an integrated unit 53, an evaluation calculation unit 54, and a transmitting unit 55.
  • the receiving unit 51 receives images, models, and additional information transmitted from N vehicles 13-1 to 13-N. Then, the receiving unit 51 supplies the models of the recognizers in the N vehicles 13-1 to 13-N to the corresponding recognition units 52-1 to 52-N, respectively. After that, the receiving unit 51 supplies N images and N additional information to all of the recognition units 52-1 to 52-N.
  • the recognition units 52-1 to 52-N set models of N vehicles 13-1 to 13-N, respectively. Then, the recognition units 52-1 to 52-N input the image weighted by the additional information to the model, and supply the recognition result of the image recognition to the integration unit 53 and the evaluation calculation unit 54.
  • the integration unit 53 aggregates the N recognition results supplied from the recognition units 52-1 to 52-N, obtains the integrated recognition results by calculating a weighted average of them, and supplies them to the evaluation calculation unit 54. To do.
  • the evaluation calculation unit 54 sets each of the recognition units 52-1 to 52-N by using the integrated recognition result supplied from the integration unit 53 and the recognition result supplied from the recognition units 52-1 to 52-N. An evaluation value for individually evaluating the model is calculated and supplied to the transmission unit 55.
  • the transmission unit 55 transmits the evaluation values for the models of the individual recognizers supplied from the evaluation calculation unit 54 to the corresponding vehicles 13 among the N vehicles 13-1 to 13-N.
  • threshold processing is performed using the load mean value using the distance.
  • the integrated recognition result R ij and the evaluation value D n are obtained by calculating the following equation (1) using W, the index set H of the image height, and the interdomain distance d n calculated using the additional information. Can be calculated.
  • the inter-domain distance d n it is possible to obtain it based on a rule base, or to use the distance to the center after clustering with additional information.
  • the inter-domain distance d n based on the rule base uses the constant a (> 0), the straight line distance d from the starting point, and the difference b car defined in advance for each vehicle type, and uses the following equation ( It can be obtained by calculating 2).
  • the difference b car can be comprehensively set from the height of the vehicle body, the mounting position and posture of the image pickup device, the type of the image pickup device (resolution and angle of view), and the like.
  • the inter-domain distance d n based on the rule base uses the constant a (> 0), the number k of the boundaries, and the difference b car defined in advance for each vehicle type, and uses the following equation (3). It can be obtained by calculating.
  • the boundary in the number k of the boundary can be classified into a unique classification such as a straddling city, prefecture, or state.
  • the distance from the center after clustering with the additional information is obtained by clustering the additional information in various vehicles 13 and the environment acquired in the past by, for example, the k-means method, and the center of the cluster (centroid). ) Is calculated. Then, the additional information a i corresponding to the input image, and using the center c n of the cluster which the additional information belongs for each recognizer is obtained by calculating the following equation (4).
  • evaluation value D n is transmitted from the server 14 to each of the vehicles 13-1 to 13-N, and as described above, the evaluation value D n is compared with the evaluation value threshold values D threshold , n in the determination unit 36. .. Then, evaluation value D n evaluation value threshold D thresh, if more than n, it is determined correctly learning it has been performed with.
  • FIG. 8 is a flowchart illustrating information processing on the vehicle 13 side executed by the information processing device 21.
  • the processing is started, and in step S11, the domain adaptation processing execution unit 33 stores the initial model from the storage unit 32. Load and set in the recognizer.
  • step S12 the image acquisition unit 31 acquires the image captured by the imaging device and supplies it to the domain adaptation processing execution unit 33.
  • step S13 the domain adaptation processing execution unit 33 executes the domain adaptation processing (see the flowchart of FIG. 9) for the image supplied from the image acquisition unit 31 in step S12, and sets the model in the recognizer. Update.
  • step S14 when it is time for the server 14 to perform evaluation and feedback, the domain adaptation processing execution unit 33 supplies the image and model to the transmission unit 34, and the transmission unit 34 supplies the image, model, and additional information to the server. Send to 14.
  • step S15 the receiving unit 35 receives an evaluation value D n transmitted as a result of information processing (see the flowchart of FIG. 10) is performed in the server 14, and supplies the determining unit 36.
  • step S16 the determination unit 36 compares the evaluation value D n supplied from the reception unit 35 in step S15 with the evaluation value thresholds D threshold , n, and whether or not the domain adaptation processing execution unit 33 correctly learns. To judge. For example, the determination unit 36 determines that learning has been performed correctly if the evaluation value D n is the evaluation value threshold D threshold , n or more (D n ⁇ D threshold , n ), and the evaluation value D n is the evaluation value threshold D. If it is less than threshold, n (D n ⁇ D threshold, n ), it is determined that learning has not been performed correctly.
  • step S16 If the determination unit 36 determines in step S16 that the domain adaptation processing execution unit 33 has not correctly learned, the process proceeds to step S17.
  • step S17 the determination unit 36 notifies the domain adaptation processing execution unit 33 of the determination result, and the domain adaptation processing execution unit 33 changes the model set in the recognizer to the original model before the update. return. After that, the process returns to step S12, and the same process is repeated thereafter.
  • step S16 determines in step S16 that the domain adaptation processing execution unit 33 has correctly learned.
  • step S18 the domain adaptation processing execution unit 33 determines whether or not to continue the information processing for updating the model of the recognizer.
  • step S18 If the domain adaptation processing execution unit 33 determines in step S18 that the information processing for updating the model of the recognizer is to be continued, the processing returns to step S12, and the same processing is repeated thereafter. On the other hand, in step S18, when the domain adaptation processing execution unit 33 determines that the information processing for updating the model of the recognizer is not continued, the processing is terminated.
  • the information processing apparatus 21 can determine whether or not the updated recognizer model is correctly learned by performing the domain adaptation process based on the evaluation value from the server 14. .. As a result, it is possible to make a more accurate determination than to determine whether or not the information processing device 21 is performing learning correctly by itself, and it is possible to improve the recognition performance.
  • FIG. 9 is a flowchart illustrating the domain adaptation process performed in step S13 of FIG.
  • step S21 the domain adaptation processing execution unit 33 determines whether or not the image from the image acquisition unit 31 could be acquired, and if it is determined that the image cannot be acquired, the processing is performed. finish. Then, if it is determined in step S21 that the image could be acquired, the process proceeds to step S22.
  • step S22 the environmental feature amount calculation unit 41 calculates the environmental feature amount representing the feature for each pixel from the acquired image using a predetermined coefficient, and supplies it to the domain determination unit 42.
  • step S23 the domain discrimination unit 42 classifies the environmental feature amount supplied from the environmental feature amount calculation unit 41 in step S22 according to a predetermined threshold value, and sets a region consisting of pixels indicating the environmental feature amount classified by the threshold value. Domain discrimination for discriminating as one domain is performed, and the domain discrimination result obtained as a result is supplied to the update value calculation unit 43.
  • step S24 the update value calculation unit 43 updates the coefficient used for the calculation of the environmental feature amount in the environmental feature amount calculation unit 41 according to the domain discrimination result supplied from the domain discrimination unit 42 in step S23.
  • the update value and the domain discrimination update value for updating the threshold used for domain discrimination in the domain discrimination unit 42 are calculated.
  • step S25 the update value calculation unit 43 feeds back the environmental feature amount calculation update value to the environment feature amount calculation unit 41 and feeds back the domain discrimination update value to the domain discrimination unit 42.
  • the process is terminated after the model of the recognizer including the environmental feature amount calculation unit 41 and the domain discrimination unit 42 is updated.
  • FIG. 10 is a flowchart illustrating information processing on the server 14 side executed by the information processing device 22.
  • step S31 the receiving unit 51 receives the image, model, and additional information transmitted in step S14 of FIG. 8 in the N vehicles 13-1 to 13-N. Then, the receiving unit 51 supplies the models of the recognizers in the N vehicles 13-1 to 13-N to the corresponding recognition units 52-1 to 52-N, respectively, and N images and N additions. Each piece of information is supplied to all of the recognition units 52-1 to 52-N.
  • step S32 the recognition units 52-1 to 52-N set models of N vehicles 13-1 to 13-N, respectively, and perform image recognition on the image weighted by the additional information. Then, the recognition units 52-1 to 52-N supply the recognition result of image recognition to the integration unit 53 and the evaluation calculation unit 54.
  • step S33 the integration unit 53 obtains the integrated recognition result Rij from the N recognition results supplied from the recognition units 52-1 to 52-N in step S32, and supplies the integrated recognition result R ij to the evaluation calculation unit 54.
  • step S34 the evaluation calculation unit 54 uses the integrated recognition result Rij supplied from the integration unit 53 in step S33 and the recognition result supplied from the recognition units 52-1 to 52-N in step S32.
  • the model set in the recognition unit 52-1 to 52-n respectively calculates an evaluation value D n be assessed separately.
  • the evaluation calculation unit 54 supplies the transmitting section 55 an evaluation value D n.
  • step S35 the transmitting unit 55, an evaluation value D n supplied from the evaluation calculation unit 54 in step S34, and transmits to the corresponding vehicle 13-n among the N of vehicles 13-1 to 13-N.
  • the transmitter 55 is, after transmitting the evaluation value D n to the respective N of vehicles 13-1 to 13-N, the processing is terminated.
  • the model set in each of the recognition units 52-1 to 52-N is set by using the integrated recognition result in which the recognition results in the recognition units 52-1 to 52-N are integrated. Can be evaluated comprehensively.
  • FIG. 11 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 105 or ROM 103 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 111 driven by the drive 109.
  • a removable recording medium 111 can be provided as so-called package software.
  • examples of the removable recording medium 111 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 105. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 102, and the input / output interface 110 is connected to the CPU 102 via the bus 101.
  • CPU Central Processing Unit
  • the CPU 102 executes a program stored in the ROM (Read Only Memory) 103 accordingly. .. Alternatively, the CPU 102 loads the program stored in the hard disk 105 into the RAM (Random Access Memory) 104 and executes it.
  • ROM Read Only Memory
  • the CPU 102 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 102 outputs the processing result from the output unit 106, transmits it from the communication unit 108, or records it on the hard disk 105, if necessary, via, for example, the input / output interface 110.
  • the input unit 107 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 106 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for describing the program may be executed in chronological order according to the order described in this specification, or may be called in parallel or called. It may be executed individually at a necessary timing such as time. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as a device mounted on the body.
  • FIG. 12 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via the communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetics, and a drive circuit that drives various control target devices. To be equipped.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside or outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • the microcomputer 7610 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, general-purpose communication I / F 7620, dedicated communication I / F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F 7660, audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are shown.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating a braking force of a vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle condition detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. It includes at least one of sensors for detecting an angle, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 7200 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle exterior information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 is used to detect, for example, the current weather or an environmental sensor for detecting the weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the ambient information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 13 shows an example of the installation positions of the imaging unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided on the front nose and the image pickup section 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup unit 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 13 shows an example of the photographing range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d is The imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown.
  • a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners of the vehicle 7900 and above the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle exterior information detection unit 7400 causes the image pickup unit 7410 to capture an image of the vehicle exterior and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives the received reflected wave information.
  • the vehicle exterior information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is dozing or not. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input-operated by a passenger. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • Bluetooth® may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian or a store, or an MTC (Machine Type Communication) terminal). You may connect with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of IEEE802.11p in the lower layer and IEEE1609 in the upper layer. May be implemented.
  • the dedicated communication I / F7630 typically includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-home (Vehicle to Home) communication, and pedestrian-to-pedestrian (Vehicle to Pedertian) communication. ) Carry out V2X communication, a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic jam, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is connected via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile).
  • a wired connection such as High-definition Link may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a passenger's mobile device or wearable device, or an information device carried or attached to the vehicle. In-vehicle device 7760 may also include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of. Further, the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, the steering mechanism, the braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control for the purpose of driving or the like may be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 has information acquired via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict the danger of a vehicle collision, a pedestrian or the like approaching or entering a closed road based on the acquired information, and generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or turning on a warning lamp.
  • the audio / image output unit 7670 transmits an output signal of at least one of audio and an image to an output device capable of visually or audibly notifying the passenger of the vehicle or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as eyeglass-type displays worn by passengers, projectors or lamps other than these devices.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data or acoustic data into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • a computer program for realizing each function of the information processing device 21 according to the present embodiment described with reference to FIG. 5 can be implemented in any control unit or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed via, for example, a network without using a recording medium.
  • the information processing device 21 can be applied to the integrated control unit 7600 of the application example shown in FIG.
  • the image acquisition unit 31, the domain adaptation processing execution unit 33, the determination unit 36, and the recognition processing unit 37 of the information processing device 21 correspond to the microcomputer 7610 of the integrated control unit 7600.
  • the storage unit 32 of the information processing device 21 corresponds to the storage unit 7690 of the integrated control unit 7600
  • the transmission unit 34 and the reception unit 35 of the information processing device 21 are the in-vehicle network I / F7680 of the integrated control unit 7600.
  • the integrated control unit 7600 can update the model of the recognizer by executing the domain adaptation process.
  • the components of the information processing apparatus 21 described with reference to FIG. 5 is included in the module for the integrated control unit 7600 shown in FIG. 12 (for example, an integrated circuit module composed of one die). It may be realized. Alternatively, it may be realized by a plurality of control units of the information processing device 21 described with reference to FIG. 5 and the vehicle control system 7000 shown with reference to FIG.
  • the present technology can also have the following configurations.
  • a predetermined number of models that are updated by performing image recognition on a predetermined number of terminals and executing unsupervised learning are set, and image recognition is performed on a predetermined number of images that have been image-recognized on the terminals.
  • Recognition part and An information processing device including an evaluation value calculation unit that evaluates a predetermined number of recognition results in the recognition unit and calculates an evaluation value for each recognition unit.
  • the learning is performed at predetermined intervals at which the images are acquired on a predetermined number of terminals.
  • the information processing device according to (1) above, wherein the evaluation value calculation unit calculates the evaluation value at regular intervals longer than the predetermined interval.
  • An integrated unit for obtaining an integrated recognition result in which a predetermined number of recognition results in the recognition unit are integrated is further provided.
  • the information processing apparatus further include a transmission unit that transmits the evaluation values for the model set in the recognition unit to the predetermined number of the terminals calculated by the evaluation value calculation unit.
  • Information processing device The model updated by performing image recognition on a predetermined number of terminals and executing unsupervised learning targets the images for which image recognition has been performed on the predetermined number of terminals in the predetermined number of recognition units set respectively.
  • image recognition An information processing method including evaluating a predetermined number of recognition results in the recognition unit and calculating an evaluation value for each recognition unit.
  • An executive unit that performs unsupervised learning on a model of a recognizer that performs image recognition on an image, It is determined whether or not the learning has been performed correctly based on the evaluation values obtained by using the recognition results obtained by performing image recognition in a predetermined number of different models for the model updated by the learning in the execution unit.
  • the execution unit is an information processing device that returns to a model before the learning is performed when it is determined that the learning is not performed correctly in the determination unit.
  • the execution unit executes the learning at predetermined intervals at which the images are acquired.
  • the information processing apparatus according to (9) above wherein the evaluation value is obtained at regular intervals longer than the predetermined interval.
  • the information processing apparatus according to (9) or (10) above further comprising a transmission unit that transmits predetermined additional information together with the model and the image at a timing when the evaluation value is obtained.
  • a recognition processing unit that sets the latest model updated by the execution unit in the recognizer, performs recognition processing on the image, and outputs the recognition result to the processing unit that performs predetermined processing using the recognition result.
  • Recognition part and A first information processing device having an evaluation value calculation unit that evaluates a predetermined number of recognition results in the recognition unit and calculates an evaluation value for each recognition unit.
  • An executive unit that performs unsupervised learning on a model of a recognizer that performs image recognition on an image, It is determined whether or not the learning has been performed correctly based on the evaluation values obtained by using the recognition results obtained by performing image recognition in a predetermined number of different models for the model updated by the learning in the execution unit.
  • Has a judgment unit to The execution unit is a system including a second information processing device that returns to a model before the learning is performed when the determination unit determines that the learning is not performed correctly.
  • 11 learning system 12 network, 13 vehicle, 14 server, 21 and 22 information processing device, 31 image acquisition unit, 32 storage unit, 33 domain adaptation processing execution unit, 34 transmission unit, 35 reception unit, 36 judgment unit, 37 recognition Processing unit, 41 environmental feature amount calculation unit, 42 domain discrimination unit, 43 update value calculation unit, 51 reception unit, 52 recognition unit, 53 integration unit, 54 evaluation calculation unit, 55 transmission unit

Abstract

本開示は、より認識性能の向上を図ることができるようにする情報処理装置および情報処理方法に関する。 サーバ側の情報処理装置は、所定個数の車両において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の車両において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、所定個数の認識部における認識結果を評価し、認識部ごとの評価値を算出する評価値算出部とを備える。車両側の情報処理装置は、教師なし学習を実行する実行部と、実行部において更新されたモデルについて、サーバ側で求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部とを備える。本技術は、例えば、自動運転を行う車両に適用できる。

Description

情報処理装置および情報処理方法
　本開示は、情報処理装置および情報処理方法に関し、特に、より認識性能の向上を図ることができるようにした情報処理装置および情報処理方法に関する。
　従来、例えば、Deep Learning（深層学習）におけるCNN（Convolutional Neural Network：畳み込みニューラルネットワーク）による画像認識では、一般的に、教師データを用いた学習が行われる。
　また、特許文献１には、例えば、複数の端末装置において学習することによって得られた重みパラメータを管理装置が受信し、最適な重みパラメータが選択されるニューラルネットワークシステムが開示されている。
特開２０１７－１７４２９８号公報
　ところで、従来の画像認識を行う学習では、教師データを用意するのにコストを要するだけでなく、教師データと分布の異なるデータが入力された場合には、そのデータに対する認識性能が低下してしまっていた。
　本開示は、このような状況に鑑みてなされたものであり、より認識性能の向上を図ることができるようにするものである。
　本開示の第１の側面の情報処理装置は、所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出する評価値算出部とを備える。
　本開示の第１の側面の情報処理方法は、情報処理装置が、所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定される所定個数の認識部において、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行うことと、所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出することとを含む。
　本開示の第１の側面においては、所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定される所定個数の認識部において、所定個数の端末において画像認識が行われた画像を対象として画像認識が行われ、所定個数の認識部における認識結果を評価し、認識部ごとの評価値が算出される。
　本開示の第２の側面の情報処理装置は、画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行する実行部と、前記実行部での学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部とを備え、前記実行部は、前記判定部において正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す。
　本開示の第２の側面の情報処理方法は、情報処理装置が、画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行することと、その学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定することとを含み、正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す。
　本開示の第２の側面においては、画像に対する画像認識を行う認識器のモデルに対する教師なし学習が実行され、その学習により更新されたモデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かが判定される。そして、正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻される。
従来の学習処理について説明する図である。 本技術を適用した学習処理について説明する図である。 本技術を適用した学習処理について説明する図である。 本技術を適用した学習システムの一実施の形態の構成例を示すブロック図である。 車両側の情報処理装置の構成例を示すブロック図である。 ドメイン適応処理実行部の構成例を示すブロック図である。 サーバ側の情報処理装置の構成例を示すブロック図である。 車両側で実行される情報処理を説明するフローチャートである。 ドメイン適応処理を説明するフローチャートである。 サーバ側で実行される情報処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜学習処理について＞
　まず、図１乃至図３を参照して、学習処理について説明する。
　図１は、従来の学習処理における処理の流れを模式的に示す図である。
　図１に示すように、従来の学習処理では、深層学習を利用して画像認識を行う認識器CNNが用いられ、認識器CNNには、画像に写されている複数の被写体を分類するラベルが予め作成されているラベルあり画像が入力される。
　例えば、認識器CNNは、ラベルあり画像に対する画像認識を行って、そのラベルあり画像に写されている複数の被写体を認識し、それぞれの被写体を分類した認識結果を出力する。そして、認識器CNNから出力される認識結果と、ラベルあり画像についての正解ラベルとの比較が行われ、認識結果を正解ラベルに近づけるように認識器CNNに対するフィードバックが行われる。
　このように、従来の学習処理では、正解ラベルを用いて、認識器CNNが、より正確な画像認識を行うことができるようにする学習が行われる。
　そこで、図２および図３を参照して説明するように、正解ラベルを用いずに正確な画像認識を行うことができるようにする。
　図２および図３は、本技術を適用した学習処理における処理の流れを模式的に示す図である。以下では、説明を理解しやすくするために、まず、正解ラベルが用意されている画像（以下、ラベルあり画像と称する）と、正解ラベルが必ずしも用意されていない画像（以下、ラベルなし画像と称する）との２種類の画像を例示するが、図２および図３に示すように、本技術を適用した学習処理では、正解ラベルは不要である。即ち、本技術を適用した学習処理で用いられる２種類の入力画像には、一切、正解ラベルが用意されておらず、そのような画像を用いて学習処理が行われる。
　図２および図３に示すように、本技術を適用した学習処理では、２台の認識器CNN1およびCNN2が用いられ、認識器CNN1へ入力される画像に対応する正解ラベルは存在しなくてもよい。
　例えば、図２に示す学習処理では、認識器CNN1は、ラベルなし画像に対する画像認識を行って、そのラベルなし画像に写されている複数の被写体を分類した認識結果（ラベルなし）を出力する。さらに、この認識結果が認識器CNN2に入力され、認識器CNN2が、認識結果（ラベルあり）と認識結果（ラベルなし）とを見分けることができるようにする学習が、正解値（ラベルあり／ラベルなし）を用いて行われる。
　そして、認識器CNN2における学習の結果を認識器CNN1にフィードバックすることで、ラベルなし画像に対する認識器CNN1の認識結果を、ラベルありの認識結果に近づけることができるようになる。これにより、認識器CNN1は、ラベルなし画像の被写体を正確に分類できていなかった個所について、図２に示す例では、認識結果の右側の車道と歩道との境界について、正確に分類を行うことができるようになる。
　また、図３に示す学習処理では、それぞれ異なる環境で撮像された２枚の画像（第１の環境の画像および第２の環境の画像）が用いられる。
　即ち、認識器CNN1は、第２の環境の画像に対する画像認識を行って、その第２の環境の画像に写されている複数の被写体を分類した認識結果（第２の環境）を出力する。さらに、この認識結果が認識器CNN2に入力され、認識器CNN2が、認識結果（第１の環境）と認識結果（第２の環境）とを見分けることができるようにする学習が、正解値（第１の環境／第２の環境）を用いて行われる。
　そして、認識器CNN2における学習の結果を認識器CNN1にフィードバックすることで、第２の環境の画像に対する認識器CNN1の認識結果を、第１の環境の認識結果に近づけることができるようになる。これにより、認識器CNN1は、第２の環境の画像の被写体を正確に分類できていなかった個所について、図２に示す例と同様に、正確に分類を行うことができるようなる。従って、正解ラベルが存在しない第１の環境の画像および第２の環境の画像を用いて、画像認識を正確に行えるような学習処理が行われる。
　このように、本技術を適用した学習処理では、正解ラベルを用意しなくても、認識器CNN1が正確に画像認識を行うことを可能とし、ラベルなし画像に対して正確な画像認識を行うこと、即ち、認識性能の向上を図ることができる。
　なお、図２および図３を参照して説明したように、正解ラベルが必ずしも用意されていない画像を用いて、教師なしで行われる学習処理を、以下、ドメイン適応処理と称する。
　＜学習システムの構成例＞
　図４は、本技術を適用した学習システムの一実施の形態の構成例を示すブロック図である。
　図４に示す学習システム１１は、ネットワーク１２を介して、Ｎ台の車両１３－１乃至１３－Ｎとサーバ１４とが接続されて構成され、車両１３－１乃至１３－Ｎそれぞれが、認識器を有している。なお、車両１３－１乃至１３－Ｎは、同様に構成されており、以下、それぞれを区別する必要がない場合、単に、車両１３とも称する。
　学習システム１１では、車両１３－１乃至１３－Ｎにおいて撮像された画像に対し、車両１３－１乃至１３－Ｎそれぞれの内部においてリアルタイム（例えば、フレームレートレベル）でドメイン適応処理の学習が行われる。そして、学習システム１１では、ネットワーク１２を介して、車両１３－１乃至１３－Ｎにおいて撮像されたＮ枚の画像と、Ｎ個の認識器のモデルとがサーバ１４にアップロードされる。
　これにより、学習システム１１では、サーバ１４において、車両１３－１乃至１３－Ｎから集積されたＮ枚の画像が、車両１３－１乃至１３－Ｎそれぞれのモデルによって構成されるＮ個の認識器の全てに入力される。そして、サーバ１４において、Ｎ個の認識器による認識結果が統合された統合認識結果を算出し、その統合認識結果と、Ｎ個の認識器それぞれの認識結果とを用いて、個々の認識結果が評価される。例えば、この認識結果を評価する評価値の算出は、車両１３において画像が撮像されるフレームレートよりも長い一定期間ごとに行われる。
　その後、学習システム１１では、それらの認識結果に対する評価を表す評価値が一定値以下であった場合、その認識結果が得られたモデルの認識器を有する車両１３に対してサーバ１４からフィードバックが行われる。これに応じ、その車両１３では、その時点でのモデルから学習前の状態にロールバックするとともに、その学習に使用していた入力データの破棄が行われる。
　ここで、学習システム１１では、車両１３－１乃至１３－Ｎが有する認識器は、それぞれ同様に構成されており、その認識器には、それぞれの車両１３で撮像された画像が入力され、その画像に対する画像認識を行った認識結果が出力される。また、サーバ１４において、評価およびフィードバックが常に動作するのではなく、例えば、数時間に１回程度、車両１３－１乃至１３－Ｎにおけるドメイン適応処理に対する検証を行うときのみ動作する。即ち、学習システム１１において、車両１３－１乃至１３－Ｎでは、高い頻度で学習処理が行われ、サーバ１４では、低い頻度で評価およびフィードバックが行われる。
　図５は、車両１３が備える情報処理装置２１の構成例を示すブロック図である。
　図５に示すように、情報処理装置２１は、画像取得部３１、記憶部３２、ドメイン適応処理実行部３３、送信部３４、受信部３５、判定部３６、および認識処理部３７を備えて構成される。
　画像取得部３１は、車両１３に搭載されている撮像装置（図示せず）において撮像された画像を取得して、ドメイン適応処理実行部３３および認識処理部３７に供給する。
　記憶部３２は、情報処理装置２１において画像認識を行う認識器のモデルを記憶する。例えば、記憶部３２は、初期状態として設定されているモデルである初期モデルや、ドメイン適応処理実行部３３においいて更新された最新のモデル、その更新される直前のモデルなどを記憶する。
　ドメイン適応処理実行部３３は、記憶部３２からロードしたモデルを認識器に設定し、画像取得部３１から供給される画像を対象としてドメイン適応処理を実行する。そして、ドメイン適応処理実行部３３は、例えば、サーバ１４において評価およびフィードバックが行われるタイミングで、認識器に設定されているモデルと、画像認識に用いた画像とを送信部３４に供給する。また、ドメイン適応処理実行部３３は、認識器のモデルが正しく学習されている場合、そのモデルを記憶部３２に供給してモデルの更新を行うことができる。なお、ドメイン適応処理実行部３３の詳細な構成については、図６を参照して後述する。
　送信部３４は、ドメイン適応処理実行部３３から供給される画像およびモデルとともに、図示しない上位の制御装置から付加情報（例えば、車両１３の位置情報や、車種情報、撮像機材情報、撮像条件情報など）を取得して、図１のネットワーク１２を介してサーバ１４に送信する。
　受信部３５は、サーバ１４からネットワーク１２を介して送信されてくる評価値を受信して、判定部３６に供給する。
　判定部３６は、サーバ１４において求められた評価値を所定の評価値閾値と比較し、ドメイン適応処理実行部３３において正しく学習が行われたか否かを判定して、その判定結果をドメイン適応処理実行部３３に通知する。
　認識処理部３７は、記憶部３２から最新のモデルを読み出して、そのモデルを設定した認識器を用いて、画像取得部３１から供給される画像に対する認識処理を行い、その認識処理により得られる認識結果を出力する。例えば、認識処理部３７による認識結果は、車両１３の自動運転システムに入力され、認識結果を用いて車両１３の自動運転が制御される。従って、認識処理部３７が、ドメイン適応処理実行部３３において正しく学習されたモデルを用いることで、認識処理部３７の認識性能が向上し、より安全な自動運転を実現することができる。
　図６は、図５のドメイン適応処理実行部３３の構成例を示すブロック図である。
　図６に示すように、ドメイン適応処理実行部３３は、環境特徴量計算部４１、ドメイン判別部４２、および更新値計算部４３を備えて構成され、例えば、環境特徴量計算部４１およびドメイン判別部４２により認識器が構成される。
　環境特徴量計算部４１は、図５の画像取得部３１から供給される画像から、その画像の１画素ごとの特徴を表す環境特徴量を所定の係数を用いて計算して、ドメイン判別部４２に供給する。
　ドメイン判別部４２は、環境特徴量計算部４１から供給される環境特徴量を所定の閾値に従って分類し、その閾値で分類される環境特徴量を示す画素からなる領域を１つのドメインとして判別するドメイン判別を行う。そして、ドメイン判別部４２は、ドメイン判別を行った結果得られるドメイン判別結果を、例えば、図２および図３に示したように画像に写されている被写体ごとに分類を行った認識結果を、更新値計算部４３に供給する。
　更新値計算部４３は、ドメイン判別部４２から供給されるドメイン判別結果に従って、環境特徴量計算部４１における環境特徴量の計算に用いられる係数を更新する環境特徴量計算更新値、および、ドメイン判別部４２におけるドメイン判別に用いられる閾値を更新するドメイン判別更新値を計算する。そして、更新値計算部４３は、環境特徴量計算更新値を環境特徴量計算部４１にフィードバックするとともに、ドメイン判別更新値をドメイン判別部４２にフィードバックする。
　さらに、更新値計算部４３は、環境特徴量計算部４１における環境特徴量の計算に用いられる係数、および、ドメイン判別部４２におけるドメイン判別に用いられる閾値を、認識器のモデルとして、図５の送信部３４に供給する。
　図７は、サーバ１４が備える情報処理装置２２の構成例を示すブロック図である。
　図７に示すように、情報処理装置２２は、受信部５１、Ｎ個の認識部５２－１乃至５２－Ｎ、統合部５３、評価算出部５４、および送信部５５を備えて構成される。
　受信部５１は、Ｎ台の車両１３－１乃至１３－Ｎから送信されてくる画像、モデル、および付加情報を受信する。そして、受信部５１は、Ｎ台の車両１３－１乃至１３－Ｎにおける認識器のモデルを、それぞれ対応する認識部５２－１乃至５２－Ｎに供給する。その後、受信部５１は、Ｎ枚の画像およびＮ個の付加情報それぞれを、認識部５２－１乃至５２－Ｎの全てに供給する。
　認識部５２－１乃至５２－Ｎは、それぞれＮ台の車両１３－１乃至１３－Ｎのモデルを設定する。そして、認識部５２－１乃至５２－Ｎは、モデルに対して付加情報によって重み付けされた画像を入力し、画像認識を行った認識結果を統合部５３および評価算出部５４に供給する。
　統合部５３は、認識部５２－１乃至５２－Ｎから供給されるＮ個の認識結果を集計し、例えば、それらの加重平均を算出することで統合認識結果を求め、評価算出部５４に供給する。
　評価算出部５４は、統合部５３から供給される統合認識結果と、認識部５２－１乃至５２－Ｎから供給される認識結果とを用いて、認識部５２－１乃至５２－Ｎそれぞれに設定されているモデルを個別に評価する評価値を算出し、送信部５５に供給する。
　送信部５５は、評価算出部５４から供給される個々の認識器のモデルに対する評価値を、Ｎ台の車両１３－１乃至１３－Ｎのうちの、それぞれ対応する車両１３へ送信する。
　ここで、統合部５３および評価算出部５４によるモデルの評価について説明する。例えば、距離を用いた荷重平均値を使用して閾値処理が行われる。
　即ち、統合部５３および評価算出部５４は、評価対象の画像認識結果の画素値Ｉｎ，ｉｊ、参照する画像認識結果の画素値Ｒｉｊ、車両１３のインデックス集合Ｎ、画像の幅のインデックス集合Ｗ、画像の高さのインデックス集合Ｈ、付加情報を用いて算出したドメイン間距離ｄｎを用いて、次の式（１）を演算することによって、統合認識結果Ｒｉｊおよび評価値Ｄｎを算出することができる。
Figure JPOXMLDOC01-appb-M000001
　また、ドメイン間距離ｄｎの計算には、ルールベースに基づいて求めたり、付加情報でクラスタリングした後における中心との距離などを用いたりすることができる。
　例えば、ルールベースに基づいたドメイン間距離ｄｎは、定数ａ（＞０）、開始地点からの直線距離ｄ、および、予め車種ごとに定義されている差分ｂｃａｒを用いて、次の式（２）を演算することによって求めることができる。ここで、差分ｂｃａｒとしては、車体の高さや、撮像装置の取り付け位置および姿勢、撮像装置の種類（解像度および画角）などから総合的に設定することができる。
Figure JPOXMLDOC01-appb-M000002
　その他、ルールベースに基づいたドメイン間距離ｄｎは、定数ａ（＞０）、境界の数ｋ、および、予め車種ごとに定義されている差分ｂｃａｒを用いて、次の式（３）を演算することによって求めることができる。ここで、境界の数ｋにおける境界とは、例えば、跨いだ市や県、州などのように独自の分類を設けることができる。
Figure JPOXMLDOC01-appb-M000003
　なお、式（２）および式（３）の右辺は、すべてｎに依存するが、説明を簡略化するために省略した。
　また、付加情報でクラスタリングした後における中心との距離は、例えば、k-means法などにより、過去に取得した様々な車両１３や環境などでの付加情報をクラスタリングし、そのクラスタの中心（セントロイド）を計算しておく。そして、入力画像に対応する付加情報ａｉ、および、各認識器に対応する付加情報が属するクラスタの中心ｃｎを用いて、次の式（４）を演算することによって求められる。
Figure JPOXMLDOC01-appb-M000004
　そして、このように求められたドメイン間距離ｄｎが、上述の式（１）に用いられ、統合認識結果Ｒｉｊおよび評価値Ｄｎが算出される。
　また、評価値Ｄｎが、サーバ１４から車両１３－１乃至１３－Ｎそれぞれへ送信され、上述したように判定部３６において、評価値Ｄｎと評価値閾値Ｄｔｈｒｅｓｈ，ｎとが比較される。そして、評価値Ｄｎが評価値閾値Ｄｔｈｒｅｓｈ，ｎ以上であれば、正しく学習が行われたと判定される。
　＜情報処理＞
　図８は、情報処理装置２１が実行する車両１３側の情報処理を説明するフローチャートである。
　例えば、車両１３の運転が開始され、車両１３が備える撮像装置（図示せず）による撮像が始まると処理が開始され、ステップＳ１１において、ドメイン適応処理実行部３３は、記憶部３２から初期モデルをロードして、認識器に設定する。
　ステップＳ１２において、画像取得部３１は、撮像装置により撮像された画像を取得して、ドメイン適応処理実行部３３に供給する。
　ステップＳ１３において、ドメイン適応処理実行部３３は、ステップＳ１２で画像取得部３１から供給される画像を対象としてドメイン適応処理（図９のフローチャート参照）を実行し、認識器に設定されているモデルを更新する。
　ステップＳ１４において、サーバ１４で評価およびフィードバックが行われるタイミングになると、ドメイン適応処理実行部３３は、画像およびモデルを送信部３４に供給し、送信部３４は、画像、モデル、および付加情報をサーバ１４へ送信する。
　ステップＳ１５において、受信部３５は、サーバ１４において情報処理（図１０のフローチャート参照）が行われた結果として送信されてくる評価値Ｄｎを受信し、判定部３６に供給する。
　ステップＳ１６において、判定部３６は、ステップＳ１５で受信部３５から供給された評価値Ｄｎを評価値閾値Ｄｔｈｒｅｓｈ，ｎと比較し、ドメイン適応処理実行部３３において正しく学習が行われたか否かを判定する。例えば、判定部３６は、評価値Ｄｎが評価値閾値Ｄｔｈｒｅｓｈ，ｎ以上（Ｄｎ≧Ｄｔｈｒｅｓｈ，ｎ）であれば正しく学習が行われたと判定し、評価値Ｄｎが評価値閾値Ｄｔｈｒｅｓｈ，ｎ未満（Ｄｎ＜Ｄｔｈｒｅｓｈ，ｎ）であれば正しく学習が行われなかったと判定する。
　ステップＳ１６において、判定部３６が、ドメイン適応処理実行部３３において正しく学習が行われなかったと判定した場合、処理はステップＳ１７に進む。
　ステップＳ１７において、判定部３６は、その判定結果をドメイン適応処理実行部３３に通知し、ドメイン適応処理実行部３３は、認識器に設定されているモデルを、更新される前の元のモデルに戻す。その後、処理はステップＳ１２に戻り、以下、同様の処理が繰り返して行われる。
　一方、ステップＳ１６において、判定部３６が、ドメイン適応処理実行部３３において正しく学習が行われたと判定した場合、処理はステップＳ１８に進む。
　ステップＳ１８において、ドメイン適応処理実行部３３は、認識器のモデルを更新する情報処理を継続するか否かを判定する。
　ステップＳ１８において、ドメイン適応処理実行部３３が、認識器のモデルを更新する情報処理を継続すると判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返して行われる。一方、ステップＳ１８において、ドメイン適応処理実行部３３が、認識器のモデルを更新する情報処理を継続しないと判定した場合、処理は終了される。
　以上のように、情報処理装置２１では、ドメイン適応処理が行われることで更新された認識器のモデルが正しく学習されているか否かを、サーバ１４からの評価値に基づいて判定することができる。これにより、情報処理装置２１が単独で正しく学習が行われているか否かを判定するよりも、より正確な判定を行うことができ、認識性能を向上させることができる。
　図９は、図８のステップＳ１３で行われるドメイン適応処理を説明するフローチャートである。
　ステップＳ２１において、ドメイン適応処理実行部３３は、画像取得部３１からの画像を取得することができたか否かを判定し、画像が取得することができていないと判定した場合には、処理を終了する。そして、ステップＳ２１において、画像が取得することができたと判定された場合、処理はステップＳ２２に進む。
　ステップＳ２２において、環境特徴量計算部４１は、その取得した画像から、１画素ごとの特徴を表す環境特徴量を所定の係数を用いて計算して、ドメイン判別部４２に供給する。
　ステップＳ２３において、ドメイン判別部４２は、ステップＳ２２で環境特徴量計算部４１から供給される環境特徴量を所定の閾値に従って分類し、その閾値で分類される環境特徴量を示す画素からなる領域を１つのドメインとして判別するドメイン判別を行い、その結果得られるドメイン判別結果を、更新値計算部４３に供給する。
　ステップＳ２４において、更新値計算部４３は、ステップＳ２３でドメイン判別部４２から供給されるドメイン判別結果に従って、環境特徴量計算部４１における環境特徴量の計算に用いられる係数を更新する環境特徴量計算更新値、および、ドメイン判別部４２におけるドメイン判別に用いられる閾値を更新するドメイン判別更新値を計算する。
　ステップＳ２５において、更新値計算部４３は、環境特徴量計算更新値を環境特徴量計算部４１にフィードバックするとともに、ドメイン判別更新値をドメイン判別部４２にフィードバックする。これにより、環境特徴量計算部４１およびドメイン判別部４２により構成される認識器のモデルが更新された後、処理は終了される。
　図１０は、情報処理装置２２が実行するサーバ１４側の情報処理を説明するフローチャートである。
　ステップＳ３１において、受信部５１は、Ｎ台の車両１３－１乃至１３－Ｎにおいて図８のステップＳ１４で送信してくる画像、モデル、および付加情報を受信する。そして、受信部５１は、Ｎ台の車両１３－１乃至１３－Ｎにおける認識器のモデルを、それぞれ対応する認識部５２－１乃至５２－Ｎに供給し、Ｎ枚の画像およびＮ個の付加情報それぞれを、認識部５２－１乃至５２－Ｎの全てに供給する。
　ステップＳ３２において、認識部５２－１乃至５２－Ｎは、それぞれＮ台の車両１３－１乃至１３－Ｎのモデルを設定し、付加情報によって重み付けされた画像を対象として画像認識を行う。そして、認識部５２－１乃至５２－Ｎは、画像認識を行った認識結果を、統合部５３および評価算出部５４に供給する。
　ステップＳ３３において、統合部５３は、ステップＳ３２で認識部５２－１乃至５２－Ｎから供給されるＮ個の認識結果から統合認識結果Ｒｉｊを求め、評価算出部５４に供給する。
　ステップＳ３４において、評価算出部５４は、ステップＳ３３で統合部５３から供給される統合認識結果Ｒｉｊと、ステップＳ３２で認識部５２－１乃至５２－Ｎから供給される認識結果とを用いて、認識部５２－１乃至５２－Ｎそれぞれに設定されているモデルを個別に評価する評価値Ｄｎを算出する。そして、評価算出部５４は、評価値Ｄｎを送信部５５に供給する。
　ステップＳ３５において、送信部５５は、ステップＳ３４で評価算出部５４から供給される評価値Ｄｎを、Ｎ台の車両１３－１乃至１３－Ｎのうちの対応する車両１３－ｎへ送信する。そして、送信部５５が、Ｎ台の車両１３－１乃至１３－Ｎそれぞれに評価値Ｄｎを送信した後、処理は終了される。
　以上のように、情報処理装置２２では、認識部５２－１乃至５２－Ｎにおける認識結果を統合した統合認識結果を用いることで、認識部５２－１乃至５２－Ｎそれぞれに設定されているモデルを総合的に評価することができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
　CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
　これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
　なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜応用例＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図１３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図１２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図１２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　なお、図５を用いて説明した本実施形態に係る情報処理装置２１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　以上説明した車両制御システム７０００において、図５を用いて説明した本実施形態に係る情報処理装置２１は、図１２に示した応用例の統合制御ユニット７６００に適用することができる。例えば、情報処理装置２１の画像取得部３１、ドメイン適応処理実行部３３、判定部３６、および認識処理部３７は、統合制御ユニット７６００のマイクロコンピュータ７６１０に相当する。また、例えば、情報処理装置２１の記憶部３２は、統合制御ユニット７６００の記憶部７６９０に相当し、情報処理装置２１の送信部３４および受信部３５は、統合制御ユニット７６００の車載ネットワークＩ／Ｆ７６８０に相当する。例えば、統合制御ユニット７６００がドメイン適応処理を実行することにより、認識器のモデルを更新することができる。
　また、図５を用いて説明した情報処理装置２１の少なくとも一部の構成要素は、図１２に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図５を用いて説明した情報処理装置２１、図１２に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、
　所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出する評価値算出部と
　を備える情報処理装置。
（２）
　前記学習は、所定個数の端末において前記画像が取得される所定間隔のタイミングごとに行われ、
　前記評価値算出部は、前記所定間隔よりも長い一定期間ごとに前記評価値を算出する
　上記（１）に記載の情報処理装置。
（３）
　所定個数の前記認識部における認識結果が統合された統合認識結果を求める統合部をさらに備え、
　前記評価値算出部は、所定個数の前記認識部における認識結果と、前記統合認識結果とを用いて、個々の前記認識部の評価値を算出する
　上記（１）または（２）に記載の情報処理装置。
（４）
　所定個数の前記認識部は、所定個数の前記端末において画像認識が行われた全ての画像を対象として画像認識を行う
　上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
　所定個数の前記認識部は、所定の前記端末の前記画像を、その端末から送信されてくる付加情報によって重み付けした画像に対する画像認識を行う
　上記（４）に記載の情報処理装置。
（６）
　所定個数の前記端末から送信されてくる前記画像、前記モデル、および前記付加情報を受信する受信部をさらに備え、
　前記受信部は、所定個数の前記端末の前記モデルを、それぞれ対応する所定個数の前記認識部に設定し、所定枚数の前記画像および所定個数の前記付加情報を所定個数の前記認識部の全てに供給する
　上記（５）に記載の情報処理装置。
（７）
　前記評価値算出部により算出された所定個数の前記認識部に設定された前記モデルに対する評価値を、それぞれ対応する所定個数の前記端末に送信する送信部
　をさらに備える上記（１）から（６）までのいずれかに記載の情報処理装置。
（８）
　情報処理装置が、
　所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定される所定個数の認識部において、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行うことと、
　所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出することと
　を含む情報処理方法。
（９）
　画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行する実行部と、
　前記実行部での学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部と
　を備え、
　前記実行部は、前記判定部において正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
　情報処理装置。
（１０）
　前記実行部は、前記画像が取得される所定間隔のタイミングごとに前記学習を実行し、
　前記評価値は、前記所定間隔よりも長い一定期間ごとに求められる
　上記（９）に記載の情報処理装置。
（１１）
　前記評価値が求められるタイミングで、前記モデルおよび前記画像とともに、所定の付加情報を送信する送信部
　をさらに備える上記（９）または（１０）に記載の情報処理装置。
（１２）
　前記実行部により更新された最新の前記モデルを認識器に設定して、前記画像に対する認識処理を行い、その認識結果を用いた所定の処理を行う処理部に認識結果を出力する認識処理部
　をさらに備える上記（９）から（１１）までのいずれかに記載の情報処理装置。
（１３）
　情報処理装置が、
　画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行することと、
　その学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定することと
　を含み、
　正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
　情報処理方法。
（１４）
　　所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、
　　所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出する評価値算出部と
　を有する第１の情報処理装置と、
　　画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行する実行部と、
　　前記実行部での学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部と
　を有し、
　　前記実行部は、前記判定部において正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
　第２の情報処理装置と
　を備えるシステム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　学習システム，　１２　ネットワーク，　１３　車両，　１４　サーバ，　２１および２２　情報処理装置，　３１　画像取得部，　３２　記憶部，　３３　ドメイン適応処理実行部，　３４　送信部，　３５　受信部，　３６　判定部，　３７　認識処理部，　４１　環境特徴量計算部，　４２　ドメイン判別部，　４３　更新値計算部，　５１　受信部，　５２　認識部，　５３　統合部，　５４　評価算出部，　５５　送信部

Claims (13)

  1. 　所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定され、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行う所定個数の認識部と、
    　所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出する評価値算出部と
    　を備える情報処理装置。
  2. 　前記学習は、所定個数の端末において前記画像が取得される所定間隔のタイミングごとに行われ、
    　前記評価値算出部は、前記所定間隔よりも長い一定期間ごとに前記評価値を算出する
    　請求項１に記載の情報処理装置。
  3. 　所定個数の前記認識部における認識結果が統合された統合認識結果を求める統合部をさらに備え、
    　前記評価値算出部は、所定個数の前記認識部における認識結果と、前記統合認識結果とを用いて、個々の前記認識部の評価値を算出する
    　請求項１に記載の情報処理装置。
  4. 　所定個数の前記認識部は、所定個数の前記端末において画像認識が行われた全ての画像を対象として画像認識を行う
    　請求項１に記載の情報処理装置。
  5. 　所定個数の前記認識部は、所定の前記端末の前記画像を、その端末から送信されてくる付加情報によって重み付けした画像に対する画像認識を行う
    　請求項４に記載の情報処理装置。
  6. 　所定個数の前記端末から送信されてくる前記画像、前記モデル、および前記付加情報を受信する受信部をさらに備え、
    　前記受信部は、所定個数の前記端末の前記モデルを、それぞれ対応する所定個数の前記認識部に設定し、所定枚数の前記画像および所定個数の前記付加情報を所定個数の前記認識部の全てに供給する
    　請求項５に記載の情報処理装置。
  7. 　前記評価値算出部により算出された所定個数の前記認識部に設定された前記モデルに対する評価値を、それぞれ対応する所定個数の前記端末に送信する送信部
    　をさらに備える請求項１に記載の情報処理装置。
  8. 　情報処理装置が、
    　所定個数の端末において画像認識を行い、教師なし学習を実行することにより更新されるモデルが、それぞれ設定される所定個数の認識部において、所定個数の前記端末において画像認識が行われた画像を対象として画像認識を行うことと、
    　所定個数の前記認識部における認識結果を評価し、前記認識部ごとの評価値を算出することと
    　を含む情報処理方法。
  9. 　画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行する実行部と、
    　前記実行部での学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定する判定部と
    　を備え、
    　前記実行部は、前記判定部において正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
    　情報処理装置。
  10. 　前記実行部は、前記画像が取得される所定間隔のタイミングごとに前記学習を実行し、
    　前記評価値は、前記所定間隔よりも長い一定期間ごとに求められる
    　請求項９に記載の情報処理装置。
  11. 　前記評価値が求められるタイミングで、前記モデルおよび前記画像とともに、所定の付加情報を送信する送信部
    　をさらに備える請求項９に記載の情報処理装置。
  12. 　前記実行部により更新された最新の前記モデルを認識器に設定して、前記画像に対する認識処理を行い、その認識結果を用いた所定の処理を行う処理部に認識結果を出力する認識処理部
    　をさらに備える請求項９に記載の情報処理装置。
  13. 　情報処理装置が、
    　画像に対する画像認識を行う認識器のモデルに対する教師なし学習を実行することと、
    　その学習により更新された前記モデルについて、それぞれ異なる所定個数のモデルにおいて画像認識が行われた認識結果を用いて求められる評価値に基づいて、正しく学習が行われたか否かを判定することと
    　を含み、
    　正しく学習が行われていないと判定された場合、その学習が行われる前のモデルに戻す
    　情報処理方法。
PCT/JP2020/011600 2019-03-29 2020-03-17 情報処理装置および情報処理方法 WO2020203240A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021511391A JPWO2020203240A1 (ja) 2019-03-29 2020-03-17
KR1020217026864A KR20210146891A (ko) 2019-03-29 2020-03-17 정보 처리 장치 및 정보 처리 방법
EP20783497.9A EP3951709A4 (en) 2019-03-29 2020-03-17 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
US17/440,194 US20220012552A1 (en) 2019-03-29 2020-03-17 Information processing device and information processing method
CN202080023017.2A CN113614732A (zh) 2019-03-29 2020-03-17 信息处理设备及信息处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019068492 2019-03-29
JP2019-068492 2019-03-29

Publications (1)

Publication Number Publication Date
WO2020203240A1 true WO2020203240A1 (ja) 2020-10-08

Family

ID=72668655

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011600 WO2020203240A1 (ja) 2019-03-29 2020-03-17 情報処理装置および情報処理方法

Country Status (6)

Country Link
US (1) US20220012552A1 (ja)
EP (1) EP3951709A4 (ja)
JP (1) JPWO2020203240A1 (ja)
KR (1) KR20210146891A (ja)
CN (1) CN113614732A (ja)
WO (1) WO2020203240A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057701A (ja) * 2014-09-05 2016-04-21 オムロン株式会社 識別装置および識別装置の制御方法
JP2016173682A (ja) * 2015-03-16 2016-09-29 シャープ株式会社 異常判定装置および異常判定方法
JP2017174298A (ja) 2016-03-25 2017-09-28 株式会社デンソーアイティーラボラトリ ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法
JP2018207222A (ja) * 2017-05-31 2018-12-27 パナソニックＩｐマネジメント株式会社 カメラ及びパラメータ登録方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057701A (ja) * 2014-09-05 2016-04-21 オムロン株式会社 識別装置および識別装置の制御方法
JP2016173682A (ja) * 2015-03-16 2016-09-29 シャープ株式会社 異常判定装置および異常判定方法
JP2017174298A (ja) 2016-03-25 2017-09-28 株式会社デンソーアイティーラボラトリ ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法
JP2018207222A (ja) * 2017-05-31 2018-12-27 パナソニックＩｐマネジメント株式会社 カメラ及びパラメータ登録方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3951709A4

Also Published As

Publication number Publication date
EP3951709A1 (en) 2022-02-09
CN113614732A (zh) 2021-11-05
JPWO2020203240A1 (ja) 2020-10-08
EP3951709A4 (en) 2022-09-07
KR20210146891A (ko) 2021-12-06
US20220012552A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP7294148B2 (ja) キャリブレーション装置とキャリブレーション方法およびプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
CN111587572A (zh) 图像处理装置、图像处理方法和程序
US20220306130A1 (en) System, method and computer program to suppress vibrations in a vehicle
JPWO2018180121A1 (ja) 情報処理装置と情報処理方法
EP3669358B1 (en) Server, method, non-transitory computer-readable medium, and system
WO2020203240A1 (ja) 情報処理装置および情報処理方法
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7160085B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2022059489A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
US20230410486A1 (en) Information processing apparatus, information processing method, and program
WO2022190801A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
JP2022037373A (ja) 情報処理装置、および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20783497

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511391

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020783497

Country of ref document: EP

Effective date: 20211029