WO2019215779A1 - モデル提供システム、方法およびプログラム - Google Patents

モデル提供システム、方法およびプログラム Download PDF

Info

Publication number
WO2019215779A1
WO2019215779A1 PCT/JP2018/017610 JP2018017610W WO2019215779A1 WO 2019215779 A1 WO2019215779 A1 WO 2019215779A1 JP 2018017610 W JP2018017610 W JP 2018017610W WO 2019215779 A1 WO2019215779 A1 WO 2019215779A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
identification system
identification
unit
operator
Prior art date
Application number
PCT/JP2018/017610
Other languages
English (en)
French (fr)
Inventor
哲夫 井下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/053,484 priority Critical patent/US20210133495A1/en
Priority to PCT/JP2018/017610 priority patent/WO2019215779A1/ja
Priority to JP2020517631A priority patent/JP6992883B2/ja
Publication of WO2019215779A1 publication Critical patent/WO2019215779A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • the present invention relates to a model providing system, a model providing method, and a model providing program for providing a model used in identification processing to an identification system that performs identification processing.
  • a general identification system learns a model in advance by machine learning using as a teacher data a set of an image captured by a camera included in the identification system and a label representing an object shown in the image. .
  • the general identification system identifies an object shown in the image by applying an image newly acquired by the camera to the model.
  • Such a general identification system is used for the purpose of detecting suspicious vehicles and suspicious persons and preventing crime, etc., detecting the user of a white cane or wheelchair, and using the white cane or wheelchair. It is used for the purpose of support such as guiding a person.
  • the identification system for identifying the object shown in the image has been described as an example.
  • an identification system for identifying the object represented by the audio data is also conceivable.
  • an identification system for identifying an object appearing in an image will be described as an example.
  • Patent Document 1 describes a system that performs learning on the server side, sends the learning result to the terminal side, and performs recognition on the terminal side.
  • the teacher data includes many images showing a car traveling in the direction from the right side to the left side, and only a few images showing a car traveling in the opposite direction.
  • the identification system identifies the car with high accuracy.
  • the car identification accuracy is low.
  • an object of the present invention is to provide a model providing system, a model providing method, and a model providing program capable of providing a model with high identification accuracy to the identification system.
  • the model providing system includes data collection means for collecting data at an installation location, and is for any one of a plurality of identification systems for identifying an object represented by the data collected by the data collection means.
  • a model providing system for providing a model to be used in identification processing, and a model storage means for storing a model learned using teacher data created based on data obtained by the identification system for each identification system;
  • Model integration means for generating a model to be provided to an identification system as a model providing destination by integrating each specified model among models stored in the model storage means, and identification as a model providing destination
  • the attributes of the data collection means included in the identification system and the identification system Model selection means for selecting a model recommended to the operator as a model to be integrated based on the similarity to the attribute of the data collection means included in each identification system other than the system, and each corresponding to the model selected by the model selection means
  • a screen for presenting an identification system and each identification system corresponding to the model not selected by the model selection means to the operator, and displaying a screen on
  • the model providing method includes a data collection unit that collects data at an installation location, and includes any one of a plurality of identification systems that identify an object represented by the data collected by the data collection unit.
  • a model providing system for providing a model to be used in the identification process and a model storage for storing a model learned using teacher data created based on data obtained by the identification system for each identification system
  • a model to be provided to an identification system as a model providing destination is obtained by integrating each specified model among models stored in the model storing means.
  • the model providing program includes a data collection unit that collects data at an installation location, and is provided in any one of a plurality of identification systems that identify an object represented by the data collected by the data collection unit.
  • a computer that provides a model used in the identification process, and a model storage unit that stores a model learned using teacher data created based on data obtained by the identification system for each identification system
  • a model to be provided to an identification system to which the model is provided is generated by integrating each specified model among the models stored in the model storage means into the computer.
  • Model integration process the identification system to which the model is provided is determined A model recommended to the operator as a model to be integrated based on the similarity between the attribute of the data collection means provided in the identification system and the attribute of the data collection means provided in each identification system other than the identification system.
  • the model selection process to be selected, each identification system corresponding to the model selected in the model selection process, and each identification system corresponding to the model not selected in the model selection process are presented to the operator.
  • Display control processing that displays a screen that allows the operator to specify the identification system from among the identification systems, and model transmission processing that transmits the model generated by the model integration processing to the identification system that provides the model
  • each model corresponding to each identification system specified by the operator on the screen is displayed.
  • a model with high identification accuracy can be provided to the identification system.
  • FIG. FIG. 1 is a schematic diagram showing a model providing system of the present invention and a plurality of identification systems that are candidates for receiving a model from the model providing system.
  • FIG. 1 also illustrates a collection device 700 that collects data from each identification system.
  • the model providing system 100, the plurality of identification systems 200, and the collection device 700 are connected via a communication network 500 so that they can communicate with each other.
  • Each identification system 200 includes a data collection unit (a data collection unit 201 shown in FIG. 2 described later).
  • a data collection unit (not shown in FIG. 1; see FIG. 2 to be described later) of each identification system 200 is installed in various places where data is collected.
  • the data collection unit collects data at the installation location of the data collection unit.
  • the data collection unit collects image and audio data at the installation location.
  • the data collection unit is realized by a camera or a microphone.
  • the data collection unit may collect images by photographing a monitoring place.
  • audio data may be collected by recording at the installation location.
  • Each identification system 200 includes a computer separately from the data collection unit, and the computer identifies an object represented by data (image, audio data, etc.).
  • the model providing system 100 determines the identification system 200 that is a provision destination of the model used in the identification process from the plurality of identification systems 200, and provides the identification system 200 with the model.
  • the collection device 700 collects data from a plurality of identification systems 200. Note that the function of the collection device 700 may be included in the model providing system 100. In this case, it is not necessary to provide the collection device 700 separately from the model providing system 100.
  • FIG. 2 is a block diagram showing a configuration example of the identification system 200 in the first embodiment.
  • Each identification system 200 includes a data collection unit 201 and a computer 202.
  • the data collection unit 201 and the computer 202 are connected so as to be communicable by wire or wirelessly.
  • the data collection unit 201 is a camera will be described as an example, and the data collection unit 201 will be referred to as a camera 201.
  • the camera 201 captures images from the installation location as data at the installation location of the camera 201. Note that the installation location of the camera 201 and the installation location of the computer 202 may be different.
  • the computer 202 includes a learning unit 203, a model storage unit 204, a data acquisition unit 205, an identification unit 206, a model reception unit 207, an input device 208, a transmission target data determination unit 209, and a data transmission unit 210.
  • the learning unit 203 learns a model by machine learning using an image obtained by the camera 201 as a teacher data.
  • the teacher data includes an image acquired by the camera 201, a label indicating an object shown in the image, and coordinates representing a rectangular area surrounding the object in the image (for example, each of the rectangular areas). (Vertex coordinates) and a set of pairs.
  • the operator of the identification system 200 may determine the label and the rectangular area surrounding the object in the image.
  • the learning unit 203 learns (generates) a model using such a set of sets as teacher data.
  • This model is a model for identifying an object shown in a given new image.
  • this model determines whether the object shown in the image is “car”, “motorcycle”, “bus”, or “background (ie, car, motorcycle and bus are not shown)”. It will be described as a model for this purpose.
  • the operator determines “automobile”, “motorcycle”, “bus”, or “background” as the above-mentioned label for each image.
  • an identification unit 206 (see the drawing) described later determines whether an object shown in an image is “automobile”, “motorcycle”, “bus”, or “background” using a model.
  • the object to be determined using the model is not limited to “automobile”, “motorcycle”, “bus”, and “background”.
  • the operator may prepare teacher data corresponding to the purpose of the identification processing and cause the learning unit 203 to learn the model using the teacher data.
  • the learning unit 203 stores the model generated by deep learning in the model storage unit 204.
  • the model storage unit 204 is a storage device that stores a model.
  • FIG. 3 is a schematic diagram illustrating an example of a model generated by the learning unit 203.
  • the image can be expressed as a vector (X1, X2,..., Xn) T whose elements are pixel values of n pixels.
  • X1 represents the pixel value of the first pixel in the image.
  • T means transposition.
  • the model has a plurality of layers, and each layer includes a plurality of coefficients. In the example shown in FIG. 3, the first layer includes coefficients a1 to am, and the second layer includes coefficients b1 to bj.
  • the individual elements X1 to Xn of the vector representing the image are associated with the respective coefficients a1 to am of the first layer.
  • this association is represented by a line.
  • Each coefficient of a certain layer is associated with each coefficient of the next layer.
  • this association is also represented by a line.
  • a weight is defined between the associated elements. For example, weights are set for the associated a1 and b1, the associated a1 and b2, and the like.
  • the learning unit 203 determines the number of layers, the number of coefficients included in each layer, the value of each coefficient in each layer, and the value of the weight between associated elements by performing deep learning using the teacher data. . Defining these values corresponds to generating a model.
  • the process in which the learning unit 203 learns the model and stores the model in the model storage unit 204 is executed in advance as preprocessing.
  • the data acquisition unit 205 acquires from the camera 201 a new image acquired by the camera 201 and a shooting time when the image was acquired (time when the camera 201 shot).
  • the data acquisition unit 205 is an interface for receiving images and shooting times from the camera 201.
  • the identification unit 206 identifies the object represented by the image by applying the image to the model stored in the model storage unit 204.
  • the identification unit 206 applies the image to the model, so that the object shown in the image is “automobile”, “motorcycle”, “bus”, or “background” It is determined whether only "
  • a vector (X1, X2,..., Xn) T representing the image is determined.
  • the identification unit 206 uses the vector (X1, X2,..., Xn) T , each coefficient (a1 to am, b1 to bj, etc.) of each layer included in the model, and each weight included in the model. , The reliability of “automobile”, “motorcycle”, “bus”, “background” is calculated. Then, the identification unit 206 determines, as an identification result, an item that has the highest reliability among “automobile”, “motorcycle”, “bus”, and “background”.
  • the identification unit 206 has “0.6”, “0.2” as the reliability of “automobile”, “motorcycle”, “bus”, and “background”. , “0.1” and “0.1” are obtained. In this case, the identification unit 206 identifies the object in the image as “automobile” having the highest reliability “0.6”.
  • the model receiving unit 207 receives the model. Receive.
  • the model receiving unit 207 replaces the model stored in the model storage unit 204 with the model received from the model providing system 100. Thereafter, when the identification unit 206 executes the identification process, the model received from the model providing system 100 is used.
  • the input device 208 is an input device used by an operator of the identification system 200 to input information to the computer 202.
  • Examples of the input device 208 include a mouse and a keyboard, but the input device 208 is not limited to a mouse and a keyboard.
  • the transmission target data determination unit 209 transmits the image to the collection device 700 (see FIG. 1). Determine whether or not.
  • the transmission target data determination unit 209 displays the identification result (for example, “automobile”) by the identification unit 206 together with the image on a display device (not shown) included in the computer 202, and whether the identification result is correct. Is received from the operator. The operator may refer to the displayed image and the identification result and input a determination result as to whether or not the identification result is correct using the input device 208. When the determination result that the identification result is incorrect is received from the operator, the transmission target data determination unit 209 determines to transmit the image to the collection device 700. The transmission target data determination unit 209 determines not to transmit an image to the collection device 700 when a determination result that the identification result is correct is received from the operator.
  • the identification result for example, “automobile”
  • the transmission target data determination unit 209 determines to transmit the image to the collection device 700.
  • the transmission target data determination unit 209 determines not to transmit an image to the collection device 700 when a determination result that the identification result is correct is received from the operator.
  • the transmission target data determination unit 209 may determine whether or not to transmit an image to the collection apparatus 700 depending on whether or not the reliability derived together with the identification result by the identification unit 206 is equal to or less than a threshold value. That is, when the reliability derived together with the identification result by the identification unit 206 is equal to or less than the threshold, the transmission target data determination unit 209 determines to transmit the image to the collection device 700, and when the reliability is larger than the threshold, The data determination unit 209 may determine not to transmit the image to the collection apparatus 700.
  • the threshold is “0.5”, for example, but may be set to a value other than “0.5”.
  • the transmission target data determination unit 209 includes the image and the identification unit 206 even when determining whether to transmit an image to the collection device 700 based on the reliability as described above.
  • the identification result is displayed on the display device, and the determination result as to whether or not the identification result is correct is received from the operator. This is because the determination result indicating whether the identification result for the image is correct and the photographing time of the image are left as a log.
  • the transmission target data determination unit 209 associates the image capturing time with the determination result input from the operator and indicating whether the identification result is correct or not.
  • the log storage unit 211 is a storage device that stores a determination result indicating whether or not an identification result for an image is correct and a shooting time of the image as a log.
  • the data transmission unit 210 transmits the image determined to be transmitted to the collection device 700 by the transmission target data determination unit 209, together with the identification information of the identification system 200, to the collection device 700.
  • the log transmission unit 217 periodically (for example, every day) transmits the log stored in the log storage unit 211 to the model providing system 100 together with the identification information of the identification system 200.
  • the index value totaling unit 212 totals the index values indicating the identification accuracy of the identification processing by the identification unit 206. It can be said that the identification accuracy of the identification processing by the identification unit 206 is the identification accuracy of the model used for the identification processing.
  • index value (hereinafter simply referred to as an index value) indicating the identification accuracy of the identification process will be described.
  • the index value totaling unit 212 may totalize the number of misidentifications per predetermined period as an index value.
  • the number of erroneous identifications per predetermined period corresponds to the number of times that the determination result that the identification result is incorrect is input to the transmission target data determination unit 209 from the operator within the predetermined period.
  • the index value totaling unit 212 may count the number of times the determination result that the identification result is incorrect is input within a predetermined period, and determine the total result as the number of erroneous identifications per predetermined period.
  • the index value totaling unit 212 obtains the number of misidentifications per predetermined period for each predetermined period.
  • the index value totaling unit 212 may total an average value of reliability per predetermined period as an index value.
  • the average value of reliability per predetermined period is an average value of reliability derived by the identification unit 206 with respect to an image during a predetermined period and derived together with the identification result.
  • the index value totaling unit 212 obtains an average value of reliability per predetermined period for each predetermined period.
  • the index value totaling unit 212 may count the ratio of the number of identification processes whose reliability is equal to or less than a threshold with respect to the number of identification processes per predetermined period as an index value. In this case, the index value totaling unit 212 totals the number of times the identification unit 206 has performed the identification processing on the image within a predetermined period. In addition, the index value totaling unit 212 also counts the number of identification processes in which the reliability derived together with the identification result is equal to or less than the threshold among the identification processes. Then, the index value totaling unit 212 may calculate the ratio of the number of identification processes whose reliability is equal to or less than a threshold to the number of identification processes within a predetermined period.
  • the index value totaling unit 212 calculates, for each predetermined period, the ratio of the number of identification processes with a reliability equal to or less than a threshold to the number of identification processes per predetermined period.
  • the threshold is “0.5”, for example, but may be set to a value other than “0.5”.
  • the predetermined period described in each example of the index value is, for example, “1 day”, but may be a period other than “1 day”.
  • the index value totaling unit 212 may count the ratio of the number of identification processes whose reliability is equal to or less than a threshold with respect to a predetermined number of identification processes as an index value.
  • the predetermined number of identification processes is X.
  • the index value totaling unit 212 may calculate the ratio of the number of times the identification process is performed with the reliability less than or equal to the threshold value to the X times, and set the index value.
  • the index value totaling unit 212 may calculate the index value every time the identification unit 206 performs the identification process X times.
  • the threshold is “0.5”, for example, but may be set to a value other than “0.5”.
  • the index value totaling unit 212 may obtain one of the index values described above. Further, the index value totaling unit 212 may obtain an index value other than the above-described index values.
  • the index value transmission unit 213 transmits the index value to the model providing system 100 every time the index value totaling unit 212 calculates the index value.
  • the index value transmitting unit 213 transmits the calculated index value to the model providing system 100 every predetermined period.
  • the index value transmission unit 213 calculates the index value every time the identification unit 206 performs the identification process X times. The index value thus transmitted is transmitted to the model providing system 100.
  • the index value transmission unit 213 also transmits the identification information of the identification system 200 to the model providing system 100 together.
  • the model distribution timing information transmission unit 214 is information for determining the timing at which the model providing system 100 distributes the model to the identification system 200 including the model distribution timing information transmission unit 214 (referred to as model distribution timing information). Is transmitted to the model providing system 100.
  • the model distribution timing information transmission unit 214 transmits the model distribution timing information to the model providing system 100
  • the model distribution timing information transmission unit 214 also transmits the identification information of the identification system 200.
  • the time input by the operator of the identification system 200 can be given.
  • the model distribution timing information transmission unit 214 transmits time (time determined by the operator) input by the operator of the identification system 200 to the model providing system 100 as model distribution timing information.
  • the misidentification rate in the predetermined period is the ratio of the number of times that the identification result is incorrect to the number of times that the identification unit 206 performed the identification process on the image within the predetermined period.
  • the number of times that the identification result is incorrect can be represented by the number of times the determination result that the identification result is incorrect is input.
  • the model delivery timing information transmission unit 214 calculates the ratio of the number of times the determination result that the identification result is incorrect to the number of times the identification unit 206 performed the identification process on the image within a predetermined period, The ratio may be determined as a misidentification rate in a predetermined period.
  • the model delivery timing information transmission unit 214 may calculate a misidentification rate and transmit the misidentification rate to the model providing system 100 every predetermined period.
  • the predetermined period is, for example, “1 day”, but may be a period other than “1 day”.
  • a method for determining the timing at which the model providing system 100 distributes the model based on the misidentification rate in a predetermined period will be described later.
  • the attribute data storage unit 215 is a storage device that stores data (attribute data) indicating the attributes of the camera 201 connected to the computer 202 including the attribute data storage unit 215.
  • the attributes of the camera 201 include an attribute of the camera 201 itself and an attribute depending on an environment in which the camera 201 is installed.
  • the value of each attribute is represented by a numerical value.
  • the value of each attribute may be determined in advance by the administrator of the identification system 200 according to the settings of the camera 201, the installation environment, and the like.
  • the attribute data is represented by a vector having such attribute values (numerical values) as elements.
  • the attribute data of the camera 201 includes at least “view angle of the camera 201”, “whether the camera 201 is installed indoors or outdoors”, “photographing target of the camera 201”, “photographing target of the camera 201” It includes the values of at least some of the attributes “movement direction”.
  • the attribute data represented by the vector is attributed to which attribute value is common to all the identification systems 200, and all the attribute values are the element number of the vector. This is common to the identification system 200. The numerical value that is each element of the vector may be different for each identification system 200.
  • the administrator may determine the numerical value representing the angle of view as a vector element.
  • the value of this attribute is set to “0”. If is installed outdoors, the value of this attribute may be set to “1”.
  • the attribute of “camera 201 to be photographed” for example, when the camera 201 is installed so as to photograph the vehicle (for example, when the camera 201 is installed toward the road), Set the value to “0”.
  • the value of this attribute is set to “1”.
  • the value of this attribute Is set to “0.5”.
  • a reference axis based on the main axis direction of the camera 201 is defined, and an angle between the reference axis and the main moving direction of the shooting target is set as the value of this attribute. It may be determined as
  • attribute values other than the above may be included in the attribute data.
  • values such as “the height of the installation location of the camera 201”, “the depression angle of the camera 201”, and “the resolution of the camera 201” may be included in the attribute data. Since “the height of the installation location of the camera 201”, “the depression angle of the camera 201”, and “the resolution of the camera 201” are all expressed by numerical values, these numerical values may be determined as vector elements.
  • the attribute data storage unit 215 stores the vector (attribute data) determined by the administrator as described above, and also stores position information (for example, latitude and longitude) of the installation location of the camera 201.
  • the administrator of the identification system 200 may store the vector (attribute data) and the position information of the installation location of the camera 201 in advance in the attribute data storage unit 215.
  • the attribute data transmission unit 216 transmits the vector (attribute data) stored in the attribute data storage unit 215 and the position information of the installation location of the camera 201 to the model providing system 100 together with the identification information of the identification system 200. .
  • the model receiving unit 207, the data transmitting unit 210, the log transmitting unit 217, the index value transmitting unit 213, the model distribution timing information transmitting unit 214, and the attribute data transmitting unit 216 are a CPU (Central Processing) of the computer 202 that operates according to the identification system program. Unit) and the communication interface of the computer 202.
  • the CPU reads a program for an identification system from a program recording medium such as a program storage device of the computer 202, and uses the communication interface according to the program to use the model reception unit 207, the data transmission unit 210, the log transmission unit 217,
  • the index value transmission unit 213, the model distribution timing information transmission unit 214, and the attribute data transmission unit 216 may be operated.
  • the learning unit 203, the identification unit 206, the transmission target data determination unit 209, and the index value totaling unit 212 are realized by the CPU of the computer 202 that operates according to the identification system program, for example. That is, the CPU that has read the identification system program as described above may operate as the learning unit 203, the identification unit 206, the transmission target data determination unit 209, and the index value totaling unit 212.
  • the model storage unit 204, the log storage unit 211, and the attribute data storage unit 215 are realized by a storage device included in the computer 202.
  • FIG. 4 is a block diagram illustrating a configuration example of the collection device 700.
  • the collection device 700 includes a data reception unit 701, a data storage unit 702, and a data addition unit 703.
  • the data reception unit 701 receives the image transmitted by the data transmission unit 210 (see FIG. 2) of the identification system 200 and the identification information of the identification system 200, and stores the image and the identification information in the data storage unit 702.
  • the data receiving unit 701 does not receive data from only one identification system 200 but receives image and identification information of the identification system 200 from a plurality of identification systems 200, respectively.
  • the data reception unit 701 When receiving data (images and identification information of the identification system 200) from the individual identification systems 200, the data reception unit 701 stores the received data in the data storage unit 702.
  • the data adding unit 703 adds data in association with the image in accordance with the operation of the operator of the collecting apparatus 700. Specifically, the data adding unit 703 associates the image with a correct label (for example, “Bus” or the like) representing the object shown in the image and a rectangular area surrounding the object shown in the image.
  • the coordinates (for example, the coordinates of each vertex of the rectangular area) are stored in the data storage unit 702.
  • the data adding unit 703 displays each image stored in the data storage unit 702 on a display device (not shown) of the collecting device 700 to display the image on the operator of the collecting device 700, and displays the image in the image.
  • the data adding unit 703 may store the input label or the coordinates representing the designated rectangular area in the data storage unit 702 in association with the image.
  • the data storage unit 702 stores a plurality of sets of identification information of the identification system 200, an image, a label, and coordinates representing a rectangular area surrounding the object shown in the image. .
  • Each set of data becomes teacher data used when learning a model for identifying an object shown in an image.
  • each identification system 200 may perform the association between the image, the label, and the coordinates representing the rectangular area surrounding the object shown in the image, instead of the operator of the collection apparatus 700. .
  • the operator of the identification system 200 associates the image, the label, and the coordinates representing the rectangular area surrounding the object shown in the image.
  • the data transmission unit 210 may transmit a set of identification information of the identification system 200, an image, a label, and coordinates representing a rectangular area to the collection device 700.
  • FIG. 5 is a block diagram illustrating a configuration example of the model providing system 100 according to the first embodiment of this invention.
  • the model providing system 100 includes a data storage unit 101, a first learning unit 102, a second learning unit 103, a model storage unit 104, an attribute data receiving unit 105, an attribute data storage unit 106, and a classification unit.
  • a classification result storage unit 108 a model distribution timing information reception unit 109, a model distribution timing information storage unit 110, a log reception unit 111, a log storage unit 112, a provision destination determination unit 113, and a model selection unit 114, a display control unit 115, a model integration unit 117, a model transmission unit 118, a display device 119, and a mouse 120.
  • the model providing system 100 determines the identification system 200 to be a model providing destination based on the index value received from each identification system 200 will be described as an example.
  • the case where the operator of the model providing system 100 designates the identification system 200 that is the model providing destination will be described in the second embodiment.
  • the data storage unit 101 stores data similar to the data stored in the data storage unit 702 of the collection device 700. That is, the data storage unit 101 stores a plurality of pairs of identification information of the identification system 200, an image, a label, and coordinates representing a rectangular area surrounding an object shown in the image.
  • an administrator who manages the collection device 700 and the model providing system 100 may copy the data stored in the data storage unit 702 of the collection device 700 to the data storage unit 101.
  • Each set of data stored in the data storage unit 101 serves as teacher data used when learning a model for identifying an object shown in an image.
  • the images included in each set are, for example, images in which the identification result is incorrect in the identification system 200 or images whose reliability is equal to or less than a threshold value. A correct label is associated with such an image. Therefore, by learning a model using each set of data stored in the data storage unit 101 as teacher data, a model with higher identification accuracy than the model used by the identification system 200 can be generated.
  • the first learning unit 102 learns a model by deep learning using the entire data of each set stored in the data storage unit 101 as teacher data.
  • This model is a model for identifying an object shown in an image.
  • the first learning unit 102 stores the model obtained by learning in the model storage unit 104.
  • the model generated by the first learning unit 102 is referred to as an overall model.
  • the second learning unit 103 learns, by deep learning, a model corresponding to the identification system 200 for each identification system 200 using each set of data stored in the data storage unit 101.
  • an identification system is referred to as “identification system 200a”.
  • the second learning unit 103 extracts a set including the identification information of the identification system 200a from each set of data stored in the data storage unit 101. Then, the second learning unit 103 learns a model corresponding to the identification system 200a by deep learning using the extracted set as teacher data.
  • This model is also a model for identifying an object shown in an image.
  • the identification system 200a has been described as an example, but the second learning unit 103 similarly learns the model for each of the other individual identification systems 200.
  • a model is generated for each identification system 200 that has transmitted image data to the collection device 700.
  • the second learning unit 103 stores each model generated for each identification system 200 in the model storage unit 104.
  • the model storage unit 104 stores a global model learned by deep learning by the first learning unit 102 and individual models learned by deep learning for each identification system 200 by the second learning unit 103. It is.
  • the whole model and the individual models generated for each identification system 200 by the second learning unit 103 are both expressed in the same format as the model schematically shown in FIG. However, the entire model is generated using the entire data stored in the data storage unit 101 as teacher data. Therefore, the overall model has more layers than the individual models corresponding to the individual identification systems 200. As a result, the data capacity to be stored in the storage area is larger in the overall model than in the individual model corresponding to the individual identification system 200.
  • the identification accuracy of the whole model and each model generated for each identification system 200 by the second learning unit 103 is higher than the identification accuracy of the model used by each identification system 200 in the identification process.
  • Teacher data used when generating the entire model or each model generated by the second learning unit 103 is an image in which the identification result is incorrect in the identification system 200 or an image whose reliability is equal to or less than a threshold value. This is because the data is associated with the correct label.
  • the model integration unit 117 integrates the individual models corresponding to the individual identification systems 200 and each model specified by the operator of the model providing system 100 among the entire models, thereby identifying the model providing destination. Generate a model to provide to the system.
  • the attribute data receiving unit 105 receives the attribute data (vector) of the camera 201, the position information of the installation location of the camera 201, and the identification information of the identification system 200 transmitted by the attribute data transmission unit 216 of each identification system 200.
  • the received attribute data, position information, and identification information are associated with each other and stored in the attribute data storage unit 106.
  • the attribute data storage unit 106 is a storage device that stores, for each identification system 200, the attribute data of the camera 201, the position information of the installation location of the camera 201, and the identification information of the identification system 200 in association with each other.
  • the classification unit 107 classifies each identification system 200 into a plurality of groups based on the attribute data of the camera 201 of each identification system 200 stored in the attribute data storage unit 106. More specifically, the classification unit 107 classifies the identification information of each identification system 200 into a plurality of groups. For example, the classification unit 107 may classify each identification system 200 into a plurality of groups by using the k-means method using each attribute data represented by a vector.
  • the classification unit 107 stores the group identification information and the identification information of each identification system 200 belonging to the group in the classification result storage unit 108 in association with each classified group.
  • the classification result storage unit 108 is a storage device that stores group identification information and identification information of each identification system 200 belonging to the group in association with each other.
  • the process in which the classification unit 107 classifies each identification system 200 into a plurality of groups based on the attribute data and stores the classification result in the classification result storage unit 108 is executed in advance as preprocessing.
  • the model distribution timing information receiving unit 109 receives the model distribution timing information transmitted by the model distribution timing information transmitting unit 214 of each identification system 200 and the identification information of the identification system 200, and receives the received model distribution timing information and identification information. Are stored in the model delivery timing information storage unit 110 in association with each other.
  • the model delivery timing information storage unit 110 is a storage device that stores the model delivery timing information and the identification information of the identification system 200 in association with each other.
  • the model distribution timing information receiving unit 109 receives the information indicating the time and the identification information of the identification system, and the time Is stored in the model distribution timing information storage unit 110 in association with identification information.
  • the model distribution timing information transmission unit 214 of each identification system 200 may The identification information of the identification system 200 is transmitted.
  • the model distribution timing information storage unit 109 associates the misidentification rate with the identification information, Store in the unit 110.
  • the log receiving unit 111 receives the log transmitted by the log transmitting unit 217 of each identification system 200 and the identification information of the identification system 200, and stores the received log and the identification information in the log storage unit 112 in association with each other.
  • the log storage unit 112 is a storage device that stores a log and identification information of the identification system 200 in association with each other.
  • the log transmission unit 217 periodically transmits the log and identification information of the identification system 200 (for example, every day). Each time the log receiving unit 111 receives the identification information of the log and the identification system 200, the log receiving unit 111 associates the received log with the identification information and stores them in the log storage unit 112.
  • the provision destination determination unit 113 determines the identification system 200 that is a model provision destination.
  • the provision destination determination unit 113 receives an index value (an index value indicating the identification accuracy of identification processing by the identification unit 206) from the index value transmission unit 213 of each identification system 200, and uses the index value as the index value. Based on this, the identification system 200 to which the model is provided is determined.
  • the index value is the number of misidentifications per predetermined period.
  • the providing destination determination unit 113 detects the identification system 200 in which the latest number of misidentifications is greater than the previously received number of misidentifications by a predetermined threshold or more, the provision destination determination unit 113 determines the identification system 200 as a model provision destination. To do. Provided with respect to the identification system 200 in which the number of misidentifications has decreased or the identification system 200 in which the latest number of misidentifications is greater than the number of misidentifications received last time but the increase amount is less than a predetermined threshold The determination unit 113 does not provide a model providing destination.
  • the index value is an average value of reliability per predetermined period (hereinafter referred to as reliability average value).
  • the providing destination determination unit 113 detects the identification system 200 in which the latest reliability average value is lower than the reliability average value received last time by a predetermined threshold or more, the providing destination determination unit 113 sets the identification system 200 to the model providing destination. Determine as. Regarding the identification system 200 in which the reliability average value is increasing, or the identification system 200 in which the latest reliability average value is smaller than the previously received reliability average value but the amount of decrease is less than a predetermined threshold.
  • the providing destination determining unit 113 does not set the model as a providing destination.
  • the index value is the ratio of the number of identification processes whose reliability is equal to or less than a threshold to the number of identification processes per predetermined period (hereinafter referred to as a low reliability rate).
  • the providing destination determination unit 113 detects the identification system 200 in which the latest low reliability rate is increased by a predetermined threshold or more than the previously received low reliability rate, the providing system determines the identification system 200 as a model providing destination. Determine as. Regarding the identification system 200 in which the low reliability rate is decreasing, or the identification system 200 in which the latest low reliability rate is higher than the previously received low reliability rate, but the increase amount is less than a predetermined threshold.
  • the providing destination determining unit 113 does not set the model as a providing destination.
  • the provision destination determination unit 113 uses the same method as when the index value has a low reliability rate.
  • the identification system 200 to be a model providing destination may be determined.
  • provision destination determination unit 113 does not simultaneously determine a plurality of identification systems 200 as the identification system 200 serving as a model provision destination will be described as an example.
  • the model selection unit 114 selects a model recommended to the operator of the model provision system 100 as an integrated model.
  • the model selection unit 114 includes the attribute data of the camera 201 of the identification system 200 (hereinafter referred to as the provision destination identification system 200) determined as the model provision destination, and each identification system other than the provision destination identification system 200. Based on the similarity to the attribute data of 200 cameras 201, a model recommended for the operator (hereinafter referred to as a recommended model) is selected.
  • the model selection unit 114 calculates the similarity between the attribute data of the camera 201 of the provision destination identification system 200 and the attribute data of the camera 201 of each identification system 200 other than the provision destination identification system 200.
  • the attribute data is represented by a vector.
  • the model selection unit 114 uses the former attribute data. And the reciprocal of the distance between the vector representing the latter and the vector representing the latter attribute data may be calculated as the similarity between the two attribute data.
  • the model selection unit 114 calculates the similarity for each identification system 200 other than the provision destination identification system 200. Then, a predetermined number of identification systems 200 are identified from among the identification systems 200 of the identification systems 200 other than the provider identification system 200 in descending order of similarity, and models corresponding to the predetermined number of identification systems 200 are determined as recommended models. Choose as.
  • the model selection unit 114 selects, as a recommended model, a model corresponding to the identification system 200 in which the attribute of the camera 201 is similar to the attribute of the camera 201 of the providing destination identification system 200. By integrating such models, it is possible to generate a model with higher identification accuracy than the model held by the provider identification system 200.
  • the model selection unit 114 may select a recommended model by another method in addition to the recommended model selected as described above. Hereinafter, a method of selecting a recommended model by another method will be described.
  • the model selection unit 114 calculates an erroneous identification rate in a predetermined situation for each identification system 200 based on the log of each identification system 200 stored in the log storage unit 112.
  • the predetermined situation is “night”. “Night” can be defined using time, for example, from 23:00 to 5:00.
  • the model selection unit 114 not only detects the misidentification rate in “nighttime” but also identifies the misidentification rate in situations other than “nighttime” (that is, time zones other than “nighttime”) for each identification system 200. calculate.
  • the log includes a determination result indicating whether or not the identification result for the image is correct and the shooting time of the image.
  • the misidentification rate in “night” is the ratio of the number of times the identification result is incorrect to the number of identification processes for an image obtained by photographing at night.
  • the number of shooting times corresponding to “night” recorded in the log represents the number of times of identification processing for images obtained by shooting at night.
  • the number of shooting times associated with the determination result that the identification result is incorrect among the shooting times represents the number of times that the identification result is incorrect. Therefore, the model selection unit 114 is based on the number of shooting times corresponding to “nighttime” and the number of shooting times associated with the determination result that the identification result is incorrect among the shooting times. What is necessary is just to calculate the misidentification rate in "night”.
  • the misidentification rate in a time zone other than “night” is a ratio of the number of times the identification result is erroneous to the number of identification processes for an image obtained by photographing in a time zone other than “night”.
  • the number of shooting times corresponding to a time zone other than “night” recorded in the log represents the number of times of identification processing for images obtained by shooting in that time zone.
  • the number of shooting times associated with the determination result that the identification result is incorrect among the shooting times represents the number of times that the identification result is incorrect. Therefore, the model selection unit 114 sets the number of shooting times corresponding to a time zone other than “night” and the number of shooting times associated with the determination result that the identification result is incorrect among the shooting times. Based on the above, the misidentification rate in a time zone other than “night” may be calculated.
  • the model selection unit 114 identifies the identification system 200 whose misidentification rate at “night” is less than a predetermined second threshold value, and selects a model corresponding to the identification system 200 as a recommended model. Select as.
  • the second threshold is less than or equal to the first threshold. The fact that the misidentification rate at “night” is less than the second threshold means that the misidentification rate at “night” is low.
  • the model selection unit 114 selects a model as described above, the model selection unit 114 has a misidentification rate in a situation where the misidentification rate in the providing destination identification system 200 is equal to or higher than the first threshold value is less than the second threshold value. It can be said that the identification system 200 is identified and a model corresponding to the identification system 200 is selected.
  • the display control unit 115 displays each identification system 200 corresponding to the model selected by the model selection unit 114 and each identification system 200 corresponding to the model not selected by the model selection unit 114 as an operator of the model providing system 100.
  • a screen on which the operator can specify the identification system 200 from the presented identification systems 200 is displayed on the display device 119.
  • the display control unit 115 displays each icon representing each identification system 200 corresponding to the model selected by the model selection unit 114 and each identification system 200 corresponding to a model not selected by the model selection unit 114. By clicking each icon with the mouse 120, a screen that can specify the identification system 200 is displayed.
  • the mouse 120 illustrated in FIG. 5 is an example of an input device for an operator to input information (in this example, information indicating an identification system or the like designated by the operator) via a screen.
  • the input device used by the operator for operation is not limited to the mouse 120.
  • FIG. 6 is a schematic diagram illustrating an example of a screen displayed on the display device 119 by the display control unit 115.
  • the display control unit 115 displays on the display device 119 a screen in which icons 51 to 58 representing individual identification systems 200 are superimposed on a map image indicated by map data held in advance.
  • icons 51 to 58 are illustrated as icons representing the identification system 200, but the number of icons is determined according to the number of identification systems 200.
  • the display control unit 115 reads the position information of the camera 201 of the identification system 200 corresponding to the icon from the attribute data storage unit 106 and displays the icon at the position indicated by the position information of the camera 201 on the map image.
  • the display control unit 115 displays an icon representing each identification system 200 in a different manner for each group determined by the classification unit 107.
  • FIG. 6 shows an example in which the display control unit 115 displays the individual icons 51 to 58 in a different pattern for each group.
  • the same icon pattern means that the identification system 200 represented by the icon belongs to the same group.
  • the identification systems 200 represented by the icons 51, 52, and 53 belong to the same group
  • the identification systems 200 represented by the icons 54, 55, and 56 belong to the same group
  • 58 shows that each identification system 200 indicated by 58 belongs to the same group.
  • the display control unit 115 may display individual icons in different colors for each group.
  • each identification system 200 is divided into each identification system 200 corresponding to the model selected by the model selection unit 114 and each identification system 200 corresponding to a model not selected by the model selection unit 114.
  • the display control unit 115 emphasizes the icon representing each identification system 200 corresponding to the model selected by the model selection unit 114 over the icon representing each identification system 200 corresponding to the model not selected by the model selection unit 114.
  • display In the example illustrated in FIG. 6, the display control unit 115 displays an icon representing each identification system 200 corresponding to the model selected by the model selection unit 114 together with a solid circle surrounding the icon, thereby displaying the icon. Highlight and display. In other words, in the example illustrated in FIG.
  • icons representing each identification system 200 corresponding to the model selected by the model selection unit 114 are icons 52, 53, and 54.
  • each identification system 200 corresponding to a model not selected by the model selection unit 114 includes a provider identification system 200.
  • the model selection unit 114 highlights and displays an icon representing the providing destination identification system 200 in a predetermined manner.
  • the icon is displayed with emphasis by displaying a solid square surrounding the icon together with the icon representing the providing destination identification system 200. That is, in the example illustrated in FIG. 6, the icon 51 represents the providing destination identification system 200.
  • the display control unit 115 displays the misidentification rate in a time zone other than “night” and the misidentification rate in “night” of the identification system 200 corresponding to the icon in the vicinity of each icon.
  • the display mode of these erroneous identification rates may not be a mode of directly displaying numerical values.
  • FIG. 6 illustrates a case where the misidentification rate in a time zone other than “night” and the misidentification rate in “night” are displayed as horizontal bar graphs. In the horizontal bar graph corresponding to each icon shown in FIG. 6, the upper bar represents the misidentification rate in a time zone other than “night”, and the lower bar represents the misidentification rate in “night”. .
  • the misidentification rate in the time zone other than “night” and the misidentification rate in “night” of each identification system 200 may be calculated by the model selection unit 114 based on the log, for example.
  • the model selection unit 114 specifies two identification systems 200 in descending order of similarity to the attribute data of the camera 201 of the provision destination identification system 200, and corresponds to the two identification systems 200. It is assumed that the model is selected as the recommended model. Assume that the icons 52 and 53 represent the two identification systems 200.
  • the model selection unit 114 has an error identification rate in the “nighttime” of the providing destination identification system 200 that is equal to or higher than the first threshold, and an error in “nighttime” of the identification system 200 represented by the icon 54 illustrated in FIG. It is assumed that the identification rate is determined to be equal to or less than the second threshold value. Then, it is assumed that the model selection unit 114 selects a model corresponding to the identification system 200 represented by the icon 54 as a recommended model.
  • the display control unit 115 emphasizes the icons 52, 53, and 54 by displaying them with a solid circle.
  • the aspect which emphasizes an icon is not limited to the example shown in FIG.
  • the display control unit 115 also displays an icon 61 representing the overall model (a model learned by the first learning unit 102) and a confirmation button 62 on the screen (see FIG. 6).
  • the icons 51 to 58 representing the identification system 200 are used by the operator to individually specify the identification system 200. That is, an operation in which the operator clicks one or more of the icons 51 to 58 is an operation in which the operator designates the identification system 200 corresponding to the icon to be clicked. Designating the identification system 200 can be said to designate a model corresponding to the identification system 200. Of the icons 51 to 58, a plurality of icons may be clicked.
  • the icon 61 is used for an operator to specify the entire model. That is, the operation of clicking the icon 61 is an operation in which the operator designates the entire model. One or more icons among the icons 51 to 58 may be clicked, and the icon 61 may be clicked.
  • FIG. 7 is a schematic diagram illustrating an example of a screen when some icons are clicked.
  • icons 51, 52, 53, 54, 61 in which triangles are displayed in the vicinity are icons clicked by the operator.
  • the confirmation button 62 is a button used when the operator confirms designation of the identification system 200 and the entire model.
  • the display control unit 115 causes each identification system 200 represented by each clicked icon to be displayed by the operator. It is determined that it is specified by. If the icon 61 is also clicked, the display control unit 115 determines that the entire model is designated by the operator. The operator does not have to click the icon 61 when trying to exclude the entire model from the integration target.
  • the model integration unit 117 selects each model (second learning unit 103) corresponding to each identification system 200. ) Is read from the model storage unit 104.
  • the model integration unit 117 reads the overall model from the model storage unit 104 together with the model corresponding to the identification system 200.
  • the model integration unit 117 generates one model by integrating the models read from the model storage unit 104. If the model integration unit 117 reads the entire model from the model storage unit 104 by clicking the icon 61 by the operator, the entire model is also an object of integration.
  • the model integration unit 117 integrates the plurality of models, for example, by performing a distillation process on the plurality of models to be integrated. By performing the distillation process, one model obtained after integration can be compressed. That is, the data capacity of the model obtained after integration can be reduced.
  • the model generated by the model integration unit 117 integrating a plurality of models is represented in the same format as the model schematically shown in FIG.
  • the model transmission unit 118 refers to the model distribution timing information corresponding to the provider identification system 200 from the model distribution timing information storage unit 110, and the model distribution timing generated by the model integration unit 117 based on the model distribution timing information. To decide. And the model transmission part 118 transmits the model which the model integration part 117 produced
  • the model transmission unit 118 determines to transmit the model at that time. That is, the model transmission unit 118 refers to the time received from the provider identification system 200 and determines to transmit the model at that time. At that time, the model transmission unit 118 transmits the model generated by the model integration unit 117 to the providing destination identification system 200.
  • the model delivery timing information is a misidentification rate for each predetermined period (for example, every day).
  • the model transmission unit 118 determines to transmit the model at that time. That is, the model transmission unit 118 refers to the misidentification rate received by the model distribution timing information receiving unit 109 from each identification system 200 and stored in the model distribution timing information storage unit 110 for each predetermined period, and provides a destination identification system. If it is detected that the misidentification rate received from 200 is equal to or greater than the threshold, the model generated by the model integration unit 117 is transmitted at that time.
  • the model transmitted by the model transmitting unit 118 to the providing destination identifying system 200 is received by the model receiving unit 207 (see FIG. 2) of the providing destination identifying system 200, and the model receiving unit 207 stores the model in the model storage unit 204 (see FIG. 2). 2).
  • the attribute data receiving unit 105, the model distribution timing information receiving unit 109, the log receiving unit 111, the providing destination determining unit 113, and the model transmitting unit 118 are a CPU of a computer that operates according to the model providing program and communication of the computer. Realized by the interface.
  • a CPU reads a model providing program from a program recording medium such as a program storage device of a computer, and uses the communication interface according to the model providing program to receive an attribute data receiving unit 105, a model distribution timing information receiving unit 109, and a log reception It only needs to operate as the unit 111, the provision destination determination unit 113, and the model transmission unit 118.
  • the first learning unit 102, the second learning unit 103, the classification unit 107, the model selection unit 114, the display control unit 115, and the model integration unit 117 are realized by a CPU of a computer that operates according to a model providing program, for example.
  • the CPU that has read the model providing program as described above, in accordance with the model providing program, the first learning unit 102, the second learning unit 103, the classification unit 107, the model selection unit 114, the display control unit 115, and the model integration It only needs to operate as the unit 117.
  • the data storage unit 101, the model storage unit 104, the attribute data storage unit 106, the classification result storage unit 108, the model distribution timing information storage unit 110, and the log storage unit 112 are realized by a storage device provided in the computer.
  • FIG. 8 is a flowchart illustrating an example of processing progress of the model providing system 100 according to the first embodiment.
  • description is abbreviate
  • the first learning unit 102 learns the entire model by deep learning and stores the entire model in the model storage unit 104 in advance.
  • the second learning unit 103 learns a model for each identification system 200 by deep learning, and stores each model corresponding to each identification system 200 in the model storage unit 104.
  • each identification system 200 transmits the attribute data of the camera 201, the position information of the installation location of the camera 201, and the identification information of the identification system 200 to the model providing system 100, respectively.
  • the attribute data receiving unit 105 of the model providing system 100 receives the data from each identification system 200 and stores the received data in the attribute data storage unit 106.
  • the classification unit 107 classifies each identification system 200 into a plurality of groups using the attribute data of the camera 201 of each identification system 200, and stores the classification result in the classification result storage unit 108. To do. That is, each identification system 200 is classified into a plurality of groups in advance based on the attribute data.
  • the log receiving unit 111 receives a log from each identification system 200 and stores the log in the log storage unit 112.
  • the provision destination determination unit 113 receives an index value (an index value indicating the identification accuracy of the identification processing by the identification unit 206) from the index value transmission unit 213 of each identification system 200, and based on the index value, The identification system 200 (providing destination identifying system 200) as the providing destination is determined (step S1).
  • the model selection unit 114 selects a model (recommended model) recommended to the operator of the model providing system 100 as a model to be integrated (step S2). Since the method for selecting the recommended model has already been described, the description thereof is omitted here.
  • display control unit 115 represents each icon representing each identification system 200 corresponding to the model selected by model selection unit 114 and each identification system 200 corresponding to the model not selected by model selection unit 114.
  • a screen in which each icon is superimposed on the map image is displayed on the display device 119 (step S3).
  • the display control unit 115 also displays an icon 61 representing the entire model and a confirmation button 62 (see FIG. 6) on the screen. Since the display mode of each icon representing each identification system 200 has already been described, description thereof is omitted here.
  • the display control unit 115 displays the screen illustrated in FIG. 6 on the display device 119.
  • the display control unit 115 determines the identification system 200 designated by the operator in accordance with the operator's operation on the icon or the confirmation button 62 (see FIG. 6) displayed in step S3 (step S4). .
  • the display control unit 115 clicks It is determined that the identification system 200 represented by the displayed icon is designated by the operator.
  • the display control unit 115 determines that the entire model is also designated by the operator.
  • the model integration unit 117 reads each model corresponding to each identification system 200 designated by the operator from the model storage unit 104 and integrates each model to generate one model (step S5).
  • the model integration unit 117 also reads the overall model from the model storage unit 104. Then, the model integration unit 117 may generate one model by integrating each model and the entire model corresponding to each specified identification system 200.
  • step S5 the model integration unit 117 integrates the plurality of models by performing a distillation process on the plurality of models to be integrated.
  • the model transmission unit 118 determines a model distribution timing based on the model distribution timing information, and transmits the model generated in step S5 to the provider identification system 200 at the model distribution timing (step S6). ).
  • the model receiving unit 207 (see FIG. 2) of the providing destination identification system 200 receives the model transmitted in step S6 and stores the model in the model storage unit 204. Thereafter, when the identification unit 206 (see FIG. 2) executes the identification process on the image, the model is used.
  • the overall model stored in the model storage unit 104 or the model corresponding to each identification system 200 is an image obtained by each identification system (for example, an image with an incorrect identification result or a reliability level). Is a model generated by deep learning using, as teacher data, the correct label or the like associated with the image. Therefore, it can be said that the identification accuracy of the overall model and the model corresponding to the identification system 200 is higher than the model used by the identification system 200 in the identification process.
  • the model integration unit 117 integrates each model corresponding to each identification system 200 designated by the operator and the whole model designated by the operator to integrate one model. It can be said that the resulting model identification accuracy is also high.
  • the provision destination identification system 200 determined by the provision destination determination unit 113 based on the index value is an identification system whose identification accuracy is lowered.
  • the model transmission unit 118 transmits to the providing destination identification system 200 a model with high identification accuracy obtained by integration. Therefore, according to the model providing system 100 of the present embodiment, a model with high identification accuracy can be provided to the providing destination identification system 200.
  • the display control unit 115 highlights and displays an icon representing the identification system 200 in which the attribute data of the camera 201 is similar to the attribute data of the camera 201 of the providing destination identification system 200. Further, the display control unit 115 emphasizes an icon representing the identification system 200 in which the misidentification rate is less than the second threshold in a situation where the misidentification rate in the providing destination identification system 200 is equal to or higher than the first threshold. To display. Therefore, it becomes easy for the operator of the model providing system 100 to determine which model corresponding to the identification system 200 should be integrated.
  • Each identification system 200 is classified into groups based on the attribute data of the camera 201, and the display control unit 115 displays each icon representing each identification system 200 in a different manner (for example, a different pattern or a different color). To do). This also makes it easier for the operator to determine which identification system 200 should be integrated with the corresponding model.
  • FIG. 9 is a block diagram illustrating a configuration example of the model providing system 100 according to the second embodiment of this invention. Elements similar to those of the model providing system 100 of the first embodiment are denoted by the same reference numerals as those shown in FIG.
  • the reception unit 109, the model distribution timing information storage unit 110, the log reception unit 111, the log storage unit 112, the model selection unit 114, the display control unit 115, the model integration unit 117, the model transmission unit 118, the display device 119, and the mouse 120 are These are the same as those elements in the first embodiment.
  • the operation of the provision destination determination unit 413 (see FIG. 9) included in the model provision system 100 of the second embodiment is different from the operation of the provision destination determination unit 113 (see FIG. 5) in the first embodiment.
  • the provision destination determination unit 413 determines the identification system 200 as the provision destination identification system 200 when the operator of the model provision system 100 specifies the identification system 200 that is the model provision destination. To do.
  • the provision destination determination unit 413 is a screen that includes an icon representing each identification system 200, and when the operator clicks on the icon, the identification system 200 (providing destination identification system 200) that the operator provides the model to. ) Is displayed on the display device 119.
  • FIG. 10 is a schematic diagram illustrating an example of a screen displayed on the display device 119 by the provision destination determination unit 413.
  • the provision destination determination unit 413 displays on the display device 119 a screen in which icons 51 to 58 representing the individual identification systems 200 are superimposed on the map image indicated by the map data held in advance.
  • the number of icons representing the identification system 200 is determined according to the number of identification systems 200.
  • the provision destination determination unit 413 reads the position information of the camera 201 of the identification system 200 corresponding to the icon from the attribute data storage unit 106 and displays the icon at the position indicated by the position information of the camera 201 on the map image. This is the same as when the display control unit 115 displays the icons 51 to 58 illustrated in FIG.
  • the provision destination determination unit 413 displays an icon representing each identification system 200 in a different manner for each group determined by the classification unit 107. This is also the same as when the display control unit 115 displays the icons 51 to 58 illustrated in FIG. FIG. 10 shows an example in which the provision destination determination unit 413 displays the individual icons 51 to 58 in a different pattern for each group.
  • the same icon pattern means that the identification system 200 represented by the icon belongs to the same group.
  • the providing destination determination unit 413 displays the misidentification rate in the time zone other than “night” and the misidentification rate in “night” of the identification system 200 corresponding to the icon in the vicinity of each icon.
  • the display mode of these erroneous identification rates may not be a mode of directly displaying numerical values.
  • FIG. 10 illustrates a case where the misidentification rate in a time zone other than “night” and the misidentification rate in “night” are displayed as a horizontal bar graph. In the horizontal bar graph corresponding to each icon shown in FIG. 10, the upper bar represents the misidentification rate in a time zone other than “night”, and the lower bar represents the misidentification rate in “night”. .
  • misidentification rate in the time zone other than “night” and the misidentification rate in “night” of each identification system 200 may be calculated by the model selection unit 114 based on the log, for example. This is also the same as when the display control unit 115 displays the screen illustrated in FIG.
  • the provision destination determination unit 413 does not emphasize the icon representing the specific identification system 200 in the initial state of the screen.
  • the provision destination determination unit 413 does not display a solid line circle (see FIG. 6) or the like for emphasizing an icon in the initial state of the screen.
  • the provision destination determination unit 413 displays a determination button 81 on the display device 119 in addition to each icon and horizontal bar graph.
  • the decision button 81 is a button used when the operator confirms the designation of the providing destination identification system 200.
  • the providing destination determination unit 413 displays the identification system represented by the clicked icon. 200 is determined as the provider identification system 200 by the operator. Then, the provision destination determination unit 413 determines the identification system 200 represented by the clicked icon as the provision destination identification system 200.
  • the operator determines the identification system 200 to be designated as the providing destination identification system 200 with reference to the misidentification rate in a time zone other than “night” and the horizontal bar graph representing the misidentification rate in “night”. Also good.
  • the identification system 200 represented by the icon 51 has a high misidentification rate in both the time zone other than “night” and “night”. Therefore, the operator may determine that it is better to provide the identification system 200 with a model with high identification accuracy, click the icon 51, and then click the decision button 81.
  • an icon representing a newly identified identification system 200 that has not yet started operation may be displayed.
  • the identification system 200 may be premised on receiving a model with high identification accuracy from the model providing system 100 and using the model from the start of operation.
  • the identification system 200 may not include the learning unit 203 (see FIG. 2).
  • the identification system 200 that has not started operation has not generated a log and has not transmitted the log to the model providing system 100.
  • the provision destination determination unit 413 does not display a horizontal bar graph representing the misidentification rate in the vicinity of the icon representing the identification system 200 that has not transmitted the log.
  • the operator determines that the identification system 200 corresponding to the icon for which the horizontal bar graph is not displayed is premised on receiving the model from the model providing system 100, and clicks on the icon for which the horizontal bar graph is not displayed. May be.
  • the display control unit 115 displays the screens illustrated in FIGS. 6 and 7, a horizontal bar graph representing the misidentification rate is displayed in the vicinity of the icon representing the identification system 200 not transmitting the log. do not do. Further, since the identification system 200 is before the start of operation, a model corresponding to the identification system 200 is not generated by the second learning unit 103. Therefore, when the display control unit 115 displays the screen illustrated in FIG. 6, regarding the identification system 200 in which the second learning unit 103 has not generated a model due to the fact that the operation has not started, It may be excluded.
  • the provision destination determination unit 413 determines the provision destination identification system 200 based on an operator's designation. Therefore, in the second embodiment, the identification system 200 may not include the index value totaling unit 212 and the index value transmitting unit 213.
  • the providing destination determination unit 413 provided in the model providing system 100 of the second embodiment is realized by a CPU of a computer that operates according to a model providing program, for example. That is, the CPU may read the model providing program from a program recording medium such as a computer program storage device and operate as the providing destination determining unit 413 according to the model providing program.
  • FIG. 11 is a flowchart illustrating an example of processing progress of the model providing system 100 according to the second embodiment.
  • description is abbreviate
  • the same operations as those shown in the flowchart of FIG. 8 are denoted by the same step numbers as those in FIG.
  • the provision destination determination unit 413 displays a screen on which an icon representing each identification system 200 is superimposed on a map image on the display device 119 (step S11). In step S11, the provision destination determination unit 413 also displays a determination button 81 (see FIG. 10) on the screen. For example, the provision destination determination unit 413 displays the screen illustrated in FIG. 10 on the display device 119.
  • the provision destination determination unit 413 determines the identification system 200 represented by the icon designated by the user on the screen displayed in step S11 as an identification system (providing destination identification system 200) that is a model provision destination (step S12). Specifically, the provision destination determination unit 413, when one icon representing the identification system 200 is clicked and then when the decision button 81 (see FIG. 10) is clicked, the identification system 200 represented by the clicked icon is displayed. Then, the provider identification system 200 is determined.
  • the subsequent operation is the same as the operation after step S2 in the first embodiment (see FIG. 8), and the description thereof is omitted.
  • the display control unit 115 displays a screen showing each identification system and the overall model in a list format, and the identification system and the overall model are displayed from the operator via the screen. May be accepted.
  • FIG. 12 is a schematic diagram showing an example of a screen showing each identification system and the entire model in a list format. That is, the display control unit 115 may display the screen illustrated in FIG. 12 instead of the screen illustrated in FIG.
  • the screen shown in FIG. 12 includes a table representing a list of each identification system and the entire model, and a confirmation button 62.
  • Each row of the table representing the list includes a check box, identification information of the identification system, information indicating whether or not the identification system 200 corresponds to the recommended model (the model selected by the model selection unit 114), attribute data, Is displayed. However, in the example shown in FIG. 12, the last line corresponds to the entire model, and attribute data is not displayed.
  • the display control unit 115 displays the identification information of the identification system 200 in the “identification system identification information” column of each line other than the last line.
  • the display control unit 115 also displays, for example, words such as “(providing destination)” regarding the identification information of the providing destination identification system 200.
  • the display control unit 115 sets a symbol (“ ⁇ ” in this example) representing the overall model in the “identification system identification information” column in the row representing the overall model (in this example, the last row). Is displayed.
  • the display control unit 115 displays “ ⁇ ” or displays nothing as information indicating whether the identification system 200 corresponds to the recommended model in each row. The fact that “ ⁇ ” is displayed means that the identification system 200 corresponds to the recommended model.
  • the display control unit 115 displays the attribute data of the camera 201 included in the identification system 200 in the attribute data column of each line other than the last line.
  • the display control unit 115 may also display the position information of the camera 201, the misidentification rate in a time zone other than “night”, the misidentification rate in “night”, and the like.
  • the operator may click on the check box of each identification system 200 to be designated.
  • the operator may click on the check box in the last row.
  • the operator may click the confirmation button 62 when confirming the designated content.
  • the display control unit 115 determines which identification system 200 is designated by the operator based on the check box selected when the confirmation button 62 is clicked, and determines whether the entire model is designated. What is necessary is just to judge.
  • the display control unit 115 is clicked when the icons 51 to 58 representing the identification system 200 are clicked or the icon 61 representing the entire model is clicked on the screen illustrated in FIG.
  • An input field for inputting the ratio of the model corresponding to the icon may be displayed near the icon.
  • the display control part 115 may receive the input of the ratio of a model via the input column for every clicked icon.
  • FIG. 13 is a schematic diagram illustrating an example of a screen in which a ratio is input in the input field for each clicked icon.
  • the icons 51, 52, 53, 54, 61 are clicked, a ratio input field is displayed in the vicinity of the icons 51, 52, 53, 54, 61, and the operator inputs the ratio in each input field. Represents the state.
  • the operator performs “50%”, “15%”, “15%”, and “10%” for each model of the identification system 200 represented by the icons 51, 52, 53, and 54, respectively. "Is specified. Also, “10%” is designated for the entire model.
  • the display control unit 115 acquires these ratios.
  • the model integration unit 117 integrates each model according to the specified ratio. In the above example, the model integration unit 117 performs “50%”, “15%”, “15%”, “15%”, “15%”, “15%”, The five models are integrated with a weight of “10%” ”and“ 10% ”.
  • the model selection unit 114 determines whether the image is obtained at “night” or whether it is other than “night” depending on whether the average luminance of one image is equal to or less than a predetermined value. It may be determined whether the band has been obtained.
  • the camera 101 may include an illuminometer, and the camera may add illuminance data at the time of shooting to the image. Then, the model selection unit 114 may determine whether the image is obtained at “night” or a time zone other than “night” depending on whether the illuminance is equal to or less than a predetermined value.
  • FIG. 14 is a block diagram showing a configuration example of a computer according to the model providing system of each embodiment of the present invention.
  • the computer 1000 includes a CPU 1001, a main storage device 1002, an auxiliary storage device 1003, an interface 1004, a display device 1005, an input device 1006, and a communication interface 1007.
  • the model providing system 100 is implemented in a computer 1000.
  • the operation of the model providing system 100 is stored in the auxiliary storage device 1003 in the form of a model providing program.
  • the CPU 1001 reads the model providing program from the auxiliary storage device 1003 and develops it in the main storage device 1002, and executes the processes described in the above embodiments according to the model providing program.
  • the auxiliary storage device 1003 is an example of a tangible medium that is not temporary.
  • Other examples of non-temporary tangible media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disk Read Only Memory), DVD-ROMs (Digital Versatile Disk Read Only Memory) connected via the interface 1004, Semiconductor memory etc. are mentioned.
  • the computer 1000 that has received the distribution may develop the program in the main storage device 1002 and execute the above processing.
  • the program may be for realizing a part of the above-described processing.
  • the program may be a differential program that realizes the above-described processing in combination with another program already stored in the auxiliary storage device 1003.
  • circuitry IV circuitry IV
  • processors or combinations thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus. Part or all of each component may be realized by a combination of the above-described circuit and the like and a program.
  • the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
  • FIG. 15 is a block diagram showing an outline of the model providing system of the present invention.
  • the model providing system includes data collection means (for example, a camera 201) that collects data at an installation location, and a plurality of identification systems for identifying an object represented by data (for example, an image) collected by the data collection means.
  • a model used in the identification process is provided for any one of the identification systems (for example, the identification system 200).
  • the model providing system of the present invention includes a model storage unit 601, a model integration unit 602, a model selection unit 603, a display control unit 604, and a model transmission unit 605.
  • the model storage unit 601 (for example, the model storage unit 104) stores, for each identification system, a model learned using teacher data created based on data obtained by the identification system.
  • the model integration unit 602 (for example, the model integration unit 117) integrates each specified model among the models stored in the model storage unit 601, thereby providing a model to be provided to the identification system to which the model is provided. Generate.
  • the model selection unit 603 (for example, the model selection unit 114) is configured so that when an identification system as a model providing destination is determined, the attribute of the data collection unit included in the identification system and each identification system other than the identification system A model recommended to the operator is selected as a model to be integrated based on the similarity to the attribute of the data collection means provided.
  • the display control unit 604 (for example, the display control unit 115) displays each identification system corresponding to the model selected by the model selection unit 603 and each identification system corresponding to the model not selected by the model selection unit 603. And a screen on which the operator can specify the identification system from the presented identification systems.
  • the model transmission unit 605 (for example, the model transmission unit 118) transmits the model generated by the model integration unit 602 to the identification system as a model providing destination.
  • the model integration unit 602 generates a model by integrating each model corresponding to each identification system designated by the operator on the screen.
  • Such a configuration can provide a model with high identification accuracy to the identification system.
  • model selection unit 603 is similar to the attribute of the data collection unit included in each identification system other than the identification system serving as the model providing destination and the attribute of the data collection unit included in the identification system serving as the model providing destination.
  • the model selection unit 603 identifies an identification system in which the misidentification rate in a situation where the misidentification rate in the identification system as a model providing destination is equal to or higher than the first threshold is less than the second threshold,
  • the structure which selects the model corresponding to the identification system may be sufficient.
  • the second threshold value is not more than the first threshold value.
  • a provision destination determination unit (for example, provision destination) that determines the identification system to be a model provision destination The structure provided with the determination part 113) may be sufficient.
  • each icon representing each identification system is displayed, and when any one of the icons is clicked, an identification system corresponding to the clicked icon is determined as an identification system serving as a model provision destination.
  • a configuration including means for example, a provision destination determination unit 413) may be used.
  • a classification unit (for example, a classification unit 107) that classifies each identification system into a plurality of groups based on the attribute of the data collection unit of each identification system is provided, and the display control unit 604 is different in each group.
  • the icons representing the individual identification systems are displayed, and the identification systems corresponding to the models selected by the model selection means 603 are displayed as identification systems corresponding to the models not selected by the model selection means 603. Is displayed in a highlighted manner, and a predetermined button (for example, a confirmation button 62) is displayed.
  • a predetermined button for example, a confirmation button 62
  • the model storage unit 601 stores a model for each identification system, stores a predetermined model (for example, an entire model) learned using the entire teacher data corresponding to each identification system, and displays control unit 604.
  • the icon representing the predetermined model is displayed separately from the icon representing each identification system, and when the icon representing the predetermined model is clicked, it is determined that the predetermined model is designated by the operator. There may be.
  • the present invention is preferably applied to a model providing system that provides a model used in the identification process to an identification system that performs the identification process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

モデル選択手段６０３は、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択する。表示制御手段６０４は、モデル選択手段６０３に選択されたモデルに対応する各識別システムと、モデル選択手段６０３に選択されなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する。モデル統合手段６０２は、その画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成する。モデル送信手段６０５は、そのモデルを、モデルの提供先となる識別システムに送信する。

Description

モデル提供システム、方法およびプログラム
　本発明は、識別処理を行う識別システムに、識別処理で用いるモデルを提供するモデル提供システム、モデル提供方法およびモデル提供プログラムに関する。
　一般的な識別システムの例を以下に説明する。一般的な識別システムは、その識別システムが備えているカメラが撮影によって得た画像と、その画像に写っている物体を表したラベルとの組を教師データとして、機械学習によってモデルを予め学習する。そして、その一般的な識別システムは、カメラが撮影によって新たに得た画像をそのモデルに適用することによって、その画像に写っている物体を識別する。
　このような一般的な識別システムは、不審な車両や不審な人物を検出し、犯罪等を未然に防ぐ目的で用いられたり、白杖または車椅子の使用者を検出し、白杖または車椅子の使用者を誘導する等の支援の目的で用いられたりする。
　ここでは、画像に写っている物体を識別する識別システムを例にして説明したが、一般的な識別システムとして、音声データが表わす物体を識別する識別システムも考えられる。以下、画像に写っている物体を識別する識別システムを例にして説明する。
　また、特許文献１には、サーバ側で学習を実施し、その学習結果を端末側へ送り、端末側で認識を実施するシステムが記載されている。
国際公開第２０１７／１８７５１６号
　前述の一般的な識別システムが複数台設けられ、各識別システムのカメラが各地に設置されることが考えられる。
　ここで、１台のカメラが撮影によって得た画像における物体の写り方に、偏りが生じる場合がある。例えば、ある１台のカメラは、そのカメラから見て右側から左側への方向に進行する自動車を撮影する機会が多いが、その逆方向に進行する自動車を撮影する機会が少ないとする。この場合、右側から左側への方向に進行する自動車が写った画像は多く得られるが、その逆方向に進行する自動車が写った画像は少ししか得られない。すると、教師データには、右側から左側への方向に進行する自動車が写った画像が多く含まれ、その逆方向に進行する自動車が写った画像は少ししか含まれない。その結果、教師データを用いて機械学習によって得たモデルに、右側から左側への方向に進行する自動車が写った画像を適用した場合には、識別システムは高い精度で自動車を識別するが、逆方向に進行する自動車が写った画像をそのモデルに適用した場合の自動車の識別精度は低くなる。
　そのようなモデルを有する識別システムに対して、より識別精度の高いモデルを提供できることが好ましい。
　また、新たに識別システムを設置する場合、その識別システムに対して、識別精度の高いモデルを提供できることが好ましい。
　そこで、本発明は、識別システムに対して、識別精度の高いモデルを提供できるモデル提供システム、モデル提供方法およびモデル提供プログラムを提供することを目的とする。
　本発明によるモデル提供システムは、設置場所におけるデータを収集するデータ収集手段を備え、データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するモデル提供システムであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段と、モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成するモデル統合手段と、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択するモデル選択手段と、モデル選択手段に選択されたモデルに対応する各識別システムと、モデル選択手段に選択されなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する表示制御手段と、モデル統合手段が生成したモデルを、モデルの提供先となる識別システムに送信するモデル送信手段とを備え、モデル統合手段が、画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成することを特徴とする。
　また、本発明によるモデル提供方法は、設置場所におけるデータを収集するデータ収集手段を備え、データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するモデル提供システムであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段を備えるモデル提供システムに適用されるモデル提供方法において、モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成し、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択し、選択したモデルに対応する各識別システムと、選択しなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示し、モデルを統合することによって生成されたモデルを、モデルの提供先となる識別システムに送信し、モデルを統合することによってモデルを生成するときに、画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成することを特徴とする。
　また、本発明によるモデル提供プログラムは、設置場所におけるデータを収集するデータ収集手段を備え、データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するコンピュータであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段を備えるコンピュータに搭載されるモデル提供プログラムにおいて、コンピュータに、モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成するモデル統合処理、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択するモデル選択処理、モデル選択処理で選択されたモデルに対応する各識別システムと、モデル選択処理で選択されなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する表示制御処理、および、モデル統合処理で生成されたモデルを、モデルの提供先となる識別システムに送信するモデル送信処理を実行させ、モデル統合処理で、画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成させることを特徴とする。
　本発明によれば、識別システムに対して、識別精度の高いモデルを提供することができる。
本発明のモデル提供システムと、モデル提供システムからモデルの提供を受ける候補となる複数の識別システムとを示す模式図である。 第１の実施形態における識別システムの構成例を示すブロック図である。 モデルの例を示す模式図である。 収集装置の構成例を示すブロック図である。 本発明の第１の実施形態のモデル提供システムの構成例を示すブロック図である。 表示制御部がディスプレイ装置上に表示する画面の例を示す模式図である。 いくつかのアイコンがクリックされた場合の画面の例を示す模式図である。 第１の実施形態におけるモデル提供システムの処理経過の例を示すフローチャートである。 本発明の第２の実施形態のモデル提供システムの構成例を示すブロック図である。 第２の実施形態で提供先決定部がディスプレイ装置上に表示する画面の例を示す模式図である。 第２の実施形態におけるモデル提供システムの処理経過の例を示すフローチャートである。 各識別システムおよび全体モデルをリスト形式で示す画面の例を示す模式図である。 クリックされたアイコン毎に、入力欄に比率が入力された画面の例を示す模式図である。 本発明の各実施形態のモデル提供システムに係るコンピュータの構成例を示すブロック図である。 本発明のモデル提供システムの概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明のモデル提供システムと、モデル提供システムからモデルの提供を受ける候補となる複数の識別システムとを示す模式図である。また、図１では、モデル提供システム１００と、複数の識別システム２００の他に、各識別システムからデータを収集する収集装置７００も合わせて図示している。モデル提供システム１００と、複数の識別システム２００と、収集装置７００は、通信ネットワーク５００を介して、通信可能に接続されている。
　個々の識別システム２００はそれぞれ、データ収集部（後述の図２に示すデータ収集部２０１）を備える。各識別システム２００のデータ収集部（図１において図示略。後述の図２を参照。）は、データを収集する各地に設置される。データ収集部は、データ収集部の設置場所におけるデータを収集する。例えば、データ収集部は、設置場所において画像や音声データを収集する。データ収集部は、カメラやマイクロホンによって実現される。例えば、データ収集部は、監視場所を撮影することによって画像を収集してもよい。また、例えば、設置場所において録音することによって音声データを収集してもよい。
　個々の識別システム２００は、データ収集部とは別にコンピュータを備え、そのコンピュータは、データ（画像や音声データ等）が表わす物体を識別する。
　モデル提供システム１００は、複数の識別システム２００の中から、識別処理で用いるモデルの提供先となる識別システム２００を決定し、その識別システム２００に、モデルを提供する。
　収集装置７００は、複数の識別システム２００からデータを収集する。なお、収集装置７００の機能を、モデル提供システム１００に含めてもよい。この場合、モデル提供システム１００とは別に収集装置７００を設ける必要はない。
　本発明のモデル提供システム１００の構成例について説明する前に、識別システム２００の構成例、および、収集装置７００の構成例について説明する。
　図２は、第１の実施形態における識別システム２００の構成例を示すブロック図である。個々の識別システム２００は、データ収集部２０１と、コンピュータ２０２とを備える。データ収集部２０１と、コンピュータ２０２とは、有線または無線で通信可能に接続される。以下の説明では、データ収集部２０１がカメラである場合を例にして説明し、データ収集部２０１をカメラ２０１と記す。カメラ２０１は、そのカメラ２０１の設置場所におけるデータとして、設置場所から撮影を行う。なお、カメラ２０１の設置場所と、コンピュータ２０２の設置場所とが異なっていてもよい。
　コンピュータ２０２は、学習部２０３と、モデル記憶部２０４と、データ取得部２０５と、識別部２０６と、モデル受信部２０７と、入力デバイス２０８と、送信対象データ決定部２０９と、データ送信部２１０と、ログ記憶部２１１と、ログ送信部２１７と、指標値集計部２１２と、指標値送信部２１３と、モデル配信タイミング情報送信部２１４と、属性データ記憶部２１５と、属性データ送信部２１６とを備える。
　学習部２０３は、カメラ２０１が撮影によって得た画像を教師データとして、機械学習によってモデルを学習する。以下、学習部２０３が、ディープラーニングによってモデルを学習する場合を例にして説明する。教師データは、具体的には、カメラ２０１が撮影によって得た画像と、その画像に写っている物体を示すラベルと、画像内におけるその物体を囲む矩形領域を表わす座標（例えば、矩形領域の各頂点の座標）との組の集合である。ラベルや、画像内における物体を囲む矩形領域は、識別システム２００のオペレータが決定すればよい。学習部２０３は、そのような組の集合を教師データとして、モデルを学習（生成）する。
　このモデルは、与えられた新たな画像に写っている物体を識別するためのモデルである。以下、このモデルが、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景（すなわち、自動車、オートバイおよびバスは写っていない。）」の何れであるかを判定するためのモデルであるものとして説明する。このようなモデルを学習する場合、オペレータは、前述のラベルとして「自動車」、「オートバイ」、「バス」、「背景」のいずれかを画像毎に定める。各実施形態では、後述の識別部２０６（図参照）が、モデルを用いて、画像に写っている物体が「自動車」、「オートバイ」、「バス」、「背景」の何れであるかを判定する場合を例にして説明するが、モデルを用いて判定される対象は、「自動車」、「オートバイ」、「バス」、「背景」に限られない。オペレータは、識別処理の目的に応じた教師データを用意して、その教師データを用いて学習部２０３にモデルを学習させればよい。
　学習部２０３は、ディープラーニングによって生成したモデルをモデル記憶部２０４に記憶させる。モデル記憶部２０４は、モデルを記憶する記憶装置である。
　図３は、学習部２０３によって生成されるモデルの例を示す模式図である。モデルに適用される画像の画素数がｎであるとすると、その画像は、ｎ個の画素の各画素値を要素とするベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔと表すことができる。例えば、Ｘ１は、画像における１番目の画素の画素値を表す。Ｘ２～Ｘｎに関しても同様である。また、ここで、Ｔは、転置を意味する。モデルは、複数の層を有し、層毎に複数の係数を含んでいる。図３に示す例では、１番目の層は、係数ａ１～ａｍを含み、２番目の層は、係数ｂ１～ｂｊを含んでいる。画像を表すベクトルの個々の要素Ｘ１～Ｘｎは、１番目の層の各係数ａ１～ａｍと関連付けられる。図３では、この関連付けを線で表している。また、ある層の各係数は、その次の層の各係数と関連付けられる。図３では、この関連付けも線で表している。関連付けられた要素間には重みが定められる。例えば、関連付けられたａ１とｂ１や、関連付けられたａ１とｂ２等にそれぞれ重みが定められる。
　学習部２０３は、教師データを用いてディープラーニングを行うことによって、層の数、各層に含まれる係数の数、各層における個々の係数の値、関連付けられた要素間の重みの値をそれぞれ決定する。これらの値が定めることが、モデルを生成することに該当する。
　学習部２０３がモデルを学習し、そのモデルをモデル記憶部２０４に記憶させる処理は、前処理として予め実行される。
　データ取得部２０５は、カメラ２０１が撮影によって得た新たな画像と、その画像が得られた撮影時刻（カメラ２０１が撮影を行った時刻）をカメラ２０１から取得する。データ取得部２０５は、カメラ２０１から画像および撮影時刻を受信するためのインタフェースである。
　識別部２０６は、データ取得部２０５が新たな画像をカメラ２０１から取得したときに、モデル記憶部２０４に記憶されているモデルにその画像を適用することによって、その画像が表わす物体を識別する。本例では、識別部２０６は、モデルに画像を適用することによって、画像に写っている物体が「自動車」であるのか、「オートバイ」であるのか、「バス」であるのか、あるいは、「背景」しか写っていないのかを判定する。
　画像が得られた場合、画像を表すベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔが定まる。識別部２０６は、そのベクトル（Ｘ１，Ｘ２，・・・，Ｘｎ）Ｔと、モデルに含まれる各層の各係数（ａ１～ａｍやｂ１～ｂｊ等）およびモデルに含まれる各重みとを用いて、「自動車」、「オートバイ」、「バス」、「背景」の信頼度を算出する。そして、識別部２０６は、「自動車」、「オートバイ」、「バス」、「背景」のうち、最も高い信頼度が得られた項目を識別結果として定める。例えば、識別部２０６が、画像を表すベクトルをモデルに適用した結果、「自動車」、「オートバイ」、「バス」、「背景」それぞれの信頼度として、“０．６”、“０．２”、“０．１”、“０．１”が得られたとする。この場合、識別部２０６は、画像に写っている物体は、最も高い信頼度“０．６”が得られた「自動車」であると識別する。
　モデル受信部２０７は、そのモデル受信部２０７を含む識別システム２００がモデル提供システム１００によってモデルの提供先として決定され、モデル提供システム１００がその識別システム２００にモデルを送信した場合に、そのモデルを受信する。モデル受信部２０７は、モデル提供システム１００からモデルを受信すると、モデル記憶部２０４に記憶されているモデルを、モデル提供システム１００から受信したモデルに置き換える。その後、識別部２０６が識別処理を実行する場合、モデル提供システム１００から受信したモデルを用いる。
　入力デバイス２０８は、識別システム２００のオペレータがコンピュータ２０２に情報を入力するために用いる入力デバイスである。入力デバイス２０８の例として、マウスやキーボードが挙げられるが、入力デバイス２０８はマウスやキーボードに限定されない。
　送信対象データ決定部２０９は、識別部２０６に新たな画像が与えられ、識別部２０６がその画像に写っている物体を識別した場合に、その画像を収集装置７００（図１参照）に送信するか否かを決定する。
　例えば、送信対象データ決定部２０９は、画像とともに、識別部２０６による識別結果（例えば、「自動車」等）を、コンピュータ２０２が備えるディスプレイ装置（図示略）に表示し、その識別結果が正しいか否かの判定結果をオペレータから受け付ける。オペレータは、表示された画像および識別結果を参照し、識別結果が正しいか否かの判定結果を、入力デバイス２０８を用いて入力すればよい。送信対象データ決定部２０９は、識別結果が誤っているという判定結果をオペレータから受け付けた場合には、画像を収集装置７００に送信すると決定する。また、送信対象データ決定部２０９は、識別結果が正しいという判定結果をオペレータから受け付けた場合には、画像を収集装置７００に送信しないと決定する。
　画像を収集装置７００に送信するか否かの決定方法は、上記の例に限定されない。送信対象データ決定部２０９は、識別部２０６が識別結果とともに導出した信頼度が閾値以下であるか否かによって、画像を収集装置７００に送信するか否かを決定してもよい。すなわち、識別部２０６が識別結果とともに導出した信頼度が閾値以下である場合、送信対象データ決定部２０９は、画像を収集装置７００に送信すると決定し、信頼度が閾値よりも大きい場合、送信対象データ決定部２０９は、画像を収集装置７００に送信しないと決定してもよい。なお、この閾値は例えば“０．５”であるが、“０．５”以外の値に定められてもよい。
　なお、各実施形態では、上記のように信頼度に基づいて画像を収集装置７００に送信するか否かを決定する場合であっても、送信対象データ決定部２０９は、画像とともに、識別部２０６による識別結果をディスプレイ装置に表示し、その識別結果が正しいか否かの判定結果をオペレータから受け付けるものとする。これは、画像に対する識別結果が正しいか否かを示す判定結果と、その画像の撮影時刻とをログとして残しておくためである。送信対象データ決定部２０９は、オペレータから判定結果が入力される毎に、画像の撮影時刻と、オペレータから入力された、識別結果が正しいか否かを示す判定結果とを対応付けてログ記憶部２１１に記憶させる。ログ記憶部２１１は、画像に対する識別結果が正しいか否かを示す判定結果と、その画像の撮影時刻とをログとして記憶する記憶装置である。
　データ送信部２１０は、送信対象データ決定部２０９によって収集装置７００に送信すると決定された画像を、識別システム２００の識別情報とともに、収集装置７００に送信する。
　ログ送信部２１７は、定期的に（例えば、１日毎に）、ログ記憶部２１１に記憶されているログを、識別システム２００の識別情報とともに、モデル提供システム１００に送信する。
　指標値集計部２１２は、識別部２０６による識別処理の識別精度を示す指標値を集計する。識別部２０６による識別処理の識別精度は、識別処理に用いられるモデルの識別精度であると言うことができる。
　識別処理の識別精度を示す指標値（以下、単に指標値と記す。）の例について説明する。
　指標値集計部２１２は、所定期間当たりの誤識別数を、指標値として集計してもよい。所定期間当たりの誤識別数は、所定期間内において、オペレータから、識別結果が誤っているという判定結果が送信対象データ決定部２０９に入力された回数に相当する。指標値集計部２１２は、所定期間内に、識別結果が誤っているという判定結果が入力された回数を集計し、その集計結果を、所定期間当たりの誤識別数として定めればよい。指標値集計部２１２は、所定期間毎に、所定期間当たりの誤識別数を求める。
　また、指標値集計部２１２は、所定期間当たりの信頼度の平均値を、指標値として集計してもよい。所定期間当たりの信頼度の平均値とは、所定期間の間に、識別部２０６が画像に対する識別を行って、識別結果とともに導出した信頼度の平均値である。指標値集計部２１２は、所定期間毎に、所定期間当たりの信頼度の平均値を求める。
　また、指標値集計部２１２は、所定期間当たりにおける識別処理回数に対する、信頼度が閾値以下となった識別処理回数の割合を、指標値として集計してもよい。この場合、指標値集計部２１２は、所定期間内において、識別部２０６が画像に対して識別処理を行った回数を集計する。また、指標値集計部２１２は、その識別処理のうち、識別結果とともに導出された信頼度が閾値以下となった識別処理の回数も集計する。そして、指標値集計部２１２は、所定期間内における識別処理の回数に対する、信頼度が閾値以下となった識別処理の回数の割合を計算すればよい。指標値集計部２１２は、所定期間毎に、所定期間当たりにおける識別処理回数に対する、信頼度が閾値以下となった識別処理回数の割合を算出する。なお、この閾値は例えば“０．５”であるが、“０．５”以外の値に定められてもよい。
　上記の指標値の各例で述べた所定期間は、例えば、「１日」であるが、「１日」以外の期間であってもよい。
　また、指標値集計部２１２は、所定の識別処理の回数に対する、信頼度が閾値以下となった識別処理回数の割合を、指標値として集計してもよい。この所定の識別処理の回数をＸ回とする。識別部２０６が画像に対して実行したＸ回の識別処理のうち、識別結果とともに導出された信頼度が閾値以下となった識別処理の回数を集計する。そして、指標値集計部２１２は、Ｘ回に対する、信頼度が閾値以下となった識別処理の回数の割合を計算し、指標値とすればよい。指標値集計部２１２は、識別部２０６が識別処理をＸ回行う毎に、この指標値を算出すればよい。なお、この閾値は例えば“０．５”であるが、“０．５”以外の値に定められてもよい。
　指標値集計部２１２は、例示した上記の指標値のいずれかの指標値を求めればよい。また、指標値集計部２１２は、例示した上記の指標値以外の指標値を求めてもよい。
　指標値送信部２１３は、指標値集計部２１２が指標値を算出する毎に、その指標値を、モデル提供システム１００に送信する。指標値集計部２１２が所定期間毎に指標値を算出する場合には、指標値送信部２１３は、所定期間毎に、算出された指標値をモデル提供システム１００に送信する。また、識別部２０６が識別処理をＸ回行う毎に指標値集計部２１２が指標値を算出する場合には、識別部２０６が識別処理をＸ回行う毎に、指標値送信部２１３は、算出された指標値をモデル提供システム１００に送信する。指標値送信部２１３は、指標値を送信する際、識別システム２００の識別情報も合わせて、モデル提供システム１００に送信する。
　モデル配信タイミング情報送信部２１４は、そのモデル配信タイミング情報送信部２１４を含む識別システム２００に対してモデル提供システム１００がモデルを配信するタイミングを決定するための情報（モデル配信タイミング情報と記す。）を、モデル提供システム１００に対して送信する。モデル配信タイミング情報送信部２１４は、モデル配信タイミング情報をモデル提供システム１００に送信する際、識別システム２００の識別情報も合わせて送信する。
　モデル配信タイミング情報の例として、識別システム２００のオペレータが入力した時刻が挙げられる。この場合、モデル配信タイミング情報送信部２１４は、識別システム２００のオペレータが入力した時刻（オペレータによって定められた時刻）を、モデル配信タイミング情報として、モデル提供システム１００に送信する。
　また、モデル配信タイミング情報の他の例として、所定期間における誤識別率が挙げられる。所定期間における誤識別率は、所定期間内において、識別部２０６が画像に対して識別処理を行った回数に対する、識別結果が誤っていた回数の割合である。識別結果が誤っていた回数は、識別結果が誤っているという判定結果が入力された回数で表すことができる。モデル配信タイミング情報送信部２１４は、所定期間内において、識別部２０６が画像に対して識別処理を行った回数に対する、識別結果が誤っているという判定結果が入力された回数の割合を算出し、その割合を、所定期間における誤識別率として定めればよい。この場合、モデル配信タイミング情報送信部２１４は、誤識別率を算出し、その誤識別率をモデル提供システム１００に送信する処理を、所定期間毎に実行すればよい。この所定期間は、例えば、「１日」であるが、「１日」以外の期間であってもよい。
　モデル提供システム１００が、所定期間における誤識別率に基づいて、モデルを配信するタイミングを決定する方法については、後述する。
　属性データ記憶部２１５は、属性データ記憶部２１５を含むコンピュータ２０２に接続されているカメラ２０１の属性を示すデータ（属性データ）を記憶する記憶装置である。カメラ２０１の属性として、カメラ２０１自体の属性や、カメラ２０１が設置されている環境に依存する属性等が挙げられる。各属性の値は数値で表される。また、各属性の値は、識別システム２００の管理者がカメラ２０１の設定や設置環境等に応じて予め決定すればよい。属性データは、このような属性の値（数値）を要素とするベクトルで表される。
　カメラ２０１の属性データは、少なくとも、「カメラ２０１の画角」、「カメラ２０１が屋内に設置されているか屋外に設置されているか」、「カメラ２０１の撮影対象」、「カメラ２０１の撮影対象の移動方向」という各属性のうちの少なくとも一部の属性の値を含む。また、ベクトルで表される属性データが、どの属性の値を要素としているかは、全ての識別システム２００で共通であり、どの属性の値がベクトルの何番目の要素になっているかに関しても、全ての識別システム２００で共通である。ベクトルの各要素となる数値は、識別システム２００毎に異なっていてよい。
　「カメラ２０１の画角」は、数値で表されるので、管理者は、画角を表わす数値をベクトルの要素として定めればよい。
　「カメラ２０１が屋内に設置されているか屋外に設置されているか」という属性に関しては、例えば、カメラ２０１が屋内に設置されている場合には、この属性の値を“０”に定め、カメラ２０１が屋外に設置されている場合には、この属性の値を“１”に定めればよい。
　また、「カメラ２０１の撮影対象」という属性に関しては、例えば、カメラ２０１が車両を撮影するように設置されている場合（例えば、カメラ２０１が車道に向けて設置されている場合）、この属性の値を“０”に定める。また、カメラ２０１が歩行者を撮影するように設置されている場合（例えば、カメラ２０１が歩道に向けて設置されている場合）、この属性の値を“１”に定める。また、カメラ２０１が車両と歩行者の両方を撮影するように設置されている場合（例えば、カメラ２０１が車両と歩行者の両方が通る道に向けて設置されている場合）、この属性の値を“０．５”に定める。
　「カメラ２０１の撮影対象の移動方向」という属性に関しては、カメラ２０１の主軸方向等に基づいた基準軸を定め、その基準軸と、撮影対象の主たる移動方向とのなす角度を、この属性の値として定めればよい。
　また、上記以外の属性の値を属性データに含めてもよい。例えば、「カメラ２０１の設置場所の高さ」、「カメラ２０１の俯角」、「カメラ２０１の解像度」等の値を属性データに含めてもよい。「カメラ２０１の設置場所の高さ」、「カメラ２０１の俯角」、「カメラ２０１の解像度」はいずれも数値で表されるので、それらの数値をベクトルの要素として定めればよい。
　属性データ記憶部２１５は、管理者によって上記のように定められたベクトル（属性データ）を記憶するとともに、カメラ２０１の設置場所の位置情報（例えば、緯度および経度）も記憶する。ベクトル（属性データ）、および、カメラ２０１の設置場所の位置情報は、予め、識別システム２００の管理者が、属性データ記憶部２１５に記憶させておけばよい。
　属性データ送信部２１６は、属性データ記憶部２１５に記憶されているベクトル（属性データ）、および、カメラ２０１の設置場所の位置情報を、識別システム２００の識別情報とともに、モデル提供システム１００に送信する。
　モデル受信部２０７、データ送信部２１０、ログ送信部２１７、指標値送信部２１３、モデル配信タイミング情報送信部２１４および属性データ送信部２１６は、識別システム用プログラムに従って動作するコンピュータ２０２のＣＰＵ（Central Processing Unit ）およびコンピュータ２０２の通信インタフェースによって実現される。例えば、ＣＰＵが、コンピュータ２０２のプログラム記憶装置等のプログラム記録媒体から、識別システム用プログラムを読み込み、そのプログラムに従って、通信インタフェースを用いて、モデル受信部２０７、データ送信部２１０、ログ送信部２１７、指標値送信部２１３、モデル配信タイミング情報送信部２１４および属性データ送信部２１６として動作すればよい。また、学習部２０３、識別部２０６、送信対象データ決定部２０９および指標値集計部２１２は、例えば、識別システム用プログラムに従って動作するコンピュータ２０２のＣＰＵによって実現される。すなわち、上記のように識別システム用プログラムを読み込んだＣＰＵが、学習部２０３、識別部２０６、送信対象データ決定部２０９および指標値集計部２１２として動作すればよい。また、モデル記憶部２０４、ログ記憶部２１１および属性データ記憶部２１５は、コンピュータ２０２が備える記憶装置によって実現される。
　図４は、収集装置７００の構成例を示すブロック図である。収集装置７００は、データ受信部７０１と、データ記憶部７０２と、データ追加部７０３とを備える。
　データ受信部７０１は、識別システム２００のデータ送信部２１０（図２参照）が送信した画像、および、識別システム２００の識別情報を受信し、その画像および識別情報をデータ記憶部７０２に記憶させる。データ受信部７０１は、１台の識別システム２００だけからデータを受信するのではなく、複数の識別システム２００からそれぞれ画像および識別システム２００の識別情報を受信する。
　データ受信部７０１は、個々の識別システム２００からデータ（画像および識別システム２００の識別情報）を受信すると、受信したデータをデータ記憶部７０２に記憶させる。
　データ追加部７０３は、収集装置７００のオペレータの操作に従って、画像に対応付けてデータを追加する。具体的には、データ追加部７０３は、画像に対応付けて、その画像に写っている物体を表わす正しいラベル（例えば、「バス」等）と、画像に写っている物体を囲む矩形領域を表わす座標（例えば、矩形領域の各頂点の座標）とを、データ記憶部７０２に記憶させる。データ追加部７０３は、例えば、データ記憶部７０２に記憶された個々の画像を収集装置７００のディスプレイ装置（図示略）上に表示することによって画像を収集装置７００のオペレータに表示し、画像に写っている物体を表わす正しいラベルの入力を受け付けたり、画像に写っている物体を囲む矩形領域の指定を受け付けたりすればよい。そして、データ追加部７０３は、入力されたラベルや、指定された矩形領域を表わす座標を、画像に対応付けて、データ記憶部７０２に記憶させればよい。
　この結果、データ記憶部７０２には、識別システム２００の識別情報と、画像と、ラベルと、画像に写っている物体を囲む矩形領域を表わす座標との組が、複数組記憶されることになる。この各組のデータは、画像に写っている物体を識別するためのモデルを学習する際に用いる教師データとなる。
　なお、画像と、ラベルと、画像に写っている物体を囲む矩形領域を表わす座標との対応付けを、収集装置７００のオペレータが行うのではなく、それぞれの識別システム２００のオペレータが行ってもよい。この場合、識別システム２００のデータ送信部２１０が画像を送信する前に、識別システム２００のオペレータが、画像と、ラベルと、画像に写っている物体を囲む矩形領域を表わす座標との対応付けを行い、その後、データ送信部２１０が、識別システム２００の識別情報と、画像と、ラベルと、矩形領域を表わす座標との組を収集装置７００に送信してもよい。
　次に、本発明のモデル提供システム１００の構成例について説明する。図５は、本発明の第１の実施形態のモデル提供システム１００の構成例を示すブロック図である。モデル提供システム１００は、データ記憶部１０１と、第１の学習部１０２と、第２の学習部１０３と、モデル記憶部１０４と、属性データ受信部１０５と、属性データ記憶部１０６と、分類部１０７と、分類結果記憶部１０８と、モデル配信タイミング情報受信部１０９と、モデル配信タイミング情報記憶部１１０と、ログ受信部１１１と、ログ記憶部１１２と、提供先決定部１１３と、モデル選択部１１４と、表示制御部１１５と、モデル統合部１１７と、モデル送信部１１８と、ディスプレイ装置１１９と、マウス１２０とを備える。
　なお、第１の実施形態では、モデル提供システム１００が、各識別システム２００から受信する指標値に基づいて、モデルの提供先となる識別システム２００を決定する場合を例にして説明する。モデル提供システム１００のオペレータが、モデルの提供先となる識別システム２００を指定する場合については、第２の実施形態で説明する。
　データ記憶部１０１は、収集装置７００のデータ記憶部７０２が記憶するデータと同様のデータを記憶する。すなわち、データ記憶部１０１は、識別システム２００の識別情報と、画像と、ラベルと、画像に写っている物体を囲む矩形領域を表わす座標との組を、複数組記憶する。
　例えば、収集装置７００およびモデル提供システム１００を管理する管理者が、収集装置７００のデータ記憶部７０２に記憶されているデータを、データ記憶部１０１にコピーしてもよい。
　データ記憶部１０１が記憶する各組のデータは、画像に写っている物体を識別するためのモデルを学習する際に用いる教師データとなる。そして、各組に含まれる画像は、例えば、識別システム２００において識別結果が誤っていた画像、または、信頼度が閾値以下であった画像である。そのような画像に対して、正しいラベルが対応付けられている。従って、データ記憶部１０１が記憶する各組のデータを教師データとしてモデルを学習することによって、識別システム２００が用いているモデルよりも、識別精度が高いモデルを生成することができる。
　第１の学習部１０２は、データ記憶部１０１に記憶されている各組のデータ全体を教師データとして用いて、ディープラーニングによって、モデルを学習する。このモデルは、画像に写っている物体を識別するためのモデルである。第１の学習部１０２は、学習によって得たモデルをモデル記憶部１０４に記憶させる。以下、第１の学習部１０２が生成したモデルを全体モデルと記す。
　第２の学習部１０３は、データ記憶部１０１に記憶されている各組のデータを用いて、識別システム２００毎に、識別システム２００に対応するモデルを、ディープラーニングによって学習する。例えば、ある識別システムを「識別システム２００ａ」と記す。第２の学習部１０３は、データ記憶部１０１に記憶されている各組のデータから、識別システム２００ａの識別情報を含む組を抽出する。そして、第２の学習部１０３は、抽出した組を教師データとして、ディープラーニングによって、識別システム２００ａに対応するモデルを学習する。このモデルも、画像に写っている物体を識別するためのモデルである。ここでは、識別システム２００ａを例にして説明したが、第２の学習部１０３は、他の個々の識別システム２００に関しても、それぞれ同様に、モデルを学習する。この結果、収集装置７００に画像データを送信した識別システム２００毎に、それぞれ、モデルが生成される。第２の学習部１０３は、識別システム２００毎に生成したそれぞれのモデルを、モデル記憶部１０４に記憶させる。
　モデル記憶部１０４は、第１の学習部１０２によってディープラーニングによって学習された全体モデルと、第２の学習部１０３によって識別システム２００毎にディープラーニングによって学習された個々のモデルとを記憶する記憶装置である。
　全体モデル、および、第２の学習部１０３によって識別システム２００毎に生成された個々のモデルは、いずれも図３に模式的に示すモデルと同様の形式で表される。ただし、全体モデルは、データ記憶部１０１に記憶されている各組のデータ全体を教師データとして生成されている。従って、個々の識別システム２００に対応する個々のモデルに比べて、全体モデルの方が、層の数等が多い。その結果、記憶領域に記憶させるデータ容量も、全体モデルの方が、個々の識別システム２００に対応する個々のモデルよりも大きい。
　また、全体モデル、および、第２の学習部１０３によって識別システム２００毎に生成された個々のモデルの識別精度は、各識別システム２００が識別処理で用いているモデルの識別精度よりも高いと言える。全体モデルや第２の学習部１０３によって生成された各モデルを生成する際に用いられる教師データは、識別システム２００において識別結果が誤っていた画像、または、信頼度が閾値以下であった画像に、正しいラベルを対応付けたデータであるからである。
　モデル統合部１１７は、個々の識別システム２００に対応する個々のモデル、および、全体モデルのうち、モデル提供システム１００のオペレータによって指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成する。
　属性データ受信部１０５は、各識別システム２００の属性データ送信部２１６が送信したカメラ２０１の属性データ（ベクトル）と、カメラ２０１の設置場所の位置情報と、識別システム２００の識別情報とを受信し、受信した属性データと位置情報と識別情報とを対応付けて、属性データ記憶部１０６に記憶させる。
　属性データ記憶部１０６は、識別システム２００毎に、カメラ２０１の属性データと、カメラ２０１の設置場所の位置情報と、識別システム２００の識別情報とを対応付けて記憶する記憶装置である。
　分類部１０７は、属性データ記憶部１０６に記憶されている各識別システム２００のカメラ２０１の属性データに基づいて、各識別システム２００を複数のグループに分類する。より具体的には、分類部１０７は、各識別システム２００の識別情報を複数のグループに分類する。例えば、分類部１０７は、ベクトルで表される各属性データを用いて、ｋ－ｍｅａｎｓ法によって、各識別システム２００を複数のグループに分類すればよい。
　分類部１０７は、分類したグループ毎に、グループの識別情報と、そのグループに属する各識別システム２００の識別情報とを対応付けて、分類結果記憶部１０８に記憶させる。
　分類結果記憶部１０８は、グループ毎に、グループの識別情報と、そのグループに属する各識別システム２００の識別情報とを対応付けて記憶する記憶装置である。
　分類部１０７が属性データに基づいて各識別システム２００を複数のグループに分類し、分類結果を分類結果記憶部１０８に記憶させる処理は、前処理として予め実行される。
　モデル配信タイミング情報受信部１０９は、各識別システム２００のモデル配信タイミング情報送信部２１４が送信したモデル配信タイミング情報、および、識別システム２００の識別情報を受信し、受信したモデル配信タイミング情報と識別情報とを対応付けて、モデル配信タイミング情報記憶部１１０に記憶させる。
　モデル配信タイミング情報記憶部１１０は、モデル配信タイミング情報と識別システム２００の識別情報とを対応付けて記憶する記憶装置である。
　例えば、モデル配信タイミング情報が、識別システム２００のオペレータによって定められた時刻である場合、モデル配信タイミング情報受信部１０９は、その時刻を示す情報と、識別システムの識別情報とを受信し、その時刻を示す情報と識別情報とを対応付けて、モデル配信タイミング情報記憶部１１０に記憶させる。
　また、モデル配信タイミング情報が、所定期間（例えば、「１日」）における誤識別率である場合、各識別システム２００のモデル配信タイミング情報送信部２１４は、所定期間毎に、誤識別率と、識別システム２００の識別情報とを送信する。この場合、モデル配信タイミング情報受信部１０９は、所定期間における誤識別率と識別システム２００の識別情報とを受信する毎に、その誤識別率と識別情報とを対応付けて、モデル配信タイミング情報記憶部１１０に記憶させる。
　ログ受信部１１１は、各識別システム２００のログ送信部２１７が送信するログおよび識別システム２００の識別情報を受信し、受信したログと識別情報とを対応付けて、ログ記憶部１１２に記憶させる。
　ログ記憶部１１２は、ログと、識別システム２００の識別情報とを対応付けて記憶する記憶装置である。
　なお、ログ送信部２１７は、定期的に（例えば、１日毎に）、ログおよび識別システム２００の識別情報を送信する。ログ受信部１１１は、ログおよび識別システム２００の識別情報を受信する毎に、受信したログと識別情報とを対応付けて、ログ記憶部１１２に記憶させる。
　提供先決定部１１３は、モデルの提供先となる識別システム２００を決定する。第１の実施形態では、提供先決定部１１３は、各識別システム２００の指標値送信部２１３から指標値（識別部２０６による識別処理の識別精度を示す指標値）を受信し、その指標値に基づいて、モデルの提供先となる識別システム２００を決定する。
　指標値が、所定期間当たりの誤識別数であるとする。この場合、提供先決定部１１３は、最新の誤識別数が前回受信した誤識別数よりも所定の閾値以上増加している識別システム２００を検出すると、その識別システム２００をモデルの提供先として決定する。誤識別数が減少している識別システム２００や、最新の誤識別数が前回受信した誤識別数よりも増加しているがその増加量が所定の閾値未満である識別システム２００に関しては、提供先決定部１１３は、モデルの提供先としない。
　指標値が、所定期間当たりの信頼度の平均値（以下、信頼度平均値と記す。）であるとする。この場合、提供先決定部１１３は、最新の信頼度平均値が前回受信した信頼度平均値よりも所定の閾値以上低下している識別システム２００を検出すると、その識別システム２００をモデルの提供先として決定する。信頼度平均値が増加している識別システム２００や、最新の信頼度平均値が前回受信した信頼度平均値よりも減少しているがその減少量が所定の閾値未満である識別システム２００に関しては、提供先決定部１１３は、モデルの提供先としない。
　指標値が、所定期間当たりにおける識別処理回数に対する、信頼度が閾値以下となった識別処理回数の割合（以下、低信頼度率）であるとする。この場合、提供先決定部１１３は、最新の低信頼度率が前回受信した低信頼度率よりも所定の閾値以上増加している識別システム２００を検出すると、その識別システム２００をモデルの提供先として決定する。低信頼度率が減少している識別システム２００や、最新の低信頼度率が前回受信した低信頼度率よりも増加しているがその増加量が所定の閾値未満である識別システム２００に関しては、提供先決定部１１３は、モデルの提供先としない。指標値が、所定の識別処理の回数に対する、信頼度が閾値以下となった識別処理回数の割合である場合、提供先決定部１１３は、指標値が低信頼度率である場合と同様の方法で、モデルの提供先となる識別システム２００を決定すればよい。
　各実施形態では、説明を簡単にするため、提供先決定部１１３が、モデルの提供先となる識別システム２００として、同時に複数の識別システム２００を決定しない場合を例にして説明する。
　提供先決定部１１３が、モデルの提供先となる識別システム２００として、１つの識別システム２００を決定すると、モデル選択部１１４は、統合するモデルとしてモデル提供システム１００のオペレータに推奨するモデルを選択する。このとき、モデル選択部１１４は、モデルの提供先として決定された識別システム２００（以下、提供先識別システム２００と記す。）のカメラ２０１の属性データと、提供先識別システム２００以外の各識別システム２００のカメラ２０１の属性データとの類似度に基づいて、オペレータに推奨するモデル（以下、推奨モデルと記す。）を選択する。
　具体的には、モデル選択部１１４は、提供先識別システム２００のカメラ２０１の属性データと、提供先識別システム２００以外の各識別システム２００のカメラ２０１の属性データとの類似度を、それぞれ計算する。前述のように、属性データは、ベクトルで表される。提供先識別システム２００のカメラ２０１の属性データと、提供先識別システム２００以外の１つの識別システム２００のカメラ２０１の属性データとの類似度を計算する場合、モデル選択部１１４は、前者の属性データを表わすベクトルと、後者の属性データを表わすベクトルとの距離の逆数を、その２つの属性データの類似度として計算すればよい。モデル選択部１１４は、提供先識別システム２００以外の識別システム２００毎に、この類似度を計算する。そして、類似度が高い順に、提供先識別システム２００以外の識別システム２００の識別システム２００の中から所定数の識別システム２００を特定し、その所定数の識別システム２００に対応するモデルを、推奨モデルとして選択する。
　すなわち、モデル選択部１１４は、カメラ２０１の属性が提供先識別システム２００のカメラ２０１の属性と類似している識別システム２００に対応するモデルを、推奨モデルとして選択する。そのようなモデルを統合することによって、提供先識別システム２００が保持しているモデルよりも識別精度が高いモデルを生成することができる。
　モデル選択部１１４は、上記のように選択した推奨モデルの他に、さらに、別の方法で推奨モデルを選択してもよい。以下、さらに別の方法で推奨モデルを選択する方法について説明する。モデル選択部１１４は、ログ記憶部１１２に記憶された各識別システム２００のログに基づいて、識別システム２００毎に、所定の状況における誤識別率を計算する。ここでは、説明を簡単にするため、所定の状況が「夜間」であるものとする。「夜間」は、例えば、２３時～５時等のように時刻を用いて定義することができる。なお、ここでは、モデル選択部１１４は、「夜間」における誤識別率だけでなく、「夜間」以外の状況（すなわち、「夜間」以外の時間帯）における誤識別率も、識別システム２００毎に計算する。
　ログは、画像に対する識別結果が正しいか否かを示す判定結果と、その画像の撮影時刻とを含んでいる。「夜間」における誤識別率とは、夜間に撮影によって得られた画像に対する識別処理の回数に対する、識別結果が誤っていた回数の割合である。ログに記録されている、「夜間」に該当する撮影時刻の個数は、夜間に撮影によって得られた画像に対する識別処理の回数を表わす。また、その撮影時刻のうち、識別結果が誤っているという判定結果と対応付けられている撮影時刻の個数が、識別結果が誤っていた回数を表わす。従って、モデル選択部１１４は、「夜間」に該当する撮影時刻の個数と、その撮影時刻のうち、識別結果が誤っているという判定結果と対応付けられている撮影時刻の個数とに基づいて、「夜間」における誤識別率を算出すればよい。
　また、「夜間」以外の時間帯における誤識別率とは、「夜間」以外の時間帯に撮影によって得られた画像に対する識別処理の回数に対する、識別結果が誤っていた回数の割合である。ログに記録されている、「夜間」以外の時間帯に該当する撮影時刻の個数は、その時間帯に撮影によって得られた画像に対する識別処理の回数を表わす。また、その撮影時刻のうち、識別結果が誤っているという判定結果と対応付けられている撮影時刻の個数が、識別結果が誤っていた回数を表わす。従って、モデル選択部１１４は、「夜間」以外の時間帯に該当する撮影時刻の個数と、その撮影時刻のうち、識別結果が誤っているという判定結果と対応付けられている撮影時刻の個数とに基づいて、「夜間」以外の時間帯における誤識別率を算出すればよい。
　提供先識別システム２００の「夜間」における誤識別率が、予め定められた第１の閾値以上であるとする。このことは、提供先識別システム２００の「夜間」における誤識別率が高いことを意味する。この場合、モデル選択部１１４は、「夜間」における誤識別率が、予め定められた第２の閾値未満となっている識別システム２００を特定し、その識別システム２００に対応するモデルを、推奨モデルとして選択する。ただし、第２の閾値は、第１の閾値以下である。「夜間」における誤識別率が第２の閾値未満であるということは、「夜間」における誤識別率が低いことを意味する。「夜間」における誤識別率が低い識別システム２００に対応するモデルを統合することによって、提供先識別システム２００が保持しているモデルよりも識別精度が高いモデルを生成することができる。
　モデル選択部１１４が上記のようにモデルを選択した場合、モデル選択部１１４は、提供先識別システム２００での誤識別率が第１の閾値以上となる状況における誤識別率が第２の閾値未満となっている識別システム２００を特定し、その識別システム２００に対応するモデルを選択していると言うことができる。
　表示制御部１１５は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００と、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００とを、モデル提供システム１００のオペレータに提示する画面であって、提示した識別システム２００の中からオペレータが識別システム２００を指定可能な画面を、ディスプレイ装置１１９上に表示する。
　例えば、表示制御部１１５は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わす各アイコンと、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００を表わす各アイコンとを含む画面であって、個々のアイコンをマウス１２０でクリックすることによって、識別システム２００を指定可能な画面を表示する。なお、図５に示すマウス１２０は、オペレータが画面を介して、情報（本例ではオペレータが指定する識別システム等を示す情報）を入力するための入力デバイスの一例である。オペレータが操作に用いる入力デバイスはマウス１２０に限定されない。
　図６は、表示制御部１１５がディスプレイ装置１１９上に表示する画面の例を示す模式図である。表示制御部１１５は、予め保持している地図データが示す地図画像に、個々の識別システム２００を表わすアイコン５１～５８を重畳した画面を、ディスプレイ装置１１９上に表示する。図６では、識別システム２００を表わすアイコンとして、８個のアイコン５１～５８を例示しているが、アイコンの数は、識別システム２００の数に応じて定まる。表示制御部１１５は、アイコンに対応する識別システム２００のカメラ２０１の位置情報を属性データ記憶部１０６から読み込み、地図画像上で、カメラ２０１の位置情報が示す位置にアイコンを表示する。
　また、表示制御部１１５は、分類部１０７によって定められたグループ毎に異なる態様で、個々の識別システム２００を表わすアイコンを表示する。図６では、表示制御部１１５がグループ毎に異なる模様で個々のアイコン５１～５８を表示した例を示している。アイコンの模様が同じであるということは、そのアイコンが表わす識別システム２００が同じグループに属していることを意味する。図６に示す例では、アイコン５１，５２，５３が表わしている各識別システム２００が同じグループに属し、アイコン５４，５５，５６が表わしている各識別システム２００が同じグループに属し、アイコン５７，５８が示す各識別システム２００が同じグループに属していることを示している。なお、表示制御部１１５は、グループ毎に異なる色で個々のアイコンを表示してもよい。
　また、各識別システム２００は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００と、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００とに分けられる。表示制御部１１５は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わすアイコンを、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００を表わすアイコンよりも強調して表示する。図６に示す例では、表示制御部１１５は、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わすアイコンとともに、そのアイコンを囲む実線の円を表示することによって、そのアイコンを強調して表示する。すなわち、図６に示す例では、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わすアイコンは、アイコン５２，５３，５４である。また、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００の中には、提供先識別システム２００も含まれる。モデル選択部１１４は、提供先識別システム２００を表わすアイコンを、所定の態様で強調して表示する。図６に示す例では、提供先識別システム２００を表わすアイコンとともに、そのアイコンを囲む実線の四角形を表示することによって、そのアイコンを強調して表示する。すなわち、図６に示す例では、アイコン５１が、提供先識別システム２００を表わしている。
　さらに、表示制御部１１５は、各アイコンの近傍に、アイコンに対応する識別システム２００の「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を表示する。これらの誤識別率の表示態様は、数値を直接表示する態様でなくてもよい。図６では、「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を横棒グラフで表示する場合を例示している。図６に示す各アイコンに対応する横棒グラフでは、上側のバーが「夜間」以外の時間帯における誤識別率を表し、下側のバーが「夜間」における誤識別率を表わしているものとする。なお、個々の識別システム２００の「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率は、例えば、モデル選択部１１４がログに基づいて算出すればよい。
　図６に示す例では、モデル選択部１１４が、提供先識別システム２００のカメラ２０１の属性データとの類似度が高い順に、２つの識別システム２００を特定し、その２つの識別システム２００に対応するモデルを、推奨モデルとして選択しているものとする。そして、アイコン５２，５３がその２つの識別システム２００を表わしているものとする。
　さらに、モデル選択部１１４は、提供先識別システム２００の「夜間」における誤識別率が第１の閾値以上であり、図６に例示するアイコン５４が表わしている識別システム２００の「夜間」における誤識別率が第２の閾値以下であると判断しているものとする。そして、モデル選択部１１４は、アイコン５４が表わしている識別システム２００に対応するモデルを推奨モデルとして選択しているものとする。
　その結果、図６に示す例では、表示制御部１１５は、アイコン５２，５３，５４を、実線の円とともに表示することによって、強調しているものとする。ただし、アイコンを強調する態様は、図６に示す例に限定されない。
　また、表示制御部１１５は、全体モデル（第１の学習部１０２によって学習されたモデル）を表わすアイコン６１と、確定ボタン６２も画面内に表示する（図６参照）。
　識別システム２００を表わす各アイコン５１～５８は、オペレータが識別システム２００を個別に指定するために用いられる。すなわち、オペレータが各アイコン５１～５８のうち１つ以上のアイコンをクリックする操作は、オペレータが、クリックするアイコンに対応する識別システム２００を指定する操作である。識別システム２００を指定するということは、識別システム２００に対応するモデルを指定することであると言える。なお、各アイコン５１～５８のうち、複数のアイコンがクリックされてもよい。
　また、アイコン６１は、オペレータが全体モデルを指定するために用いられる。すなわち、アイコン６１をクリックする操作は、オペレータが全体モデルを指定する操作である。各アイコン５１～５８のうち、１つ以上のアイコンがクリックされるとともに、アイコン６１がクリックされてもよい。
　識別システム２００に対応するアイコンや、アイコン６１がクリックされた場合、表示制御部１１５は、クリックされたアイコンを、所定の態様で強調して表示する。各実施形態では、表示制御部１１５が、クリックされたアイコンの近傍に、三角形を表示することで、クリックされたアイコンを強調する場合を例にして説明する。ただし、クリックされたアイコンを強調する態様は、上記の例に限定されない。図７は、いくつかのアイコンがクリックされた場合の画面の例を示す模式図である。図７に示す例では、近傍に三角形が表示されたアイコン５１，５２，５３，５４，６１が、オペレータによってクリックされたアイコンである。
　確定ボタン６２は、オペレータが識別システム２００や全体モデルの指定を確定する際に用いるボタンである。アイコン５１～５８のうちの１つ以上のアイコンや、アイコン６１がクリックされた後、確定ボタン６２がクリックされると、表示制御部１１５は、クリックされた各アイコンが表わす各識別システム２００がオペレータによって指定されたと判定する。また、アイコン６１もクリックされている場合には、表示制御部１１５は、全体モデルがオペレータによって指定されたと判定する。なお、オペレータは、全体モデルを統合対象から除外しようとする場合には、アイコン６１をクリックしなければよい。
　表示制御部１１５が、クリックされた各アイコンが表わす各識別システム２００がオペレータによって指定されたと判定した場合、モデル統合部１１７は、その各識別システム２００に対応する各モデル（第２の学習部１０３によって生成されたモデル）を、モデル記憶部１０４から読み込む。また、表示制御部１１５が全体モデルもオペレータによって指定されたと判定した場合、モデル統合部１１７は、識別システム２００に対応するモデルとともに、全体モデルも、モデル記憶部１０４から読み込む。
　そして、モデル統合部１１７は、モデル記憶部１０４から読み込んだ各モデルを統合することによって、１つのモデルを生成する。オペレータによってアイコン６１がクリックされたことによって、モデル統合部１１７が全体モデルもモデル記憶部１０４から読み込んでいる場合、全体モデルも統合の対象になる。
　モデル統合部１１７は、例えば、統合対象となる複数のモデルに対して蒸留処理を行うことによって、その複数のモデルを統合する。蒸留処理を行うことによって、統合後に得られる１つのモデルの圧縮することができる。すなわち、統合後に得られるモデルのデータ容量を少なくすることができる。
　モデル統合部１１７が複数のモデルを統合することによって生成したモデルは、図３に模式的に示すモデルと同様の形式で表される。
　モデル送信部１１８は、モデル配信タイミング情報記憶部１１０から、提供先識別システム２００に対応するモデル配信タイミング情報を参照し、モデル配信タイミング情報に基づいて、モデル統合部１１７が生成したモデルの配信タイミングを決定する。そして、モデル送信部１１８は、その配信タイミングに、モデル統合部１１７が生成したモデルを、提供先識別システム２００に送信する。
　例えば、モデル配信タイミング情報が、識別システム２００のオペレータによって定められた時刻であるとする。この場合、モデル送信部１１８は、その時刻にモデルを送信すると決定する。すなわち、モデル送信部１１８は、提供先識別システム２００から受信した時刻を参照し、その時刻にモデルを送信すると決定する。そして、その時刻になると、モデル送信部１１８は、モデル統合部１１７が生成したモデルを、提供先識別システム２００に対して送信する。
　また、モデル配信タイミング情報が、所定期間毎の（例えば、１日毎の）誤識別率であるとする。この場合、モデル送信部１１８は、所定の閾値以上の誤識別率が検出された場合に、その時点で、モデルを送信すると決定する。すなわち、モデル送信部１１８は、所定期間毎にモデル配信タイミング情報受信部１０９が各識別システム２００から受信し、モデル配信タイミング情報記憶部１１０に記憶させた誤識別率を参照し、提供先識別システム２００から受信した誤識別率が閾値以上になっていることを検出したならば、その時点で、モデル統合部１１７が生成したモデルを送信する。
　モデル送信部１１８が提供先識別システム２００に送信したモデルは、提供先識別システム２００のモデル受信部２０７（図２参照）によって受信され、そのモデル受信部２０７がそのモデルをモデル記憶部２０４（図２参照）に記憶させる。
　本実施形態において、属性データ受信部１０５、モデル配信タイミング情報受信部１０９、ログ受信部１１１、提供先決定部１１３およびモデル送信部１１８は、モデル提供プログラムに従って動作するコンピュータのＣＰＵおよびそのコンピュータの通信インタフェースによって実現される。例えば、ＣＰＵがコンピュータのプログラム記憶装置等のプログラム記録媒体から、モデル提供プログラムを読み込み、そのモデル提供プログラムに従って、通信インタフェースを用いて、属性データ受信部１０５、モデル配信タイミング情報受信部１０９、ログ受信部１１１、提供先決定部１１３およびモデル送信部１１８として動作すればよい。また、第１の学習部１０２、第２の学習部１０３、分類部１０７、モデル選択部１１４、表示制御部１１５およびモデル統合部１１７は、例えば、モデル提供プログラムに従って動作するコンピュータのＣＰＵによって実現される。すなわち、上記のようにモデル提供プログラムを読み込んだＣＰＵが、モデル提供プログラムに従って、第１の学習部１０２、第２の学習部１０３、分類部１０７、モデル選択部１１４、表示制御部１１５およびモデル統合部１１７として動作すればよい。また、データ記憶部１０１、モデル記憶部１０４、属性データ記憶部１０６、分類結果記憶部１０８、モデル配信タイミング情報記憶部１１０およびログ記憶部１１２は、コンピュータが備える記憶装置によって実現される。
　次に、第１の実施形態における本発明のモデル提供システム１００の処理経過について説明する。図８は、第１の実施形態におけるモデル提供システム１００の処理経過の例を示すフローチャートである。なお、既に説明した事項については、適宜、説明を省略する。
　なお、予め、第１の学習部１０２は、ディープラーニングによって全体モデルを学習し、その全体モデルをモデル記憶部１０４に記憶させているものとする。同様に、第２の学習部１０３は、ディープラーニングによって、識別システム２００毎にモデルを学習し、個々の識別システム２００に対応する個々のモデルをモデル記憶部１０４に記憶させているものとする。
　また、個々の識別システム２００の属性データ送信部２１６はそれぞれ、カメラ２０１の属性データ、カメラ２０１の設置場所の位置情報、および、識別システム２００の識別情報をモデル提供システム１００に送信しているものとする。そして、モデル提供システム１００の属性データ受信部１０５は、各識別システム２００からそれらのデータを受信し、受信したデータを属性データ記憶部１０６に記憶させているものとする。さらに、分類部１０７が、各識別システム２００のカメラ２０１の属性データを用いて、各識別システム２００を複数のグループに分類し、その分類結果を、分類結果記憶部１０８に記憶させているものとする。すなわち、各識別システム２００は、属性データに基づいて、予め、複数のグループに分類されているものとする。
　また、ログ受信部１１１は、各識別システム２００からログを受信し、そのログをログ記憶部１１２に記憶させているものとする。
　まず、提供先決定部１１３は、各識別システム２００の指標値送信部２１３から指標値（識別部２０６による識別処理の識別精度を示す指標値）を受信し、その指標値に基づいて、モデルの提供先となる識別システム２００（提供先識別システム２００）を決定する（ステップＳ１）。
　次に、モデル選択部１１４が、統合するモデルとしてモデル提供システム１００のオペレータに推奨するモデル（推奨モデル）を選択する（ステップＳ２）。推奨モデルの選択方法については、既に説明したので、ここでは説明を省略する。
　次に、表示制御部１１５が、モデル選択部１１４に選択されたモデルに対応する各識別システム２００を表わす各アイコンと、モデル選択部１１４に選択されなかったモデルに対応する各識別システム２００を表わす各アイコンとをそれぞれ、地図画像に重畳した画面を、ディスプレイ装置１１９上に表示する（ステップＳ３）。ステップＳ３において、表示制御部１１５は、全体モデルを表わすアイコン６１や確定ボタン６２（図６参照）も、画面内に表示する。各識別システム２００を表わす各アイコンの表示態様については、既に説明したので、ここでは説明を省略する。表示制御部１１５は、例えば、図６に例示する画面をディスプレイ装置１１９上に表示する。
　次に、表示制御部１１５は、ステップＳ３で表示した画面内のアイコンや確定ボタン６２（図６参照）に対するオペレータの操作に応じて、オペレータによって指定された識別システム２００を判定する（ステップＳ４）。例えば、図６に例示する画面において、各識別システム２００を表わす各アイコン５１～５８のうち、１つ以上のアイコンがクリックされ、さらに確定ボタン６２がクリックされた場合、表示制御部１１５は、クリックされたアイコンが表わす識別システム２００がオペレータによって指定されたと判定する。また、識別システム２００を表わすアイコンだけでなく、アイコン６１もクリックされ、さらに確定ボタン６２がクリックされた場合、表示制御部１１５は、全体モデルもオペレータによって指定されたと判定する
　次に、モデル統合部１１７が、オペレータによって指定された各識別システム２００に対応する各モデルをモデル記憶部１０４から読み込み、その各モデルを統合することによって１つのモデルを生成する（ステップＳ５）。また、オペレータによって全体モデルも指定されている場合には、モデル統合部１１７は、全体モデルもモデル記憶部１０４から読み込む。そして、モデル統合部１１７は、指定された各識別システム２００に対応する各モデルおよび全体モデルを統合することによって、１つのモデルを生成すればよい。
　モデル統合部１１７は、ステップＳ５において、統合対象となる複数のモデルに対して蒸留処理を行うことによって、その複数のモデルを統合する。
　次に、モデル送信部１１８は、モデル配信タイミング情報に基づいて、モデル配信タイミングを決定し、そのモデル配信タイミングに、ステップＳ５で生成されたモデルを、提供先識別システム２００に送信する（ステップＳ６）。
　提供先識別システム２００のモデル受信部２０７（図２参照）は、ステップＳ６で送信されたモデルを受信し、そのモデルをモデル記憶部２０４に記憶させる。その後、識別部２０６（図２参照）が画像に対する識別処理を実行する場合、そのモデルを用いる。
　本実施形態において、モデル記憶部１０４に記憶される全体モデルや、各識別システム２００に対応するモデルは、各識別システムで得られた画像（例えば、識別結果が誤っていた画像、または、信頼度が閾値以下であった画像）や、その画像に対応付けられた正しいラベル等を教師データとして、ディープラーニングによって生成されたモデルである。従って、全体モデルや、識別システム２００に対応するモデルは、識別システム２００が識別処理で使用しているモデルよりも識別精度が向上していると言える。
　そして、モデル統合部１１７は、オペレータに指定された各識別システム２００に対応する各モデルや、オペレータに指定された全体モデルを統合して、１つのモデルを統合する。この結果得られるモデルの識別精度も高いと言える。
　また、提供先決定部１１３が指標値に基づいて決定する提供先識別システム２００は、識別精度が低下した識別システムである。
　そして、モデル送信部１１８は、提供先識別システム２００に、統合によって得られた識別精度の高いモデルを送信する。従って、本実施形態のモデル提供システム１００によれば、提供先識別システム２００に対して、識別精度の高いモデルを提供することができる。
　また、表示制御部１１５は、カメラ２０１の属性データが提供先識別システム２００のカメラ２０１の属性データと類似している識別システム２００を表わすアイコンを強調して表示する。また、表示制御部１１５は、提供先識別システム２００での誤識別率が第１の閾値以上となる状況において誤識別率が第２の閾値未満となっている識別システム２００を表わすアイコンを強調して表示する。従って、モデル提供システム１００のオペレータにとって、どの識別システム２００に対応するモデルを統合すればよいのかを判断しやすくなる。
　また、各識別システム２００はカメラ２０１の属性データに基づいてグループに分類され、表示制御部１１５は、各識別システム２００を表わす各アイコンを異なる態様で表示する（例えば、異なる模様や異なる色で表示する）。このことによっても、オペレータは、どの識別システム２００に対応するモデルを統合すればよいのかを判断しやすくなる。
実施形態２．
　図９は、本発明の第２の実施形態のモデル提供システム１００の構成例を示すブロック図である。第１の実施形態のモデル提供システム１００の要素と同様の要素については、図５に示す符号と同一の符号を付し、説明を省略する。
　データ記憶部１０１、第１の学習部１０２、第２の学習部１０３、モデル記憶部１０４、属性データ受信部１０５、属性データ記憶部１０６、分類部１０７、分類結果記憶部１０８、モデル配信タイミング情報受信部１０９、モデル配信タイミング情報記憶部１１０、ログ受信部１１１、ログ記憶部１１２、モデル選択部１１４、表示制御部１１５、モデル統合部１１７、モデル送信部１１８、ディスプレイ装置１１９およびマウス１２０は、第１の実施形態におけるそれらの要素と同様である。
　第２の実施形態のモデル提供システム１００が備える提供先決定部４１３（図９参照）の動作は、第１の実施形態における提供先決定部１１３（図５参照）の動作と異なる。
　第２の実施形態において、提供先決定部４１３は、モデル提供システム１００のオペレータから、モデルの提供先となる識別システム２００を指定されると、その識別システム２００を、提供先識別システム２００として決定する。
　具体的には、提供先決定部４１３は、各識別システム２００を表わすアイコンをそれぞれ含む画面であって、アイコンをクリックすることによってオペレータがモデルの提供先となる識別システム２００（提供先識別システム２００）を指定可能な画面を、ディスプレイ装置１１９上に表示する。
　図１０は、提供先決定部４１３がディスプレイ装置１１９上に表示する画面の例を示す模式図である。提供先決定部４１３は、予め保持している地図データが示す地図画像に、個々の識別システム２００を表わすアイコン５１～５８を重畳した画面を、ディスプレイ装置１１９上に表示する。識別システム２００を表わすアイコンの数は、識別システム２００の数に応じて定まる。提供先決定部４１３は、アイコンに対応する識別システム２００のカメラ２０１の位置情報を属性データ記憶部１０６から読み込み、地図画像上で、カメラ２０１の位置情報が示す位置にアイコンを表示する。この点は、表示制御部１１５が図６に例示する各アイコン５１～５８を表示する場合と同様である。
　また、提供先決定部４１３は、分類部１０７によって定められたグループ毎に異なる態様で、個々の識別システム２００を表わすアイコンを表示する。この点も、表示制御部１１５が図６に例示する各アイコン５１～５８を表示する場合と同様である。図１０では、提供先決定部４１３がグループ毎に異なる模様で個々のアイコン５１～５８を表示した例を示している。アイコンの模様が同じであるということは、そのアイコンが表わす識別システム２００が同じグループに属していることを意味する。
　さらに、提供先決定部４１３は、各アイコンの近傍に、アイコンに対応する識別システム２００の「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を表示する。これらの誤識別率の表示態様は、数値を直接表示する態様でなくてもよい。図１０では、「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を横棒グラフで表示する場合を例示している。図１０に示す各アイコンに対応する横棒グラフでは、上側のバーが「夜間」以外の時間帯における誤識別率を表し、下側のバーが「夜間」における誤識別率を表わしているものとする。なお、個々の識別システム２００の「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率は、例えば、モデル選択部１１４がログに基づいて算出すればよい。この点に関しても、表示制御部１１５が図６に例示する画面を表示する場合と同様である。
　ただし、提供先決定部４１３は、画面の初期状態で、特定の識別システム２００を表わすアイコンを強調しない。例えば、提供先決定部４１３は、画面の初期状態で、アイコンを強調するための実線の円（図６参照）等を表示しない。
　また、提供先決定部４１３は、各アイコンや横棒グラフの他に、決定ボタン８１もディスプレイ装置１１９上に表示する。決定ボタン８１は、オペレータが提供先識別システム２００の指定を確定する際に用いるボタンである。
　各識別システム２００に対応する各アイコン５１～５８のうち、いずれか１つのアイコンがクリックされた後、決定ボタン８１がクリックされると、提供先決定手段４１３は、クリックされたアイコンが表わす識別システム２００が、オペレータによって提供先識別システム２００として指定されたと判定する。そして、提供先決定手段４１３は、クリックされたアイコンが表わす識別システム２００を、提供先識別システム２００として決定する。
　オペレータは、例えば、「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率を表わす横棒グラフを参照して、提供先識別システム２００として指定する識別システム２００を判断してもよい。例えば、図１０に示す例では、アイコン５１が表わす識別システム２００は、「夜間」以外の時間帯と、「夜間」の両方において、誤識別率が高い。そこで、オペレータは、その識別システム２００に、識別精度の高いモデルを提供した方がよいと判断して、アイコン５１をクリックし、続いて、決定ボタン８１をクリックしてもよい。
　また、図１０に例示する画面において、まだ運用が開始されていない新設された識別システム２００を表わすアイコンが表示されてもよい。そして、その識別システム２００は、モデル提供システム１００から識別精度の高いモデルの提供を受け、運用開始時からそのモデルを使用することを前提としていてもよい。この場合、その識別システム２００は、学習部２０３（図２参照）を備えていなくてもよい。また、運用が開始されていない識別システム２００は、ログを生成しておらず、ログをモデル提供システム１００に送信していない。従って、提供先決定部４１３は、ログを送信していない識別システム２００を表わすアイコンの近傍には、誤識別率を表わす横棒グラフを表示しない。また、オペレータは、横棒グラフが表示されていないアイコンに対応する識別システム２００は、モデル提供システム１００からモデルの提供を受けることを前提としていると判断し、横棒グラフが表示されていないアイコンをクリックしてもよい。
　なお、表示制御部１１５が、図６および図７に例示する画面を表示する際にも、ログを送信していない識別システム２００を表わすアイコンの近傍には、誤識別率を表わす横棒グラフを表示しない。また、その識別システム２００は運用開始前であるため、その識別システム２００に対応するモデルは、第２の学習部１０３によって生成されていない。従って、表示制御部１１５は、図６に例示する画面を表示する際、運用開始前であることによって第２の学習部１０３がモデルを生成していない識別システム２００に関しては、オペレータの指定操作の対象外としてよい。
　また、第２の実施形態では、提供先決定部４１３は、オペレータの指定に基づいて、提供先識別システム２００を決定する。従って、第２の実施形態では、識別システム２００は、指標値集計部２１２および指標値送信部２１３を備えていなくてよい。
　第２の実施形態のモデル提供システム１００が備える提供先決定部４１３は、例えば、モデル提供プログラムに従って動作するコンピュータのＣＰＵによって実現される。すなわち、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から、モデル提供プログラムを読み込み、そのモデル提供プログラムに従って、提供先決定部４１３として動作すればよい。
　次に、第２の実施形態における本発明のモデル提供システム１００の処理経過について説明する。図１１は、第２の実施形態におけるモデル提供システム１００の処理経過の例を示すフローチャートである。なお、既に説明した事項については、適宜、説明を省略する。また、図８に示すフローチャートが表わす動作と同一の動作に関しては、図８と同一のステップ番号を付し、説明を省略する。
　提供先決定部４１３は、各識別システム２００を表わすアイコンをそれぞれ、地図画像に重畳した画面を、ディスプレイ装置１１９上に表示する（ステップＳ１１）。ステップＳ１１において、提供先決定部４１３は、決定ボタン８１（図１０参照）も画面内に表示する。提供先決定部４１３は、例えば、図１０に例示する画面をディスプレイ装置１１９上に表示する。
　そして、提供先決定部４１３は、ステップＳ１１で表示した画面においてユーザに指定されたアイコンが表わす識別システム２００を、モデルの提供先となる識別システム（提供先識別システム２００）として決定する（ステップＳ１２）。具体的には、提供先決定部４１３は、識別システム２００を表わす１つのアイコンがクリックされ、その後、決定ボタン８１（図１０参照）がクリックされると、クリックされたアイコンが表わす識別システム２００を、提供先識別システム２００として決定する。
　以降の動作は、第１の実施形態におけるステップＳ２以降の動作（図８参照）と同様であり、説明を省略する。
　第２の実施形態においても、第１の実施形態と同様の効果が得られる。
　次に、各実施形態における変形例について説明する。
　各実施形態において、表示制御部１１５は、図６に例示する画面の代わりに、各識別システムおよび全体モデルをリスト形式で示す画面を表示し、その画面を介して、オペレータから識別システムおよび全体モデルの指定を受け付けてもよい。図１２は、各識別システムおよび全体モデルをリスト形式で示す画面の例を示す模式図である。すなわち、表示制御部１１５は、図６に例示する画面の代わりに、図１２に例示する画面を表示してもよい。図１２に示す画面は、各識別システムおよび全体モデルのリストを表わす表と、確定ボタン６２とを含む。リスト表わす表の各行には、チェックボックスと、識別システムの識別情報と、識別システム２００が推奨モデル（モデル選択部１１４に選択されたモデル）に対応するか否かを示す情報と、属性データとが表示される。ただし、図１２に示す例において、最終行は全体モデルに対応し、属性データは表示されない。
　表示制御部１１５は、最終行以外の各行の「識別システムの識別情報」の欄に、識別システム２００の識別情報を表示する。また、表示制御部１１５は、提供先識別システム２００の識別情報に関しては、例えば、“（提供先）”等の文言も合わせて表示する。また、表示制御部１１５は、全体モデルを表わす行（本例では、最終行）では、「識別システムの識別情報」の欄に、全体モデルを表わす記号（本例では“α”とする。）を表示する。また、図１２に示す例では、表示制御部１１５は、各行において、識別システム２００が推奨モデルに対応するか否かを示す情報として、“○”を表示するか、あるいは、何も表示しない。“○”が表示されているということは、識別システム２００が推奨モデルに対応していることを意味する。何も表示されていないということは、識別システム２００が推奨モデルに対応していないことを意味する。表示制御部１１５は、最終行以外の各行の属性データの欄には、識別システム２００が備えるカメラ２０１の属性データを表示する。また、表示制御部１１５は、カメラ２０１の位置情報や、「夜間」以外の時間帯における誤識別率、および、「夜間」における誤識別率等も表に含めて表示してもよい。
　オペレータは、識別システム２００を指定しようとする場合、指定しようとする各識別システム２００のチェックボックスをそれぞれクリックすればよい。また、オペレータは、全体モデルを指定しようとする場合、最終行のチェックボックスをクリックすればよい。さらに、オペレータは、指定内容を確定する場合、確定ボタン６２をクリックすればよい。表示制御部１１５は、確定ボタン６２がクリックされた時点で選択されているチェックボックスに基づいて、どの識別システム２００がオペレータによって指定されたかを判定し、また、全体モデルが指定されたか否かを判定すればよい。
　また、各実施形態において、表示制御部１１５は、図６に例示する画面で識別システム２００を表わすアイコン５１～５８がクリックされたり、全体モデルを表わすアイコン６１がクリックされたりした場合、クリックされたアイコンの近傍に、アイコンに対応するモデルの比率を入力する入力欄を表示してもよい。そして、表示制御部１１５は、クリックされたアイコン毎に、その入力欄を介して、モデルの比率の入力を受け付けてもよい。
　図１３は、クリックされたアイコン毎に、入力欄に比率が入力された画面の例を示す模式図である。図１３では、アイコン５１，５２，５３，５４，６１がクリックされ、アイコン５１，５２，５３，５４，６１の近傍に、比率の入力欄が表示され、その各入力欄にオペレータが比率を入力した状態を表わしている。図１３に示す例では、オペレータは、アイコン５１，５２，５３，５４が表わす各識別システム２００のモデルに対して、それぞれ、“５０％”，“１５％”，“１５％”，“１０％”を指定したことになる。また、全体モデルに対して“１０％”を指定したことになる。確定ボタン６２がクリックされると、表示制御部１１５は、これらの比率を取得する。
　そして、モデル統合部１１７は、指定された比率に従って、各モデルを統合する。上記の例では、モデル統合部１１７は、アイコン５１，５２，５３，５４が表わす各識別システム２００のモデルおよび全体モデルに対して、それぞれ“５０％”，“１５％”，“１５％”，“１０％” ，“１０％”の重みを付けて、５個のモデルを統合する。
　また、上記の各実施形態において、モデル選択部１１４は、１つの画像全体の平均輝度が所定値以下であるか否かによって、その画像が「夜間」に得られたか、「夜間」以外の時間帯に得られたかを判定してもよい。また、カメラ１０１が照度計を備え、カメラが画像に、撮影時の照度のデータを付加してもよい。そして、モデル選択部１１４は、照度が所定値以下であるか否かによって、その画像が「夜間」に得られたか、「夜間」以外の時間帯に得られたかを判定してもよい。
　図１４は、本発明の各実施形態のモデル提供システムに係るコンピュータの構成例を示すブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６と、通信インタフェース１００７とを備える。
　本発明の各実施形態のモデル提供システム１００は、コンピュータ１０００に実装される。モデル提供システム１００の動作は、モデル提供プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、そのモデル提供プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのモデル提供プログラムに従って、上記の各実施形態で説明した処理を実行する。
　補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。
　また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。
　また、各構成要素の一部または全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本発明の概要について説明する。図１５は、本発明のモデル提供システムの概要を示すブロック図である。本発明のモデル提供システムは、設置場所におけるデータを収集するデータ収集手段（例えば、カメラ２０１）を備え、データ収集手段によって収集されたデータ（例えば、画像）が表わす物体を識別する複数の識別システム（例えば、識別システム２００）のうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供する。本発明のモデル提供システムは、モデル記憶手段６０１と、モデル統合手段６０２と、モデル選択手段６０３と、表示制御手段６０４と、モデル送信手段６０５とを備える。
　モデル記憶手段６０１（例えば、モデル記憶部１０４）は、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶する。
　モデル統合手段６０２（例えば、モデル統合部１１７）は、モデル記憶手段６０１に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成する。
　モデル選択手段６０３（例えば、モデル選択部１１４）は、モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択する。
　表示制御手段６０４（例えば、表示制御部１１５）は、モデル選択手段６０３に選択されたモデルに対応する各識別システムと、モデル選択手段６０３に選択されなかったモデルに対応する各識別システムとをオペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する。
　モデル送信手段６０５（例えば、モデル送信部１１８）は、モデル統合手段６０２が生成したモデルを、モデルの提供先となる識別システムに送信する。
　モデル統合手段６０２は、画面でオペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成する。
　そのような構成によって、識別システムに対して、識別精度の高いモデルを提供できる。
　また、モデル選択手段６０３が、モデルの提供先となる識別システム以外の個々の識別システムが備えるデータ収集手段の属性と、モデルの提供先となる識別システムが備えるデータ収集手段の属性との類似度をそれぞれ算出し、類似度が高い順に、モデルの提供先となる識別システム以外の識別システムの中から所定数の識別システムを特定し、その所定数の識別システムに対応する各モデルを選択する構成であってもよい。
　また、モデル選択手段６０３が、モデルの提供先となる識別システムでの誤識別率が第１の閾値以上となる状況における誤識別率が第２の閾値未満となっている識別システムを特定し、その識別システムに対応するモデルを選択する構成であってもよい。なお、この場合、第２の閾値は、第１の閾値以下である。
　また、各識別システムにおける識別処理の識別精度を示す指標（例えば、所定期間毎の誤識別率等）に基づいて、モデルの提供先となる識別システムとして決定する提供先決定手段（例えば、提供先決定部１１３）を備える構成であってもよい。
　また、各識別システムを表わすアイコンをそれぞれ表示するとともに、いずれかのアイコンがクリックされた場合に、クリックされたアイコンに対応する識別システムを、モデルの提供先となる識別システムとして決定する提供先決定手段（例えば、提供先決定部４１３）を備える構成であってもよい。
　また、個々の識別システムのデータ収集手段の属性に基づいて、各識別システムを複数のグループに分類する分類手段（例えば、分類部１０７）を備え、表示制御手段６０４が、グループ毎に異なる態様で、個々の識別システムを表すアイコンをそれぞれ表示するとともに、モデル選択手段６０３に選択されたモデルに対応する各識別システムを表わすアイコンを、モデル選択手段６０３に選択されなかったモデルに対応する各識別システムを表わすアイコンよりも強調して表示し、さらに、所定のボタン（例えば、確定ボタン６２）を表示し、オペレータにアイコンがクリックされ、所定のボタンがクリックされた場合に、クリックされたアイコンが表わす識別システムがオペレータによって指定されたと判定する構成であってもよい。
　また、モデル記憶手段６０１が、識別システム毎にモデルを記憶するとともに、各識別システムに対応する教師データ全体を用いて学習された所定のモデル（例えば、全体モデル）を記憶し、表示制御手段６０４が、所定のモデルを表わすアイコンを、個々の識別システムを表すアイコンとは別に表示し、所定のモデルを表わすアイコンがクリックされた場合には、所定のモデルがオペレータによって指定されたと判定する構成であってもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
産業上の利用の可能性
　本発明は、識別処理を行う識別システムに、識別処理で用いるモデルを提供するモデル提供システムに好適に適用される。
　１００　モデル提供システム
　１０１　データ記憶部
　１０２　第１の学習部
　１０３　第２の学習部
　１０４　モデル記憶部
　１０５　属性データ受信部
　１０６　属性データ記憶部
　１０７　分類部
　１０８　分類結果記憶部
　１０９　モデル配信タイミング情報受信部
　１１０　モデル配信タイミング情報記憶部
　１１１　ログ受信部
　１１２　ログ記憶部
　１１３，４１３　提供先決定部
　１１４　モデル選択部
　１１５　表示制御部
　１１７　モデル統合部
　１１８　モデル送信部
　１１９　ディスプレイ装置
　１２０　マウス

Claims (9)

  1. 　設置場所におけるデータを収集するデータ収集手段を備え、前記データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するモデル提供システムであって、
    　識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段と、
    　モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成するモデル統合手段と、
    　モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択するモデル選択手段と、
    　前記モデル選択手段に選択されたモデルに対応する各識別システムと、前記モデル選択手段に選択されなかったモデルに対応する各識別システムとを前記オペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する表示制御手段と、
    　前記モデル統合手段が生成したモデルを、モデルの提供先となる識別システムに送信するモデル送信手段とを備え、
    　前記モデル統合手段は、
    　前記画面で前記オペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成する
    　ことを特徴とするモデル提供システム。
  2. 　モデル選択手段は、
    　モデルの提供先となる識別システム以外の個々の識別システムが備えるデータ収集手段の属性と、モデルの提供先となる識別システムが備えるデータ収集手段の属性との類似度をそれぞれ算出し、類似度が高い順に、モデルの提供先となる識別システム以外の識別システムの中から所定数の識別システムを特定し、前記所定数の識別システムに対応する各モデルを選択する
    　請求項１に記載のモデル提供システム。
  3. 　モデル選択手段は、
    　モデルの提供先となる識別システムでの誤識別率が第１の閾値以上となる状況における誤識別率が第２の閾値未満となっている識別システムを特定し、前記識別システムに対応するモデルを選択し、
    　前記第２の閾値は、前記第１の閾値以下である
    　請求項１または請求項２に記載のモデル提供システム。
  4. 　各識別システムにおける識別処理の識別精度を示す指標に基づいて、モデルの提供先となる識別システムとして決定する提供先決定手段を備える
    　請求項１から請求項３のうちのいずれか１項に記載のモデル提供システム。
  5. 　各識別システムを表わすアイコンをそれぞれ表示するとともに、いずれかのアイコンがクリックされた場合に、クリックされたアイコンに対応する識別システムを、モデルの提供先となる識別システムとして決定する提供先決定手段を備える
    　請求項１から請求項３のうちのいずれか１項に記載のモデル提供システム。
  6. 　個々の識別システムのデータ収集手段の属性に基づいて、各識別システムを複数のグループに分類する分類手段を備え、
    　表示制御手段は、
    　グループ毎に異なる態様で、個々の識別システムを表すアイコンをそれぞれ表示するとともに、モデル選択手段に選択されたモデルに対応する各識別システムを表わすアイコンを、前記モデル選択手段に選択されなかったモデルに対応する各識別システムを表わすアイコンよりも強調して表示し、さらに、所定のボタンを表示し、オペレータにアイコンがクリックされ、前記所定のボタンがクリックされた場合に、クリックされたアイコンが表わす識別システムがオペレータによって指定されたと判定する
    　請求項１から請求項５のうちのいずれか１項に記載のモデル提供システム。
  7. 　モデル記憶手段は、識別システム毎にモデルを記憶するとともに、各識別システムに対応する教師データ全体を用いて学習された所定のモデルを記憶し、
    　表示制御手段は、
    　前記所定のモデルを表わすアイコンを、個々の識別システムを表すアイコンとは別に表示し、前記所定のモデルを表わすアイコンがクリックされた場合には、前記所定のモデルがオペレータによって指定されたと判定する
    　請求項６に記載のモデル提供システム。
  8. 　設置場所におけるデータを収集するデータ収集手段を備え、前記データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するモデル提供システムであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段を備えるモデル提供システムに適用されるモデル提供方法において、
    　モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成し、
    　モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択し、
    　選択したモデルに対応する各識別システムと、選択しなかったモデルに対応する各識別システムとを前記オペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示し、
    　モデルを統合することによって生成されたモデルを、モデルの提供先となる識別システムに送信し、
    　モデルを統合することによってモデルを生成するときに、
    　前記画面で前記オペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成する
    　ことを特徴とするモデル提供方法。
  9. 　設置場所におけるデータを収集するデータ収集手段を備え、前記データ収集手段によって収集されたデータが表わす物体を識別する複数の識別システムのうちのいずれかの識別システムに対して、識別処理で用いるモデルを提供するコンピュータであって、識別システム毎に、識別システムで得られたデータに基づいて作成された教師データを用いて学習されたモデルを記憶するモデル記憶手段を備えるコンピュータに搭載されるモデル提供プログラムにおいて、
    　前記コンピュータに、
    　モデル記憶手段に記憶されたモデルのうち、指定された各モデルを統合することによって、モデルの提供先となる識別システムに提供するモデルを生成するモデル統合処理、
    　モデルの提供先となる識別システムが決定された場合に、当該識別システムが備えるデータ収集手段の属性と、当該識別システム以外の各識別システムが備えるデータ収集手段の属性との類似度に基づいて、統合するモデルとしてオペレータに推奨するモデルを選択するモデル選択処理、
    　前記モデル選択処理で選択されたモデルに対応する各識別システムと、前記モデル選択処理で選択されなかったモデルに対応する各識別システムとを前記オペレータに提示する画面であって、提示した識別システムの中からオペレータが識別システムを指定可能な画面を表示する表示制御処理、および、
    　前記モデル統合処理で生成されたモデルを、モデルの提供先となる識別システムに送信するモデル送信処理を実行させ、
    　前記モデル統合処理で、
    　前記画面で前記オペレータによって指定された各識別システムに対応する各モデルを統合することによって、モデルを生成させる
    　ためのモデル提供プログラム。
PCT/JP2018/017610 2018-05-07 2018-05-07 モデル提供システム、方法およびプログラム WO2019215779A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/053,484 US20210133495A1 (en) 2018-05-07 2018-05-07 Model providing system, method and program
PCT/JP2018/017610 WO2019215779A1 (ja) 2018-05-07 2018-05-07 モデル提供システム、方法およびプログラム
JP2020517631A JP6992883B2 (ja) 2018-05-07 2018-05-07 モデル提供システム、方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017610 WO2019215779A1 (ja) 2018-05-07 2018-05-07 モデル提供システム、方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019215779A1 true WO2019215779A1 (ja) 2019-11-14

Family

ID=68467907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017610 WO2019215779A1 (ja) 2018-05-07 2018-05-07 モデル提供システム、方法およびプログラム

Country Status (3)

Country Link
US (1) US20210133495A1 (ja)
JP (1) JP6992883B2 (ja)
WO (1) WO2019215779A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021087065A (ja) * 2019-11-26 2021-06-03 西日本旅客鉄道株式会社 駅監視システム
JP2022132078A (ja) * 2021-02-26 2022-09-07 株式会社日立製作所 機械学習モデル更新方法、コンピュータプログラムおよび管理装置
WO2022190518A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置
KR102531299B1 (ko) * 2022-12-27 2023-05-11 오케스트로 주식회사 유사도에 기반한 학습모델 추천 장치 및 이를 포함하는 클라우드 통합운영 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7001149B2 (ja) * 2018-05-07 2022-01-19 日本電気株式会社 データ提供システムおよびデータ収集システム
US11657334B2 (en) * 2019-05-31 2023-05-23 Maxar Mission Solutions Inc. Techniques for deriving and/or leveraging application-centric model metric
KR102583170B1 (ko) * 2023-03-31 2023-09-26 오케스트로 주식회사 성능 시뮬레이션을 통한 학습모델 추천 방법 및 이를 포함하는 학습모델 추천 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020445A (ja) * 2008-07-09 2010-01-28 Sony Corp 学習装置、学習方法、およびプログラム
JP2014222480A (ja) * 2013-05-14 2014-11-27 株式会社東芝 サービス提供システム、サービス提供方法およびサービス提供管理装置
JP2018508874A (ja) * 2015-01-22 2018-03-29 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 機械学習の異種エッジデバイス、方法、およびシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020445A (ja) * 2008-07-09 2010-01-28 Sony Corp 学習装置、学習方法、およびプログラム
JP2014222480A (ja) * 2013-05-14 2014-11-27 株式会社東芝 サービス提供システム、サービス提供方法およびサービス提供管理装置
JP2018508874A (ja) * 2015-01-22 2018-03-29 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 機械学習の異種エッジデバイス、方法、およびシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAO, JING ET AL.: "Knowledge Transfer via Multiple Model Local Structure Mapping", PROCEEDINGS OF THE 14TH ACM SIGKDD INTERNATIONAL CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING, 24 August 2008 (2008-08-24), pages 283 - 291, XP058362366, ISBN: 978-1-60558-193-4, Retrieved from the Internet <URL:https://dl.acm.org/citation.cfm?id=1401928> [retrieved on 20180726], DOI: 10.1145/1401890.1401928 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021087065A (ja) * 2019-11-26 2021-06-03 西日本旅客鉄道株式会社 駅監視システム
JP2022132078A (ja) * 2021-02-26 2022-09-07 株式会社日立製作所 機械学習モデル更新方法、コンピュータプログラムおよび管理装置
JP7339321B2 (ja) 2021-02-26 2023-09-05 株式会社日立製作所 機械学習モデル更新方法、コンピュータプログラムおよび管理装置
WO2022190518A1 (ja) * 2021-03-12 2022-09-15 オムロン株式会社 統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置
JP7559633B2 (ja) 2021-03-12 2024-10-02 オムロン株式会社 統合モデルの生成方法、画像検査システム、画像検査用モデルの生成装置、画像検査用モデルの生成プログラム及び画像検査装置
KR102531299B1 (ko) * 2022-12-27 2023-05-11 오케스트로 주식회사 유사도에 기반한 학습모델 추천 장치 및 이를 포함하는 클라우드 통합운영 시스템

Also Published As

Publication number Publication date
JP6992883B2 (ja) 2022-01-13
JPWO2019215779A1 (ja) 2021-06-10
US20210133495A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
WO2019215779A1 (ja) モデル提供システム、方法およびプログラム
US11941887B2 (en) Scenario recreation through object detection and 3D visualization in a multi-sensor environment
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
JP6203208B2 (ja) 道路構造物管理システム、及び道路構造物管理方法
US11537814B2 (en) Data providing system and data collection system
US11076130B2 (en) Operation information transmission device, construction management system, operation information transmission method, and program
US20200074377A1 (en) Contribution level determination method, contribution level determination apparatus, and recording medium
US20220357176A1 (en) Methods and data processing systems for predicting road attributes
CN111221012A (zh) 用于基于周围环境改进的位置决策的方法和设备
US10586115B2 (en) Information processing device, information processing method, and computer program product
US9836826B1 (en) System and method for providing live imagery associated with map locations
CN108932273A (zh) 图片筛选方法及装置
US20240077331A1 (en) Method of predicting road attributers, data processing system and computer executable code
JP7001150B2 (ja) 識別システム、モデル再学習方法およびプログラム
CN111753587A (zh) 一种倒地检测方法及装置
JP7293174B2 (ja) 道路周辺物監視装置、道路周辺物監視プログラム
JP6981553B2 (ja) 識別システム、モデル提供方法およびモデル提供プログラム
JP6981554B2 (ja) 識別システム、パラメータ値更新方法およびプログラム
KR102446320B1 (ko) 복수의 카메라에 기반한 맵기반 객체추적 및 이벤트 검출장치 및 그 장치의 구동방법
US20220180631A1 (en) Information processing system, a server apparatus, and information processing method
CN115223035A (zh) 图像检测方法、装置、设备和存储介质
KR101756391B1 (ko) 객체 이미지들을 링크하고, 빅데이터 분석 시스템과 연동이 가능한 객체 이미지 링크 시스템, 이를 포함하는 통합 관제 시스템 및 그 동작방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18918293

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020517631

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18918293

Country of ref document: EP

Kind code of ref document: A1