WO2021002215A1 - サーバ装置、サーバ装置の作動プログラム及び作動方法、並びにデータ解析処理システム - Google Patents

サーバ装置、サーバ装置の作動プログラム及び作動方法、並びにデータ解析処理システム Download PDF

Info

Publication number
WO2021002215A1
WO2021002215A1 PCT/JP2020/024025 JP2020024025W WO2021002215A1 WO 2021002215 A1 WO2021002215 A1 WO 2021002215A1 JP 2020024025 W JP2020024025 W JP 2020024025W WO 2021002215 A1 WO2021002215 A1 WO 2021002215A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
neural network
sub
processing
image
Prior art date
Application number
PCT/JP2020/024025
Other languages
English (en)
French (fr)
Inventor
隆史 涌井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2021002215A1 publication Critical patent/WO2021002215A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection

Definitions

  • the technology of the present disclosure relates to a server device, an operation program and operation method of the server device, and a data analysis processing system.
  • a data analysis processing system that executes data analysis processing using a machine learning model having a neural network is known (see JP-A-2002-342739 and JP-A-2010-287062).
  • the data analysis process executed by such a data analysis processing system includes, for example, an image analysis process such as an image recognition process as described in JP-A-2002-342739.
  • the data analysis processing system described in JP-A-2002-342739 is composed of a client device and a server device.
  • the server device is in charge of the learning phase in which the machine learning model is trained using the training data
  • the client device is in charge of the operation phase in which the data analysis process is executed using the learned machine learning model learned in the server device.
  • the client device obtains the parameters required in the learning phase in which the server device additionally learns the machine learning model, which is acquired through the execution of the data analysis process in the client device. It is transmitting from the device to the server device.
  • the server device is acquired through additional learning of the machine learning model, and the parameters required in the operation phase are transmitted to the client device.
  • the data analysis processing system of JP-A-2010-287062 is also composed of a client device and a server device.
  • the server device is composed of a plurality of server computers, and the client device functions as a management device for managing each server computer.
  • the processing using the neural network is shared by a plurality of server computers.
  • the client device does not execute the processing using the neural network, but has a relay function that relays the execution result of the processing output by each server computer between the server computers and a synchronization function that synchronizes the processing of each server computer. Is responsible for.
  • the inventor is studying to provide data analysis processing using such a neural network as an online application service (also called a cloud service) that uses a communication line.
  • an online application service also called a cloud service
  • the amount of data processing generally increases as the analysis accuracy increases.
  • hardware having high processing capacity is required, which increases the hardware cost of the processing device.
  • the development cost increases, and the maintenance cost required for maintenance such as additional learning tends to increase. Therefore, if the data analysis process can be provided to the user as an online application service, the user will not need the maintenance cost in addition to the initial investment such as the hardware cost and the development cost, and the user will be highly accurate with only the usage fee. It becomes possible to use the data analysis processing service at a relatively low cost.
  • the shared line means a shared communication line that can be used by a plurality of users, such as a public line such as the Internet.
  • the content of the data to be analyzed by the user may be intercepted. If the data to be analyzed by the user is intercepted, the information security risk that the user's business content (research content, product development content, etc.) will be grasped based on the content of the data to be analyzed poses a dedicated line. There is a problem that it is larger than when it is used.
  • the technology of the present disclosure is a server device, an operation program and an operation method of the server device, which can reduce the information security risk as compared with the conventional one even when the data analysis process is provided as an online service using a shared line. , And a data analysis processing system.
  • the server device is a server device that executes a part of the data analysis process in the data analysis processing system that executes the data analysis process by using the neural network. , Used by a plurality of users from a client device that outputs the first processed data by executing the first process that is a part of the data analysis process using the first sub-neural network that is a part of the neural network.
  • a data acquisition unit that acquires the first processed data via a shared line that is a possible shared communication line, and a second sub-neural network that is a part of the neural network and is different from the first sub-neural network are used.
  • the data processing unit is provided with a data processing unit that outputs the second processing data by executing the second processing that is a part of the data analysis processing based on the first processing data.
  • the neural network it is preferable to have a division portion capable of changing the division portion to be divided as the first sub-neural network.
  • the divided portion is changed based on preset conditions.
  • the data acquisition unit has a function of decrypting the first processed data encrypted in the client device.
  • the first process executed using the first sub-neural network includes a plurality of sub-processes, and each of the plurality of sub-processes outputs sub-data that is a part of the first-process data.
  • the data acquisition unit acquires the first processed data by dividing it into sub-data.
  • the first sub-neural network has a plurality of layers for analyzing the input input data, the plurality of sub-processes may be executed in each of the plurality of layers, and the sub-data may be output for each sub-process. preferable.
  • the first sub-neural network preferably includes an encoder network that extracts the features of the input data as the first processed data by analyzing the input input data.
  • the data analysis process is preferably an image analysis process that analyzes the input input image.
  • the first sub-neural network preferably includes an encoder network that extracts an image feature map representing the features of the input image as the first processed data by analyzing the input image.
  • the first process executed using the encoder network is a convolution process that performs a convolution operation using a filter to extract an image feature map that represents features with different frequency bands included in the input image, and a convolution process that extracts the image.
  • a convolution process that extracts the image.
  • the pooling process of outputting the image feature map with the reduced image size by calculating the local statistics of the image feature map and compressing the image feature map is included.
  • the first processed data has a larger number of channels according to the number of applied filters than the input image and the first processing includes a pooling process, the first processed data has a smaller image size than the input image. Is preferable.
  • the encoder network has a plurality of layers for analyzing the input image, and it is preferable to extract an image feature map for each layer in the first process.
  • the neural network has an encoder network and a decoder network that generates an output image in which a region for each class in the input image is segmented based on an image feature map extracted for each layer, and as an image analysis process, It is preferable that the convolutional neural network performs semantic segmentation that discriminates a plurality of classes included in the input image on a pixel-by-pixel basis.
  • the encoder network and the decoder network each have N layers from the first layer of the uppermost layer to the Nth layer of the lowest layer as a plurality of layers, and the first sub-neural network is one of the encoder networks. It is preferable that the second sub-neural network includes at least a portion corresponding to the first layer of the lowermost layer of the decoder network, including at least a portion corresponding to the first layer of the uppermost layer to which the input image is input.
  • the input image is preferably a cell image obtained by photographing a cell.
  • the neural network is learned for two or more cell types in the learning phase.
  • the operation program of the server device is an operation program of the server device that executes a part of the data analysis process in the data analysis processing system that executes the data analysis process by using the neural network.
  • the first process that is a part of the data analysis process using the first sub-neural network that is a part of the neural network it can be used by a plurality of users from the client device that outputs the first process data.
  • a data acquisition unit that acquires the first processed data via a shared line, which is a common communication line, and a second sub-neural network that is a part of the neural network and is different from the first sub-neural network.
  • the computer functions as a data processing unit that outputs the second processing data by executing the second processing that is a part of the data analysis processing based on the first processing data.
  • the method of operating the server device is a method of operating the server device that executes a part of the data analysis process in the data analysis processing system that executes the data analysis process by using the neural network.
  • the first processing that is a part of the data analysis processing using the first sub-neural network that is a part of the neural network it can be used by a plurality of users from the client device that outputs the first processing data.
  • a data processing step of outputting the second processing data by executing the second processing which is a part of the data analysis processing based on the first processing data is included.
  • the data analysis processing system is a data analysis processing system that includes a client device and a server device and executes data analysis processing by using a neural network, and the client device is one of the neural networks.
  • a client-side data processing unit that outputs the first processing data that is the processing result of the first processing by executing the first processing that is a part of the data analysis processing using the first sub-neural network that is the unit.
  • the server device is a part of a neural network and a data acquisition unit that acquires first processing data from a client device via a shared line that is a shared communication line that can be used by a plurality of users.
  • the processing result of the second processing by executing the second processing which is a part of the data analysis processing based on the first processing data by using the second sub-neural network different from the first sub-neural network. It is provided with a server-side data processing unit that outputs the second processing data.
  • information security risk can be reduced even when data analysis processing is provided as an online service using a shared line.
  • FIG. 2A shows an input image
  • FIG. 2B shows an output image, respectively.
  • the data analysis processing system 10 is a system that provides a data analysis processing service as an application service to a plurality of users 11 online via a shared line 16.
  • the data analysis processing system 10 includes each client device 12 of a plurality of users 11 and a server device 14 operated by an application service provider (hereinafter, simply referred to as a provider) 13.
  • the plurality of client devices 12 and the server device 14 are communicably connected to each other via the shared line 16.
  • the shared line 16 is a shared communication line that can be used by an unspecified or specific plurality of users 11.
  • the shared line 16 can be used by an unspecified number of users 11 such as the Internet, public switched telephone networks (PSTN: Public Switched Telephone Networks), mobile communication networks, and wired or wireless public LANs (Local Area Networks).
  • PSTN Public Switched Telephone Networks
  • PSTN Public Switched Telephone Networks
  • mobile communication networks and wired or wireless public LANs (Local Area Networks).
  • VPN Virtual Private Network
  • a VPN is a communication line that uses a public network such as the Internet as a base network and uses this base network and encryption technology to build a virtual dedicated line between specific users. Since the base network is a public line, the VPN is physically a shared line 16 that can be used by a plurality of users 11.
  • the data analysis processing service provided by the provider 13 is a data analysis processing service using a machine learning model (hereinafter, simply referred to as a model) M having a neural network.
  • the provider 13 includes a learning device 17 for learning the model M.
  • the server device 14 provides the data analysis processing service to the user 11 by executing the data analysis processing using the model M trained by the learning device 17.
  • the data analysis processing service of this example is an image analysis processing service that executes semantic segmentation on the image to be analyzed.
  • Semantic segmentation is an image analysis method in which a plurality of classes included in an input image are discriminated on a pixel-by-pixel basis, and an output image in which regions are divided for each discriminated class is output.
  • a class is a type of object that appears in an input image. For example, when an input image showing three objects of a cup, a book, and a mobile phone is given to the model M, the cup, the book, and the mobile phone are each classified as a class, and the outline of the cup, the book, and the mobile phone is faithful. An output image is obtained in which the area defined by the contour line traced to is presented identifiable for each class.
  • the input image II is a cell image of cells in culture taken with a phase-contrast microscope.
  • Input image II shows each class of differentiated cells, undifferentiated cells, dead cells, and the medium in which the cells are cultured.
  • model M class 1 differentiated cell DC, class 2 undifferentiated cell UDC, class 3 dead cell DDC, and class in input image II.
  • Each region of the medium PL of 4 is differentiated.
  • an output image OI is generated in which the identified regions of each class 1 to 4 are displayed in an identifiable form such as being displayed in different colors. Based on such an output image OI, the user grasps, for example, the number and size of each cell, and evaluates the progress and result of cell culture.
  • the user 11 When the user 11 wants to use the provider 13, for example, he / she concludes a data analysis processing service usage contract with the provider 13 in advance and acquires a user account or the like. Then, when the user 11 actually uses the data analysis processing service, the user 11 transmits the data to be analyzed and the processing request from the client device 12 to the server device 14 via the shared line 16.
  • the server device 14 receives the processing request, the server device 14 executes the data analysis processing on the data to be analyzed. Then, the server device 14 transmits the processing result such as the output image OI to the client device 12 via the shared line 16.
  • the server device 14 assigns a part of the data analysis processing service executed by using the model M to the client device 12. Specifically, the server device 14 divides the model M supplied from the learning device 17 into two parts, a first sub-neural network SBN1 and a second sub-neural network SBN2. Then, the server device 14 distributes the divided first sub-neural network SBN1 to the client device 12. The client device 12 outputs the first processed data PD1 by executing the first process which is a part of the data analysis process by using the first sub-neural network SBN1 with respect to the input image II to be analyzed. .. The client device 12 transmits a processing request to the server device 14 together with the first processing data PD1 via the shared line 16.
  • the server device 14 executes the second processing, which is a part of the data analysis processing, on the received first processing data PD1 by using the second sub-neural network SBN2.
  • the server device 14 outputs the second process data PD2 which is the process result of the second process.
  • the second process is a part of the data analysis process and is a process executed based on the first process data PD1. Therefore, the second process is executed after the first process in the data analysis process.
  • the second processed data PD2 is the output image OI itself in this example.
  • the server device 14 delivers the second processed data PD2, which is the output image OI, to the client device 12 that is the request source of the processing request as the processing result.
  • the client device 12 acquires the second processed data PD2 which is the output image OI.
  • the learning device 17 trains the model M by using the learning data LD composed of a set of the input image IIL for learning and the annotation image AI.
  • the learning input image IIL is an image input to the model M for learning to improve the class discrimination accuracy.
  • the model M performs semantic segmentation on the learning input image IIL and outputs the learning output image OIL.
  • the annotation image AI is an image in which an area is specified for each class and distinguished from the learning input image IIL.
  • the area of each class is specified by the creator of the learning data LD drawing a contour line using a pen tablet or the like.
  • the area is distinguished by the creator color-coding the inside of the contour line for each class.
  • the annotation image AI is, so to speak, an image for matching the answer with the learning output image OIL, and is compared with the learning output image OIL. The higher the discrimination accuracy of the model M class, the smaller the difference between the annotation image AI and the learning output image OIL.
  • the learning input image IIL is an image similar to the input image II shown in FIG. 2A
  • the learning output image OIL is an image similar to the output image OI shown in FIG. 2B.
  • the learning device 17 compares the annotation image AI and the learning output image OIL, and evaluates the discrimination accuracy of the class of the model M. Then, the model M is updated according to the evaluation result of the discrimination accuracy of this class.
  • the learning device 17 inputs the learning input image IIL to the model M, outputs the learning output image OIL from the model M, evaluates the discrimination accuracy of the class of the model M, and updates the model M in the learning data LD. This is performed while changing, and the process is repeated until the discrimination accuracy of the model M class reaches a preset level.
  • the learning device 17 supplies the server device 11 with the model M whose class discrimination accuracy is set to a preset level.
  • the model M in the server device 11 is updated by the model M that has undergone additional learning. As a result, the discrimination accuracy of the model M of the server device 11 is continuously improved. As described above, the model M is divided into the first sub-neural network SBN1 and the second sub-neural network SBN2 in the server device 11.
  • the model M of this example has a plurality of layers for analyzing the input image, and U-Net extracts features in which the frequency band of the spatial frequency included in the input image is different for each layer. It is a hierarchical model composed of convolutional neural networks such as.
  • the model M of this example has five layers, that is, a first layer, a second layer, a third layer, a fourth layer, and a fifth layer. In the following, a case where the input image II is given to the model M and the output image OI is output from the model M will be described as an example.
  • Model M has an encoder network ENC and a decoder network DEC.
  • the encoder network ENC performs a convolution operation using the filter F (see FIG. 6) for each layer, and performs a convolution process for extracting the image feature map CMP.
  • the decoder network DEC gradually increases the image size of the smallest image feature map CMP output from the encoder network ENC. Then, the gradually enlarged image feature map CMP and the image feature map CMP output in each layer of the encoder network ENC are combined to obtain a learning output image OIL having the same image size as the learning input image IIL. Generate.
  • the image feature map CMP is an example of "features in which the frequency bands of the spatial frequencies included in the input image are different" according to the technique of the present disclosure.
  • Input data DI (see FIG. 6) having a plurality of pixel values arranged two-dimensionally is input to the encoder network ENC for each layer.
  • the encoder network ENC performs a convolution process on the input data DI in each layer to extract the image feature map CMP.
  • the input image II is input as the input data DI in the first layer of the encoder network ENC.
  • the first layer performs a convolution process on the input image II, and outputs, for example, an image feature map CMP having the same image size as the input image II.
  • the image feature map CMP output in each upper layer is input as the input data DI.
  • convolution processing is performed on the image feature map CMP, and for example, an image feature map CMP having the same image size as the input image feature map CMP is output.
  • the convolution process is shown as "conv (convolution)" in FIG.
  • a 3 ⁇ 3 filter F is applied to the input data DI, and the pixel value e of the pixel of interest Ip in the input data DI and the pixel value of eight pixels adjacent to the pixel of interest Ip.
  • an output data DIc in which pixel values are arranged in a two-dimensional manner is obtained in the same manner as the input data DI.
  • the pixel value Icp (x, x,) of the pixel Icp of the output data DIc, which is the result of the convolution calculation for the pixel of interest Ip. y) can be obtained, for example, by calculating the following (Equation 1).
  • Icp (x, y) az + by + cx + dw + ev + fu + gt + hs + ir ... (Equation 1)
  • the above-mentioned convolution operation is performed on each pixel of the input data DI, and the pixel value Icp (x, y) is output.
  • the output data DIc having the pixel values Icp (x, y) arranged in two dimensions is output.
  • One output data DIc is output for one filter F.
  • output data DIc is output for each filter F.
  • the output data DIc is data in which pixel values Icp (x, y) are arranged two-dimensionally, and has a width and a height. Further, when a plurality of output data DIc are output by applying a plurality of filters F of different types, the image feature map CMP becomes a set of a plurality of output data DIc. In the image feature map CMP, the number of filters F is called the number of channels.
  • the image feature map CMP shown in FIG. 7 is an example of a 4-channel image feature map CMP having four output data DIcs output by applying four filters F.
  • FIG. 8 is an explanatory diagram in which the convolution process using the filter F is applied to the concept of the convolutional neural network CNN.
  • the convolutional neural network CNN has an input layer and an intermediate layer having a plurality of units U.
  • the weights w1, w2, and w3 indicating the strength of the bond between each unit U in the input layer and each unit U in the intermediate layer correspond to the coefficients of the filter F.
  • Each pixel value Ip (x1, y1), Ip (x1, y2), Ip (x1, y3), ... Of the input data DI is input to each unit U of the input layer, and each pixel value Ip (x1).
  • each number 64, 128, 256, 512, 1024 shown above each image feature map CMP indicates the number of channels possessed by each image feature map CMP.
  • the parenthesized 1/1, 1/2, 1/4, 1/8, and 1/16 attached to the first to fifth layers are the input image II input to the highest first layer. Shows the image size handled in each layer based on the image size.
  • the input image II is subjected to the convolution process twice.
  • a convolution process for applying 64 filters F is performed on the input image II, and a 64-channel image feature map CMP is output.
  • a convolution process for applying 64 filters F is further performed on the image feature map CMP, and the image feature map CMP of 64 channels is finally output in the first layer.
  • the image size which is the width and height of the image feature map CMP output by the first layer, is the same as the image size of the input image II. Therefore, the image size handled by the first layer is the same as the input image II, that is, 1/1 representing the same magnification.
  • the pooling process shown as "pool” in FIG. 5 is performed on the image feature map CMP extracted by the two convolution processes.
  • the pooling process is a process of calculating the local statistics of the image feature map CMP and compressing the image feature map CMP.
  • the local statistic for example, the maximum value or the average value of the pixel values in the block of 2 ⁇ 2 pixels is used.
  • the pooling process that calculates the maximum value is called maximum value pooling
  • the pooling process that calculates the average value is called average value pooling.
  • the pooling process is a process of selecting a local representative value from the pixel values of each pixel of the image feature map CMP, lowering the resolution of the image feature map CMP, and reducing the image size of the image feature map CMP.
  • the pooling process for selecting a representative value from a block of 2 ⁇ 2 pixels is performed by shifting the pooling process by one pixel, the image feature map CMP is reduced to half the original image size.
  • a pooling process for halving the image size of the image feature map CMP is performed in the first layer. Therefore, in the second layer of the encoder network ENC, the image feature map CMP reduced to 1/2 the image size with reference to the input image II is input as the input data DI.
  • the convolution process of applying 128 filters F is performed twice, and the 128-channel image feature map CMP is output. Then, a pooling process for halving the image size is performed on the 128-channel image feature map CMP.
  • 128 channels of image feature map CMP reduced to 1/4 of the image size based on the image size of the input image II are input as input data DI in the second to third layers.
  • the convolution process of applying 256 filters F is performed twice, the image feature map CMP of 256 channels is output, and the image size is further increased with respect to the image feature map CMP of 256 channels.
  • the pooling process is performed in half.
  • 256-channel image feature map CMP reduced to 1/8 of the image size based on the input image II is input as input data DI in the third to fourth layers.
  • the fourth layer two convolution processes for applying 512 filters F are performed, a 512-channel image feature map CMP is output, and an image is output with respect to the 512-channel image feature map CMP.
  • a pooling process is performed to further halve the size.
  • the 512-channel image feature map CMP reduced to 1/16 of the image size based on the input image II is input as the input data DI in the 4th to 5th layers.
  • the convolution process of applying 1024 filters is performed twice.
  • the pooling process is not performed on the image feature map CMP extracted by the convolution process.
  • the input data DI (input image II or image feature map CMP) input to each layer has a stepwise image size from the highest first layer to the lowest fifth layer. It is reduced and the resolution is lowered.
  • the first layer is 1/1 (that is, the same size)
  • the second layer is 1/2
  • the third layer is 1 /.
  • Input data DIs of image sizes of 1/8 for the 4th and 4th layers and 1/16 for the 5th layer are input.
  • Each layer of the encoder network ENC applies a filter F to the input data DI having a different resolution for each layer to perform convolution processing.
  • the convolution process is performed on the input image II having the highest resolution among the input data DIs of each layer. Therefore, the image feature map CMP extracted in the first layer represents the feature of the finest structure having the frequency band having the highest spatial frequency in the input image II.
  • the convolution process is performed on the input data DI whose resolution is lower than that of the input image II. Therefore, the image feature map CMP extracted in the second layer and the third layer represents the feature of the mid-range structure having a frequency band having a lower spatial frequency than the first layer.
  • the image feature map CMP extracted in the 4th layer and the 5th layer is a feature of the global structure having a frequency band having a lower spatial frequency. Represents.
  • the characteristics of images having different frequency bands included in the input image II are output for each layer from the highest layer 1 to the lowest layer 5.
  • Each image size from 1/1 of the first layer to 1/16 of the fifth layer indicates a frequency band that can be analyzed by each layer. That is, 1/1 indicates the frequency band having the highest spatial frequency, and 1/16 indicates the frequency band having the lowest spatial frequency.
  • the reason for increasing the number of filters F to 64, 128, 256, ... As the hierarchy goes down is that the number of filters F is increased as the image size becomes smaller, and the input image II This is to extract various features contained in.
  • the first to fourth layers of the encoder network ENC transmit the image feature map CMP extracted by each to the decoder network DEC.
  • the process of transmitting this image feature map CMP from the encoder network ENC to the decoder network DEC is called a skip layer process, and is indicated by “skip” in FIG.
  • the image feature map CMP indicated by hatching is the image feature map CMP transmitted from the encoder network ENC.
  • the decoder network DEC repeats the upsampling process and the merge process.
  • the upsampling process is shown as "upsmp (upsampling)" in FIG.
  • the upsampling process is a process of gradually increasing the image size of the image feature map CMP having the minimum image size output from the encoder network ENC.
  • the merge process is a process of combining the image feature map CMP that has been gradually enlarged by the upsampling process and the image feature map CMP that is output for each layer in the encoder network ENC and has the same image size.
  • the decoder network DEC generates an output image OI in which the region for each class in the input image II is segmented by the upsampling process and the merge process.
  • the decoder network DEC has a first layer to a fifth layer corresponding to each layer of the encoder network ENC.
  • the image feature map CMP is enlarged so as to have the same size as the image size of each layer corresponding to the encoder network ENC.
  • the upsampling process of this example involves a convolution process of applying the filter F in addition to enlarging the image size.
  • the upsampling process that involves such a convolution process is called an upconvolution process.
  • a merge process and a further convolution process are performed after the up-convolution process is completed.
  • the fifth layer of the decoder network DEC first receives an image feature map CMP having a minimum image size of 1/16 from the lowest fifth layer of the encoder network ENC.
  • the number of channels of this image feature map CMP is 1024.
  • the fifth layer of the decoder network DEC expands the image feature map CMP having an image size of 1/16 to a double image size of 1/8, and performs a convolution process to apply 512 filters F. , Reduce the number of channels by half to 512.
  • An image feature map CMP of 512 channels with an image size of 1/8 is output to the 5th to 4th layers of the decoder network DEC.
  • the image feature map CMP received from the 5th layer of the encoder network ENC and the image feature map CMP transmitted from the 4th layer of the encoder network ENC by skip layer processing are combined. Processing is done.
  • the image feature map CMPs combined in the fourth layer each have an image size of 1/8 and 512 channels. Therefore, in the fourth layer, an image feature map CMP having an image size of 1/8 and 1024 channels (512 + 512) is generated by the merge process.
  • the convolution process of applying 512 filters F to the 1024-channel image feature map CMP is performed twice to have an image size of 1/8 and 512-channel image features.
  • a map CMP is generated.
  • an up-convolution process that doubles the image size to 1/4 and halves the number of channels to 256 channels with respect to the image feature map CMP having an image size of 1/8. Is done.
  • an image feature map CMP having an image size of 1/4 and 256 channels is output from the 4th layer to the 3rd layer.
  • merge processing is performed to combine the image feature map CMP received from the fourth layer and the image feature map CMP transmitted by the skip layer process from the third layer of the encoder network ENC. ..
  • the image feature map CMPs combined in the third layer each have an image size of 1/4 and 256 channels. Therefore, in the third layer, an image feature map CMP having an image size of 1/4 and 512 channels (256 + 256) is generated by the merge process.
  • the convolution process of applying 256 filters F to the 512-channel image feature map CMP is performed twice to have a 1/4 image size and 256-channel image features.
  • a map CMP is generated.
  • an up-convolution process that doubles the image size to 1/2 and halves the number of channels to 128 channels with respect to the image feature map CMP having an image size of 1/4. Is done.
  • an image feature map CMP having an image size of 1/2 and 128 channels is output from the third layer to the second layer.
  • a merge process is performed in which the image feature map CMP received from the third layer and the image feature map CMP transmitted from the second layer of the encoder network ENC by the skip layer process are combined. ..
  • the image feature map CMPs combined in the second layer each have an image size of 1/2 and 128 channels. Therefore, in the second layer, an image feature map CMP having an image size of 1/2 and 256 channels (128 + 128) is generated by the merge process.
  • the convolution process of applying 128 filters F to the 256-channel image feature map CMP is performed twice, and the image size is halved and the 128-channel image feature is displayed.
  • a map CMP is generated.
  • an up-convolution process that doubles the image size to 1/1 and halves the number of channels to 64 channels with respect to the image feature map CMP having an image size of 1/2. Is done.
  • an image feature map CMP having an image size of 1/1 and 64 channels is output from the second layer to the first layer.
  • a merge process is performed in which the image feature map CMP received from the second layer and the image feature map CMP transmitted from the first layer of the encoder network ENC by the skip layer process are combined. ..
  • the image feature map CMPs combined in the first layer have an image size of 1/1 and 64 channels, respectively. Therefore, in the first layer, an image feature map CMP having a 1/1 image size and 128 channels (64 + 64) is generated by the merge process.
  • the convolution process of applying 64 filters F to the 128-channel image feature map CMP is performed.
  • the convolution process of applying one filter F is performed.
  • an output image OI having the same image size as the input image II is generated.
  • the image size of the image feature map CMP with the minimum image size output from the encoder network ENC is gradually increased. Then, while enlarging the image feature map CMP, the image feature map CMP extracted for each layer in the encoder network ENC is combined to generate the output image OI.
  • the image feature map CMP with the smallest image size represents the features of the global structure with the lowest spatial frequency of the input image II.
  • the decoder network DEC by enlarging the image feature map CMP of this minimum image size, the features of the global structure are expanded, and by combining the image feature map CMP from the encoder network ENC, the mid-range structure is fine. Incorporate features up to the structure.
  • the model M uses such an encoder network ENC and a decoder network DEC to generate an output image OI in which the classes included in the input image II are divided into regions.
  • FIG. 9 is an explanatory diagram for more clearly showing the contents of processing for each of the first to fifth layers in the model M shown in FIG.
  • the encoder network ENC is distributed to the client device 12 and used as the first sub-neural network SBN1 in the client device 12.
  • the client device 12 outputs the first processed data PD1 by executing the first process on the input image II using the encoder network ENC.
  • the first process is a process of extracting the features of the input image II as an image feature map CMP by analyzing the input image II
  • the first processed data PD1 is an image feature map CMP.
  • the first process executed by using the encoder network ENC includes a plurality of sub-processes ESP1 to ESP5.
  • the plurality of sub-processes ESP1 to ESP5 are executed in each of the first layer to the fifth layer of the encoder network ENC.
  • each of the processes ESP1 to ESP5 includes a convolution process (conv) and a skip layer process (skip).
  • each of the processes ESP1 to ESP4 also includes a pooling process (pool).
  • the sub-data that is a part of the first process data PD1 is output.
  • the sub data is an image feature map CMP output in each of the sub-processes ESP1 to ESP5
  • the first processing data PD1 includes all the image feature map CMPs output in each of the sub-processes ESP1 to ESP5.
  • the image feature map CMP as sub-data output from each sub-process ESP1 to ESP5 is divided and transmitted for each sub-data from the client device 12 to the server device 14. That is, the plurality of image feature map CMPs output in the sub-processes ESP1 to ESP5 are not transmitted collectively, but are transmitted separately for each image feature map CMP.
  • the skip layer processing for transmitting the image feature map CMP of 64 channels in the sub-processing ESP1 of the first layer and the image feature map CMP of 128 channels in the sub-processing ESP2 of the next second layer. Is executed at a different timing from the skip layer processing for transmitting. Specifically, the skip layer processes of the sub-processes ESP1 and ESP2 are sequentially executed in this order. As a result, the 64-channel image feature map CMP in the first-layer sub-processing ESP1 and the 128-channel image feature map CMP in the next second-layer sub-processing ESP2 are transmitted separately. The same applies to the third and subsequent layers. As a result, the image feature map CMP output in each of the sub-processes ESP1 to ESP5 passes through the shared line 16 at different timings.
  • the image feature map CMP as the first processing data PD1 has a larger number of channels than the input image II. Further, when the first process includes a pooling process, the image feature map CMP has a smaller image size than the input image II.
  • a 64-channel image feature map CMP is output by applying 64 filters in the convolution processing. Since the input image II is not filtered and has substantially one channel, the 64-channel image feature map CMP has more channels than the input image II.
  • the image feature map CMP output in the first layer is subjected to pooling processing when sent from the first layer to the second layer, the image size is smaller than that of the input image II. Since the image size of the image feature map CMP of the second and subsequent layers is gradually reduced by executing the pooling process, the image size of the image feature map CMP of each layer is smaller than that of the input image II. .. However, the image feature map CMP transmitted to the server device 14 as the target of the skip layer processing in the first layer has the same image size as the input image II because the pooling processing is not performed.
  • the decoder network DEC is used as the second sub-neural network SBN2 in the server device 14.
  • the server device 14 outputs the second processed data PD2 (output image OI in this example) by executing the second process on the first processed data PD1 using the decoder network DEC.
  • the second process executed by using the decoder network DEC includes a plurality of sub-processes DSP1 to DSP5.
  • the plurality of sub-processes DSP1 to DSP5 are executed in each of the first layer to the fifth layer of the decoder network DEC.
  • Each of the processes DSP1 to DSP5 includes an upsampling process (upsmp) as described with reference to FIG.
  • each of the sub-processes DSP1 to DSP4 of the first layer to the fourth layer includes a merge process (merge) and a convolution process (conv).
  • the image feature map CMP is output toward the upper layer in each of the sub-processes DSP2 to DSP5 of the second layer to the fifth layer.
  • the image feature map CMP output from the lower layer in the decoder network DEC is merged with the image feature map CMP transmitted by the skip layer process from the encoder network ENC of the client device 12 by the merge process.
  • the output image OI is generated by executing the subprocessed DSP1 based on the image feature map CMP.
  • this output image OI is the second processed data PD2.
  • the second process is executed by using the decoder network DEC.
  • the output image OI is output as the second processed data PD2.
  • the computers constituting the client device 12 and the server device 14 have the same basic configuration, and have a storage device 30, a memory 31, a CPU (Central Processing Unit) 32, a communication unit 33, and a display 34. , And an input device 35. These are interconnected via a bus line 36.
  • a bus line 36 interconnects the computers constituting the client device 12 and the server device 14 to have a bus line 36.
  • the storage device 30 is a hard disk drive built in the computer or connected via a cable or a network. Alternatively, the storage device 30 is a disk array in which a plurality of hard disk drives are connected in series. The storage device 30 stores control programs such as an operating system, various application programs, and various data associated with these programs. A solid state drive may be used instead of the hard disk drive.
  • the memory 31 is a work memory for the CPU 32 to execute a process.
  • the CPU 32 comprehensively controls each part of the computer by loading the operation program 40 stored in the storage device 30 into the memory 31 and executing the processing according to the operation program.
  • the communication unit 33 is a network interface that controls transmission during communication via the shared line 16.
  • the display 34 displays various screens.
  • the computer receives input of operation instructions from the input device 35 through various screens.
  • the input device 35 is a keyboard, a mouse, a touch panel, or the like.
  • the operation program 40 is stored in the storage device 30 of the server device 14.
  • the operation program 40 is an application program for operating the computer as the server device 14. That is, the operation program 40 of the server device 14 is an example of the "operation program of the server device" according to the technique of the present disclosure.
  • the CPU 32 of the server device 14 functions as a data acquisition unit 51, a server-side data processing unit 52, a distribution unit 53, and a division unit 54 by executing the operation program 40.
  • the CPU 32 of the server device 14 is an example of a server-side processor.
  • the data acquisition unit 51 acquires the first processing data PD1 from the client device 12 via the shared line 16. Further, the data acquisition unit 51 receives the processing request from the client device 12. The first processed data PD1 and the processing request acquired by the data acquisition unit 51 are passed to the server-side data processing unit 52.
  • the data acquisition unit 51 has a function of decrypting the first processed data PD1 encrypted in the client device 12.
  • the server-side data processing unit 52 uses the second sub-neural network SBN2 to execute the second processing in which the first processing data is the data to be processed, so that the second processing data which is the processing result of the second processing is executed.
  • Output PD2 The data acquisition unit 51 is an example of the "data acquisition unit” according to the technology of the present disclosure, and the server-side data processing unit 52 is an example of the "data processing unit” according to the technology of the present disclosure.
  • the division unit 54 divides the model M supplied from the learning device 17 into the first sub-neural network SBN1 and the second sub-neural network SBN2.
  • the division unit 54 stores the divided first sub-neural network SBN 1 and the second sub-neural network SBN 2 in the storage device 30.
  • the server-side data processing unit 52 reads the second sub-neural network SBN2 from the storage device 30 when executing the second processing.
  • the distribution unit 53 distributes the second processed data PD2 and the first sub-neural network SBN1 to the client device 12 via the shared line 16.
  • the distribution unit 53 is an example of a “distribution unit” according to the technique of the present disclosure. Further, the distribution unit 53 has a function of encrypting data such as the second processing data PD2 to be distributed to the client device 12.
  • the CPU 32 of the client device 12 functions as a client-side data processing unit 61 and a transmission / reception processing unit 62 by executing an operation program (not shown).
  • the CPU 32 of the client device 12 is an example of a client-side processor.
  • the client-side data processing unit 61 outputs the first processed data PD1 by executing the first process using the first sub-neural network SBN1.
  • the transmission / reception processing unit 62 transmits the first processing data PD1 and the processing request to the server device 14 via the shared line 16. Further, the transmission / reception processing unit 62 receives the second processing data PD2 and the first sub-neural network SBN1.
  • the transmission / reception processing unit 62 has a function of encrypting the first processing data PD1 transmitted to the server device 14 via the shared line 16. Further, the transmission / reception processing unit 62 has a function of decrypting data such as the second processing data PD2 encrypted by the server device 14.
  • Data such as an input image II, a first sub-neural network SBN1, a second processing data PD2, and an operation program (not shown) are stored in the storage device 30 of the client device 12.
  • the client-side data processing unit 61 reads out the first sub-neural network SBN1 when executing the first processing.
  • the first sub-neural network SBN1 is divided from the model M by the dividing unit 54 in advance, and the first sub-neural network SBN1 is distributed to the client device 12.
  • the user 11 first causes the client device 12 to execute the first process for the input image II.
  • the client-side data processing unit 61 executes the first processing on the input image II to be analyzed by using the first sub-neural network SBN1.
  • the transmission / reception processing unit 62 transmits a processing request to the server device 14.
  • the transmission / reception processing unit 62 transmits the first processing data PD1 which is the processing result of the first processing for each sub data, specifically, for each image feature map CMP output in each layer. Divide and send.
  • the first processed data PD1 is encrypted.
  • the server device 14 waits for a processing request in step S2110. Then, when the data acquisition unit 51 receives the processing request (YES in step S2110), the data acquisition unit 51 acquires the first processing data PD1 in step S2210. Since the acquired first processed data PD1 is encrypted, it is decrypted.
  • the server-side data processing unit 52 executes the second processing on the first processing data PD1 by using the second sub-neural network SBN2. As a result, in the server device 14, the output image OI is generated as the second processing data PD2.
  • the distribution unit 53 distributes the output image OI to the client device 12 as the second processing data PD2.
  • the client device 12 receives the output image OI as the second processing data PD2.
  • the output image OI is acquired as the processing result of the data analysis processing for the input image II.
  • the user grasps the number and size of each cell based on the output image OI, and evaluates the cell culture.
  • the first process which is a part of the data analysis process, is executed on the input image II by using the first sub-neural network SBN1.
  • the data acquisition unit 51 acquires the first processed data PD1, which is the processing result of the first process, from the client device 12 via the shared line 16.
  • the server-side data processing unit 52 uses the second sub-neural network SBN2 to execute the second processing, which is a part of the data analysis processing, based on the first processing data PD1, thereby performing the second processing data.
  • the output image OI is output as PD2.
  • the technique of the present disclosure it is not the input image II itself to be analyzed that is input by the user that passes through the shared line 16, but the first process that is a part of the data analysis process for the input image II. This is the data given.
  • the data analysis process using the neural network if the process using a part of the neural network is performed, the input data to be analyzed is abstracted. Therefore, even when the data passing through the shared line 16 is intercepted, the user's business content (research content, product development content, etc.) can be grasped from the data content as compared with the case where the input image II itself is intercepted. It is unlikely that it will end up.
  • the first process executed by using the first sub-neural network SBN1 includes a plurality of sub-processes such as sub-processes ESP1 to ESP5, and the image feature map CMP output by each of the plurality of sub-processes.
  • Sub-data that is a part of the first processing data PD1 is output.
  • the data acquisition unit 51 divides and acquires the first processed data PD1 for each sub data. That is, since the first processed data PD1 passes through the shared line 16 in a divided state, even if a part of the first processed data PD1 is intercepted, all of the first processed data PD1 is collectively shared. It is harder to grasp the business content of the user than when passing through 16. As a result, information security risk is further reduced.
  • the encoder network ENC of this example has a plurality of layers for analyzing the input image II, and in the first processing, the image feature map CMP is output as the first processing data PD1 for each layer. Will be done.
  • the image feature map CMP becomes more abstract each time it is processed by each layer. Therefore, even if the first processed data PD1 is intercepted, it is more difficult to grasp the business content of the user from the first processed data PD1 having a high degree of abstraction. As a result, information security risk is further reduced.
  • the first sub-neural network SBN1 is an encoder network ENC that extracts the features of the input data as the first processed data PD1 by analyzing the input data such as the input image II.
  • the first processed data PD1 is an image feature map CMP extracted as a feature of the input image II.
  • the first processing data PD1 has a larger number of channels than the input image II.
  • the image size is often small, and the degree of abstraction of the first processed data PD1 is increased. Therefore, even if the first processed data PD1 is intercepted, it is more difficult to grasp the business content of the user from the first processed data PD1 having a high degree of abstraction. As a result, information security risk is further reduced.
  • the business content is specified as compared with the case where the analysis target is, for example, text data.
  • the analysis target is, for example, text data.
  • the amount of information is abundant. Therefore, there is a great need to reduce information security risks by using the technology of the present disclosure.
  • the model M is a neural network for performing semantic segmentation in the image analysis process
  • the load of development and maintenance is often large. Therefore, for services that perform semantic segmentation, there is a high need for online services that bear less cost to users.
  • the technique of the present disclosure is effective in providing such an online service at low cost by using the shared line 16.
  • the first sub-neural network SBN1 is the uppermost layer to which the input image II is input. Includes the part corresponding to the first layer of. Therefore, the input image II itself does not pass through the shared line 16.
  • the division method in which the first sub-neural network SBN1 includes the portion corresponding to the first layer of the encoder network ENC is most preferable from the viewpoint of reducing the information security risk.
  • the second sub-neural network SBN2 includes a portion of the decoder network DEC corresponding to the lowest Nth layer (N is 5 in the above example).
  • N is 5 in the above example.
  • the division method in which the second sub-neural network SBN2 includes the portion corresponding to the lowermost layer of the decoder network DEC is most preferable from the viewpoint of reducing the processing load of the client device 12.
  • the division method in which the first sub-neural network SBN1 includes the portion corresponding to the uppermost layer of the encoder network ENC and the second sub-neural network SBN2 includes the portion corresponding to the lowermost layer of the decoder network DEC is used. , Many merits are preferable.
  • the cell image was described as the input image II as an example, but when the semantic segmentation of the cell image is performed, the classes to be discriminated are differentiated cells and undifferentiated cells. Compared with a class in which the subject in the image has a relatively clear form such as a person or a car, the class in which the subject in the cell image is a subject is relatively difficult to visually distinguish. There is a great need to provide an online service for data analysis processing services that perform such semantic segmentation of cell images. Therefore, the technology of the present disclosure that can reduce the information security risk of such a data analysis processing service is effective.
  • the server device 14 includes a distribution unit 53 that distributes the first sub-neural network SBN1 to the client device 12. Therefore, when the model M is updated, the updated first sub-neural network SBN1 can be easily provided to the client device 12.
  • the data acquisition unit 51 has a function of decrypting the first processed data PD1 encrypted by the client device 12, it is difficult to intercept the data as compared with the case where the data is not encrypted, and there is an information security risk. Is further reduced.
  • the model M is divided into two sub-neural networks, an encoder network ENC and a decoder network DEC. Then, in the first embodiment, the process corresponding to the encoder network ENC is executed by the client device 12, and the process corresponding to the decoder network DEC is executed by the server device 14.
  • the division method of the model M is not limited to the example of the first embodiment, and may be divided as in the second embodiment shown in FIG. 13, for example.
  • the model M is divided into three parts: a first sub-neural network SBN1, a second sub-neural network SBN2, and a third sub-neural network SBN3. Then, in the second embodiment, each sub-neural network is divided across the encoder network ENC and the decoder network DEC. By being divided across the board in this way, the processing corresponding to the portion corresponding to the first layer of each of the encoder network ENC and the decoder network DEC is executed by the client device 12. Then, the server device 14 executes the process corresponding to the portion of the second layer or lower.
  • the overall content of the model M in the second embodiment is the same as that of the first embodiment shown in FIGS. 5 and 9, and only the division method is different from that of the first embodiment.
  • the client device 12 executes the first process using the first sub-neural network SBN1 and the third process using the third sub-neural network SBN3.
  • the server device 14 executes the second process using the second sub-neural network SBN2. In the data analysis process, the first process, the second process, and the third process are executed in this order.
  • the first sub-neural network SBN1 includes only the portion corresponding to the first layer of the encoder network ENC.
  • the first processing is only the sub-processing ESP1
  • the first processing data PD1 is an image feature map CMP output in the sub-processing ESP1.
  • the second sub-neural network SBN2 includes a portion corresponding to the second layer to the fifth layer of the encoder network ENC and the fifth layer to the second layer of the decoder network DEC.
  • the second processing is sub-processing ESP2 to ESP5 using the encoder network ENC and sub-processing DSP5 to DSP2 using the decoder network DEC based on the first processing data PD1.
  • the second processed data PD2 is an image feature map CMP output in the sub-process DSP2.
  • the second processed data PD2 is not the output image OI but the intermediate data for generating the output image OI.
  • the third sub-neural network SBN3 includes only the part corresponding to the first layer of the decoder network DEC.
  • the third process is only the sub-process DSP1, and the third process data PD3 is the output image OI.
  • step S1120 the client device 12 executes the first processing on the input image II by using the first sub-neural network SBN1.
  • the first process is the sub-process ESP1 of the encoder network ENC
  • the first process data PD1 is the image feature map CMP output in the sub-process ESP1.
  • a process request is transmitted in step S1220.
  • step S1320 the image feature map CMP output in the sub-processing ESP1 is transmitted to the server device 14 as the first processing data PD1 via the shared line 16.
  • the data acquisition unit 51 acquires the first processing data PD1 in step S2220.
  • the server-side data processing unit 52 executes the second processing using the second sub-neural network SBN2 based on the acquired first processing data PD1.
  • the second processing data PD2 is output.
  • the distribution unit 53 distributes the second processed data PD2, which is intermediate data, to the client device 12.
  • the client device 12 receives the second processing data PD2 in step S1420.
  • the client device 12 executes the third process based on the second process data PD2 using the third sub-neural network SBN3.
  • the third process is the sub-process DSP1 of the first layer of the decoder network DEC, and when the third process is executed, the output image OI is generated as the third process data PD3 in S1620.
  • the input image II does not pass through the shared line 16 as it is, as in the first embodiment. Therefore, the information security risk can be reduced as in the first embodiment.
  • the encoder network ENC and the decoder network DEC are executed so that both processes corresponding to the same layer of the encoder network ENC and the decoder network DEC are executed in either the client device 12 or the server device 14. And are divided across the board. Therefore, the skip layer processing of each layer is performed in the client device 12 or the server device 14. As a result, the image feature map CMP associated with the skip layer processing does not pass through the shared line 16. As a result, the amount of image feature map CMP passing through the shared line 16 is reduced, and the information security risk is reduced.
  • the first sub-neural network SBN1 used by the client device 12 includes a portion corresponding to the first layer of the encoder network ENC, and the server device 14
  • the second sub-neural network SBN2 used by is included a portion corresponding to the bottom layer of the decoder network DEC.
  • such a division method is preferable because it has great merits from the viewpoint of reducing the information security risk and the processing load of the client device 12.
  • the portion having the same configuration as the first embodiment has the same effect as that in the first embodiment.
  • the division method of the second embodiment is effective from the viewpoint of shortening the processing time.
  • the abstraction level of the data transmitted from the client device 12 to the server device 14 is reduced by dividing the data so as to be included in the first sub-neural network SBN1 to the lowest layer as much as possible. It is preferable to raise it.
  • the processing load tends to increase toward the bottom layer. Therefore, from the viewpoint of reducing the processing load of the client device 12, the lower layer layer is provided in the first sub-neural network SBN1. It is not preferable to include it.
  • the image feature map CMP is abstracted to the extent that the class shown in the input image II cannot be recognized, even if the image feature map CMP is intercepted, the user's business content can be obtained from the content of the image feature map CMP. It becomes impossible to grasp. Although it depends on the content of the input image II, in the case of a cell image, if the image feature map CMP is reduced to about half the image size of the input image II, even if it is understood that it is a cell image, the type of cell. It becomes difficult to identify. Therefore, it is preferable to divide the image feature map CMP into a hierarchy in which the image size is about half that of the input image II so as to be included in the first sub-neural network SBN1.
  • the size of one class such as one cell included in the input image II is reduced to a degree of 3 pixels or less in the image feature map CMP, the cell type and the like class. Since it is impossible to specify the type, the information security risk can be reduced to almost zero. Therefore, if you want to reduce the information security risk to zero, divide it so that it is included in the first sub-neural network SBN1 up to the layer where the size of the class to be discriminated included in the image feature map CMP is 3 pixels or less. Is preferable. As a result, the processing load of the client device 12 can be reduced while reducing the information security risk.
  • the method of dividing the model M is not limited to the first embodiment shown in FIG. 9 and the second embodiment shown in FIG. 13, and various methods can be considered.
  • the first sub-neural network SBN1 may include only the portion corresponding to the first layer of the encoder network ENC, and the rest may be the second sub-neural network SBN2.
  • the divided portion to be divided as the first sub-neural network SBN1 may be changed.
  • the division unit 54 determines and divides the division portion of the first sub-neural network SBN1.
  • the change of the divided portion is performed according to the preset conditions. In the example of FIG. 16, it is changed every time a processing request for data analysis processing is received.
  • the server device 14 receives the processing request in step S2130.
  • the server device 14 determines the division portion of the first sub-neural network SBN1 by the division unit 54, and divides the server device 14 according to the determined contents. Then, in step S2330, the distribution unit 53 distributes the divided portion to the client device 12 as the first sub-neural network SBN1.
  • the client device 12 acquires the first sub-neural network SBN1 in step S1230. Then, in step 1330, the first process is executed on the input image II by using the acquired first sub-neural network SBN1.
  • the division method is the same as that of the second embodiment shown in FIGS. 13 and 14. Therefore, the processing from step S2430 to step S2630 in the server device 14 and the processing from step S1530 to step S1730 in the client device 12 are the same as those in the second embodiment shown in FIG. 14, and the description thereof will be omitted.
  • the division unit 54 that is distributed to the client device 12 and can change the division portion to be divided as the first sub-neural network SBN1 is provided. If the divided portion is changed in this way, the content of the data passing through the shared line 16 changes each time the divided portion is changed. Therefore, it becomes more difficult to grasp the business content of the user 11 from the intercepted data, and the information security risk can be further reduced.
  • the condition for changing the divided portion is every time a processing request for data analysis processing is received, that is, every time the data analysis processing is performed once, but the condition for changing the divided portion is this. Other than that.
  • the condition may be, for example, every time the data analysis process is performed a plurality of times. Further, the condition for changing the divided portion may be a preset time interval, or the change instruction from the user 11 may be a condition.
  • the server device 14 is provided with the out-licensing unit 56.
  • the derivation unit 56 derives at least one of the number and size of cells shown as a class in the output image OI based on the output image OI.
  • the size may be an area, or may be an index indicating an approximate size such as large, medium, or small.
  • FIG. 18 shows the processing procedure of the fourth embodiment. Note that, in FIG. 18, steps S2440 and S2540 of the server device 14 and steps S1440 of the client device 12 are excluded, and the same as the first embodiment shown in FIG. 12, so the description of the common parts will be omitted.
  • the server-side data processing unit 52 executes the second process in step S2440 and outputs the output image OI.
  • the out-licensing unit 56 derives the number and size of cells based on the output image OI.
  • the derivation unit 56 identifies the region of each cell based on the data labeled as differentiated cells and undifferentiated cells by discriminating on a pixel-by-pixel basis in the output image OI. Derivation of numbers and sizes.
  • the derived information is distributed to the client device 12.
  • the client device 12 receives the number and size of delivered cells in step S1440.
  • cells Compared to humans and automobiles, cells have a finer structure, so it is relatively difficult to recognize the outline and type of cells in a cell image. Therefore, in addition to semantic segmentation, it is effective to add a service for deriving the number and size of cells to the data analysis processing service in consideration of the convenience of the user 11.
  • the model M including the neural network is learned for two or more cell types in the learning phase.
  • the model M of the fifth embodiment for example, in the learning device 17, two or more cells are used by using the learning data of different types of cell images such as the learning data LD1 of the nerve cell and the learning data LD2 of the cardiomyocyte. You are learning about the types of.
  • model M is learned about two or more cell types, there are the following merits. That is, in this case, the degree of abstraction of the image feature map CMP output as the first processed data PD1 is higher than that of the model M trained by only one type of cell. This is because the model M is learned to discriminate between classes such as differentiated cells and undifferentiated cells regardless of the cell type, so that the distinction between nerve cells and cardiomyocytes is not emphasized in the learning process. Therefore, in the image feature map CMP, the degree of abstraction is high for the features for discriminating the cell type such as nerve cells or cardiomyocytes.
  • the first process executed by the client device 12 using the first sub-neural network SBN1 has been described as an example of the first process in the data analysis process, but the first process is the data analysis process. It does not have to be the first process. For example, another process may be performed before the first process. Further, as shown in the second embodiment, the second process does not have to be the final process in the data analysis process. That is, the first process and the second process are each a part of the data analysis process, and the first process may be a process performed prior to the second process.
  • the input image II a cell image obtained by photographing a plurality of cells in culture is exemplified, and as a class, differentiated cells, a medium, etc. are exemplified, but the present invention is not limited thereto.
  • an MRI (Magnetic Resonance Imaging) image may be used as the input image II, and an organ such as the liver or kidney may be used as the class.
  • the model M is not limited to U-Net, and may be another convolutional neural network such as SegNet.
  • the data analysis process is not limited to the one for performing semantic segmentation, and may be an image analysis process that only detects an object reflected in the input image II. Further, for example, an image analysis process may be performed in which an input image II obtained by capturing a subject with a camera or the like is analyzed and the subject is converted into an image drawn in an illustration style.
  • the data analysis process may be other than the image analysis process.
  • the technique of the present disclosure is applied to data analysis processing such as solving a variable selection problem and an optimization problem by analyzing the input data using a neural network using various experimental data and statistical data as input data. It is also possible.
  • the client device 12 may be a terminal device directly operated by the user, such as a tablet or a laptop computer, or may be connected to a plurality of terminal devices used by the user 11 by an in-house LAN, and may be connected to the request of each terminal device according to the request of each terminal device. It may be a server device under the control of the client side that executes processing on the terminal device. When the server device on the client side is the client device 12, the server device on the client side and the server device 14 in the provider 13 share the processing of the neural network.
  • the hardware configuration of the computer that constitutes the data analysis processing system 10 can be modified in various ways.
  • the server device 14 and the learning device 17 may be integrated and configured by one computer.
  • the data acquisition unit 51, the server-side data processing unit 52, the distribution unit 53, the division unit 54, and the derivation unit 56 of the server device 14 are distributed and carried by two computers.
  • the server device 14 is composed of two computers.
  • the hardware configurations of the data analysis processing system 10 and the server device 14 can be appropriately changed according to the required performance such as processing capacity, safety, and reliability. Furthermore, not only hardware but also application programs such as the operation program 40 can be duplicated or distributed and stored in a plurality of storage devices for the purpose of ensuring safety and reliability. is there.
  • the hardware structure of the processing unit (Processing Unit) that executes various processes such as the server-side data processing unit 52, the distribution unit 53, the division unit 54, and the derivation unit 56 is as follows.
  • Various processors (Processors) shown in the above can be used.
  • the CPU 32 which is a general-purpose processor that executes software (operation program 40) and functions as various processing units, after manufacturing an FPGA (Field Programgable Gate Array) or the like.
  • Dedicated processor with a circuit configuration specially designed to execute specific processing such as programmable logic device (PLD), ASIC (Application Specific Integrated Circuit), which is a processor whose circuit configuration can be changed. Includes electrical circuits and the like.
  • One processor may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and / or a CPU and a CPU). It may be configured in combination with FPGA). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as in the case where a server device 14 is configured by a plurality of computers.
  • this processor functions as a plurality of processing units.
  • SoC system on chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. is there.
  • the various processing units are configured by using one or more of the various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • these various processors execute various processes in cooperation with the memory built in or connected to the processor.
  • a server device that executes a part of data analysis processing in a data analysis processing system that executes data analysis processing using a neural network.
  • the first process that is a part of the data analysis process using the first sub-neural network that is a part of the neural network, it can be used by a plurality of users from the client device that outputs the first process data.
  • a first processor that acquires first processing data via a shared line, which is a common communication line.
  • the second processing which is a part of the data analysis processing, based on the first processing data, using the second sub-neural network which is a part of the neural network and is different from the first sub-neural network.
  • a server device including a second processor that outputs second processing data.
  • Appendix 2 In a data analysis processing system that executes data analysis processing using a neural network, it is an operation program of a server device that executes a part of the data analysis processing. By executing the first process that is a part of the data analysis process using the first sub-neural network that is a part of the neural network, it can be used by a plurality of users from the client device that outputs the first process data.
  • a program for operating a server device that causes a computer processor to execute a data output process for outputting the second process data.
  • Appendix 3 In a data analysis processing system that executes data analysis processing using a neural network, it is a method of operating a server device that executes a part of data analysis processing.
  • a method of operating the server device including outputting the second processing data.
  • the client device is The client side that outputs the first processing data that is the processing result of the first processing by executing the first processing that is a part of the data analysis processing using the first sub-neural network that is a part of the neural network. Equipped with a processor
  • the server device is Data acquisition processing to acquire the first processing data from the client device via the shared line, which is a shared communication line that can be used by multiple users.
  • a data analysis processing system including a server-side processor that executes a data output process for outputting the second process data which is a process result of the second process.
  • the technique of the present disclosure can be appropriately combined with the various embodiments described above and various modifications.
  • various configurations can be adopted as long as they do not deviate from the gist.
  • the technique of the present disclosure extends to a computer-readable storage medium that stores the program non-temporarily.
  • a and / or B is synonymous with "at least one of A and B". That is, “A and / or B” means that it may be only A, only B, or a combination of A and B. Further, in the present specification, when three or more matters are connected and expressed by "and / or", the same concept as “A and / or B" is applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

データ解析処理の一部を実行するサーバ装置であって、ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得するデータ取得部と、ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理データを出力するデータ処理部と、を備えている。

Description

サーバ装置、サーバ装置の作動プログラム及び作動方法、並びにデータ解析処理システム
　本開示の技術は、サーバ装置、サーバ装置の作動プログラム及び作動方法、並びにデータ解析処理システムに関する。
　ニューラルネットワークを有する機械学習モデルを利用してデータ解析処理を実行するデータ解析処理システムが知られている（特開２００２－３４２７３９号公報及び特開２０１０－２８７０６２号公報参照）。このようなデータ解析処理システムが実行するデータ解析処理には、例えば、特開２００２－３４２７３９号公報に記載されているような、画像認識処理などの画像解析処理が含まれる。
　特開２００２－３４２７３９号公報に記載のデータ解析処理システムは、クライアント装置とサーバ装置とで構成されている。サーバ装置は、学習データを用いて機械学習モデルを学習させる学習フェーズを担当し、クライアント装置は、サーバ装置において学習された学習済みの機械学習モデルを用いてデータ解析処理を実行する運用フェーズを担当する。また、特開２００２－３４２７３９号公報に記載のデータ解析処理システムにおいては、クライアント装置においてデータ解析処理の実行を通じて取得され、サーバ装置が機械学習モデルを追加学習させる学習フェーズにおいて必要なパラメータを、クライアント装置からサーバ装置に送信している。サーバ装置は、機械学習モデルの追加学習を通じて取得され、運用フェーズにおいて必要となるパラメータを、クライアント装置に送信している。
　また、特開２０１０－２８７０６２号公報のデータ解析処理システムも、クライアント装置とサーバ装置とで構成される。特開２０１０－２８７０６２号公報のデータ解析処理システムにおいては、サーバ装置が複数のサーバコンピュータで構成されており、クライアント装置は、各サーバコンピュータを管理する管理装置として機能する。具体的には、特開２０１０－２８７０６２号公報に記載のデータ解析処理システムは、ニューラルネットワークを用いた処理は、複数のサーバコンピュータが分担する。クライアント装置は、ニューラルネットワークを用いた処理を実行することはなく、各サーバコンピュータが出力する処理の実行結果を各サーバコンピュータ間で中継する中継機能と、各サーバコンピュータの処理を同期させる同期機能とを担っている。
　こうしたニューラルネットワークを用いたデータ解析処理を、通信回線を使用するオンラインのアプリケーションサービス（クラウドサービスなどとも呼ばれる）として提供することが、発明者によって検討されている。ニューラルネットワークを用いたデータ解析処理は、解析精度が上がるほど、データ処理量が多くなるのが一般的である。このようなデータ解析処理の処理時間を短縮するためには処理能力の高いハードウェアが必要になり、そうすると、処理装置のハードウェアコストが増加する。また、ニューラルネットワークは、解析精度が上がるほど、開発コストが大きくなることに加えて、追加学習などのメインテナンスに要するメインテナンスコストも増加する傾向がある。そのため、データ解析処理をオンラインのアプリケーションサービスとしてユーザに提供することができれば、ユーザは、ハードウェアコスト及び開発コストなどの初期投資に加えて、メインテナンスコストも不要となり、利用料のみで、精度の高いデータ解析処理サービスを比較的安価に利用することが可能となる。
　しかしながら、不特定多数のユーザにオンラインサービスを安価に提供するためには、次のような問題があった。すなわち、利用料を安く抑えるには、通信回線としては、コストが高い専用回線を使用せずに、共用回線を利用することが好ましい。ここで、共用回線とは、インターネットなどの公衆回線のように、複数のユーザが利用可能な共用の通信回線をいう。
　しかし、共用回線を使用する場合は、ユーザの解析対象のデータの内容が傍受されるおそれがある。ユーザの解析対象のデータそのものが傍受されると、解析対象のデータの内容に基づいてユーザの事業内容（研究内容及び商品の開発内容など）が把握されてしまうという情報セキュリティリスクが、専用回線を使用する場合に比べて、大きいという問題がある。
本開示の技術は、共用回線を使用してデータ解析処理をオンラインサービスとして提供する場合でも、従来と比べて、情報セキュリティリスクを低減することが可能なサーバ装置、サーバ装置の作動プログラム及び作動方法、並びにデータ解析処理システムを提供することを目的とする。
　上記目的を達成するために、本開示の技術に係るサーバ装置は、ニューラルネットワークを用いて、データ解析処理を実行するデータ解析処理システムにおいて、データ解析処理の一部を実行するサーバ装置であって、ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得するデータ取得部と、ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理データを出力するデータ処理部と、を備えている。
　第１サブニューラルネットワークを、共用回線を介して、クライアント装置に配信する配信部を備えていることが好ましい。
　ニューラルネットワークのうち、第１サブニューラルネットワークとして分割する分割部分を変更可能な分割部を備えていることが好ましい。
　分割部分の変更は、予め設定された条件に基づいて行われることが好ましい。
　データ取得部は、クライアント装置において暗号化された第１処理データを復号化する機能を備えていることが好ましい。
　第１サブニューラルネットワークを用いて実行される第１処理は、複数のサブ処理が含まれており、かつ、複数のサブ処理のそれぞれによって、第１処理データの一部であるサブデータが出力され、データ取得部は、第１処理データを、サブデータ毎に分割して取得することが好ましい。
　第１サブニューラルネットワークは、入力される入力データを解析する複数の階層を有し、複数のサブ処理は、複数の階層のそれぞれにおいて実行され、サブデータは、サブ処理毎に出力されることが好ましい。
　第１サブニューラルネットワークは、入力される入力データを解析することにより、入力データの特徴を第１処理データとして抽出するエンコーダネットワークを含むことが好ましい。
　データ解析処理は、入力される入力画像を解析する画像解析処理であることが好ましい。
　第１サブニューラルネットワークは、入力画像を解析することにより、入力画像の特徴を表す画像特徴マップを第１処理データとして抽出するエンコーダネットワークを含むことが好ましい。
　エンコーダネットワークを用いて実行される第１処理は、フィルタを用いた畳み込み演算を行って、入力画像に含まれる、周波数帯域が異なる特徴を表す画像特徴マップを抽出する畳み込み処理と、畳み込み処理で抽出された画像特徴マップの局所的な統計量を計算して画像特徴マップを圧縮することにより、画像サイズが縮小された画像特徴マップを出力するプーリング処理とのうち、少なくとも畳み込み処理を含み、第１処理データは、入力画像よりも、フィルタの適用枚数に応じたチャンネル数が多く、かつ、第１処理にプーリング処理が含まれる場合は、第１処理データは、入力画像よりも、画像サイズが小さいことが好ましい。
　エンコーダネットワークは、入力画像を解析する複数の階層を有し、第１処理において、階層毎に画像特徴マップを抽出することが好ましい。
　ニューラルネットワークは、エンコーダネットワークと、階層毎に抽出された画像特徴マップに基づいて、入力画像内のクラス毎の領域がセグメンテーションされた出力画像を生成するデコーダネットワークとを有し、画像解析処理として、入力画像に含まれる複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを行う畳み込みニューラルネットワークであることが好ましい。
　エンコーダネットワーク及びデコーダネットワークは、それぞれ、複数の階層として、最上層の第１階層から最下層の第Ｎ階層までのＮ個の階層を有しており、第１サブニューラルネットワークは、エンコーダネットワークのうち、入力画像が入力される最上層の第１階層に対応する部分を少なくとも含み、第２サブニューラルネットワークは、デコーダネットワークのうち、最下層の第Ｎ階層に対応する部分を少なくとも含むことが好ましい。
　セマンティックセグメンテーションの処理結果である出力画像に基づいて、クラスの数、及びサイズの少なくとも１つを導出する導出部を備えていることが好ましい。
　入力画像は、細胞を撮影した細胞画像であることが好ましい。
　ニューラルネットワークは、学習フェーズにおいて、２以上の細胞種類について学習されていることが好ましい。
　本開示の技術に係るサーバ装置の作動プログラムは、ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムにおいて、データ解析処理の一部を実行するサーバ装置の作動プログラムであって、ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得するデータ取得部と、ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理データを出力するデータ処理部として、コンピュータを機能させる。
　本開示の技術に係るサーバ装置の作動方法は、ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムにおいて、データ解析処理の一部を実行するサーバ装置の作動方法であって、ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得するデータ取得ステップと、ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理データを出力するデータ処理ステップとを含む。
　本開示の技術に係るデータ解析処理システムは、クライアント装置とサーバ装置とを含み、ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムであって、クライアント装置は、ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理の処理結果である第１処理データを出力するクライアント側データ処理部を備えており、サーバ装置は、クライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得するデータ取得部と、ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理の処理結果である第２処理データを出力するサーバ側データ処理部とを備えている。
　本開示の技術によれば、共用回線を使用してデータ解析処理をオンラインサービスとして提供する場合でも、情報セキュリティリスクを低減することができる。
データ解析処理システムを示す図である。 培養中の複数の細胞を撮影した細胞画像を示す図であり、図２Ａは入力画像、図２Ｂは出力画像をそれぞれ示す。 データ解析処理システムの処理の概要を示す図である。 モデルを示す図である。 学習装置の概要を示す図である。 畳み込み処理の説明図である。 画像特徴マップを示す図である。 フィルタを使用した畳み込み処理を、畳み込みニューラルネットワークの概念に当てはめた説明図である。 モデルの階層毎の処理を示す図である。 コンピュータを示すブロック図である。 クライアント装置及びサーバ装置のＣＰＵの処理部を示すブロック図である。 データ解析処理システムの処理手順を示すフローチャートである。 第２実施形態のモデルの分割方法を示す図である。 第２実施形態のデータ解析処理システムの処理手順を示すフローチャートである。 モデルの分割方法の変形例を示す図である。 第３実施形態のデータ解析処理システムの処理手順を示すフローチャートを示す図である。 第４実施形態のデータ解析処理システムの構成を示す図である。 第４実施形態のデータ解析処理システムの処理手順を示すフローチャートを示す図である。 第５実施形態の説明図である。
　［第１実施形態］
　図１において、データ解析処理システム１０は、データ解析処理サービスをアプリケーションサービスとして、複数のユーザ１１に対して、共用回線１６を介してオンラインで提供するシステムである。データ解析処理システム１０は、複数のユーザ１１のそれぞれのクライアント装置１２と、アプリケーションサービスプロバイダ（以下、単にプロバイダという）１３が運用するサーバ装置１４とを備える。複数のクライアント装置１２と、サーバ装置１４とは共用回線１６を介して通信可能に接続されている。
　共用回線１６は、上述のとおり、不特定又は特定の複数のユーザ１１が利用可能な共用の通信回線である。共用回線１６には、例えば、インターネット、公衆交換電話網（ＰＳＴＮ： Public Switched Telephone Networks）、移動体通信網、有線又は無線の公衆ＬＡＮ（Local Area Network）などの不特定多数のユーザ１１が利用可能な公衆回線の他、特定の複数のユーザが利用可能なＶＰＮ（Virtual Private Network）なども含まれる。ＶＰＮは、インターネットなどの公衆回線網をベースネットワークとして利用し、このベースネットワークと暗号化技術とを用いて特定のユーザ間における仮想的な専用線を構築する通信回線である。ＶＰＮは、ベースネットワークが公衆回線であるため、物理的には複数のユーザ１１が利用可能な共用回線１６である。
　プロバイダ１３が提供するデータ解析処理サービスは、ニューラルネットワークを有する機械学習モデル（以下、単にモデルという）Ｍを用いたデータ解析処理サービスである。プロバイダ１３は、モデルＭを学習させる学習装置１７を備えている。サーバ装置１４は、学習装置１７によって学習済みのモデルＭを使用して、データ解析処理を実行することにより、データ解析処理サービスをユーザ１１に提供する。
　本例のデータ解析処理サービスは、具体的には、解析対象となる画像について、セマンティックセグメンテーションを実行する画像解析処理サービスである。セマンティックセグメンテーションとは、入力画像に含まれる複数のクラスの判別を画素単位で行って、判別したクラス毎に領域を区分けした出力画像を出力する、という画像解析手法である。クラスとは、入力画像に映る物体の種類である。例えば、コップ、本、携帯電話の３つの物体が映った入力画像を、モデルＭに与えた場合、コップ、本、携帯電話が各々クラスとして判別され、かつコップ、本、携帯電話の輪郭を忠実に辿った輪郭線で画定される領域がクラス毎に識別可能に提示された出力画像が得られる。
　図２Ａに示すように、本例では、入力画像ＩＩは、培養途中の細胞を位相差顕微鏡で撮影した細胞画像である。入力画像ＩＩには、分化細胞、未分化細胞、死細胞、及び細胞を培養する培地のそれぞれのクラスが映っている。こうした入力画像ＩＩに対して、モデルＭを利用してセマンティックセグメンテーションが実施されると、入力画像ＩＩ内のクラス１の分化細胞ＤＣ、クラス２の未分化細胞ＵＤＣ、クラス３の死細胞ＤＤＣ、クラス４の培地ＰＬの各々の領域が判別される。そして、図２Ｂに示すように、判別された各クラス１からクラス４の領域が、例えば異なる色で表示されるなどの識別可能な形態で表示される出力画像ＯＩが生成される。ユーザは、こうした出力画像ＯＩに基づいて、例えば、各細胞の数及びサイズなどを把握して、細胞培養の経過及び結果の評価などを行う。
　ユーザ１１は、プロバイダ１３を利用したい場合は、例えば、予めプロバイダ１３との間でデータ解析処理サービスの利用契約を結び、ユーザアカウントなどを取得する。そして、ユーザ１１は、実際にデータ解析処理サービスを利用する場合は、クライアント装置１２から共用回線１６を介して、解析対象のデータと処理要求とを、サーバ装置１４に送信する。サーバ装置１４は、処理要求を受け付けると、解析対象のデータに対してデータ解析処理を実行する。そして、サーバ装置１４は、出力画像ＯＩなどの処理結果を、共用回線１６を介してクライアント装置１２に送信する。
　また、図３に示すように、サーバ装置１４は、モデルＭを利用して実行されるデータ解析処理サービスの一部を、クライアント装置１２に分担させる。具体的には、サーバ装置１４は、学習装置１７から供給されるモデルＭを第１サブニューラルネットワークＳＢＮ１及び第２サブニューラルネットワークＳＢＮ２の２つの部分に分割する。そして、サーバ装置１４は、分割した第１サブニューラルネットワークＳＢＮ１をクライアント装置１２に配信する。クライアント装置１２は、解析対象の入力画像ＩＩに対して、第１サブニューラルネットワークＳＢＮ１を用いて、データ解析処理の一部である第１処理を実行することにより、第１処理データＰＤ１を出力する。クライアント装置１２は、共用回線１６を介して、第１処理データＰＤ１とともに処理要求をサーバ装置１４に送信する。
　サーバ装置１４は、受信した第１処理データＰＤ１に対して、第２サブニューラルネットワークＳＢＮ２を用いて、データ解析処理の一部である第２処理を実行する。サーバ装置１４は、第２処理を実行することにより、第２処理の処理結果である第２処理データＰＤ２を出力する。第２処理は、データ解析処理の一部であり、第１処理データＰＤ１に基づいて実行される処理である。そのため、第２処理は、データ解析処理において、第１処理の後に実行される。第２処理データＰＤ２は、本例では、出力画像ＯＩそのものである。サーバ装置１４は、処理要求の要求元のクライアント装置１２に対して、出力画像ＯＩである第２処理データＰＤ２を、処理結果として配信する。クライアント装置１２は、出力画像ＯＩである第２処理データＰＤ２を取得する。
　図４において、学習装置１７は、学習用入力画像ＩＩＬ及びアノテーション画像ＡＩの組で構成される学習データＬＤを用いて、モデルＭを学習させる。学習用入力画像ＩＩＬは、クラスの判別精度を高める学習のためにモデルＭに入力される画像である。モデルＭは、学習用入力画像ＩＩＬにセマンティックセグメンテーションを実施して、学習用出力画像ＯＩＬを出力する。
　アノテーション画像ＡＩは、学習用入力画像ＩＩＬに対して、クラス毎に領域が指定されて区別された画像である。各クラスの領域の指定は、学習データＬＤの作成者がペンタブレット等を用いて輪郭線を描くことで行われる。また、領域の区別は、作成者が輪郭線内をクラス毎に色分けすることで行われる。アノテーション画像ＡＩは、学習用出力画像ＯＩＬとのいわば答え合わせを行うための画像であり、学習用出力画像ＯＩＬと比較される。モデルＭのクラスの判別精度が高いほど、アノテーション画像ＡＩと学習用出力画像ＯＩＬとの差異は小さくなる。
　学習用入力画像ＩＩＬは、図２Ａに示す入力画像ＩＩと同様の画像であり、学習用出力画像ＯＩＬは、図２Ｂに示す出力画像ＯＩと同様の画像である。
　学習装置１７は、アノテーション画像ＡＩと学習用出力画像ＯＩＬとを比較し、モデルＭのクラスの判別精度を評価する。そして、このクラスの判別精度の評価結果に応じて、モデルＭを更新する。学習装置１７は、学習用入力画像ＩＩＬのモデルＭへの入力と学習用出力画像ＯＩＬのモデルＭからの出力、モデルＭのクラスの判別精度の評価、及びモデルＭの更新を、学習データＬＤを変更しつつ行い、モデルＭのクラスの判別精度が予め設定されたレベルとなるまで繰り返す。学習装置１７は、クラスの判別精度が予め設定されたレベルとされたモデルＭを、サーバ装置１１に供給する。
　なお、例えば、モデルＭはサーバ装置１１にいったん供給された後も、学習装置１７において学習が継続される。サーバ装置１１内のモデルＭは、追加学習がされたモデルＭによって更新される。これにより、サーバ装置１１のモデルＭの判別精度は継続的に向上する。上述したとおり、モデルＭは、サーバ装置１１において、第１サブニューラルネットワークＳＢＮ１と、第２サブニューラルネットワークＳＢＮ２とに分割される。
　図５に示すように、本例のモデルＭは、入力画像を解析する複数の階層を有し、階層毎に、入力画像に含まれる空間周波数の周波数帯域が異なる特徴を抽出する、Ｕ－Ｎｅｔ等の畳み込みニューラルネットワークで構成された階層型のモデルである。本例のモデルＭは、第１階層、第２階層、第３階層、第４階層、第５階層の５つの階層を有する。なお、以下では、入力画像ＩＩをモデルＭに与え、モデルＭから出力画像ＯＩを出力させる場合を例に説明する。
　モデルＭは、エンコーダネットワークＥＮＣとデコーダネットワークＤＥＣとを有する。エンコーダネットワークＥＮＣは、階層毎に、フィルタＦ（図６参照）を用いた畳み込み演算を行って、画像特徴マップＣＭＰを抽出する畳み込み処理を行う。デコーダネットワークＤＥＣは、エンコーダネットワークＥＮＣから出力された最小の画像特徴マップＣＭＰの画像サイズを段階的に拡大する。そして、段階的に拡大された画像特徴マップＣＭＰと、エンコーダネットワークＥＮＣの各階層で出力された画像特徴マップＣＭＰとを結合して、学習用入力画像ＩＩＬと同じ画像サイズの学習用出力画像ＯＩＬを生成する。なお、画像特徴マップＣＭＰは、本開示の技術に係る「入力画像に含まれる空間周波数の周波数帯域が異なる特徴」の一例である。
　エンコーダネットワークＥＮＣには、階層毎に、二次元に配列された複数の画素値をもつ入力データＤＩ（図６参照）が入力される。エンコーダネットワークＥＮＣは、各階層において、入力データＤＩに対して畳み込み処理を行って画像特徴マップＣＭＰを抽出する。エンコーダネットワークＥＮＣの第１階層には、入力データＤＩとして入力画像ＩＩが入力される。第１階層は、入力画像ＩＩに畳み込み処理を行って、例えば、入力画像ＩＩと同じ画像サイズの画像特徴マップＣＭＰを出力する。第２階層以下では、入力データＤＩとして、上位の各階層で出力された画像特徴マップＣＭＰが入力される。第２階層以下では、画像特徴マップＣＭＰに対して畳み込み処理が行われて、例えば、入力された画像特徴マップＣＭＰと同じ画像サイズの画像特徴マップＣＭＰが出力される。畳み込み処理は、図５において「ｃｏｎｖ（ｃｏｎｖｏｌｕｔｉｏｎ）」として示す。
　図６において、畳み込み処理は、入力データＤＩに３×３のフィルタＦを適用して、入力データＤＩ内の注目画素Ｉｐの画素値ｅと、注目画素Ｉｐに隣接する８個の画素の画素値ａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ、ｉを畳み込むことにより、入力データＤＩと同様に、二次元状に画素値が配列された出力データＤＩｃを得る。フィルタＦの係数をｒ、ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、ｚとした場合、注目画素Ｉｐに対する畳み込み演算の結果である、出力データＤＩｃの画素Ｉｃｐの画素値Ｉｃｐ（ｘ，ｙ）は、例えば下記の（式１）を計算することで得られる。
　Ｉｃｐ（ｘ、ｙ）＝ａｚ＋ｂｙ＋ｃｘ＋ｄｗ＋ｅｖ＋ｆｕ＋ｇｔ＋ｈｓ＋ｉｒ・・・（式１）
　畳み込み処理では、入力データＤＩの各画素に対して上記のような畳み込み演算を行い、画素値Ｉｃｐ（ｘ、ｙ）を出力する。こうして、二次元状に配列された画素値Ｉｃｐ（ｘ、ｙ）をもつ出力データＤＩｃが出力される。出力データＤＩｃは、１個のフィルタＦに対して１つ出力される。種類が異なる複数のフィルタＦが使用された場合は、フィルタＦ毎に出力データＤＩｃが出力される。
　図７に示すように、出力データＤＩｃは、二次元状に画素値Ｉｃｐ（ｘ，ｙ）が配列されたデータであり、幅と高さをもつ。また、種類が異なる複数のフィルタＦを適用して、複数の出力データＤＩｃが出力された場合は、画像特徴マップＣＭＰは、複数の出力データＤＩｃの集合になる。画像特徴マップＣＭＰにおいて、フィルタＦの数はチャンネル数と呼ばれる。図７に示す画像特徴マップＣＭＰは、４個のフィルタＦを適用して出力された４つの出力データＤＩｃを有する、４チャンネルの画像特徴マップＣＭＰの例である。
　図８は、こうしたフィルタＦを使用した畳み込み処理を、畳み込みニューラルネットワークＣＮＮの概念に当てはめた説明図である。図８に示すように、畳み込みニューラルネットワークＣＮＮが、複数のユニットＵを持つ入力層及び中間層を有しているとする。この場合、入力層の各ユニットＵと中間層の各ユニットＵ同士の結合の強さを示す重みｗ１、ｗ２、ｗ３は、フィルタＦの係数に相当する。入力層の各ユニットＵには、入力データＤＩの各画素値Ｉｐ（ｘ１，ｙ１）、Ｉｐ（ｘ１，ｙ２）、Ｉｐ（ｘ１，ｙ３）・・・が入力されて、各画素値Ｉｐ（ｘ１，ｙ１）、Ｉｐ（ｘ１，ｙ２）、Ｉｐ（ｘ１，ｙ３）・・・と重みｗ１、ｗ２、ｗ３の積和が、中間層の各ユニットＵの出力値となる。この出力値が出力データＤＩｃの画素値Ｉｃｐ（ｘ，ｙ）に相当する。モデルＭを学習させると、重みｗ１、ｗ２、ｗ３・・・に相当するフィルタＦの係数が更新される。
　図５において、各画像特徴マップＣＭＰの上に示す６４、１２８、２５６、５１２、１０２４の各数字は、各画像特徴マップＣＭＰが有するチャンネル数を示す。そして、第１階層から第５階層にそれぞれ付す括弧付きの１／１、１／２、１／４、１／８、１／１６は、最上位の第１階層に入力される入力画像ＩＩの画像サイズを基準とした、各階層で取り扱う画像サイズを示す。
　本例のエンコーダネットワークＥＮＣの第１階層においては、入力画像ＩＩに対して２回の畳み込み処理が行われる。まず、入力画像ＩＩに対して、６４個のフィルタＦを適用する畳み込み処理が行われて、６４チャンネルの画像特徴マップＣＭＰが出力される。そして、この画像特徴マップＣＭＰに対して、さらに６４個のフィルタＦを適用する畳み込み処理が行われて、第１階層においては、最終的に６４チャンネルの画像特徴マップＣＭＰが出力される。
　エンコーダネットワークＥＮＣにおいて、第１階層が出力する画像特徴マップＣＭＰの幅と高さである画像サイズは、入力画像ＩＩの画像サイズと同じである。このため、第１階層が取り扱う画像サイズは、入力画像ＩＩと同じ、すなわち等倍を表す１／１である。
　エンコーダネットワークＥＮＣの第１階層において、２回の畳み込み処理で抽出された画像特徴マップＣＭＰに対して、図５において「ｐｏｏｌ（ｐｏｏｌｉｎｇ）」として示すプーリング処理が行われる。プーリング処理は、画像特徴マップＣＭＰの局所的な統計量を計算して画像特徴マップＣＭＰを圧縮する処理である。局所的な統計量としては、例えば、２×２の画素のブロック内における画素値の最大値または平均値が用いられる。最大値を計算するプーリング処理は最大値プーリング、平均値を計算するプーリング処理は平均値プーリングと呼ばれる。つまり、プーリング処理は、画像特徴マップＣＭＰの各画素の画素値から局所的な代表値を選択して、画像特徴マップＣＭＰの解像度を下げ、画像特徴マップＣＭＰの画像サイズを縮小する処理といえる。例えば、２×２の画素のブロックから代表値を選択するプーリング処理を１画素ずつずらして行うと、画像特徴マップＣＭＰは、元の画像サイズの半分に縮小される。モデルＭでは、第１階層において、例えば画像特徴マップＣＭＰの画像サイズを１／２にするプーリング処理が行われる。このため、エンコーダネットワークＥＮＣの第２階層においては、入力画像ＩＩを基準として、１／２の画像サイズに縮小された画像特徴マップＣＭＰが、入力データＤＩとして入力される。
　第２階層においては、１２８個のフィルタＦを適用する畳み込み処理が２回行われて、１２８チャンネルの画像特徴マップＣＭＰが出力される。そして、１２８チャンネルの画像特徴マップＣＭＰに対して、画像サイズを半分にするプーリング処理が行われる。これにより、第２階層から第３階層には、入力画像ＩＩの画像サイズを基準として、１／４の画像サイズに縮小された１２８チャンネルの画像特徴マップＣＭＰが、入力データＤＩとして入力される。
　第３階層においては、２５６個のフィルタＦを適用する２回の畳み込み処理が行われて、２５６チャンネルの画像特徴マップＣＭＰが出力され、２５６チャンネルの画像特徴マップＣＭＰに対して、画像サイズをさらに半分にするプーリング処理が行われる。これにより、第３階層から第４階層には、入力画像ＩＩを基準として、１／８の画像サイズに縮小された２５６チャンネルの画像特徴マップＣＭＰが、入力データＤＩとして入力される。
　同様に、第４階層においては、５１２個のフィルタＦを適用する２回の畳み込み処理が行われて、５１２チャンネルの画像特徴マップＣＭＰが出力され、５１２チャンネルの画像特徴マップＣＭＰに対して、画像サイズをさらに半分にするプーリング処理が行われる。これにより、第４階層から第５階層には、入力画像ＩＩを基準として、１／１６の画像サイズに縮小された５１２チャンネルの画像特徴マップＣＭＰが、入力データＤＩとして入力される。
　最下位の階層の第５階層においては、１０２４個のフィルタを適用する２回の畳み込み処理が行われる。ただし、第５階層においては、畳み込み処理で抽出された画像特徴マップＣＭＰに対してはプーリング処理が行われない。
　エンコーダネットワークＥＮＣにおいては、各階層に入力される入力データＤＩ（入力画像ＩＩまたは画像特徴マップＣＭＰ）は、最上位の第１階層から最下位の第５階層に向かって、画像サイズが段階的に縮小されて解像度が下げられる。本例においては、第１階層に入力される入力画像ＩＩの画像サイズを基準に、第１階層は１／１（つまり、等倍）、第２階層は１／２、第３階層は１／４、第４階層は１／８、第５階層は１／１６のそれぞれの画像サイズの入力データＤＩが入力される。
　エンコーダネットワークＥＮＣの各階層は、階層毎に、解像度が異なる入力データＤＩに対してフィルタＦを適用して畳み込み処理を行う。第１階層では、各階層の入力データＤＩのうちで最も解像度が高い入力画像ＩＩに対して畳み込み処理が行われる。このため、第１階層で抽出される画像特徴マップＣＭＰは、入力画像ＩＩにおいて最も空間周波数が高い周波数帯域をもつ、最も微細な構造の特徴を表す。第２階層及び第３階層では、入力画像ＩＩよりも解像度が下げられた入力データＤＩに対して畳み込み処理が行われる。このため、第２階層及び第３階層で抽出される画像特徴マップＣＭＰは、第１階層と比べて、空間周波数が低い周波数帯域をもつ、中域構造の特徴を表す。第４階層及び第５階層では、さらに入力データＤＩの解像度が下がるため、第４階層及び第５階層で抽出される画像特徴マップＣＭＰは、さらに空間周波数が低い周波数帯域をもつ、大域構造の特徴を表す。
　エンコーダネットワークＥＮＣにおいては、最上位の第１階層から最下位の第５階層の階層毎に、入力画像ＩＩに含まれる周波数帯域が異なる画像の特徴を出力する。第１階層の１／１から第５階層の１／１６までの各画像サイズは、各階層が解析可能な周波数帯域を示す。すなわち、１／１は最も空間周波数が高い周波数帯域を示し、反対に１／１６は最も空間周波数が低い周波数帯域を示す。なお、エンコーダネットワークＥＮＣにおいて、階層が下るにつれて、フィルタＦの数を６４、１２８、２５６、・・・と増加させる理由は、画像サイズが小さくなる分、フィルタＦの数を増やして、入力画像ＩＩに含まれる様々な特徴を抽出するためである。
　エンコーダネットワークＥＮＣの第１階層から第４階層は、それぞれが抽出した画像特徴マップＣＭＰを、デコーダネットワークＤＥＣに対して送信する。この画像特徴マップＣＭＰをエンコーダネットワークＥＮＣからデコーダネットワークＤＥＣに送信する処理は、スキップレイヤ処理と呼ばれ、図５において「ｓｋｉｐ」で示す。デコーダネットワークＤＥＣの各階層において、ハッチングで示す画像特徴マップＣＭＰが、エンコーダネットワークＥＮＣから送信された画像特徴マップＣＭＰである。
　デコーダネットワークＤＥＣは、アップサンプリング処理とマージ処理とを繰り返す。アップサンプリング処理は、図５において「ｕｐｓｍｐ（ｕｐｓａｍｐｌｉｎｇ）」として示す。アップサンプリング処理は、エンコーダネットワークＥＮＣから出力された最小の画像サイズの画像特徴マップＣＭＰの画像サイズを段階的に拡大する処理である。マージ処理は、アップサンプリング処理で段階的に拡大された画像特徴マップＣＭＰと、エンコーダネットワークＥＮＣにおいて階層毎に出力され、かつ、画像サイズが同じ画像特徴マップＣＭＰとを結合する処理である。デコーダネットワークＤＥＣは、これらアップサンプリング処理とマージ処理とにより、入力画像ＩＩ内のクラス毎の領域がセグメンテーションされた出力画像ＯＩを生成する。
　デコーダネットワークＤＥＣは、エンコーダネットワークＥＮＣの各階層と対応する第１階層から第５階層を有する。デコーダネットワークＤＥＣの各階層で行われるアップサンプリング処理では、エンコーダネットワークＥＮＣの対応する各階層の画像サイズと同じサイズになるように画像特徴マップＣＭＰが拡大される。
　また、本例のアップサンプリング処理は、画像サイズを拡大することに加えて、フィルタＦを適用する畳み込み処理を伴う。こうした畳み込み処理を伴うアップサンプリング処理は、アップコンボリューション処理と呼ばれる。デコーダネットワークＤＥＣの各階層においては、アップコンボリューション処理が終了した後に、マージ処理とさらなる畳み込み処理とが行なわれる。
　デコーダネットワークＤＥＣの第５階層は、まず、エンコーダネットワークＥＮＣの最下位の第５階層から、１／１６という最小の画像サイズの画像特徴マップＣＭＰを受け取る。この画像特徴マップＣＭＰのチャンネル数は１０２４である。デコーダネットワークＤＥＣの第５階層は、１／１６の画像サイズの画像特徴マップＣＭＰを、２倍の１／８の画像サイズに拡大し、かつ、５１２個のフィルタＦを適用する畳み込み処理を行って、チャンネル数を半分の５１２個に減らす。デコーダネットワークＤＥＣの第５層から第４層には、１／８の画像サイズで、５１２チャンネルの画像特徴マップＣＭＰが出力される。
　デコーダネットワークＤＥＣの第４階層においては、エンコーダネットワークＥＮＣの第５階層から受け取った画像特徴マップＣＭＰと、エンコーダネットワークＥＮＣの第４階層からスキップレイヤ処理で送信された画像特徴マップＣＭＰとを結合するマージ処理が行われる。第４階層において結合される画像特徴マップＣＭＰは、それぞれ１／８の画像サイズで、かつ、５１２チャンネルである。そのため、第４階層においては、マージ処理によって、１／８の画像サイズで、かつ、１０２４チャンネル（５１２＋５１２）の画像特徴マップＣＭＰが生成される。
　さらに、第４階層においては、１０２４チャンネルの画像特徴マップＣＭＰに対して５１２個のフィルタＦを適用する畳み込み処理が２回行われて、１／８の画像サイズで、かつ、５１２チャンネルの画像特徴マップＣＭＰが生成される。第４階層においては、この１／８の画像サイズの画像特徴マップＣＭＰに対して、画像サイズを２倍の１／４に拡大し、かつ、チャンネル数を半分の２５６チャンネルにするアップコンボリューション処理が行われる。この結果、第４階層から第３階層に対して、１／４の画像サイズで、かつ、２５６チャンネルの画像特徴マップＣＭＰが出力される。
　デコーダネットワークＤＥＣの第３階層においては、第４階層から受け取った画像特徴マップＣＭＰと、エンコーダネットワークＥＮＣの第３階層からスキップレイヤ処理で送信された画像特徴マップＣＭＰとを結合するマージ処理が行われる。第３階層において結合される画像特徴マップＣＭＰは、それぞれ１／４の画像サイズで、かつ、２５６チャンネルである。そのため、第３階層においては、マージ処理によって、１／４の画像サイズで、かつ、５１２チャンネル（２５６＋２５６）の画像特徴マップＣＭＰが生成される。
　さらに、第３階層においては、５１２チャンネルの画像特徴マップＣＭＰに対して２５６個のフィルタＦを適用する畳み込み処理が２回行われて、１／４の画像サイズで、かつ、２５６チャンネルの画像特徴マップＣＭＰが生成される。第３階層においては、この１／４の画像サイズの画像特徴マップＣＭＰに対して、画像サイズを２倍の１／２に拡大し、かつ、チャンネル数を半分の１２８チャンネルにするアップコンボリューション処理が行われる。この結果、第３階層から第２階層に対して、１／２の画像サイズで、かつ、１２８チャンネルの画像特徴マップＣＭＰが出力される。
　デコーダネットワークＤＥＣの第２階層においては、第３階層から受け取った画像特徴マップＣＭＰと、エンコーダネットワークＥＮＣの第２階層からスキップレイヤ処理で送信された画像特徴マップＣＭＰとを結合するマージ処理が行われる。第２階層において結合される画像特徴マップＣＭＰは、それぞれ１／２の画像サイズで、かつ、１２８チャンネルである。そのため、第２階層においては、マージ処理によって、１／２の画像サイズで、かつ、２５６チャンネル（１２８＋１２８）の画像特徴マップＣＭＰが生成される。
　さらに、第２階層においては、２５６チャンネルの画像特徴マップＣＭＰに対して１２８個のフィルタＦを適用する畳み込み処理が２回行われて、１／２の画像サイズで、かつ、１２８チャンネルの画像特徴マップＣＭＰが生成される。第２階層においては、この１／２の画像サイズの画像特徴マップＣＭＰに対して、画像サイズを２倍の１／１に拡大し、かつ、チャンネル数を半分の６４チャンネルにするアップコンボリューション処理が行われる。この結果、最終的に、第２階層から第１階層に対して、１／１の画像サイズで、かつ、６４チャンネルの画像特徴マップＣＭＰが出力される。
　デコーダネットワークＤＥＣの第１階層においては、第２階層から受け取った画像特徴マップＣＭＰと、エンコーダネットワークＥＮＣの第１階層からスキップレイヤ処理で送信された画像特徴マップＣＭＰとを結合するマージ処理が行われる。第１階層において結合される画像特徴マップＣＭＰは、それぞれ１／１の画像サイズで、かつ、６４チャンネルである。そのため、第１階層においては、マージ処理によって、１／１の画像サイズで、かつ、１２８チャンネル（６４＋６４）の画像特徴マップＣＭＰが生成される。
　さらに、第１階層においては、１２８チャンネルの画像特徴マップＣＭＰに対して６４個のフィルタＦを適用する畳み込み処理が行われた後、１個のフィルタＦを適用する畳み込み処理が行われる。これにより、入力画像ＩＩと同じ１／１の画像サイズの出力画像ＯＩが生成される。
　デコーダネットワークＤＥＣにおいては、エンコーダネットワークＥＮＣから出力された最小の画像サイズの画像特徴マップＣＭＰの画像サイズを段階的に拡大する。そして、画像特徴マップＣＭＰを拡大しながら、エンコーダネットワークＥＮＣにおいて階層毎に抽出された画像特徴マップＣＭＰを結合して出力画像ＯＩを生成する。最小の画像サイズの画像特徴マップＣＭＰは、入力画像ＩＩの最も空間周波数が低い大域構造の特徴を表すものである。デコーダネットワークＤＥＣでは、この最小の画像サイズの画像特徴マップＣＭＰを拡大することで、大域構造の特徴を拡大しつつ、エンコーダネットワークＥＮＣからの画像特徴マップＣＭＰを結合することで、中域構造から微細構造までの特徴を取り込む。
　モデルＭは、このようなエンコーダネットワークＥＮＣとデコーダネットワークＤＥＣとを用いることで、入力画像ＩＩに含まれるクラスを領域毎に区分けした出力画像ＯＩを生成する。
　図９に示すように、モデルＭは、本例では、エンコーダネットワークＥＮＣが、第１サブニューラルネットワークＳＢＮ１として、デコーダネットワークＤＥＣが、第２サブニューラルネットワークＳＢＮ２として分割される。図９は、図５に示したモデルＭにおける第１階層から第５階層の階層毎の処理の内容を、より明瞭に示すための説明図である。
　エンコーダネットワークＥＮＣは、クライアント装置１２に配信されて、クライアント装置１２において、第１サブニューラルネットワークＳＢＮ１として用いられる。クライアント装置１２は、エンコーダネットワークＥＮＣを用いて、入力画像ＩＩに対して第１処理を実行することにより、第１処理データＰＤ１を出力する。第１処理は、上述したとおり、入力画像ＩＩを解析することにより、入力画像ＩＩの特徴を画像特徴マップＣＭＰとして抽出する処理であり、第１処理データＰＤ１は、画像特徴マップＣＭＰである。
　エンコーダネットワークＥＮＣを用いて実行される第１処理は、複数のサブ処理ＥＳＰ１からＥＳＰ５が含まれている。複数のサブ処理ＥＳＰ１からＥＳＰ５は、エンコーダネットワークＥＮＣが有する第１階層から第５階層のそれぞれにおいて実行される。各処理ＥＳＰ１からＥＳＰ５のそれぞれには、図５で説明したとおり、畳み込み処理（ｃｏｎｖ）及びスキップレイヤ処理（ｓｋｉｐ）が含まれている。また、第５階層のサブ処理ＥＳＰ５を除いて、各処理ＥＳＰ１からＥＳＰ４のそれぞれには、プーリング処理（ｐｏｏｌ）も含まれている。
　また、複数のサブ処理ＥＳＰ１からＥＳＰ５のそれぞれにおいて、第１処理データＰＤ１の一部であるサブデータが出力される。本例においては、サブデータは、各サブ処理ＥＳＰ１からＥＳＰ５においてそれぞれ出力される画像特徴マップＣＭＰであり、第１処理データＰＤ１は、各サブ処理ＥＳＰ１からＥＳＰ５で出力される画像特徴マップＣＭＰをすべて含む。
　各サブ処理ＥＳＰ１からＥＳＰ５において出力されるサブデータとしての画像特徴マップＣＭＰは、クライアント装置１２からサーバ装置１４に向けて、サブデータ毎に分割して送信される。つまり、サブ処理ＥＳＰ１からＥＳＰ５において出力される複数の画像特徴マップＣＭＰは、まとめて送信されるのではなく、それぞれの画像特徴マップＣＭＰ毎に別々に送信される。
　例えば、図９の例では、第１階層のサブ処理ＥＳＰ１における、６４チャンネルの画像特徴マップＣＭＰを送信するスキップレイヤ処理と、次の第２階層のサブ処理ＥＳＰ２における、１２８チャンネルの画像特徴マップＣＭＰを送信するスキップレイヤ処理とは、異なるタイミングで実行される。具体的には、各サブ処理ＥＳＰ１、ＥＳＰ２のそれぞれのスキップレイヤ処理は、この順番で順次実行される。これにより、第１階層のサブ処理ＥＳＰ１における、６４チャンネルの画像特徴マップＣＭＰと、次の第２階層のサブ処理ＥＳＰ２における、１２８チャンネルの画像特徴マップＣＭＰとは、別々に送信される。第３階層以降についても同様である。その結果、各サブ処理ＥＳＰ１からＥＳＰ５においてそれぞれ出力される画像特徴マップＣＭＰは、共用回線１６を異なるタイミングで通過する。
　また、エンコーダネットワークＥＮＣを用いて第１処理が実行される本例において、第１処理データＰＤ１としての画像特徴マップＣＭＰは、入力画像ＩＩよりも、チャンネル数が多い。さらに、第１処理にプーリング処理が含まれる場合は、画像特徴マップＣＭＰは、入力画像ＩＩよりも、画像サイズが小さい。
　例えば、第１階層のサブ処理ＥＳＰ１では、畳み込み処理において６４枚のフィルタが適用されることにより、６４チャンネルの画像特徴マップＣＭＰが出力される。入力画像ＩＩは、フィルタが適用されず、チャンネル数が実質的に１枚であるため、６４チャンネルの画像特徴マップＣＭＰは、入力画像ＩＩよりも、チャンネル数が多い。
　また、第１階層において出力される画像特徴マップＣＭＰは、第１階層から第２階層に送られる際にはプーリング処理が行われるため、入力画像ＩＩよりも画像サイズが小さくなる。第２階層以降においても画像特徴マップＣＭＰは、プーリング処理が実行されることにより、画像サイズが段階的に縮小されるため、各階層の画像特徴マップＣＭＰは、入力画像ＩＩよりも画像サイズが小さい。ただし、第１階層においてスキップレイヤ処理の対象としてサーバ装置１４に送信される画像特徴マップＣＭＰは、プーリング処理が行われないため、入力画像ＩＩと画像サイズが同じである。
　デコーダネットワークＤＥＣは、サーバ装置１４において、第２サブニューラルネットワークＳＢＮ２として用いられる。サーバ装置１４は、デコーダネットワークＤＥＣを用いて、第１処理データＰＤ１に対して、第２処理を実行することにより、第２処理データＰＤ２（本例では出力画像ＯＩ）を出力する。
　デコーダネットワークＤＥＣを用いて実行される第２処理は、複数のサブ処理ＤＳＰ１からＤＳＰ５が含まれている。複数のサブ処理ＤＳＰ１からＤＳＰ５は、デコーダネットワークＤＥＣの第１階層から第５階層のそれぞれにおいて実行される。各処理ＤＳＰ１からＤＳＰ５のそれぞれには、図５で説明したとおり、アップサンプリング処理（ｕｐｓｍｐ）が含まれている。また、第５階層のサブ処理ＤＳＰ５を除いて、第１階層から第４階層のサブ処理ＤＳＰ１からＤＳＰ４のそれぞれには、マージ処理（ｍｅｒｇｅ）及び畳み込み処理（ｃｏｎｖ）が含まれている。
　また、第２階層から第５階層のサブ処理ＤＳＰ２からＤＳＰ５のそれぞれにおいて、画像特徴マップＣＭＰが上層に向けて出力される。上述したとおり、デコーダネットワークＤＥＣにおいて下層から出力される画像特徴マップＣＭＰは、マージ処理によって、クライアント装置１２のエンコーダネットワークＥＮＣからスキップレイヤ処理で送信される画像特徴マップＣＭＰとマージされる。最上位の第１階層のサブ処理ＤＳＰ１においては、画像特徴マップＣＭＰに基づいてサブ処理ＤＳＰ１が実行されることにより、出力画像ＯＩが生成される。本例では、この出力画像ＯＩが第２処理データＰＤ２である。このように、サーバ装置１４においては、デコーダネットワークＤＥＣを用いて、第２処理が実行される。そして、最終的に出力画像ＯＩが第２処理データＰＤ２として出力される。
　図１０に示すように、クライアント装置１２及びサーバ装置１４を構成するコンピュータは、基本的な構成は同様であり、ストレージデバイス３０、メモリ３１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３２、通信部３３、ディスプレイ３４、及び入力デバイス３５を備えている。これらはバスライン３６を介して相互接続されている。
　ストレージデバイス３０は、コンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス３０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、及びこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
　メモリ３１は、ＣＰＵ３２が処理を実行するためのワークメモリである。ＣＰＵ３２は、ストレージデバイス３０に記憶された作動プログラム４０をメモリ３１へロードして、作動プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
　通信部３３は、共用回線１６を介した通信に際しての伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。コンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボード、マウス、タッチパネル等である。
　図１１に示すように、サーバ装置１４のストレージデバイス３０には、作動プログラム４０が記憶されている。作動プログラム４０は、コンピュータをサーバ装置１４として機能させるためのアプリケーションプログラムである。すなわち、サーバ装置１４の作動プログラム４０は、本開示の技術に係る「サーバ装置の作動プログラム」の一例である。
　サーバ装置１４のＣＰＵ３２は、作動プログラム４０を実行することにより、データ取得部５１、サーバ側データ処理部５２、配信部５３、及び分割部５４として機能する。サーバ装置１４のＣＰＵ３２は、サーバ側プロセッサの一例である。データ取得部５１は、クライアント装置１２から、共用回線１６を介して、第１処理データＰＤ１を取得する。さらに、データ取得部５１は、クライアント装置１２からの処理要求を受信する。データ取得部５１が取得した第１処理データＰＤ１及び処理要求は、サーバ側データ処理部５２に受け渡される。
　また、データ取得部５１は、クライアント装置１２において暗号化された第１処理データＰＤ１を復号化する機能を備えている。
　サーバ側データ処理部５２は、第２サブニューラルネットワークＳＢＮ２を用いて、第１処理データを処理対象のデータとする第２処理を実行することにより、第２処理の処理結果である第２処理データＰＤ２を出力する。データ取得部５１は、本開示の技術に係る「データ取得部」の一例であり、サーバ側データ処理部５２は、本開示の技術に係る「データ処理部」の一例である。
　分割部５４は、学習装置１７から供給されるモデルＭを、第１サブニューラルネットワークＳＢＮ１と第２サブニューラルネットワークＳＢＮ２とに分割する。分割部５４は、分割した第１サブニューラルネットワークＳＢＮ１と第２サブニューラルネットワークＳＢＮ２とをストレージデバイス３０に格納する。サーバ側データ処理部５２は、第２処理を実行する際に、第２サブニューラルネットワークＳＢＮ２をストレージデバイス３０から読み出す。
　配信部５３は、第２処理データＰＤ２及び第１サブニューラルネットワークＳＢＮ１を、共用回線１６を介して、クライアント装置１２に配信する。配信部５３は、本開示の技術に係る「配信部」の一例である。また、配信部５３は、クライアント装置１２に配信する第２処理データＰＤ２などのデータを暗号化する機能を備えている。
　クライアント装置１２のＣＰＵ３２は、図示しない作動プログラムを実行することにより、クライアント側データ処理部６１及び送受信処理部６２として機能する。クライアント装置１２のＣＰＵ３２は、クライアント側プロセッサの一例である。クライアント側データ処理部６１は、第１サブニューラルネットワークＳＢＮ１を用いて第１処理を実行することにより、第１処理データＰＤ１を出力する。送受信処理部６２は、共用回線１６を介して、第１処理データＰＤ１及び処理要求をサーバ装置１４に送信する。また、送受信処理部６２は、第２処理データＰＤ２及び第１サブニューラルネットワークＳＢＮ１を受信する。送受信処理部６２は、共用回線１６を介して、サーバ装置１４に送信する第１処理データＰＤ１を暗号化する機能を備えている。また、送受信処理部６２は、サーバ装置１４において暗号化された第２処理データＰＤ２などのデータを復号化する機能を備えている。
　クライアント装置１２のストレージデバイス３０には、入力画像ＩＩ、第１サブニューラルネットワークＳＢＮ１、第２処理データＰＤ２及び作動プログラム（図示せず）などのデータが格納される。クライアント側データ処理部６１は、第１処理を実行する際に、第１サブニューラルネットワークＳＢＮ１を読み出す。
　以下、上記構成による作用について、図１２に示すフローチャートを参照しながら説明する。本例においては、事前に、サーバ装置１４において、分割部５４によって、第１サブニューラルネットワークＳＢＮ１がモデルＭから分割されており、かつ、第１サブニューラルネットワークＳＢＮ１がクライアント装置１２に配信されている例で説明する。ユーザ１１は、プロバイダ１３のデータ解析処理サービスを利用する場合は、まず、クライアント装置１２において、入力画像ＩＩに対する第１処理を実行させる。クライアント側データ処理部６１は、ステップＳ１１１０に示すように、第１サブニューラルネットワークＳＢＮ１を用いて、解析対象の入力画像ＩＩに対して第１処理を実行する。そして、ステップＳ１２１０において、送受信処理部６２は、サーバ装置１４に対して処理要求を送信する。
　加えて、ステップＳ１３１０において、送受信処理部６２は、第１処理の処理結果である第１処理データＰＤ１を、サブデータ毎に、具体的には、各階層において出力される画像特徴マップＣＭＰ毎に分割して送信する。第１処理データＰＤ１の送信に際しては、第１処理データＰＤ１が暗号化される。
　一方、サーバ装置１４は、ステップＳ２１１０において、処理要求を待機する。そして、データ取得部５１は、処理要求を受信すると（ステップＳ２１１０でＹＥＳ）、ステップＳ２２１０において、第１処理データＰＤ１を取得する。取得した第１処理データＰＤ１は、暗号化されているため、復号化される。ステップＳ２３１０において、サーバ側データ処理部５２は、第２サブニューラルネットワークＳＢＮ２を用いて、第１処理データＰＤ１に対して第２処理を実行する。これにより、サーバ装置１４において、第２処理データＰＤ２として、出力画像ＯＩが生成される。ステップＳ２４１０において、配信部５３は、第２処理データＰＤ２として出力画像ＯＩをクライアント装置１２に配信する。
　Ｓ１４１０において、クライアント装置１２は、第２処理データＰＤ２として出力画像ＯＩを受信する。これにより、入力画像ＩＩに対するデータ解析処理の処理結果として出力画像ＯＩが取得される。ユーザは、出力画像ＯＩに基づいて、各細胞の数及びサイズなどを把握して、細胞培養の評価などを行う。
　以上説明したように、本開示の技術では、クライアント装置１２において、第１サブニューラルネットワークＳＢＮ１を用いて、入力画像ＩＩに対して、データ解析処理の一部である第１処理が実行される。サーバ装置１４において、データ取得部５１は、第１処理の処理結果である第１処理データＰＤ１を、共用回線１６を介してクライアント装置１２から取得する。そして、サーバ側データ処理部５２は、第２サブニューラルネットワークＳＢＮ２を用いて、第１処理データＰＤ１に基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理データＰＤ２として出力画像ＯＩを出力する。
　すなわち、本開示の技術においては、共用回線１６を通過するのは、ユーザが入力する解析対象の入力画像ＩＩそのものではなく、入力画像ＩＩに対してデータ解析処理の一部である第１処理が施されたデータである。ニューラルネットワークを用いたデータ解析処理においては、ニューラルネットワークの一部を用いた処理を行うと、解析対象の入力データは抽象化される。そのため、共用回線１６を通過するデータが傍受された場合でも、入力画像ＩＩそのものが傍受される場合と比べて、データの内容からユーザの事業内容（研究内容及び商品の開発内容など）が把握されてしまう可能性は低い。例えば、仮に、傍受されたデータが細胞画像だと把握された場合でも、どのような種類の細胞かといった詳細な内容を把握される可能性は低い。したがって、本開示の技術によれば、共用回線１６を使用してデータ解析処理をオンラインサービスとして提供する場合でも、解析対象の入力データそのものを共用回線１６を通過させる従来と比べて、情報セキュリティリスクを低減することができる。
また、第１サブニューラルネットワークＳＢＮ１を用いて実行される第１処理は、サブ処理ＥＳＰ１からＥＳＰ５などの複数のサブ処理が含まれており、かつ、複数のサブ処理がそれぞれ出力する画像特徴マップＣＭＰなど、第１処理データＰＤ１の一部であるサブデータが出力される。そして、データ取得部５１は、こうした第１処理データＰＤ１を、サブデータ毎に分割して取得する。つまり、第１処理データＰＤ１は、分割された状態で共用回線１６を通過するため、第１処理データＰＤ１の一部が傍受された場合でも、第１処理データＰＤ１の全部を一括して共用回線１６を通過させる場合と比べて、ユーザの事業内容が把握しづらい。その結果、情報セキュリティリスクがより低減される。
　また、第１サブニューラルネットワークＳＢＮ１が複数の階層を有している場合には、解析対象のデータが複数の階層によって処理される毎に第１処理データＰＤ１の抽象度が高まる場合が多い。図９に示したように、本例のエンコーダネットワークＥＮＣにおいては、入力画像ＩＩを解析する複数の階層を有し、第１処理において、階層毎に画像特徴マップＣＭＰが第１処理データＰＤ１として出力される。画像特徴マップＣＭＰは、各階層によって処理される毎に抽象度が高まる。そのため、第１処理データＰＤ１が傍受された場合でも、抽象度が高い第１処理データＰＤ１からは、ユーザの事業内容がより把握しづらい。その結果、情報セキュリティリスクがより低減される。
　さらに、第１サブニューラルネットワークＳＢＮ１は、入力画像ＩＩなどの入力データを解析することにより、入力データの特徴を第１処理データＰＤ１として抽出するエンコーダネットワークＥＮＣである。上記例においては、第１処理データＰＤ１は、入力画像ＩＩの特徴として抽出される画像特徴マップＣＭＰである。このように、エンコーダネットワークＥＮＣを用いて第１処理が施されることにより、入力画像ＩＩなどの解析対象の入力データよりも抽象度の高い第１処理データＰＤ１が出力される。そのため、第１処理データＰＤ１が傍受された場合でも、第１処理データＰＤ１からは、ユーザの事業内容がより把握しづらい。その結果、情報セキュリティリスクがより低減される。
　また、上記例のように、第１サブニューラルネットワークＳＢＮ１が、畳み込み処理及びプーリング処理を伴うエンコーダネットワークＥＮＣの場合には、第１処理データＰＤ１は、入力画像ＩＩと比べて、チャンネル数が多く、画像サイズが小さくなる場合が多く、第１処理データＰＤ１の抽象度が高まる。そのため、第１処理データＰＤ１が傍受された場合でも、抽象度が高い第１処理データＰＤ１からは、ユーザの事業内容がより把握しづらい。その結果、情報セキュリティリスクがより低減される。
　また、上記例のように、データ解析処理が画像解析処理であり、解析対象が入力画像ＩＩの場合は、解析対象が、例えば、テキストデータである場合と比べて、事業内容を特定するための情報量が豊富に含まれている場合が多い。そのため、本開示の技術を用いて、情報セキュリティリスクを低減する必要性が大きい。
　また、上記例のように、モデルＭが、画像解析処理がセマンティックセグメンテーションを実施するためのニューラルネットワークである場合は、開発及びメインテナンスの負荷も大きい場合が多い。そのため、セマンティックセグメンテーションを行うサービスについては、ユーザのコスト負担が少ない、オンラインサービスの必要性が高い。共用回線１６を使用することにより、こうしたオンラインサービスを安価に提供するために、本開示の技術は有効である。
　また、上記例において、第１階層から第Ｎ階層（上記例ではＮは５）の複数の階層を有するエンコーダネットワークＥＮＣのうち、第１サブニューラルネットワークＳＢＮ１は、入力画像ＩＩが入力される最上層の第１階層に対応する部分を含んでいる。そのため、共用回線１６を入力画像ＩＩそのものが通過することが無い。このように第１サブニューラルネットワークＳＢＮ１にエンコーダネットワークＥＮＣの第１階層に対応する部分を含ませる分割方法は、情報セキュリティリスクを低減する観点では最も好ましい。
　また、第２サブニューラルネットワークＳＢＮ２は、デコーダネットワークＤＥＣのうち、最下層の第Ｎ階層（上記例ではＮは５）に対応する部分を含んでいる。デコーダネットワークＤＥＣにおいて、最下層が取り扱う画像特徴マップＣＭＰのチャンネル数は、最大であるため、一般的に、データ解析処理の処理負荷が最も大きい。そのため、このように第２サブニューラルネットワークＳＢＮ２にデコーダネットワークＤＥＣの最下層に対応する部分を含ませる分割方法は、クライアント装置１２の処理負荷を低減する観点では最も好ましい。
　そのため、第１サブニューラルネットワークＳＢＮ１に、エンコーダネットワークＥＮＣの最上層に対応する部分を含ませ、かつ、第２サブニューラルネットワークＳＢＮ２に、デコーダネットワークＤＥＣの最下層に対応する部分を含ませる分割方法は、メリットが多く好ましい。
　また、上記例において、入力画像ＩＩとして細胞画像を例に説明したが、細胞画像のセマンティックセグメンテーションを行う場合、判別されるクラスは、分化細胞及び未分化細胞などである。画像に写っている被写体が、人及び自動車などの形態が比較的明瞭なクラスと比較すると、細胞画像の被写体となるクラスは、人の視覚による判別が比較的困難である。こうした細胞画像のセマンティックセグメンテーションを実施するデータ解析処理サービスを、オンラインサービスで提供する必要性は大きい。そのため、こうしたデータ解析処理サービスの情報セキュリティリスクを低減することができる本開示の技術は有効である。
　また、上記例において、サーバ装置１４は、第１サブニューラルネットワークＳＢＮ１をクライアント装置１２に配信する配信部５３を備えている。そのため、モデルＭが更新された場合など、更新された第１サブニューラルネットワークＳＢＮ１をクライアント装置１２に提供しやすい。
　また、データ取得部５１は、クライアント装置１２において暗号化された第１処理データＰＤ１を復号化する機能を備えているため、暗号化されない場合と比べて、データの傍受がしにくく、情報セキュリティリスクがより低減される。
　［第２実施形態］
　第１実施形態においては、モデルＭをエンコーダネットワークＥＮＣとデコーダネットワークＤＥＣの２つのサブニューラルネットワークに分割した。そして、第１実施形態においては、エンコーダネットワークＥＮＣに対応する処理をクライアント装置１２で実行し、デコーダネットワークＤＥＣに対応する処理をサーバ装置１４で実行する例で説明した。しかし、モデルＭの分割方法は、第１実施形態の例に限らず、例えば、図１３に示す第２実施形態のように分割してもよい。
　図１３に示す第２実施形態においては、モデルＭを、第１サブニューラルネットワークＳＢＮ１、第２サブニューラルネットワークＳＢＮ２、及び第３サブニューラルネットワークＳＢＮ３の３つに分割する。そして、第２実施形態においては、各サブニューラルネットワークは、エンコーダネットワークＥＮＣとデコーダネットワークＤＥＣとを横断的に分割される。このように横断的に分割されることにより、エンコーダネットワークＥＮＣとデコーダネットワークＤＥＣのそれぞれの第１階層に対応する部分に対応する処理は、クライアント装置１２によって実行される。そして、第２階層以下の部分に対応する処理は、サーバ装置１４が実行される。なお、第２実施形態におけるモデルＭの全体の内容は、図５及び図９に示す第１実施形態と同じであり、第１実施形態とは分割方法のみが異なる。
　クライアント装置１２は、第１サブニューラルネットワークＳＢＮ１を用いた第１処理と、第３サブニューラルネットワークＳＢＮ３を用いた第３処理を実行する。サーバ装置１４は、第２サブニューラルネットワークＳＢＮ２を用いた第２処理を実行する。データ解析処理において、第１処理、第２処理、第３処理の順に実行される。
　図１３に示すように、第２実施形態において、第１サブニューラルネットワークＳＢＮ１は、エンコーダネットワークＥＮＣの第１階層に対応する部分のみを含んでいる。第１処理はサブ処理ＥＳＰ１のみであり、第１処理データＰＤ１は、サブ処理ＥＳＰ１において出力される画像特徴マップＣＭＰである。
　第２サブニューラルネットワークＳＢＮ２は、エンコーダネットワークＥＮＣの第２階層から第５階層と、デコーダネットワークＤＥＣの第５階層から第２階層に対応する部分を含んでいる。第２処理は、第１処理データＰＤ１に基づいて、エンコーダネットワークＥＮＣを用いたサブ処理ＥＳＰ２からＥＳＰ５と、デコーダネットワークＤＥＣを用いたサブ処理ＤＳＰ５からＤＳＰ２である。第２処理データＰＤ２は、サブ処理ＤＳＰ２において出力される画像特徴マップＣＭＰである。第２実施形態においては、第１実施形態と異なり、第２処理データＰＤ２は、出力画像ＯＩではなく、出力画像ＯＩを生成するための中間データである。
　第３サブニューラルネットワークＳＢＮ３は、デコーダネットワークＤＥＣの第１階層に対応する部分のみを含んでいる。第３処理はサブ処理ＤＳＰ１のみであり、第３処理データＰＤ３は、出力画像ＯＩである。
　図１４に示すフローチャートを用いて、第２実施形態の作用を説明する。プロバイダ１３のデータ解析処理サービスを利用する場合は、まず、ステップＳ１１２０において、クライアント装置１２は、第１サブニューラルネットワークＳＢＮ１を用いて入力画像ＩＩに対して第１処理を実行する。第１処理は、エンコーダネットワークＥＮＣのサブ処理ＥＳＰ１であり、第１処理データＰＤ１は、サブ処理ＥＳＰ１において出力される画像特徴マップＣＭＰである。第１処理の後、ステップＳ１２２０において処理要求が送信される。そして、ステップＳ１３２０において、サブ処理ＥＳＰ１において出力された画像特徴マップＣＭＰが第１処理データＰＤ１として、共用回線１６を介してサーバ装置１４に送信される。
　サーバ装置１４は、ステップＳ２１２０において、処理要求を受信すると、ステップＳ２２２０において、データ取得部５１が第１処理データＰＤ１を取得する。ステップＳ２３２０において、サーバ側データ処理部５２は、取得した第１処理データＰＤ１に基づいて、第２サブニューラルネットワークＳＢＮ２を用いて第２処理を実行する。これにより、第２処理データＰＤ２を出力する。ステップＳ２４２０において、配信部５３は、中間データである第２処理データＰＤ２をクライアント装置１２に配信する。
　クライアント装置１２は、ステップＳ１４２０において、第２処理データＰＤ２を受信する。ステップＳ１５２０において、クライアント装置１２は、第３サブニューラルネットワークＳＢＮ３を用いて、第２処理データＰＤ２に基づいて第３処理を実行する。第３処理は、デコーダネットワークＤＥＣの第１階層のサブ処理ＤＳＰ１であり、第３処理が実行されることにより、Ｓ１６２０において、第３処理データＰＤ３として、出力画像ＯＩが生成される。
　第２実施形態のようにモデルＭを分割しても、第１実施形態と同様に、入力画像ＩＩがそのまま共用回線１６を通過することはない。そのため、第１実施形態と同様に、情報セキュリティリスクを低減できる。
　また、第２実施形態では、エンコーダネットワークＥＮＣ及びデコーダネットワークＤＥＣの同一階層に対応する両方の処理が、クライアント装置１２及びサーバ装置１４のいずれかにおいて実行されるように、エンコーダネットワークＥＮＣとデコーダネットワークＤＥＣとが横断的に分割されている。そのため、各階層のスキップレイヤ処理は、クライアント装置１２又はサーバ装置１４内で行われることになる。その結果、スキップレイヤ処理に伴う画像特徴マップＣＭＰは、共用回線１６を通過することはない。これにより、共用回線１６を通過する画像特徴マップＣＭＰの量が少なくなる分、情報セキュリティリスクが低減される。
　また、第２実施形態においても、第１実施形態と同様に、クライアント装置１２が用いる第１サブニューラルネットワークＳＢＮ１に、エンコーダネットワークＥＮＣの第１階層に対応する部分が含まれており、サーバ装置１４が用いる第２サブニューラルネットワークＳＢＮ２に、デコーダネットワークＤＥＣの最下層に対応する部分が含まれている。第１実施形態で述べたとおり、こうした分割方法は、情報セキュリティリスクを低減する観点及びクライアント装置１２の処理負荷を低減する観点ではメリットが大きいため、好ましい。この他、第２実施形態においても、第１実施形態と同様の構成を有する部分は、第１実施形態と同様の効果が得られる。
　また、第２実施形態においては、階層型のモデルＭにおいて、比較的処理負荷が小さいと考えられる第１階層に対応する部分のみを、クライアント装置１２が用いる第１サブニューラルネットワークＳＢＮ１としている。クライアント装置１２は、サーバ装置１４と比べて処理能力が低い場合が多いため、処理時間の短縮の観点からは、第２実施形態の分割方法は有効である。
　なお、図１３などに示すように、複数の階層を有する階層型のモデルＭを有する場合は、最下層に近づくほど、サブ処理ＥＳＰにおいて出力されるサブデータ（本例では画像特徴マップＣＭＰ）の抽象度が上がる。共用回線１６を通過させるデータの抽象度が高いほど、情報セキュリティリスクは低減される。そのため、情報セキュリティリスクを低減する観点からは、できるだけ最下層まで第１サブニューラルネットワークＳＢＮ１に含まれるように分割することにより、クライアント装置１２からサーバ装置１４に向けて送信されるデータの抽象度を上げることが好ましい。
　しかし、階層型のモデルＭにおいては、最下層に向かうほど、処理負荷は大きくなる傾向があるため、クライアント装置１２の処理負荷を低減する観点からは、第１サブニューラルネットワークＳＢＮ１に下層の階層を含ませるのは好ましくない。
　入力画像ＩＩに映っているクラスが認識できない程度に、画像特徴マップＣＭＰが抽象化されていれば、画像特徴マップＣＭＰが傍受された場合でも、画像特徴マップＣＭＰの内容から、ユーザの事業内容を把握することは不可能になる。入力画像ＩＩの内容にもよるが、細胞画像の場合は、入力画像ＩＩの画像サイズの半分程度の画像特徴マップＣＭＰまで縮小されれば、細胞画像であることは把握されても、細胞の種類まで特定することは困難になる。そのため、画像特徴マップＣＭＰの画像サイズが入力画像ＩＩの半分程度になる階層まで、第１サブニューラルネットワークＳＢＮ１に含まれるように分割することが好ましい。
　さらに、より好ましくは、入力画像ＩＩに含まれる１個の細胞など、１個のクラスの大きさが、画像特徴マップＣＭＰにおいて３ピクセル以下になる程度まで縮小されれば、細胞の種類などクラスの種類を特定することは不可能になるため、情報セキュリティリスクをほぼゼロにすることができる。そのため、情報セキュリティリスクをゼロに近づけたい場合は、画像特徴マップＣＭＰに含まれる判別対象のクラスの大きさが３ピクセル以下になる階層まで、第１サブニューラルネットワークＳＢＮ１に含まれるように分割することが好ましい。これにより、情報セキュリティリスクを低減しつつ、クライアント装置１２の処理負荷を低減することができる。
　（第２実施形態の変形例）
　モデルＭの分割方法としては、図９に示す第１実施形態及び図１３に示す第２実施形態に限らず、各種の方法が考えられる。例えば、図１５に示すように、第１サブニューラルネットワークＳＢＮ１として、エンコーダネットワークＥＮＣの第１階層に対応する部分だけを含ませて、残りの全部を第２サブニューラルネットワークＳＢＮ２としてもよい。
　［第３実施形態］
　図１６に示す第３実施形態のように、ニューラルネットワークを含むモデルＭのうち、第１サブニューラルネットワークＳＢＮ１として分割する分割部分を変更可能としてもよい。第１サブニューラルネットワークＳＢＮ１の分割部分の決定及び分割は、分割部５４が行う。分割部分の変更は、予め設定された条件に従って行われる。図１６の例では、データ解析処理の処理要求を受け付ける毎に変更される。
　図１６において、ステップＳ１１３０において、クライアント装置１２が処理要求を送信すると、サーバ装置１４は、ステップＳ２１３０において処理要求を受信する。サーバ装置１４は、ステップＳ２２３０において、分割部５４が、第１サブニューラルネットワークＳＢＮ１の分割部分の決定し、決定した内容で分割する。そして、ステップＳ２３３０において、配信部５３は、分割部分を第１サブニューラルネットワークＳＢＮ１として、クライアント装置１２に配信する。
　クライアント装置１２は、ステップＳ１２３０において、第１サブニューラルネットワークＳＢＮ１を取得する。そして、ステップ１３３０において、取得した第１サブニューラルネットワークＳＢＮ１を用いて、入力画像ＩＩに対して第１処理を実行する。
　図１６の例では、分割方法は、図１３及び図１４に示す第２実施形態を例と同様である。そのため、サーバ装置１４における、ステップＳ２４３０からステップＳ２６３０までの処理と、クライアント装置１２における、ステップＳ１５３０からステップＳ１７３０までの処理は、図１４に示す第２実施形態と同様であるので説明を省略する。
　このように、第３実施形態においては、クライアント装置１２に配信される、第１サブニューラルネットワークＳＢＮ１として分割する分割部分を変更することが可能な分割部５４を備えている。このように、分割部分を変更すれば、分割部分が変更される毎に、共用回線１６を通過するデータの内容が変化することになる。そのため、傍受されたデータからユーザ１１の事業内容などを把握することがより困難になり、情報セキュリティリスクをより低減することができる。
　なお、図１６の例では、分割部分を変更する条件として、データ解析処理の処理要求を受け付ける毎、すなわち、データ解析処理が１回行われる毎としているが、分割部分を変更する条件は、これ以外でもよい。条件としては、例えば、データ解析処理が複数回行われる毎でもよい。また、分割部分を変更する条件を、予め設定された時間間隔としてもよいし、ユーザ１１からの変更指示を条件としてもよい。
　また、分割部分の変更は、予め設定された条件に基づいて行われるので、プロバイダ１３の事情及びユーザ１１の要望などに応じて、条件を変更することも可能となる。
　［第４実施形態］
　上記各実施形態では、データ解析処理サービスとして、入力画像ＩＩに対するセマンティックセグメンテーションのみをサービスの対象とし、セマンティックセグメンテーションの処理結果である出力画像ＯＩを最終データとする例で説明した。しかし、図１７に示す第４実施形態のように、データ解析処理サービスとしては、セマンティックセグメンテーションに加えて、セマンティックセグメンテーションの処理結果である出力画像ＯＩに基づいて、細胞の数及びサイズなどを導出する処理を加えてもよい。
　図１７に示す第４実施形態では、サーバ装置１４に導出部５６が設けられている。導出部５６は、出力画像ＯＩに基づいて、出力画像ＯＩにクラスとして映っている細胞の数及びサイズのうちの少なくとも１つを導出する。サイズは、面積でもよいし、大、中、小といったおおよそのサイズを示す指標でもよい。
　図１８に第４実施形態の処理手順を示す。なお、図１８において、サーバ装置１４のステップＳ２４４０及びＳ２５４０、クライアント装置１２のステップＳ１４４０を除いて、図１２に示す第１実施形態と同様であるので、共通部分については説明を省略する。
　図１８に示すように、サーバ装置１４において、サーバ側データ処理部５２は、ステップＳ２４４０において第２処理を実行して出力画像ＯＩを出力する。導出部５６は、ステップＳ２５４０において、出力画像ＯＩに基づいて、細胞の数及びサイズを導出する。導出部５６は、出力画像ＯＩにおいて画素単位で判別されることにより、分化細胞及び未分化細胞などのラベルが付されているデータに基づいて、各細胞の領域を特定することにより、各細胞の数及びサイズなどを導出する。導出された情報はクライアント装置１２に配信される。クライアント装置１２は、ステップＳ１４４０において、配信された細胞の数及びサイズを受信する。
　人及び自動車などと比較して、細胞は微細な構造をしているため、細胞画像内の細胞の輪郭及び種類等を認識することは比較的難しい。そのため、セマンティックセグメンテーションに加えて、細胞の数及びサイズを導出するサービスを、データ解析処理サービスに加えることはユーザ１１の利便性を考えると有効である。
　［第５実施形態］
　また、図１９に示す第５実施形態のように、ニューラルネットワークを含むモデルＭは、学習フェーズにおいて、２以上の細胞の種類について学習されていることが好ましい。第５実施形態のモデルＭは、例えば、学習装置１７において、神経細胞の学習データＬＤ１及び心筋細胞の学習データＬＤ２というように、異なる種類の細胞画像の学習データを使用して、２以上の細胞の種類について学習されている。
　このように、モデルＭが２以上の細胞の種類について学習されていると、次のようなメリットがある。すなわち、こうすると、１種類の細胞のみで学習されているモデルＭと比較して、第１処理データＰＤ１として出力される画像特徴マップＣＭＰの抽象度が高くなる。モデルＭは、細胞の種類に関わらず、分化細胞及び未分化細胞といったクラスを判別するように学習されるため、学習過程において、神経細胞か心筋細胞かといった区別は重視されなくなるためである。そのため、画像特徴マップＣＭＰにおいては、神経細胞か心筋細胞かといった細胞の種類を判別するための特徴については抽象度が高くなる。そのため、こうした抽象度の高い画像特徴マップＣＭＰが共用回線１６を介して傍受された場合でも、その画像特徴マップＣＭＰからは、どのような細胞の種類かの判別が難しいため、ユーザ１１の事業内容の把握が困難になる。その結果、情報セキュリティリスクが低減される。
　上記各実施形態において、第１サブニューラルネットワークＳＢＮ１を用いてクライアント装置１２が実行する第１処理は、データ解析処理において最先の処理の例で説明したが、第１処理は、データ解析処理の最先の処理でなくてもよい。例えば、第１処理の前に別の処理が行われていてもよい。また、第２実施形態で示したように、第２処理は、データ解析処理において、最終の処理でなくてもよい。つまり、第１処理と第２処理はそれぞれ、データ解析処理の一部であり、第１処理が、第２処理に先立って行われる処理であればよい。
　上記各実施形態では、入力画像ＩＩとして、培養中の複数の細胞を撮影した細胞画像を例示し、クラスとして分化細胞、培地等を例示したが、これに限定されない。例えばＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）画像を入力画像ＩＩとし、肝臓又は腎臓といった臓器をクラスとしてもよい。また、モデルＭはＵ－Ｎｅｔに限らず、他の畳み込みニューラルネットワーク、例えばＳｅｇＮｅｔなどでもよい。
　また、データ解析処理としては、セマンティックセグメンテーションを実施するためのものに限らず、入力画像ＩＩ内に映る物体の検出のみを行う画像解析処理でもよい。また、例えば、カメラなどで被写体を撮影した入力画像ＩＩを解析して、被写体をイラスト風に描いた画像に変換するといった画像解析処理でもよい。
　また、データ解析処理としては、画像解析処理以外でもよい。例えば、各種の実験データ及び統計データを入力データとして、ニューラルネットワークを用いて入力データを解析することにより、変数選択問題及び最適化問題などを解くといったデータ解析処理に、本開示の技術を適用することも可能である。
　また、クライアント装置１２は、タブレット、ノート型パソコンなど、ユーザが直接操作する端末装置でもよいし、ユーザ１１が使用する複数の端末装置と社内ＬＡＮによって接続され、各端末装置の要求に応じて、端末装置に対して処理を実行するクライアント側の管理下にあるサーバ装置でもよい。クライアント側のサーバ装置がクライアント装置１２の場合は、クライアント側のサーバ装置と、プロバイダ１３におけるサーバ装置１４とが、ニューラルネットワークの処理を分担する。
　データ解析処理システム１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、サーバ装置１４と学習装置１７とを統合して、１台のコンピュータで構成してもよい。また、サーバ装置１４の処理能力及び信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、サーバ装置１４のデータ取得部５１、サーバ側データ処理部５２、配信部５３、分割部５４、及び導出部５６の各部を、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータでサーバ装置１４が構成される。
　このように、データ解析処理システム１０及びサーバ装置１４のハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０等のアプリケーションプログラムについても、安全性及び信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
　上記各実施形態において、例えば、サーバ側データ処理部５２、配信部５３、分割部５４、及び導出部５６といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム４０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ３２に加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、及び／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、複数台のコンピュータでサーバ装置１４を構成する場合のように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。
　また、これらの各種のプロセッサは、プロセッサに内蔵又は接続されたメモリと協働して、各種の処理を実行する。
　以上の記載から、以下の付記項１に記載の技術を把握することができる。
　［付記項１］
　　ニューラルネットワークを用いて、データ解析処理を実行するデータ解析処理システムにおいて、データ解析処理の一部を実行するサーバ装置であって、
　ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得する第１プロセッサと、
　ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理データを出力する第２プロセッサと、を備えているサーバ装置。
　［付記項２］
　ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムにおいて、データ解析処理の一部を実行するサーバ装置の作動プログラムであって、
　ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得するデータ取得処理と、
　ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理データを出力するデータ出力処理とを、コンピュータのプロセッサに実行させるサーバ装置の作動プログラム。
　［付記項３］
　ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムにおいて、データ解析処理の一部を実行するサーバ装置の作動方法であって、
　ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得することと、
　ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理データを出力することとを含む、サーバ装置の作動方法。
　［付記項４］
　クライアント装置とサーバ装置とを含み、ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムであって、
　クライアント装置は、
　ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、データ解析処理の一部である第１処理を実行することにより、第１処理の処理結果である第１処理データを出力するクライアント側プロセッサを備えており、
　サーバ装置は、
　クライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、第１処理データを取得するデータ取得処理と、
　ニューラルネットワークの一部であり、第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、第１処理データに基づいて、データ解析処理の一部である第２処理を実行することにより、第２処理の処理結果である第２処理データを出力するデータ出力処理とを、実行するサーバ側プロセッサとを備えている、データ解析処理システム。
　本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶し、かつ、コンピュータで読み取り可能な記憶媒体にも及ぶ。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／またはＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／または」で結び付けて表現する場合も、「Ａ及び／またはＢ」と同様の考え方が適用される。
　２０１９年７月２日に出願された日本国特許出願２０１９－１２３６６４号の開示はその全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (20)

  1. 　ニューラルネットワークを用いて、データ解析処理を実行するデータ解析処理システムにおいて、前記データ解析処理の一部を実行するサーバ装置であって、
    　前記ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、前記データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、前記第１処理データを取得するデータ取得部と、
    　前記ニューラルネットワークの一部であり、前記第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、前記第１処理データに基づいて、前記データ解析処理の一部である第２処理を実行することにより、第２処理データを出力するデータ処理部と、を備えているサーバ装置。
  2. 　前記第１サブニューラルネットワークを、前記共用回線を介して、前記クライアント装置に配信する配信部を備えている請求項１に記載のサーバ装置。
  3. 　前記ニューラルネットワークのうち、前記第１サブニューラルネットワークとして分割する分割部分を変更可能な分割部を備えている請求項２に記載のサーバ装置。
  4. 　前記分割部分の変更は、予め設定された条件に基づいて行われる請求項３に記載のサーバ装置。
  5. 　前記データ取得部は、前記クライアント装置において暗号化された前記第１処理データを復号化する機能を備えている請求項１から４のうちのいずれか１項に記載のサーバ装置。
  6. 　前記第１サブニューラルネットワークを用いて実行される前記第１処理は、複数のサブ処理が含まれており、かつ、複数の前記サブ処理のそれぞれによって、前記第１処理データの一部であるサブデータが出力され、
    　前記データ取得部は、前記第１処理データを、前記サブデータ毎に分割して取得する請求項１から５のうちのいずれか１項に記載のサーバ装置。
  7. 　前記第１サブニューラルネットワークは、入力される入力データを解析する複数の階層を有し、
    　複数の前記サブ処理は、複数の前記階層のそれぞれにおいて実行され、
    　前記サブデータは、前記サブ処理毎に出力される請求項６に記載のサーバ装置。
  8. 　前記第１サブニューラルネットワークは、入力される入力データを解析することにより、前記入力データの特徴を前記第１処理データとして抽出するエンコーダネットワークを含む請求項１から７のうちのいずれか１項に記載のサーバ装置。
  9. 　前記データ解析処理は、入力される入力画像を解析する画像解析処理である請求項１から８のうちのいずれか１項に記載のサーバ装置。
  10. 　前記第１サブニューラルネットワークは、前記入力画像を解析することにより、前記入力画像の特徴を表す画像特徴マップを前記第１処理データとして抽出するエンコーダネットワークを含む請求項９に記載のサーバ装置。
  11. 　前記エンコーダネットワークを用いて実行される前記第１処理は、フィルタを用いた畳み込み演算を行って、前記入力画像に含まれる、周波数帯域が異なる特徴を表す前記画像特徴マップを抽出する畳み込み処理と、前記畳み込み処理で抽出された前記画像特徴マップの局所的な統計量を計算して前記画像特徴マップを圧縮することにより、画像サイズが縮小された前記画像特徴マップを出力するプーリング処理とのうち、少なくとも前記畳み込み処理を含み、
    　前記第１処理データは、前記入力画像よりも、前記フィルタの適用枚数に応じたチャンネル数が多く、
    かつ、前記第１処理に前記プーリング処理が含まれる場合は、前記第１処理データは、前記入力画像よりも、前記画像サイズが小さい請求項１０に記載のサーバ装置。
  12. 　前記エンコーダネットワークは、前記入力画像を解析する複数の階層を有し、前記第１処理において、前記階層毎に前記画像特徴マップを抽出する請求項１１に記載のサーバ装置。
  13. 　前記ニューラルネットワークは、前記エンコーダネットワークと、前記階層毎に抽出された前記画像特徴マップに基づいて、前記入力画像内のクラス毎の領域がセグメンテーションされた出力画像を生成するデコーダネットワークとを有し、
    　前記画像解析処理として、前記入力画像に含まれる複数のクラスの判別を画素単位で行うセマンティックセグメンテーションを行う畳み込みニューラルネットワークである請求項１２に記載のサーバ装置。
  14. 　前記エンコーダネットワーク及び前記デコーダネットワークは、それぞれ、複数の階層として、最上層の第１階層から最下層の第Ｎ階層までのＮ個の階層を有しており、
    　前記第１サブニューラルネットワークは、前記エンコーダネットワークのうち、前記入力画像が入力される最上層の第１階層に対応する部分を少なくとも含み、
    　前記第２サブニューラルネットワークは、前記デコーダネットワークのうち、最下層の第Ｎ階層に対応する部分を少なくとも含む請求項１３に記載のサーバ装置。
  15. 　前記セマンティックセグメンテーションの処理結果である出力画像に基づいて、前記クラスの数、及びサイズの少なくとも１つを導出する導出部を備えている請求項１３又は１４に記載のサーバ装置。
  16. 　前記入力画像は、細胞を撮影した細胞画像である請求項９から１５のうちのいずれか１項に記載のサーバ装置。
  17. 　前記ニューラルネットワークは、学習フェーズにおいて、２以上の細胞種類について学習されている請求項１６に記載のサーバ装置。
  18. 　ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムにおいて、前記データ解析処理の一部を実行するサーバ装置の作動プログラムであって、
    　前記ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、前記データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、前記第１処理データを取得するデータ取得部と、
    　前記ニューラルネットワークの一部であり、前記第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、前記第１処理データに基づいて、前記データ解析処理の一部である第２処理を実行することにより、第２処理データを出力するデータ処理部として、コンピュータを機能させるサーバ装置の作動プログラム。
  19. 　ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムにおいて、前記データ解析処理の一部を実行するサーバ装置の作動方法であって、
    　前記ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、前記データ解析処理の一部である第１処理を実行することにより、第１処理データを出力するクライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、前記第１処理データを取得するデータ取得ステップと、
    　前記ニューラルネットワークの一部であり、前記第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、前記第１処理データに基づいて、前記データ解析処理の一部である第２処理を実行することにより、第２処理データを出力するデータ処理ステップとを含む、サーバ装置の作動方法。
  20. 　クライアント装置とサーバ装置とを含み、ニューラルネットワークを利用して、データ解析処理を実行するデータ解析処理システムであって、
    　前記クライアント装置は、
    　前記ニューラルネットワークの一部である第１サブニューラルネットワークを用いて、前記データ解析処理の一部である第１処理を実行することにより、前記第１処理の処理結果である第１処理データを出力するクライアント側データ処理部を備えており、
    　前記サーバ装置は、
    　前記クライアント装置から、複数のユーザが利用可能な共用の通信回線である共用回線を介して、前記第１処理データを取得するデータ取得部と、
    　前記ニューラルネットワークの一部であり、前記第１サブニューラルネットワークとは別の第２サブニューラルネットワークを用いて、前記第１処理データに基づいて、前記データ解析処理の一部である第２処理を実行することにより、前記第２処理の処理結果である第２処理データを出力するサーバ側データ処理部とを備えている、データ解析処理システム。
PCT/JP2020/024025 2019-07-02 2020-06-18 サーバ装置、サーバ装置の作動プログラム及び作動方法、並びにデータ解析処理システム WO2021002215A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019123664 2019-07-02
JP2019-123664 2019-07-02

Publications (1)

Publication Number Publication Date
WO2021002215A1 true WO2021002215A1 (ja) 2021-01-07

Family

ID=74100498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024025 WO2021002215A1 (ja) 2019-07-02 2020-06-18 サーバ装置、サーバ装置の作動プログラム及び作動方法、並びにデータ解析処理システム

Country Status (1)

Country Link
WO (1) WO2021002215A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114429548A (zh) * 2022-01-28 2022-05-03 北京百度网讯科技有限公司 图像处理方法、神经网络及其训练方法、装置和设备
JP2023014906A (ja) * 2021-07-19 2023-01-31 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287062A (ja) * 2009-06-11 2010-12-24 Honda Motor Co Ltd ニューラルネットワーク・シミュレーション演算方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010287062A (ja) * 2009-06-11 2010-12-24 Honda Motor Co Ltd ニューラルネットワーク・シミュレーション演算方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HIRAGA, YURIA ET AL.: "High efficient multi-task DNN inference using shared CNN for one-to-many application", IEICE TECHNICAL REPORT, vol. 118, no. 515, 10 March 2019 (2019-03-10), pages 241 - 246 *
HIRAMATSU, YUKI ET AL.: "Cell image segmentation by integrating multiple CNNs", THE 24TH SYMPOSIUM ON SENSING VIA IMAGE INFORMATION SSII2018, 13 June 2018 (2018-06-13), XP033475607 *
KANG, Y. P. ET AL.: "Neurosurgeon: collaborative intelligence between the cloud and mobile edge", PROCEEDINGS OF THE TWENTY-SECOND INTERNATIONAL CONFERENCE ON ARCHITECTURAL SUPPORT FOR PROGRAMMING LANGUAGES AND OPERATING SYSTEMS (ASPLOS 2017, April 2017 (2017-04-01), pages 615 - 629, XP055727018, Retrieved from the Internet <URL:https://dl.acm.org/doi/10.1145/3037697.303769> [retrieved on 20200727], DOI: 10.1145/3037697.3037698 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023014906A (ja) * 2021-07-19 2023-01-31 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7352600B2 (ja) 2021-07-19 2023-09-28 ヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN114429548A (zh) * 2022-01-28 2022-05-03 北京百度网讯科技有限公司 图像处理方法、神经网络及其训练方法、装置和设备

Similar Documents

Publication Publication Date Title
WO2021002215A1 (ja) サーバ装置、サーバ装置の作動プログラム及び作動方法、並びにデータ解析処理システム
US11620480B2 (en) Learning method, computer program, classifier, and generator
JP7026813B2 (ja) 学習装置、学習装置の作動プログラム及び作動方法
US8774518B2 (en) Digital pathology system with low-latency analytics
US20070162873A1 (en) Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
JP2017033529A (ja) 画像認識方法、画像認識装置およびプログラム
JP2003331285A (ja) パラメータに基づいたシャープニングおよびスムージングを行う方法
EP2455892A1 (en) System and Method for Classifying Digital Image Data
US11551447B2 (en) Real-time video stream analysis system using deep neural networks
JP2015035198A (ja) 画像処理装置及び画像処理方法
CN105493501A (zh) 虚拟视觉相机
US20160306529A1 (en) Method and Device for Removing Objects from a Video Feed in Real-time
CN104735389B (zh) 信息处理方法和信息处理设备
Kumar et al. Efficient hardware of RGB to Gray conversion realized on FPGA and ASIC
JP7195220B2 (ja) 学習装置、学習装置の作動方法、および学習装置の作動プログラム
US20220012895A1 (en) Image processing apparatus, and operation method and operating program thereof, operating apparatus, and operation method and operating program thereof, and machine learning system
AU2012268887A1 (en) Saliency prediction method
CN111507466A (zh) 数据处理方法、装置、电子设备及可读介质
JP5892592B2 (ja) 超解像画像処理装置及び超解像画像処理用コードブック作成装置
WO2020121678A1 (ja) ミニバッチ学習装置とその作動プログラム、作動方法、および画像処理装置
JP5896661B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP7167356B2 (ja) 学習装置、学習装置の作動方法、学習装置の作動プログラム
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법
Happ et al. Towards distributed region growing image segmentation based on MapReduce
WO2020121668A1 (ja) ミニバッチ学習装置とその作動プログラムおよび作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20834549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20834549

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP