WO2022153480A1 - 情報処理装置、情報処理システム、情報処理方法および記録媒体 - Google Patents

情報処理装置、情報処理システム、情報処理方法および記録媒体 Download PDF

Info

Publication number
WO2022153480A1
WO2022153480A1 PCT/JP2021/001240 JP2021001240W WO2022153480A1 WO 2022153480 A1 WO2022153480 A1 WO 2022153480A1 JP 2021001240 W JP2021001240 W JP 2021001240W WO 2022153480 A1 WO2022153480 A1 WO 2022153480A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
feature
unit
processing
target
Prior art date
Application number
PCT/JP2021/001240
Other languages
English (en)
French (fr)
Inventor
フロリアン バイエ
悠介 篠原
勇人 逸身
浩一 二瓶
チャルヴィ ヴィタル
孝法 岩井
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/001240 priority Critical patent/WO2022153480A1/ja
Priority to US18/271,642 priority patent/US20240062507A1/en
Priority to JP2022574987A priority patent/JPWO2022153480A5/ja
Publication of WO2022153480A1 publication Critical patent/WO2022153480A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to an information processing device, an information processing system, an information processing method and a recording medium.
  • the moving image data when the moving image data is compressed and transmitted, the moving image is restored from the received data, and image recognition is performed on the reproduced image, the moving image data is compressed, the moving image is restored, and the moving image is restored.
  • image recognition there may be a delay due to processing time.
  • the effect of delay is large.
  • QoE Quality Of Experience, experience quality of services, etc.
  • An example of an object of the present invention is to provide an information processing device, an information processing system, an information processing method, and a recording medium capable of solving the above-mentioned problems.
  • the information processing apparatus has a receiving means for receiving communication data based on the feature data indicating the characteristics of the expression content of the target data, and the feature data based on the received communication data.
  • a feature restoration means for restoring the target data a target restoration means for restoring the target data based on the restored feature data, and a recognition means for performing recognition processing for the expression content of the target data based on the restored feature data.
  • the information processing system includes a transmitting side device and a receiving side device
  • the transmitting side device includes a data acquisition means for acquiring target data and an expression content of the target data.
  • the receiving device includes a feature extracting means for calculating feature data indicating features, a communication data generating means for generating communication data based on the feature data, and a transmitting means for transmitting the communication data.
  • a recognition means that performs recognition processing for the expression content of the target data based on the feature data, and an output means that outputs information indicating the restored expression content of the target data and the recognition result by the recognition processing.
  • the information processing method receives communication data based on the feature data indicating the characteristics of the expression content of the target data, and obtains the feature data based on the received communication data. Restoring, restoring the target data based on the restored feature data, performing recognition processing for the expression content of the target data based on the restored feature data, and restoring the above. It includes outputting information indicating the expression content of the target data and the recognition result by the recognition process.
  • the recording medium receives the communication data based on the feature data indicating the features of the expression content of the target data on the computer, and the features based on the received communication data. Restoring the data, restoring the target data based on the restored feature data, performing recognition processing for the expression content of the target data based on the restored feature data, and restoring. It is a recording medium for recording a program for outputting information indicating the expression content of the target data and the recognition result by the recognition process and executing the operation.
  • the processing time for restoring the target data and recognizing the expression content of the restored data can be relatively short.
  • the information processing system performs transmission / reception of image data and image recognition
  • the target of transmission / reception and recognition processing in the following embodiments is not limited to image data, and can be various data that can be compressed and decompressed (restored) hierarchically.
  • the information processing system may send and receive voice data and perform voice recognition.
  • the information processing system may target the point cloud data output by various measuring devices such as LiDAR (Light Detection And Ranging) for transmission / reception and recognition processing.
  • LiDAR Light Detection And Ranging
  • FIG. 1 is a schematic block diagram showing a configuration example of an information processing system according to the first embodiment.
  • the information processing system 1 includes a transmitting side device 10 and a receiving side device 20.
  • the transmission side device 10 includes an image acquisition unit 11, a feature extraction unit 12, a communication data generation unit 13, and a transmission unit 16.
  • the communication data generation unit 13 includes a quantization unit 14 and a coding unit 15.
  • the receiving device 20 includes a receiving unit 21, a feature restoration unit 22, an acquired image restoration unit 26, a recognition unit 27, and an output unit 28.
  • the feature restoration unit 22 includes a decoding unit 23, a dequantization unit 24, and an intermediate feature generation unit 25.
  • the information processing system 1 transmits images and recognizes images.
  • the transmitting side device 10 acquires an image, converts the acquired image into transmission data such as a bit stream, and transmits the acquired image to the receiving side device 20.
  • the receiving side device 20 restores an image from the data received from the transmitting side device 10 and also performs image recognition on the received image.
  • the information processing system 1 may be a remote monitoring system such as monitoring of an autonomous driving vehicle.
  • the transmitting side device 10 may be installed at a monitoring point, and the receiving side device 20 may be installed at a point away from the transmitting side device 10 such as a data center.
  • the receiving device 20 may detect or predict the danger in the autonomous driving vehicle by image recognition and notify the danger.
  • the use of the information processing system 1 is not limited to a specific use.
  • the receiving side device 20 When transmitting an image from the transmitting side device 10 to the receiving side device 20, feature extraction of the image is performed using the learning model, and feature data indicating the extracted feature is transmitted (data conversion is performed as necessary). It may be. Then, the receiving side device 20 may restore the image based on the received feature data.
  • the receiving side device 20 performs image recognition using the intermediate feature data generated in the process of image restoration from the received data. As a result, after restoring the image from the received data, the processing can be performed efficiently in a shorter time than in the case of performing image recognition using the restored image.
  • the receiving device 20 corresponds to an example of an information processing device.
  • the features of the image may be represented by a vector having a real number as an element. That is, the feature data indicating the features of the image may be shown in the form of a feature vector.
  • the feature vector is also called a feature quantity or a feature quantity vector.
  • the image acquisition unit 11 acquires an image as image data.
  • the image acquisition unit 11 may be provided with an image pickup device such as a still camera or a video camera to capture a moving image or a still image.
  • the imaging may be repeated at predetermined time intervals.
  • the image pickup device may be configured as a device different from the transmission side device 10, and the image acquisition unit 11 may acquire image data from the image pickup device.
  • the image acquisition unit 11 may read the image data from the recording medium on which the image data is recorded. The image acquisition unit 11 outputs the acquired image data to the feature extraction unit 12.
  • the data format of the image data acquired by the image acquisition unit 11 is not limited to a specific one.
  • the image acquisition unit 11 may acquire image data in the RGB pixel data (RGB Pixel Data) format, but the present invention is not limited to this.
  • the RGB pixel data format is an image data format in which values of red, green, and blue are shown for each pixel.
  • the image acquired by the image acquisition unit 11 is referred to as an acquired image.
  • Image data indicating an acquired image is referred to as acquired image data.
  • the acquired image data corresponds to an example of target data.
  • the acquired image corresponds to an example of the expression content of the target data.
  • the image acquisition unit 11 corresponds to an example of acquisition means.
  • the feature extraction unit 12 extracts features of the acquired image and generates feature data.
  • the feature data is data representing the visual features of the acquired image.
  • "visual” indicates that it is a feature relating to the display content of an image rather than an image format or a file format.
  • the feature data may be presented in the form of a real vector.
  • the feature extraction unit 12 corresponds to an example of a feature extraction means.
  • the feature extraction unit 12 may include a neural network model obtained by using a technique of deep learning.
  • the neural network model in that case may be an Invertible Neural Network (INN), which is a neural network capable of mathematically inverse calculation.
  • INN Invertible Neural Network
  • the configuration of the feature extraction unit 12 is not limited to a specific configuration as long as it can generate feature data that can restore the acquired image.
  • Generating feature data is also referred to as extracting features or extracting feature data.
  • Generating feature data that indicates the features of an image that represents the content of the image data is also referred to as extracting feature data from the image data.
  • a deep learning model using a convolutional neural network capable of inverse calculation is also called an Invertible Deep Convolutional Neural Network Model.
  • the inverse operation referred to here is an operation in which input / output is reversed from the original operation. That is, in the inverse operation, when the output value in the original operation becomes the input value in the inverse operation, the same value as the input value in the original operation is output.
  • FIG. 2 is a schematic block diagram showing a configuration example of the feature extraction unit 12.
  • the feature extraction unit 12 includes a preprocessing unit 111, a processing stage unit 112, and a channel dividing unit 113.
  • the feature extraction unit 12 includes three processing stage units 112 and two channel division units 113. These are connected in series in an arrangement in which one channel dividing unit 113 is provided between each of the two processing stage units 112, and further connected in series to the preprocessing unit 111.
  • reference numerals 112-1, 112-2, and 112-3 are attached in order from the upstream side to the downstream side of the data flow.
  • reference numerals 113-1 and 113-2 are attached in order from the upstream side to the downstream side of the data flow.
  • the number of processing stage units 112 included in the feature extraction unit 12 may be one or more.
  • the number of channel division units 113 included in the feature extraction unit 12 may be one less than the number of processing stage units 112.
  • the pre-processing unit 111 performs pre-processing for feature extraction on the image data output by the image acquisition unit 11.
  • the preprocessing unit 111 may process the image so that the image size of the image data output by the image acquisition unit 11 matches the image size received by the neural network constituting the feature extraction unit 12. .. Further, the preprocessing unit 111 may apply the image filter to the image data output by the image acquisition unit 11, such as a noise filter when the image output by the image acquisition unit contains a lot of noise.
  • the feature extraction unit 12 may not include the preprocessing unit 111. That is, preprocessing by the preprocessing unit 111 is not essential.
  • Each output of the processing stage unit 112 is also referred to as intermediate feature or intermediate feature data.
  • the output of the processing stage unit 112-1 is referred to as intermediate feature data Y1.
  • the output of the processing stage unit 112-2 is referred to as intermediate feature data Y2.
  • the output of the processing stage unit 112-3 is referred to as intermediate feature data Y3.
  • Each intermediate feature data corresponds to a type of feature data. In the example of FIG. 2, the data channel-divided from the intermediate feature data also corresponds to a type of feature data.
  • FIG. 3 is a schematic block diagram showing a configuration example of the processing stage unit 112.
  • the processing stage unit 112 includes a downsampling unit 121 and a processing block unit 122.
  • the processing stage unit 112 includes N processing block units 122. These N processing block units 122 are connected in series, and further connected to the downsampling unit 121 in series. When distinguishing N processing block portions, reference numerals 122-1, ..., 122-N are added in order from the upstream side to the downstream side of the data flow. N may be an integer of 1 or more.
  • the downsampling unit 121 receives input of pixel format data (data indicated by a sequence of pixel values) and reduces the image size (number of pixels) of the input data. Specifically, the input data to the downsampling unit 121 is preprocessed image data or pixel-format feature data (data in which channels are divided).
  • the method and reduction rate at which the downsampling unit 121 reduces the image size is not limited to a specific one.
  • the downsampling unit 121 may reduce the number of pixels to a quarter of the image by replacing each of the four pixels of 2 vertical ⁇ 2 horizontal with 1 pixel. In that case, the downsampling unit 121 may select the maximum value among the pixel values of the four pixels.
  • the downsampling unit 121 may calculate the average of the pixel values of the four pixels and use it as the pixel value of the image after the size reduction.
  • the number of output channels may be set to four times the number of input channels. Then, the downsampling unit 121 may allocate four pixels of 2 vertical ⁇ 2 horizontal to different channels.
  • the number of input channels referred to here is the number of channels in the input data to the downsampling unit 121.
  • the number of output channels is the number of channels in the output data from the downsampling unit 121.
  • FIG. 4 is a schematic block diagram showing a configuration example of the processing block unit 122.
  • the processing block unit 122 includes an affine channel conversion unit 131, a channel division unit 132, a convolution processing unit 133, a multiplication unit 134, an addition unit 135, and a channel coupling unit 136.
  • the affine channel conversion unit 131 corresponds to the affine layer (Affine Layer) in the convolutional neural network.
  • the affine layer is also referred to as a fully connected layer.
  • the affine channel conversion unit 131 weights the input to the processing block unit 122. This weighting corresponds to the weighting for the input to the neuron model, which is commonly performed in neural networks.
  • the affine channel conversion unit 131 may perform processing using a filter having a size of 1 ⁇ 1.
  • the channel division unit 132 divides the output of the affine channel conversion unit 131 into data for each channel. For example, the channel division unit 132 divides each channel included in the output data of the affine channel conversion unit 131 into one of two groups, group A and group B. The channel division unit 132 outputs the channels distributed to the group A to the multiplication unit 134, and outputs the channels distributed to the group B to the convolution processing unit 133 and the channel coupling unit 136.
  • the channel referred to here may be feature data of individual images.
  • the channel division may be to distribute the feature data of each image into any of a plurality of groups.
  • the output data of the affine channel conversion unit 131 may include the feature data of a plurality of images, and the feature data of each image may be treated as a channel.
  • the channel division unit 132 may divide the feature data of each image into any of a plurality of groups by dividing the channel.
  • the convolution processing unit 133 receives the input of the data of the group B (data distributed to the group B), and performs the convolution processing on the input data.
  • the convolution processing unit 133 may perform a series of processing such as convolution processing and non-linear conversion on the input data.
  • the convolution processing unit 133 may be configured by using a convolutional neural network.
  • the convolution processing unit 133 distributes the processed data into two groups, group C and group D.
  • the convolution processing unit 133 outputs the data distributed to the group C to the multiplication unit 134, and outputs the data distributed to the group D to the addition unit 135.
  • the multiplication unit 134 receives the input of the data of the group A and the data of the group C, and performs the multiplication of the data of the group A and the data of the group C for each element.
  • the data of group A and the data of group C have the same number of vertical elements and the same number of horizontal elements, and the multiplication unit 134 is used for each element at the same position between the data of group A and the data of group C. , Multiply the value of the element.
  • the multiplication unit 134 outputs the data of the multiplication result to the addition unit 135.
  • the addition unit 135 receives the input of the data from the multiplication unit 134 and the data of the group D, and adds the input data from the multiplication unit 134 and the data of the group D. Specifically, the addition unit 135 adds the data from the multiplication unit 134 and the data of the group D for each element.
  • the data from the multiplication unit 134 and the data in the group D have the same number of vertical elements and the same number of horizontal elements, and the addition unit 135 has the same position of the data from the multiplication unit 134 and the data in the group D. For each element of, add the value of the element.
  • the addition unit 135 outputs the data of the addition result to the channel coupling unit 136.
  • the channel coupling unit 136 performs the reverse processing to the processing performed by the channel dividing unit 132. As a result, the channel coupling unit 136 combines one data from the adding unit 135 and one data of the group B into one data.
  • the reverse processing referred to here is a processing corresponding to an inverse operation.
  • the combination referred to here may be to combine a plurality of data into one data in a divisible manner.
  • Each of the channel division units 113 of the feature extraction unit 12 allocates each of the intermediate features output by the processing stage unit 112 to one of the two groups. As a result, the channel division unit 113 extracts data to be collected in the feature data group as communication data to the receiving side device 20 from the intermediate feature data output by the processing stage section 112.
  • the channel may be feature data of individual images.
  • the channel division may be to distribute the feature data of each image into any of a plurality of groups.
  • the communication data generation unit 13 generates communication data based on the feature data. Specifically, the communication data generation unit 13 converts the feature data group output by the feature extraction unit 12 into communication data.
  • the communication data generation unit 13 corresponds to an example of a communication data generation means.
  • the quantization unit 14 quantizes the feature data of the input image.
  • the quantization referred to here may be rounding (rounding, rounding down, or rounding up) from a real number to an integer. Therefore, the quantization of the feature data performed by the quantization unit 14 is to convert each of the real numbers included in the feature data into an integer.
  • the real number included in the feature data may be a further element of the real number vector which is an element of the feature data.
  • the quantization unit 14 corresponds to an example of a quantization means.
  • the coding unit 15 entropy-encodes the quantized feature data.
  • the entropy coding referred to here is to perform data conversion (coding) so as to minimize the information entropy based on the predicted probability distribution of the input data (input code).
  • a known entropy coding algorithm can be used for the processing performed by the coding unit 15.
  • the coding unit 15 converts the feature data into a bit stream (Bit Stream, a data stream represented by a bit string) by entropy coding.
  • Bit Stream a data stream represented by a bit string
  • the coding method used by the information processing system 1 is not limited to the entropy coding method.
  • Various coding methods capable of generating data suitable for communication such as a bit stream can be applied to the information processing system 1.
  • Neither the quantization performed by the quantization unit 14 nor the coding performed by the coding unit 15 is limited to a specific process. By combining these processes, various processes that can convert feature data into a bit stream for transmission can be used.
  • the transmission unit 16 transmits communication data. Specifically, the transmission unit 16 transmits the bit stream output by the coding unit 15 to the reception unit 21 of the reception side device 20 as a communication signal.
  • the transmission unit 16 corresponds to an example of transmission means.
  • the communication method between the transmitting unit 16 and the receiving unit 21 is not limited to a specific one.
  • the transmitting unit 16 and the receiving unit 21 may perform wireless communication, or may perform wired communication.
  • the receiving unit 21 receives communication data based on the feature data of the acquired image. Specifically, the receiving unit 21 receives the signal from the transmitting unit 16 and restores the bit stream.
  • the receiving unit 21 corresponds to an example of receiving means.
  • the feature restoration unit 22 restores the feature data based on the communication data received by the reception unit 21.
  • the feature restoration unit 22 corresponds to an example of the feature restoration means.
  • the decoding unit 23 converts the bitstream into quantized feature data by entropy decoding.
  • the decoding performed by the decoding unit 23 corresponds to the inverse operation of the coding performed by the coding unit 15.
  • the coding method used by the information processing system 1 is not limited to the entropy coding method.
  • the decoding performed by the receiving side device 20 is not limited to the entropy decoding, and may be any one that decodes the data encoded by the transmitting side device 10.
  • the dequantization unit 24 dequantizes the quantized feature data acquired by the decoding unit 23. Specifically, the dequantization unit 24 converts each of the integers included in the feature data into a real number.
  • the method by which the dequantization unit 24 converts an integer into a real number is not limited to a specific method.
  • the dequantization unit 24 may store in advance a probability distribution representing the coding probability of the real number vector as an element of the feature data, and perform sampling based on this probability distribution.
  • the probability distribution representing the coding probability of the real vector as an element of the feature data corresponds to the example of the probability distribution of the feature data before quantization.
  • the dequantization unit 24 can perform dequantization with high accuracy by reflecting the probability distribution of the feature data in the dequantization.
  • the dequantization unit 24 may change only the data format from integer data to real data while leaving the integer value as it is.
  • the dequantization unit 24 corresponds to an example of the dequantization means.
  • the dequantization performed by the dequantization unit 24 is ideally the inverse operation of the quantization by the quantization unit 14, but usually, the value before quantization on the transmitting side is always accurately restored on the receiving side. Can't. It is considered that the feature data after dequantization by the dequantization unit 24 also includes quantization noise (quantization error). Quantization noise is an error due to quantization and dequantization. When indicating that it contains quantization noise, "Noisy" is added to the term, such as "Noisy feature data" and "Noisy intermediate feature data”.
  • the quantization noise included in the noisy feature data for the restoration and image recognition of the received image performed by the receiving device 20 When the size of the real number included in the feature data is larger than the size of the rounding in the quantization, the quantization noise included in the noisy feature data for the restoration and image recognition of the received image performed by the receiving device 20. The effect of is small.
  • the size of the real number included in the feature data may be increased according to the required accuracy.
  • Increasing the size of the real number included in the feature data is performed, for example, by taking a large upper limit of the pixel value in the acquired image and expressing the pixel value with a large value.
  • the dequantization by the dequantization unit 24 can be regarded as an approximate inverse operation with respect to the quantization by the quantization unit 14.
  • the intermediate feature generation unit 25 calculates the noisy intermediate feature data from the noisy feature data group output by the dequantization unit 24.
  • the operation of the intermediate feature generation unit 25 is ideally the inverse operation of the operation of the feature extraction unit 12, but is not limited to this.
  • the intermediate feature generation unit 25 may be capable of calculating noisy intermediate feature data with the required accuracy according to the application of the information processing system 1.
  • the intermediate feature generation unit 25 is configured by using a deep learning model by a convolutional neural network capable of inverse calculation, and the intermediate feature generation unit 25 is a channel division unit 113-1 and a processing stage unit of the feature extraction units 12.
  • 112-2, the channel division unit 113-2, and the processing stage unit 112-3 are inverse models.
  • the inverse model referred to here is a model that performs an inverse operation. That is, a case where the intermediate feature generation unit 25 performs an inverse operation on the operation by the above-mentioned part of the feature extraction unit 12 will be described as an example.
  • FIG. 5 is a schematic block diagram showing a configuration example of the intermediate feature generation unit 25.
  • the intermediate feature generation unit 25 includes a reverse processing stage unit 211 and a channel coupling unit 212.
  • the two reverse processing stage portions 211 and the two channel coupling portions 212 are alternately arranged and connected in series.
  • reference numerals 211-1 and 211-2 are attached in order from the upstream side to the downstream side of the data flow.
  • reference numerals 212-1 and 212-2 are attached in order from the upstream side to the downstream side of the data flow.
  • Each of the reverse processing stage units 211 performs the reverse calculation of the operation of one processing stage unit 112.
  • the reverse processing stage unit 211-1 performs the reverse calculation of the calculation of the processing stage unit 112-3.
  • the reverse processing stage unit 211-2 performs the reverse calculation of the calculation of the processing stage unit 112-2.
  • the noisy feature data group input to the intermediate feature generation unit 25 includes the noisy intermediate feature data Y1'.
  • the noisy intermediate feature data Y1' is data in which the intermediate feature data Y3 output by the processing stage unit 112-3 (FIG. 2) is restored including quantization noise.
  • noisy intermediate feature data Y2' The output of the channel coupling portion 212-1 is referred to as noisy intermediate feature data Y2'.
  • the noisy intermediate feature data Y2' is data in which the intermediate feature data Y2 output by the processing stage unit 112-2 is restored including quantization noise.
  • the output of the channel coupling portion 212-2 is referred to as noisy intermediate feature data Y3'.
  • the noisy intermediate feature data Y3' is data in which the intermediate feature data Y1 output by the processing stage unit 112-1 is restored including quantization noise.
  • FIG. 6 is a schematic block diagram showing a configuration example of the reverse processing stage unit 211.
  • the reverse processing stage unit 211 includes a reverse processing block unit 221 and an upsampling unit 222.
  • N reverse processing block units 221 are connected in series, and an upsampling unit 222 is further connected in series.
  • reference numerals 221-1, ..., 221-N are added in order from the upstream side to the downstream side of the data flow.
  • Each of the reverse processing block units 221 performs the reverse calculation of the operation of one processing block unit 122.
  • the reverse processing block units 221-1, ..., 221-N perform reverse operations of the operations of the processing block units 122-N, ..., 122-1, respectively.
  • FIG. 7 is a schematic block diagram showing a configuration example of the reverse processing block unit 221.
  • the reverse processing block unit 221 includes a channel division unit 231, a convolution processing unit 232, a subtraction unit 233, a division unit 234, a channel coupling unit 235, and an inverse affine channel conversion unit 236. Be prepared.
  • the channel dividing unit 231 performs the inverse operation of the operation of the channel connecting unit 136. As a result, the channel division unit 231 performs the same processing as the channel division unit 132. For example, the channel division unit 231 divides each channel included in the input data to the channel division unit 231 itself into one of two groups, group A'and group B', like the channel division unit 132. Group A'is a group corresponding to group A. Group B'is a group corresponding to group B. The channel division unit 231 outputs the data distributed to the group A'to the subtraction unit 233, and outputs the data distributed to the group B'to the convolution processing unit 232 and the channel coupling unit 235.
  • the convolution processing unit 232 performs the same processing as the convolution processing unit 133. Specifically, the convolution processing unit 232 receives the input of the data of the group B'and performs the convolution processing on the input data. When the convolution processing unit 133 performs a series of processing such as a convolution processing and a non-linear conversion on the input data, the convolution processing unit 232 also performs a series of processing similar to the convolution processing unit 133.
  • the convolution processing unit 232 may be configured by using a convolutional neural network.
  • the convolution processing unit 232 distributes the processed data into two groups, group C'and group D'.
  • Group C' is a group corresponding to Group C.
  • Group D' is a group corresponding to group D.
  • the convolution processing unit 232 outputs the data distributed to the group D'to the subtraction unit 233, and outputs the data distributed to the group C'to the division unit 234.
  • the subtraction unit 233 performs the inverse calculation of the addition unit 135. Specifically, the subtraction unit 233 receives the input of the data of the group A'and the data of the group D', and subtracts the data of the group D'from the input data of the group A'. More specifically, the subtraction unit 233 subtracts the value of the data element of the group D'from the value of the data element of the group A'for each element of the data of the group A'and the data of the group D'. ..
  • the data of group A'and the data of group D' are the same in both the number of vertical elements and the number of horizontal elements, and the subtraction unit 233 is in the same position as the data of group A'and the data of group D'. For each element of, the value of the data element of group D'is subtracted from the value of the data element of group A'.
  • the subtraction unit 233 outputs the data of the subtraction result to the division unit 234.
  • the division unit 234 performs the inverse calculation of the multiplication unit 134. Specifically, the subtraction unit 234 receives the input of the data from the subtraction unit 233 and the data of the group C', and the subtraction unit 233 for each element of the data from the subtraction unit 233 and the data of the group C'. The value of the data element from is divided by the value of the data element of group C'. The data from the subtraction unit 233 and the data in the group C'are the same in both the number of vertical elements and the number of horizontal elements, and the division unit 234 is the data from the subtraction unit 233 and the data in the group C'. For each element at the same position, the value of the data element from the subtraction unit 233 is divided by the value of the data element of group C'. The division unit 234 outputs the division result data to the channel coupling unit 235.
  • the channel coupling unit 235 performs the reverse processing with respect to the processing performed by the channel dividing unit 231. As a result, the channel coupling unit 235 combines one data from the division unit 234 and one data of the group B'to one data. The processing of the channel coupling unit 235 also corresponds to the reverse processing with respect to the processing performed by the channel dividing unit 132.
  • the inverse affine channel conversion unit 236 performs the inverse operation of the operation of the affine channel conversion unit 131.
  • the upsampling unit 222 of the reverse processing stage unit 211 ideally performs the reverse operation of the operation of the downsampling unit 121.
  • the data before downsampling on the transmitting side cannot always be accurately restored on the receiving side.
  • the downsampling unit 121 replaces four pixels with one pixel having an average pixel value of the pixel values of those four pixels.
  • the upsampling unit 222 cannot usually calculate the original four pixel values from the obtained one pixel value.
  • the upsampling unit 222 may approximately restore the data before downsampling. For example, the upsampling unit 222 divides each pixel of the input data into four pixels of 2 vertical ⁇ 2 horizontal, and sets the value of each pixel to the same value as the value of the original pixel to obtain the data ( Image data or feature data) may be converted into image data having a size of four times.
  • the channel coupling unit 212 of the intermediate feature generation unit 25 performs an inverse operation with respect to the operation of the channel dividing unit 113. As a result, the channel coupling unit 212 generates data in which a plurality of channels are combined into one.
  • the channel coupling unit 212-1 performs an inverse operation on the operation of the channel dividing unit 113-2.
  • the channel coupling unit 212-2 performs an inverse operation on the operation of the channel dividing unit 113-1.
  • the acquired image restoration unit 26 calculates an image based on the intermediate feature data output by the intermediate feature generation unit 25. Specifically, the acquired image restoration unit 26 restores the acquired image by performing the reverse processing of the processing of the preprocessing unit 111 and the processing stage unit 112-1 among the processing of the feature extraction unit 12.
  • the image calculated by the acquired image restoration unit 26 is also referred to as a restored image.
  • the acquired image restoration unit 26 corresponds to an example of the target restoration means. Restoration of the acquired image by the acquired image restoration unit 26 corresponds to a process of restoring the acquired image data based on the feature data restored by the feature restoration unit 22.
  • FIG. 8 is a schematic block diagram showing a configuration example of the acquired image restoration unit 26.
  • the acquired image restoration unit 26 includes a reverse processing stage unit 211 and a post-processing unit 241.
  • the reverse processing stage unit 211 of the acquired image restoration unit 26 is distinguished from the reverse processing stage unit (FIG. 5) of the intermediate feature generation unit 25, the reverse processing stage unit 211 of the acquired image restoration unit 26 is the reverse processing stage unit 211. Notated as -3.
  • the reverse processing stage unit 211-3 corresponds to the reverse model of the processing stage unit 112-1 (FIG. 2).
  • the post-processing unit 241 performs an inverse operation of the operation of the pre-processing unit 111.
  • the restored image is similar to the acquired image. Specifically, the restored image is an image in which quantization noise is added to the acquired image.
  • the recognition unit 27 performs image recognition based on the noisy intermediate feature data group output by the intermediate feature generation unit 25.
  • the noisy intermediate feature data group output by the intermediate feature generation unit 25 corresponds to the feature data of the restored image.
  • the image recognition performed by the recognition unit 27 corresponds to image recognition for the restored image.
  • Image recognition for the restored image can be said to be image recognition for the acquired image which is the original image of the restored image. Therefore, the image recognition performed by the recognition unit 27 corresponds to performing the recognition process for the acquired image, which is the expression content of the acquired image data, based on the feature data restored by the feature restoration unit 22.
  • the recognition unit 27 corresponds to an example of the recognition means.
  • FIG. 9 is a schematic block diagram showing a configuration example of the recognition unit 27.
  • the recognition unit 27 includes an intermediate feature processing unit 251, an upsampling unit 252, an addition unit 253, a position estimation processing unit 254, a classification processing unit 255, and an NMS (Non-Maximum Suppression). It is provided with a processing unit 256.
  • one position estimation processing unit 254 and one classification processing unit 255 are connected to each of the three intermediate feature processing units 251.
  • the output of the first intermediate feature processing unit 251 is input to the first upsampling unit 252, and the output of the upsampling unit 252 and the output of the second intermediate feature processing unit 251 are set to 1.
  • the second addition unit 253 adds each pixel.
  • the data after addition is input to the second upsampling unit 252, and the output of the upsampling unit 252 and the output of the third intermediate feature processing unit 251 are pixelated by the second addition unit 253. It is added every time.
  • the first intermediate feature processing unit 251 described above is referred to as an intermediate feature processing unit 251-1.
  • the second intermediate feature processing unit 251 is referred to as an intermediate feature processing unit 251-2.
  • the third intermediate feature processing unit 251 is referred to as an intermediate feature processing unit 251-3.
  • the position estimation processing unit 254 connected to the intermediate feature processing unit 251-1 is referred to as the position estimation processing unit 254-1.
  • the position estimation processing unit 254 connected to the intermediate feature processing unit 251-2 is referred to as a position estimation processing unit 254-2.
  • the position estimation processing unit 254 connected to the intermediate feature processing unit 251-3 is referred to as a position estimation processing unit 254-3.
  • the classification processing unit 255 connected to the intermediate feature processing unit 251-1 is referred to as the classification processing unit 255-1.
  • the classification processing unit 255 connected to the intermediate feature processing unit 251-2 is referred to as a classification processing unit 255-2.
  • the classification processing unit 255 connected to the intermediate feature processing unit 251-3 is referred to as a classification processing unit 255-3.
  • the upsampling unit 252 to which the output of the intermediate feature processing unit 251-1 is input is referred to as the upsampling unit 252-1.
  • the upsampling unit 252 to which the output of the intermediate feature processing unit 251-2 is input is referred to as an upsampling unit 252-2.
  • addition unit 253 that adds the output of the intermediate feature processing unit 251-2 and the output of the upsampling unit 252-1 is referred to as an addition unit 253-1.
  • addition unit 253 that adds the output of the intermediate feature processing unit 251-3 and the output of the upsampling unit 252-2 is referred to as an addition unit 253-2.
  • Each of the intermediate feature processing units 251 detects a recognition target in the noisy intermediate feature included in the noisy intermediate feature data.
  • the intermediate feature processing unit 251 may not detect any recognition target. Further, one intermediate feature processing unit 251 may detect a plurality of recognition targets. A known method can be used as a method for the intermediate feature processing unit 251 to detect the recognition target.
  • Each of the upsampling units 252 performs the same processing as the upsampling unit 222 (FIG. 6) of the reverse processing stage unit 211.
  • the upsampling unit 252 restores the data before downsampling by the downsampling unit 121, as in the case of the upsampling unit 222.
  • the upsampling unit 252 may approximately restore the data before downsampling by the downsampling unit 121.
  • Each of the addition units 253 adds the output of the intermediate feature processing unit 251 and the output of the upsampling unit 252 for each pixel.
  • Each of the position estimation processing units 254 estimates the position in the restored image of the recognition target detected by the intermediate feature processing unit 251.
  • a known method can be used as a method for the position estimation processing unit 254 to detect the position in the restored image to be recognized.
  • the classification processing unit 255 classifies the recognition target detected by the intermediate feature processing unit 251. This classification may be an estimation of the type of recognition target. A known method can be used as a method for the classification processing unit 255 to classify the recognition target.
  • the NMS processing unit 256 When the regions recognized as the same class overlap on the image (here, on the restored image), the NMS processing unit 256 eliminates the overlap.
  • the NMS processing unit 256 may delete any one of the overlapping regions of the same class and delete the other.
  • the NMS processing unit 256 may replace the overlapping regions with one region that includes those regions.
  • a method for the NMS processing unit 256 to perform the processing a method known as Non-Maximum Suppression may be used.
  • the output unit 28 outputs information indicating the restored image generated by the acquired image restoration unit 26 and the recognition result by the recognition unit 27.
  • the output unit 28 may include a display device to display the restored image. Then, the output unit 28 may indicate the recognition target in the restored image by surrounding it with a bounding box (a rectangle that just surrounds the area), and indicate the recognition target class by the color of the bounding box.
  • the method in which the output unit 28 outputs the restored image and the recognition result is not limited to a specific method.
  • the output unit 28 may output the restored image and the recognition result separately.
  • the output unit 28 corresponds to an example of output means.
  • FIG. 10 is a flowchart showing an example of a processing procedure performed by the transmitting side device 10.
  • the transmitting device 10 may repeat the process of FIG. For example, when the transmitting side device 10 repeats the acquisition of the still image at a predetermined cycle, the process of FIG. 10 may be performed every time the still image is acquired.
  • the image acquisition unit 11 acquires an image (step S101). As described above, the image acquired by the image acquisition unit 11 is also referred to as an acquired image.
  • the feature extraction unit 12 extracts the feature data of the acquired image (step S102).
  • the quantization unit 14 quantizes the feature data (step S103).
  • the coding unit 15 encodes the quantized feature data (step S104).
  • the coding unit 15 converts the quantized feature data into a bit stream by encoding the quantized feature data.
  • the transmission unit 16 transmits the bit stream output by the coding unit 15 to the receiving device 20 (step S105). After step S105, the transmitting device 10 ends the process of FIG.
  • FIG. 11 is a flowchart showing an example of a processing procedure performed by the receiving side device 20.
  • the receiving side device 20 may repeat the processing of FIG. 11 in response to the repetition of the processing of FIG. 10 by the transmitting side device 10.
  • the receiving unit 21 receives the bit stream (step S201).
  • the decoding unit 23 decodes the bit stream received by the receiving unit 21 (step S202). As described above, the decoding unit 23 decodes by the inverse operation of the encoding performed by the coding unit 15 of the transmitting side device 10. The decoding unit 23 generates quantized feature data by decoding the bit stream.
  • the dequantization unit 24 calculates the noisy feature data by dequantizing the data obtained by decoding the bitstream in step S202 (step S203). As described above, it can be said that the noisy feature data is obtained by adding quantization noise to the feature data extracted by the feature extraction unit 12.
  • the intermediate feature generation unit 25 generates noisy intermediate feature data based on the noisy feature data (step S204).
  • the acquired image restoration unit 26 generates a restored image based on the noisy intermediate feature data (step S205).
  • the recognition unit 27 performs image recognition based on the noisy intermediate feature data and calculates the recognition result (step S206).
  • the output unit 28 outputs the restored image and the recognition result (step S207).
  • the receiving device 20 ends the process of FIG.
  • the receiving unit 21 receives the communication data based on the feature data indicating the features of the acquired image, which is the expression content of the acquired image data.
  • the feature restoration unit 22 restores the feature data based on the received communication data.
  • the acquired image restoration unit 26 restores the acquired image data based on the restored data.
  • the recognition unit 27 performs image recognition on the acquired image, which is the expression content of the acquired image data, based on the restored feature data.
  • the output unit 28 outputs information indicating the expression content of the restored target data and the recognition result by the recognition process.
  • the receiving side device 20 uses the feature data restored by the feature restoring unit 22 for both the restoration of the acquired image by the acquired image restoration unit 26 and the image recognition by the recognition unit 27. According to the receiving device 20, in comparison with the case where the image is restored and then the image recognition is performed using the restored image, the acquired image data is restored and the restored data is expressed. The processing time for performing image recognition on an image can be shortened.
  • the receiving unit 21 receives communication data based on the quantized feature data.
  • the dequantization unit 24 dequantizes the quantized feature data based on sampling according to the probability distribution of the feature data before it is quantized. It is expected that the dequantization unit 24 can perform dequantization with high accuracy by reflecting the probability distribution of the feature data in the dequantization.
  • the receiving unit 21 receives communication data based on the intermediate feature data Y1 and the intermediate feature data Y2 calculated based on the data downsampled by the downsampling unit 121 from the intermediate feature data Y1.
  • the feature restoration unit 22 restores the noisy intermediate feature data Y3'based on the data upsampled by the upsampling unit 222 from the noisy intermediate feature data Y2'restored based on the communication data received by the intermediate feature data Y2. ..
  • the receiving side device 20 restores the acquired image data using the feature data having different image sizes, so that the image compression ratio of the transmitting side device 10 can be adjusted relatively easily.
  • the feature restoration unit 22 uses a process corresponding to the inverse calculation of the process in which the processing stage unit 112 calculates the intermediate feature data Y2 based on the data downsampled from the intermediate feature data Y1. To restore. As a result, it is expected that the feature restoration unit 22 can restore the intermediate feature data with relatively high accuracy.
  • FIG. 12 is a schematic block diagram showing a configuration example of the information processing system according to the second embodiment.
  • the information processing system 2 includes a transmitting side device 30 and a receiving side device 40.
  • the transmission side device 30 includes an image acquisition unit 11, a feature extraction unit 12, a communication data generation unit 31, a transmission unit 16, and a noisy feature data storage unit 35.
  • the communication data generation unit 31 includes a quantization unit 14, a coding unit 15, a dequantization unit 32, a feature difference calculation unit 33, and a feature calculation unit 34.
  • the receiving device 20 includes a receiving unit 21, a feature restoration unit 41, an acquired image restoration unit 26, a recognition unit 27, an output unit 28, and a noisy feature data storage unit 43.
  • the feature restoration unit 41 includes a decoding unit 23, a dequantization unit 24, an intermediate feature generation unit 25, and a feature calculation unit 42.
  • the parts having the same functions corresponding to the parts of FIG. 1 have the same reference numerals (11, 12, 14, 15, 16, 21, 23, 24, 25, 26, 27, 28). Is added, and detailed description thereof will be omitted here. Comparing the configuration of the information processing system 2 shown in FIG. 12 with the information processing system 1 shown in FIG. 1, a functional unit for efficiently transmitting and processing a moving image is added. In other respects, the information processing system 2 is similar to the information processing system 1.
  • the image acquisition unit 11 acquires a moving image or a still image that is repeatedly captured in a relatively short cycle such as a 1-second cycle.
  • the image acquisition unit 11 acquires a moving image
  • the data of each frame of the moving image is treated as the acquired image data.
  • One of the acquired image data is referred to as the first acquired image data
  • the data of the acquired image captured after the first acquired image is referred to as the second acquired image data.
  • the first acquired image data corresponds to the example of the first target data.
  • the second acquired image data corresponds to the example of the second target data.
  • the feature extraction unit 12 calculates the feature data of each of the plurality of images acquired by the image acquisition unit 11 (when the image acquisition unit 11 acquires a moving image, the frame of the moving image). For example, the feature extraction unit 12 extracts the first feature data from the first acquired image data and extracts the second feature data from the second acquired image data.
  • the communication data generation unit 31 converts the feature data (for example, the feature data group) of the image into the communication data, as in the communication data generation unit 13 of the first embodiment. ..
  • the communication data generation unit 31 calculates the feature difference data for the second and subsequent images acquired by the image acquisition unit 11, and generates the communication data based on the calculated feature difference data.
  • the feature difference data is data indicating the difference between the two feature data calculated by the feature extraction unit 12.
  • the communication data generation unit 31 calculates the feature difference data indicating the difference between the first feature data and the second feature data, and generates the communication data based on the calculated feature difference data.
  • the communication data generation unit 31 generates noisy feature difference data including quantization noise by the quantization in the quantization unit 14 and the dequantization in the dequantization unit 32, and is based on the noisy feature difference data. Generate communication data.
  • the dequantization unit 32 performs the same processing as the dequantization unit 24 of the receiving side device 40. As a result, the dequantization unit 32 generates the same noisy feature data as the noisy feature data generated by the dequantization unit 24.
  • the noisy feature data storage unit 35 temporarily stores the noisy feature data.
  • the noisy feature data stored in the noisy feature data storage unit 35 is used to generate noisy feature difference data in the next process.
  • the next processing referred to here is processing for the next image among the processing for each image acquired by the image acquisition unit 11, such as processing for each frame of the moving image acquired by the image acquisition unit 11.
  • the feature difference calculation unit 33 calculates the noisy feature difference data.
  • the noisy feature difference data is the difference data between the feature data generated in the continuous processing and the noisy feature data generated in the previous processing.
  • the transmitting side device 30 transmits a bit stream obtained by quantizing and encoding noisy feature difference data instead of the feature data to the receiving side device 40.
  • the receiving device 40 restores the noisy feature difference data from the received bitstream.
  • the receiving side device 40 calculates the noisy feature data in the current process by adding the restored noisy feature difference data and the noisy feature data in the previous process. Subsequent processing is the same as in the case of the receiving side device 20 of the first embodiment.
  • the receiving device 40 corresponds to an example of an information processing device.
  • the feature calculation unit 34 of the transmission side device 30 stores the noisy feature difference data calculated by the dequantization unit 32 in this processing and the noisy feature data storage unit 35.
  • the noisy feature data in the current process is calculated by adding the noisy feature data in the previous process.
  • the feature calculation unit 34 updates the noisy feature data stored in the noisy feature data storage unit 35 in the previous process to the noisy feature data in the current process calculated by the feature calculation unit 34 itself.
  • the update of the data referred to here may be overwriting of the data.
  • the noisy feature data storage unit 43 of the receiving side device 40 temporarily stores the noisy feature data, like the noisy feature data storage unit 35 of the transmitting side device 30.
  • the feature calculation unit 42 adds the noisy feature difference data in the current process restored by the dequantization unit 24 and the noisy feature data in the previous process stored in the noisy feature data storage unit 43. As a result, the feature calculation unit 42 calculates the noisy feature data in this process.
  • the feature calculation unit 42 outputs the calculated noisy feature data to the intermediate feature generation unit 25. Further, the feature calculation unit 42 updates the noisy feature data stored in the noisy feature data storage unit 43 in the previous process to the noisy feature data in the current process calculated by the feature calculation unit 42 itself.
  • FIG. 13 is a schematic block diagram showing a configuration example of the feature difference calculation unit 33.
  • the feature difference calculation unit 33 includes a difference processing stage unit 311 and an upsampling unit 312.
  • FIG. 13 shows an example in which the feature difference calculation unit 33 is configured by using an inverted deep convolutional neural network model.
  • the configuration of the feature difference calculation unit 33 is not limited to a specific one.
  • the feature difference calculation unit 33 includes three difference processing stage units 311 and two upsampling units 312. These are connected in series in an arrangement in which one upsampling unit 312 is provided between each of the two difference processing stage units 311.
  • reference numerals 311-1, 311-2, and 311-3 are attached in order from the upstream side to the downstream side of the data flow.
  • reference numerals 312-1 and 312-2 are attached in order from the upstream side to the downstream side of the data flow.
  • each of the difference processing stage units 311 calculates the difference between the feature data in the time step t and the noisy feature data in the time step t-1.
  • FIG. 14 is a schematic block diagram showing a configuration example of the difference processing stage unit 311.
  • the difference processing stage unit 311 includes a difference processing block unit 321.
  • N difference processing block units 321 are connected in series.
  • reference numerals 321-1, ..., 321-N are added in order from the upstream side to the downstream side of the data flow.
  • FIG. 15 is a schematic block diagram showing a configuration example of the difference processing block unit 321.
  • the difference processing block unit 321 includes an affine channel conversion unit 331, a channel division unit 332, a convolution processing unit 333, a multiplication unit 334, an addition unit 335, and a channel coupling unit 336. ..
  • the affine channel conversion unit 331, the channel division unit 332, the multiplication unit 334, the addition unit 335, and the channel coupling unit 336 are the affine channel conversion unit 131, the channel division unit 132, the multiplication unit 134, the addition unit 135, and , The same as the channel coupling portion 136.
  • the affine channel conversion unit 331 performs the same processing as the affine channel conversion unit 131 on the data from the other difference processing block unit 321 or the feature data from the feature extraction unit 12.
  • the convolution processing unit 333 receives input from the channel division unit 332, the noisy feature data in the time step t-1, and the data from the upsampling unit 312.
  • the data from the channel dividing unit 332 to the convolution processing unit 333 is the data of the group corresponding to the group B. Further, the convolution processing unit 333 acquires the noisy feature data in the time step t-1 stored by the noisy feature data storage unit 35.
  • the convolution processing unit 333 combines the data from the channel division unit 332, the noisy feature data in the time step t-1, and the data from the upsampling unit 312, and the convolution processing unit 133 refers to the combined data. Perform the same processing as. Specifically, the convolution processing unit 333 performs a convolution process on the combined data.
  • the convolution processing unit 333 may perform a series of processing such as convolution processing and non-linear conversion on the combined data.
  • the convolution processing unit 333 may be configured by using a convolutional neural network.
  • the convolution processing unit 333 may combine the data from the channel division unit 332 with the noisy feature data in the time step t-1. ..
  • the convolution processing unit 333 distributes the processed data into two groups, a group corresponding to group C and a group corresponding to group D.
  • the convolution processing unit 333 outputs the data distributed to the group corresponding to the group C to the multiplication unit 334, and outputs the data distributed to the group corresponding to the group D to the addition unit 335.
  • FIG. 16 is a schematic block diagram showing a configuration example of the feature calculation unit 34.
  • the feature calculation unit 34 includes a restoration processing stage unit 341 and an upsampling unit 342.
  • FIG. 16 shows an example in which the feature calculation unit 34 is configured by using an inverted deep convolutional neural network model.
  • the configuration of the feature calculation unit 34 is not limited to a specific one.
  • the feature calculation unit 34 includes three restoration processing stage units 341 and two upsampling units 342. These are connected in series in an arrangement in which one upsampling unit 342 is provided between each of the two restoration processing stage units 341.
  • reference numerals 341-1, 341-2, and 341-3 are attached in this order from the upstream side to the downstream side of the data flow.
  • reference numerals 342-1 and 342-2 are attached in order from the upstream side to the downstream side of the data flow.
  • Each of the restoration processing stage units 341 calculates the noisy feature data in the time step t based on the feature data in the time step t-1 and the noisy feature difference data in the time step t.
  • FIG. 17 is a schematic block diagram showing a configuration example of the restoration processing stage unit 341.
  • the restoration processing stage unit 341 includes a restoration processing block unit 351.
  • N restoration processing block units 351 are connected in series.
  • reference numerals 351-1, ..., 351-N are added in order from the upstream side to the downstream side of the data flow.
  • FIG. 18 is a schematic block diagram showing a configuration example of the restoration processing block unit 351.
  • the restoration processing block unit 351 includes a channel division unit 361, a convolution processing unit 362, a subtraction unit 363, a division unit 364, a channel coupling unit 365, and an inverse affine channel conversion unit 366. Be prepared.
  • the channel division unit 361, the subtraction unit 363, the division unit 364, the channel coupling unit 365, and the inverse affine channel conversion unit 366 are the channel division unit 231, the subtraction unit 233, the division unit 234, and the channel connection unit of the reverse processing block unit 221. This is the same as 235 and the inverse affine channel conversion unit 236.
  • the channel division unit 361 performs the same processing as the channel division unit 231 on the data from the other restoration processing block unit 351 or the noisy feature difference data output by the dequantization unit 24.
  • the process performed by the channel dividing unit 361 corresponds to the reverse processing of the process performed by the channel connecting unit 336.
  • the operation performed by the subtraction unit 363 corresponds to an inverse operation with respect to the operation performed by the addition unit 335.
  • the operation performed by the division unit 364 corresponds to an inverse operation with respect to the operation performed by the multiplication unit 334.
  • the process performed by the channel coupling unit 365 corresponds to the reverse processing of the process performed by the channel dividing unit 332.
  • the convolution processing unit 362 performs the same processing as the convolution processing unit 333. Specifically, the convolution processing unit 362 receives input from the channel division unit 361, the noisy feature data in the time step t-1, and the data from the upsampling unit 342. The data from the channel dividing unit 361 to the convolution processing unit 362 is the data of the group corresponding to the group B. Further, the convolution processing unit 362 acquires the noisy feature data in the time step t-1 stored by the noisy feature data storage unit 35.
  • the convolution processing unit 362 combines the data from the channel division unit 361, the noisy feature data in the time step t-1, and the data from the upsampling unit 342, and the convolution processing unit 333 refers to the combined data. Perform the same processing as. Specifically, the convolution processing unit 362 performs a convolution process on the combined data.
  • the convolution processing unit 362 may perform a series of processing such as convolution processing and non-linear conversion on the combined data.
  • the convolution processing unit 362 may be configured by using a convolutional neural network.
  • the convolution processing unit 362 divides the processed data into two groups, a group corresponding to group C and a group corresponding to group D.
  • the convolution processing unit 362 outputs the data distributed to the group corresponding to the group D to the subtraction unit 363, and outputs the data distributed to the group corresponding to the group C to the division unit 364.
  • the feature restoration unit 41 of the receiving device 40 restores the feature difference data based on the communication data received by the receiving unit 21, and the restored feature difference data and the noisy feature data storage unit 43 store the time step t-. Based on the noisy feature data in 1, the feature data in time step t is restored.
  • the feature restoration unit 41 corresponds to an example of the feature restoration means.
  • the transmitting side device 30 and the receiving side device 40 transmit and receive communication data indicating the feature difference data, so that the dequantization unit 24 dequantizes the quantized feature difference data. ..
  • the dequantization unit 24 performs dequantization based on sampling according to the probability distribution of the feature difference data before being quantized. You may do it.
  • the dequantization unit 24 may store in advance a probability distribution representing the coding probability of the real number vector as an element of the feature difference data, and perform sampling based on this probability distribution.
  • the feature calculation unit 42 of the receiving side device 40 is the same as the feature calculation unit 34 of the transmitting side device 30.
  • the transmitting side device 30 and the receiving side device 40 perform the same processing to generate and store the noisy feature data.
  • the transmitting side device 30 uses the noisy feature data stored in the noisy feature data storage unit 35 as the previous noisy feature data (time step t-1) in calculating the noisy feature difference data.
  • the receiving device 40 uses the previous noisy feature data (time step t-1) stored in the noisy feature data storage unit 43 when restoring the noisy feature data (time step t) from the noisy feature difference data. .. It is expected that the receiving side device 40 can restore the current noisy feature data with high accuracy by restoring the current noisy feature data using the previous noisy feature data similar to the transmitting side device 30.
  • FIG. 19 is a flowchart showing an example of a processing procedure performed by the transmitting side device 30.
  • FIG. 19 shows a procedure for processing one image when the transmitting side device 30 transmits a plurality of images (frames in the case of a moving image) such as a moving image or a continuously shot still image to the receiving side device 40. An example of is shown.
  • the transmitting side device 30 repeats the process of FIG. 19 for each image.
  • the image acquisition unit 11 acquires an image (step S301).
  • the image acquired by the image acquisition unit 11 is also referred to as an acquired image.
  • the time step of this processing is defined as the time step t. t is a positive integer.
  • the feature extraction unit 12 extracts the feature data of the acquired image (step S302).
  • the quantization unit 14 quantizes the feature data (step S311).
  • the coding unit 15 encodes the quantized data (step S331).
  • the “quantized data” is the difference data quantized in step S322.
  • the coding unit 15 generates a bit stream for transmission by encoding the quantized data.
  • the transmission unit 16 transmits the bit stream generated by the coding unit 15 to the receiving device 40 (step S332).
  • step S333 YES
  • the dequantization unit 32 calculates the noisy feature data by dequantizing the quantized data, and stores the noisy feature data storage unit 35. It is memorized (step S341).
  • step S341 the quantization unit 14 has quantized the feature data in step S311. From this, noisy feature data can be obtained by dequantization in step S341.
  • step S341 the transmitting device 30 ends the process of FIG.
  • the feature difference calculation unit 33 calculates the feature difference data (step S321). Specifically, the feature difference calculation unit 33 reads out the noisy feature data stored in the noisy feature data storage unit 35. Since this noisy feature data was obtained in the previous execution of the process of FIG. 19 by the transmitting side device 30, it is the noisy feature data of time step t-1.
  • the feature difference calculation unit 33 is based on the feature data (time step t) extracted by the feature extraction unit 12 in step S302 and the noisy feature data (time step t-1) read from the noisy feature data storage unit 35. To calculate the feature difference data.
  • the quantization unit 14 quantizes the feature difference data (step S322). After step S322, the process proceeds to step S331.
  • step S333 when the transmitting side device 30 determines in step S333 that t ⁇ 2 (step S333: NO), the dequantization unit 32 dequantizes the quantized data to obtain noisy feature difference data. Is calculated (step S351). When t ⁇ 2, the quantization unit 14 has quantized the feature difference data in step S322. From this, noisy feature difference data can be obtained by dequantization in step S351.
  • the feature calculation unit 34 calculates the noisy feature data and stores it in the noisy feature data storage unit 35 (step S352). Specifically, the feature calculation unit 34 reads out the noisy feature data (time step t-1) stored in the noisy feature data storage unit 35.
  • the feature calculation unit 34 includes the noisy feature difference data (time step t) calculated by the dequantization unit 32 in step S351 and the noisy feature data (time step t-1) read from the noisy feature data storage unit 35.
  • the noisy feature data (time step t) is calculated based on.
  • the feature calculation unit 34 stores the calculated noisy feature data (time step t) in the noisy feature data storage unit 35.
  • FIG. 20 is a flowchart showing an example of a processing procedure performed by the receiving device 40.
  • the receiving side device 40 repeats the processing of FIG. 20 in response to the repetition of the processing of FIG. 19 by the transmitting side device 30.
  • Steps S401 and S402 of FIG. 20 are the same as steps S201 and S202 of FIG. 11 except that the bit stream may represent feature data and feature difference data.
  • t ⁇ 2 quantized feature difference data can be obtained.
  • step S403 the dequantization unit 24 calculates the noisy feature data and stores it in the noisy feature data storage unit 43 (step S411). Specifically, the dequantization unit 24 calculates the noisy feature data by dequantizing the data obtained by decoding the bit stream, as in the case of step S203 of FIG. Then, the dequantization unit 24 stores the calculated noisy feature data in the noisy feature data storage unit 43.
  • step S411 the process proceeds to step S431. Steps S431 to S434 are the same as steps S204 to S207 of FIG. After step S434, the receiving device 40 ends the process of FIG.
  • step S403 when the receiving device 40 determines in step S403 that t ⁇ 2 (step S403: NO), the dequantization unit 24 dequantizes the data obtained by decoding the bit stream in step S402. The noisy feature difference data is calculated (step S421).
  • the feature calculation unit 42 calculates the noisy feature data (time step t) and stores it in the noisy feature data storage unit 43 (step S422). Specifically, the feature calculation unit 42 reads out the noisy feature data stored in the noisy feature data storage unit 43. Since this noisy feature data was obtained in the previous execution of the process of FIG. 20 by the receiving device 40, it is the noisy feature data of time step t-1.
  • the feature calculation unit 42 includes the noisy feature difference data (time step t) calculated by the dequantization unit 24 in step S421 and the noisy feature data (time step t-1) read from the noisy feature data storage unit 35.
  • the noisy feature data (time step t) is calculated based on.
  • the feature calculation unit 42 stores the calculated noisy feature data in the noisy feature data storage unit 43. After step S422, the process proceeds to step S431.
  • the receiving unit 21 shows the first feature data showing the features of the acquired image in the first time step, and the first feature data showing the features of the acquired image in the second time step, which is a time step later than the first time step.
  • (Ii) Receive communication data based on the feature difference data indicating the difference from the feature data.
  • the feature restoration unit 41 restores the feature difference data based on the received communication data, and restores the second feature data based on the restored feature difference data and the first feature data. According to the receiving device 40, by receiving the communication data based on the feature difference data, it is expected that the amount of communication can be reduced as compared with the case of receiving the communication data based on the feature data.
  • the receiving unit 21 receives communication data based on the quantized difference data.
  • the dequantization unit 24 dequantizes the quantized feature difference data based on sampling according to the probability distribution of the feature difference data before being quantized. It is expected that the dequantization unit 24 can perform dequantization with high accuracy by reflecting the probability distribution of the feature difference data in the dequantization.
  • the processing settings performed by the transmitting device may be dynamically updated, such as dynamically changing the compression rate of communication data.
  • the setting of the process performed by the receiving device may be dynamically updated.
  • FIG. 21 is a schematic block diagram showing a first example of the configuration of the information processing system according to the third embodiment.
  • the information processing system 3a includes a transmitting side device 51, a receiving side device 52, and a setting updating device 53.
  • the setting update device 53 includes a setting update unit 54.
  • the transmitting side device 51 and the receiving side device 52 may be the transmitting side device 10 and the receiving side device 20. That is, the third embodiment may be implemented based on the first embodiment. Alternatively, the transmitting side device 51 and the receiving side device 52 may be the transmitting side device 30 and the receiving side device 40. That is, the third embodiment may be implemented based on the second embodiment.
  • the setting update unit 54 updates the processing setting of the transmitting side device 51 and the processing setting of the receiving side device 52.
  • the setting update unit 54 dynamically updates the settings of these processes so that the processes of the feature extraction unit 12 and the processes of the intermediate feature generation unit 25 and the acquired image restoration unit 26 have an inverse operation relationship. do.
  • the total number of the number of processing stage units 112 of the feature extraction unit 12 and the number of reverse processing stage units 211 of the intermediate feature generation unit 25 and the acquired image restoration unit 26 are the same.
  • these numbers may be dynamically changed.
  • the setting update unit 54 corresponds to an example of the setting update means. As a result, it is expected that the processing settings can be dynamically changed, such as dynamically changing the compression rate of the communication data, and that the receiving side device 52 can restore the feature data with high accuracy.
  • the setting update unit 54 may be provided on either the transmitting side device or the receiving side device.
  • FIG. 22 is a schematic block diagram showing a second example of the configuration of the information processing system according to the third embodiment. In the configuration shown in FIG. 22, in the information processing system 3b, the setting update unit 54 is provided in the transmitting side device 51. Other than that, the information processing system 3b is the same as that of the information processing system 3a.
  • FIG. 23 is a schematic block diagram showing a third example of the configuration of the information processing system according to the third embodiment.
  • the setting update unit 54 is provided in the receiving side device 52.
  • the information processing system 3c is the same as that of the information processing system 3a.
  • FIG. 24 is a schematic block diagram showing a configuration example of the information processing apparatus according to the fourth embodiment.
  • the information processing device 610 includes a receiving unit 611, a feature restoration unit 612, an object restoration unit 613, a recognition unit 614, and an output unit 615.
  • the receiving unit 611 receives communication data based on the feature data indicating the features of the expression content of the target data.
  • the feature restoration unit 612 restores the feature data based on the received communication data.
  • the target restoration unit 613 restores the target data based on the restored feature data.
  • the recognition unit 614 performs recognition processing on the expression content of the target data based on the restored feature data.
  • the output unit 615 outputs information indicating the expression content of the restored target data and the recognition result by the recognition process.
  • the receiving unit 611 corresponds to the example of the receiving means
  • the feature restoring unit 612 corresponds to the example of the feature restoring means.
  • the target restoration unit 613 corresponds to an example of the target restoration means.
  • the recognition unit 614 corresponds to an example of the recognition means.
  • the output unit 615 corresponds to an example of output means.
  • the information processing apparatus 610 uses the feature data restored by the feature restoration unit 612 for both the restoration of the target data by the target restoration unit 613 and the recognition process by the recognition unit 614. According to the information processing device 610, the restoration process of the target data and the expression content of the restored target data are compared with the case where the recognition process is performed using the restored target data after the target data is restored. The processing time for performing the recognition process is short.
  • FIG. 25 is a schematic block diagram showing a configuration example of the information processing system according to the fifth embodiment.
  • the information processing system 620 includes a transmitting side device 630 and a receiving side device 640.
  • the transmission side device 630 includes a data acquisition unit 631, a feature extraction unit 632, a communication data generation unit 633, and a transmission unit 634.
  • the receiving device 640 includes a receiving unit 641, a feature restoration unit 642, an object restoration unit 643, a recognition unit 644, and an output unit 645.
  • the data acquisition unit 631 acquires the target data.
  • the feature extraction unit 632 calculates feature data indicating the features of the expression content of the target data.
  • the communication data generation unit 633 generates communication data based on the feature data.
  • the transmission unit 634 transmits communication data.
  • the receiving unit 641 receives the communication data.
  • the feature restoration unit 642 restores the feature data based on the received communication data.
  • the target restoration unit 643 restores the target data based on the restored feature data.
  • the recognition unit 644 performs recognition processing for the expression content of the target data based on the restored feature data.
  • the output unit 645 outputs information indicating the expression content of the restored target data and the recognition result by the recognition process.
  • the receiving side device 640 uses the feature data restored by the feature restoration unit 642 for both the restoration of the target data by the target restoration unit 643 and the recognition process by the recognition unit 644.
  • the restoration process of the target data and the expression content of the restored target data are compared with the case where the recognition process is performed using the restored target data after the target data is restored.
  • the processing time for performing the recognition process is short.
  • FIG. 26 is a flowchart showing an example of a processing procedure in the information processing method according to the sixth embodiment.
  • the processes shown in FIG. 26 include acquiring communication data (step S611), restoring feature data (step S612), restoring target data (step S613), and performing recognition processing (step S613). S614) and outputting the result (step S615).
  • step S611 In acquiring the communication data (step S611), the communication data based on the feature data indicating the feature of the expression content of the target data is received. Restoring the feature data (step S612) restores the feature data based on the received communication data. In restoring the target data (step S613), the target data is restored based on the restored feature data. In performing the recognition process (step S614), the recognition process for the expression content of the target data is performed based on the restored feature data. In outputting the result (step S615), information indicating the expression content of the restored target data and the recognition result by the recognition process is output.
  • the feature data restored in step S612 is used for both the restoration of the target data in step S613 and the recognition process in step S614.
  • the restoration process of the target data and the representation of the restored target data are performed.
  • the processing time for performing the recognition processing for the content can be shortened.
  • FIG. 27 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • the computer 700 includes a CPU (Central Processing Unit) 710, a main storage device 720, an auxiliary storage device 730, and an interface 740.
  • CPU Central Processing Unit
  • Any one or more or a part of the side devices 640 may be mounted on the computer 700.
  • the operation of each of the above-mentioned processing units is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area corresponding to each of the above-mentioned storage units in the main storage device 720 according to the program. Communication between each device and other devices is executed by having the interface 740 have a communication function and performing communication according to the control of the CPU 710.
  • the operations of the feature extraction unit 12, the communication data generation unit 13, and each unit thereof are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area for processing of the transmitting side device 10 in the main storage device 720 according to the program.
  • the acquisition of image data by the image acquisition unit 11 is executed, for example, by having the interface 740 provided with an image pickup device and performing image pickup under the control of the CPU 710.
  • Data transmission by the transmission unit 16 is executed when the interface 740 has a communication function and operates according to the control of the CPU 710.
  • the operation of the feature restoration unit 22, the acquired image restoration unit 26, the recognition unit 27, and each unit thereof is stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area for processing of the receiving side device 20 in the main storage device 720 according to the program.
  • Data reception by the receiving unit 21 is executed when the interface 740 has a communication function and operates according to the control of the CPU 710.
  • the output of information by the output unit 28 is executed, for example, by the interface 740 including a display device and displaying an image under the control of the CPU 710.
  • the operations of the feature extraction unit 12, the communication data generation unit 31, and each unit thereof are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area for processing of the transmitting side device 30 such as the noisy feature data storage unit 35 in the main storage device 720 according to the program.
  • the acquisition of image data by the image acquisition unit 11 is executed, for example, by having the interface 740 provided with an image pickup device and performing image pickup under the control of the CPU 710.
  • Data transmission by the transmission unit 16 is executed when the interface 740 has a communication function and operates according to the control of the CPU 710.
  • the operations of the acquired image restoration unit 26, the recognition unit 27, the feature restoration unit 41, and each unit thereof are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area for processing of the receiving side device 40 such as the noisy feature data storage unit 43 in the main storage device 720 according to the program.
  • Data reception by the receiving unit 21 is executed when the interface 740 has a communication function and operates according to the control of the CPU 710.
  • the output of information by the output unit 28 is executed, for example, by the interface 740 including a display device and displaying an image under the control of the CPU 710.
  • the operations of the feature restoration unit 612, the target restoration unit 613, and the recognition unit 614 are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area for processing of the information processing device 610 in the main storage device 720 according to the program.
  • Data reception by the receiving unit 611 is executed when the interface 740 has a communication function and operates according to the control of the CPU 710.
  • the output of information by the output unit 615 is executed, for example, by the interface 740 including a display device and displaying an image under the control of the CPU 710.
  • the operations of the feature extraction unit 632 and the communication data generation unit 633 are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area for processing of the transmitting side device 630 in the main storage device 720 according to the program.
  • the acquisition of the target data by the data acquisition unit 631 is executed when the interface 740 includes a device for acquiring the target data such as an image pickup device and operates according to the control of the CPU 710.
  • Data transmission by the transmission unit 634 is executed when the interface 740 has a communication function and operates according to the control of the CPU 710.
  • the operations of the feature restoration unit 642, the target restoration unit 643, and the recognition unit 644 are stored in the auxiliary storage device 730 in the form of a program.
  • the CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
  • the CPU 710 secures a storage area for processing of the receiving side device 640 in the main storage device 720 according to the program.
  • Data reception by the receiving unit 641 is executed when the interface 740 has a communication function and operates according to the control of the CPU 710.
  • the output of information by the output unit 645 is executed, for example, by the interface 740 including a display device and displaying an image under the control of the CPU 710.
  • the transmitting side device 10 The transmitting side device 10, the receiving side device 20, the transmitting side device 30, the receiving side device 40, the transmitting side device 51, the receiving side device 52, the setting update device 53, the information processing device 610, the transmitting side device 630, and the receiving side device 630.
  • a program for executing all or a part of the processing performed by the side device 640 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by the computer system and executed. Processing may be performed.
  • the term "computer system” as used herein includes hardware such as an OS (Operating System) and peripheral devices.
  • the "computer-readable recording medium” is a portable medium such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a CD-ROM (Compact Disc Read Only Memory), or a hard disk built in a computer system. It refers to a storage device such as.
  • the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
  • the receiving means receives the communication data based on the quantized feature data and receives the communication data.
  • the feature restoration means includes a dequantization means that dequantizes the quantized feature data based on sampling according to the probability distribution of the feature data before it is quantized.
  • the information processing device according to Appendix 1.
  • the receiving means expresses the first feature data indicating the characteristics of the expression content of the first target data in the first time step and the second target data in the second time step which is a time step later than the first time step.
  • the feature restoration means restores the feature difference data based on the received communication data, and restores the second feature data based on the restored feature difference data and the first feature data.
  • the receiving means receives the communication data based on the quantized feature difference data, and receives the communication data.
  • the feature restoration means includes a dequantization means that dequantizes the quantized feature difference data based on sampling according to the probability distribution of the feature difference data before being quantized.
  • the receiving means receives the communication data based on the first intermediate feature data and the second intermediate feature data calculated based on the data downsampled from the first intermediate feature data.
  • the feature restoration means restores the first intermediate feature data based on the data upsampled from the second intermediate feature data restored based on the received communication data.
  • the feature restoration means restores the first intermediate feature data by using a process corresponding to the inverse operation of the process of calculating the second intermediate feature data based on the data downsampled from the first intermediate feature data.
  • the transmitting side device is Data acquisition means to acquire the target data and A feature extraction means for calculating feature data indicating the features of the expression content of the target data, and A communication data generation means that generates communication data based on the feature data, A transmission means for transmitting the communication data and With
  • the receiving device is A receiving means for receiving the communication data and A feature restoration means for restoring the feature data based on the received communication data, and A target restoration means for restoring the target data based on the restored feature data, and a target restoration means.
  • a recognition means that performs recognition processing for the expression content of the target data based on the restored feature data, and An output means for outputting information indicating the restored expression content of the target data and the recognition result by the recognition process, and Information processing system equipped with.
  • the communication data generation means includes a quantization means for quantizing the feature data.
  • the feature restoration means includes a dequantization means that dequantizes the quantized feature data based on sampling according to the probability distribution of the feature data before it is quantized.
  • the data acquisition means acquires the first target data in the first time step and the second target data in the second time step, which is a time step later than the first time step.
  • the feature extraction means calculates the first feature data indicating the characteristics of the expression content of the first target data and the second feature data indicating the characteristics of the expression content of the second target data.
  • the communication data generation means calculates the feature difference data indicating the difference between the first feature data and the second feature data, and generates the communication data based on the calculated feature difference data.
  • the feature restoration means restores the feature difference data based on the received communication data, and restores the second feature data based on the restored feature difference data and the first feature data.
  • the communication data generation means includes a quantization means for quantizing the feature difference data.
  • the feature restoration means includes a dequantization means that dequantizes the quantized feature difference data based on sampling according to the probability distribution of the feature difference data before being quantized.
  • the information processing system according to Appendix 10.
  • the transmitting side device is Further provided with a noisy feature data storage means for storing the noisy feature data which is the feature data including the quantization error.
  • the communication data generation means is The first noisy feature data, which is the first feature data including the quantization error, is read out from the noisy feature data storage means, and the feature difference data indicating the difference between the first noisy feature data and the second feature data is calculated.
  • Feature difference calculation means and The quantization error is calculated based on the dequantized data after the feature difference data indicating the difference between the first noisy feature data and the second feature data is quantized and the first noisy feature data.
  • a feature restoration means for calculating the second noisy feature data which is the second feature data including the noisy feature data and updating the noisy feature data stored in the noisy feature data storage means to the second noisy feature data.
  • the feature extraction means calculates the feature data including the first intermediate feature data and the second intermediate feature data calculated based on the data downsampled from the first intermediate feature data.
  • the feature restoration means restores the first intermediate feature data based on the data upsampled from the second intermediate feature data restored based on the received communication data.
  • the feature restoration means uses a process corresponding to an inverse operation of a process in which the feature extraction means calculates the second intermediate feature data based on the data downsampled from the first intermediate feature data. Restore intermediate feature data, The information processing system according to Appendix 13.
  • (Appendix 16) Receiving communication data based on feature data that shows the features of the representation content of the target data, Restoring the feature data based on the received communication data, Restoring the target data based on the restored feature data, Performing recognition processing for the expression content of the target data based on the restored feature data, and Outputting information indicating the restored expression content of the target data and the recognition result by the recognition process, and Information processing methods including.
  • the transmitting side device calculates the feature data indicating the feature of the expression content of the target data, and The transmitting side device generates communication data based on the feature data, and When the transmitting device transmits the communication data, When the receiving device receives the communication data, The receiving device restores the feature data based on the received communication data. The receiving device restores the target data based on the restored feature data. The receiving side device performs recognition processing for the expression content of the target data based on the restored feature data, and The receiving device outputs information indicating the restored expression content of the target data and the recognition result by the recognition process. Information processing methods including.
  • the present invention may be applied to an information processing device, an information processing system, an information processing method and a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

情報処理装置が、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する受信手段と、受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、を備える。

Description

情報処理装置、情報処理システム、情報処理方法および記録媒体
　本発明は、情報処理装置、情報処理システム、情報処理方法および記録媒体に関する。
　遠隔監視システムにおいて、（ｉ）送信側での動画像データの圧縮、（ｉｉ）送信側から受信側への、圧縮された動画像データの伝送、（ｉｉｉ）受信側での動画像データの復元、および、（ｉｖ）復元された画像に対する画像認識が行われることが考えられる。
　動画像データの圧縮では、深層学習ベースの動画像圧縮技術を用いることができる（非特許文献１から非特許文献３参照）。また、画像認識では、物体検出手法を用いて、画像中でターゲット（監視対象）を検出して追跡することが考えられる（非特許文献４参照）。ターゲットの検出結果は、例えば復元された画像中に表示して監視者に提示することができる。
Han et al.、"Deep Generative Video Compression"、Neural Information Processing Systems (NIPS) 2019、２０１９年 Lu et al.、"DVC: An End-To-End Deep Video Compression Framework"、Computer Vision and Pattern Recognition (CVPR) 2019、２０１９年 Rippel et al.、"Learned Video Compression"、2019 IEEE International Conference on Computer Vision (ICCV)、２０１９年 Lin et. al.、"Focal Loss for Dense Object Detection"、2017 IEEE International Conference on Computer Vision (ICCV)、２０１７年 Kingma et al.、"Glow: Generative Flow with Invertible 1x1 Convolutions"、Neural Information Processing Systems (NIPS) 2018、２０１８年
　上記のように、動画像データを圧縮して送信し、受信データから動画像を復元し、再現された画像に対して画像認識を行う場合、動画像データの圧縮、動画像の復元、および、画像認識の各ステップにおいて、処理時間による遅延が生じ得る。遠隔監視または遠隔制御などリアルタイムの用途の場合、遅延の影響が大きい。例えば、画像認識結果復元画像上に表示する場合、ＱｏＥ（Quality Of Experience、サービスなどの体験品質）に対して、遅延の悪影響が大きいことが考えられる。
　本発明の目的の一例は、上述した課題を解決することのできる情報処理装置、情報処理システム、情報処理方法および記録媒体を提供することである。
　本発明の第一の態様によれば、情報処理装置は、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する受信手段と、受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、を備える。
　本発明の第二の態様によれば、情報処理システムは、送信側装置と受信側装置とを備え、前記送信側装置は、対象データを取得するデータ取得手段と、前記対象データの表現内容の特徴を示す特徴データを算出する特徴抽出手段と、前記特徴データに基づいて通信データを生成する通信データ生成手段と、前記通信データを送信する送信手段と、を備え、前記受信側装置は、前記通信データを受信する受信手段と、受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、を備える。
　本発明の第三の態様によれば、情報処理方法は、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、受信された前記通信データに基づいて前記特徴データを復元することと、復元された前記特徴データに基づいて前記対象データを復元することと、復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、を含む。
　本発明の第四の態様によれば、記録媒体は、コンピュータに、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、受信された前記通信データに基づいて前記特徴データを復元することと、復元された前記特徴データに基づいて前記対象データを復元することと、復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、を実行させるためのプログラムを記録する記録媒体である。
　本発明によれば、対象データの復元処理、および、復元されるデータの表現内容に対する認識処理を行う処理時間が、比較的短くて済む。
第一実施形態に係る情報処理システムの構成例を示す概略ブロック図である。 第一実施形態に係る特徴抽出部の構成例を示す概略ブロック図である。 第一実施形態に係る処理ステージ部の構成例を示す概略ブロック図である。 第一実施形態に係る処理ブロック部の構成例を示す概略ブロック図である。 第一実施形態に係る中間特徴生成部の構成例を示す概略ブロック図である。 第一実施形態に係る逆処理ステージ部の構成例を示す概略ブロック図である。 第一実施形態に係る逆処理ブロック部の構成例を示す概略ブロック図である。 第一実施形態に係る取得画像復元部の構成例を示す概略ブロック図である。 第一実施形態に係る認識部の構成例を示す概略ブロック図である。 第一実施形態に係る送信側装置が行う処理の手順の例を示すフローチャートである。 第一実施形態に係る受信側装置が行う処理の手順の例を示すフローチャートである。 第二実施形態に係る情報処理システムの構成例を示す概略ブロック図である。 第二実施形態に係る特徴差分算出部の構成例を示す概略ブロック図である。 第二実施形態に係る差分処理ステージ部の構成例を示す概略ブロック図である。 第二実施形態に係る差分処理ブロック部の構成例を示す概略ブロック図である。 第二実施形態に係る特徴算出部の構成例を示す概略ブロック図である。 第二実施形態に係る復元処理ステージ部の構成例を示す概略ブロック図である。 第二実施形態に係る復元処理ブロック部の構成例を示す概略ブロック図である。 第二実施形態に係る送信側装置が行う処理の手順の例を示すフローチャートである。 第二実施形態に係る受信側装置が行う処理の手順の例を示すフローチャートである。 第三実施形態に係る情報処理システムの構成の第一例を示す概略ブロック図である。 第三実施形態に係る情報処理システムの構成の第二例を示す概略ブロック図である。 第三実施形態に係る情報処理システムの構成の第三例を示す概略ブロック図である。 第四実施形態に係る情報処理装置の構成例を示す概略ブロック図である。 第五実施形態に係る情報処理システムの構成例を示す概略ブロック図である。 第六実施形態に係る情報処理方法における処理の手順の例を示すフローチャートである。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　以下では、情報処理システムが、画像データの送受信および画像認識を行う場合を例に説明する。ただし、以下の実施形態における送受信および認識処理の対象は画像データに限定されず、階層的に圧縮および伸長（復元）可能ないろいろなデータとすることができる。例えば、情報処理システムが、音声データの送受信および音声認識を行うようにしてもよい。あるいは、情報処理システムが、ＬｉＤＡＲ（Light Detection And Ranging）などの各種計測装置が出力する点群データを送受信および認識処理の対象としていてもよい。
＜第一実施形態＞
　図１は、第一実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図１に示す構成において、情報処理システム１は、送信側装置１０と、受信側装置２０とを備える。送信側装置１０は、画像取得部１１と、特徴抽出部１２と、通信データ生成部１３と、送信部１６とを備える。通信データ生成部１３は、量子化部１４と、符号化部１５とを備える。受信側装置２０は、受信部２１と、特徴復元部２２と、取得画像復元部２６と、認識部２７と、出力部２８とを備える。特徴復元部２２は、復号部２３と、脱量子化部２４と、中間特徴生成部２５とを備える。
　情報処理システム１は、画像の伝送および画像認識を行う。
　送信側装置１０は、画像を取得し、取得した画像をビットストリーム（Bit Stream）等の送信用データに変換して受信側装置２０へ送信する。受信側装置２０は、送信側装置１０から受信したデータから画像を復元し、また、受信画像に対する画像認識を行う。
　情報処理システム１は、自動運転車両の監視などの遠隔監視システムであってもよい。送信側装置１０が監視地点に設置され、受信側装置２０がデータセンタなど送信側装置１０から離れた地点に設置されていてもよい。受信側装置２０が、画像認識によって自動運転車両における危険を検出または予測して報知するようにしてもよい。
　ただし、情報処理システム１の用途は特定の用途に限定されない。
　送信側装置１０から受信側装置２０への画像の送信の際、学習モデルを用いて画像の特徴抽出を行い、抽出した特徴を示す特徴データを（必要に応じてデータ変換して）送信するようにしてもよい。そして、受信側装置２０が、受信した特徴データに基づいて画像を復元するようにしてもよい。
　一方、画像の特徴抽出、特徴からの画像の復元、および、画像認識は、何れも比較的計算量が多い。遠隔監視などリアルタイム性が求められる用途では、特に、短時間で効率的に処理を行うことが求められる。
　そこで、受信側装置２０は、受信データからの画像復元の過程で生成する中間特徴データを用いて画像認識を行う。これにより、受信データから画像を復元した後、復元画像を用いて画像認識を行う場合よりも、短時間で効率的に処理を行うことができる。
　受信側装置２０は、情報処理装置の例に該当する。
　情報処理システム１において、画像の特徴が、実数を要素とするベクトルで表されてもよい。すなわち、画像の特徴を示す特徴データが特徴ベクトルの形式で示されていてもよい。特徴ベクトルは、特徴量または特徴量ベクトルとも称される。
　画像取得部１１は、画像を画像データにて取得する。例えば、画像取得部１１が、スチルカメラまたはビデオカメラ等の撮像装置を備えて動画像または静止画像を撮像するようにしてもよい。画像取得部１１が静止画像を撮像する場合、例えば所定の時間間隔で撮像を繰り返すようにしてもよい。
　あるいは、撮像装置が送信側装置１０とは別の装置として構成され、画像取得部１１が撮像装置から画像データを取得するようにしてもよい。あるいは、画像取得部１１が、画像データを記録している記録媒体からが画像データを読み出すようにしてもよい。
　画像取得部１１は、取得した画像データを特徴抽出部１２へ出力する。
　画像取得部１１が取得する画像データのデータ形式は、特定のものに限定されない。例えば、画像取得部１１がＲＧＢピクセルデータ（RGB Pixel Data）形式の画像データを取得するようにしてもよいが、これに限定されない。ＲＧＢピクセルデータ形式は、ピクセル（画素）ごとに、赤、緑、青それぞれの値が示される画像データ形式である。
　画像取得部１１が取得する画像を取得画像と称する。取得画像を示す画像データを取得画像データと称する。取得画像データは、対象データの例に該当する。取得画像は、対象データの表現内容の例に該当する。
　画像取得部１１は、取得手段の例に該当する。
　特徴抽出部１２は、取得画像の特徴抽出を行い、特徴データを生成する。特徴データは、取得画像の視覚的な特徴を表すデータである。ここでの「視覚的な」は、画像の形式またはファイルの形式ではなく画像の表示内容に関する特徴であることを示す。上記のように、特徴データは、実数ベクトルの形式で示されていてもよい。
　特徴抽出部１２は、特徴抽出手段の例に該当する。
　特徴抽出部１２が、深層学習（Deep Learning）の技術を用いて得られたニューラルネットワークモデルを含んでもよい。その場合のニューラルネットワークモデルは、数学的に逆演算可能なニューラルネットワークであるインバーティブルニューラルネットワーク（Invertible Neural Network；ＩＮＮ）であってもよい。
　ただし、特徴抽出部１２の構成は、取得画像を復元可能な特徴データを生成可能なものであればよく、特定の構成に限定されない。特徴データを生成することを、特徴を抽出する、または、特徴データを抽出する、とも称する。画像データの表現内容の画像の特徴を示す特徴データを生成することを、画像データから特徴データを抽出するとも称する。
　以下では、特徴抽出部１２が、逆演算可能な畳み込みニューラルネットワークによる深層学習モデルを用いて構成される場合を例に説明する。逆演算可能な畳み込みニューラルネットワークによる深層学習モデルを、インバーティブル深層畳み込みニューラルネットワークモデル（Invertible Deep Convolutional Neural Network Model）とも称する。ここでいう逆演算は、元の演算と入出力が逆になる演算である。すなわち、逆演算では、元の演算における出力値が逆演算への入力値となる場合に、元の演算における入力値と同じ値を出力する。
　図２は、特徴抽出部１２の構成例を示す概略ブロック図である。図２に示す構成で特徴抽出部１２は、前処理部１１１と、処理ステージ部１１２と、チャネル分割部１１３とを備える。
　図２の例において、特徴抽出部１２は、３つの処理ステージ部１１２と、２つのチャネル分割部１１３とを備える。これらは、２つの処理ステージ部１１２の間のそれぞれにチャネル分割部１１３が１つずつ設けられる配置で直列に接続され、さらに、前処理部１１１に直列に接続されている。３つの処理ステージ部１１２を区別する場合、データの流れの上流側から下流側へ順に、符号１１２－１、１１２－２、１１２－３を付す。２つのチャネル分割部１１３を区別する場合、データの流れの上流側から下流側へ順に、符号１１３－１、１１３－２を付す。
　ただし、特徴抽出部１２が備える処理ステージ部１１２の個数は１つ以上であればよい。特徴抽出部１２が備えるチャネル分割部１１３の個数は、処理ステージ部１１２の個数よりも１つ少なくてもよい。
　前処理部１１１は、画像取得部１１が出力する画像データに対し、特徴抽出の前処理を行う。例えば、前処理部１１１が、画像取得部１１が出力する画像データの画像サイズを、特徴抽出部１２を構成するニューラルネットワークが受け付ける画像サイズに合わせるように、画像の加工を行うようにしてもよい。また、画像取得部が出力する画像にノイズが多く含まれる場合のノイズフィルタなど、前処理部１１１が、画像取得部１１が出力する画像データに画像フィルタを適用するようにしてもよい。
　あるいは、画像取得部１１が出力する画像データをそのままニューラルネットワークに入力して特徴抽出を行える場合、特徴抽出部１２が、前処理部１１１を備えていなくてもよい。すなわち、前処理部１１１による前処理は必須ではない。
　処理ステージ部１１２の各々の出力を、中間特徴または中間特徴データとも称する。処理ステージ部１１２－１の出力を、中間特徴データＹ１と表記する。処理ステージ部１１２－２の出力を、中間特徴データＹ２と表記する。処理ステージ部１１２－３の出力を、中間特徴データＹ３と表記する。個々の中間特徴データは、特徴データの一種に該当する。
　図２の例において、中間特徴データからチャネル分割されているデータも、特徴データの一種に該当する。
　複数の特徴データを纏めたデータを特徴データ群とも称する。図２の例では、中間特徴データＹ１からチャネル分割されたデータ、中間特徴データＹ２からチャネル分割されたデータ、および、中間特徴データＹ３が、特徴データ群に纏められている。特徴データ群は、特徴データの一種に該当する。特徴データ群を特徴データとも称する。
　図３は、処理ステージ部１１２の構成例を示す概略ブロック図である。図３に示す構成において、処理ステージ部１１２は、ダウンサンプリング部１２１と、処理ブロック部１２２とを備える。
　図３の例において、処理ステージ部１１２は、Ｎ個の処理ブロック部１２２を備える。これらＮ個の処理ブロック部１２２が直列に接続され、さらに、ダウンサンプリング部１２１に直列に接続されている。Ｎ個の処理ブロック部を区別する場合、データの流れの上流側から下流側へ順に、符号１２２－１、・・・、１２２－Ｎを付す。
　Ｎは１以上の整数であればよい。
　ダウンサンプリング部１２１は、画素形式のデータ（画素値の並びによって示されるデータ）の入力を受けて、入力データの画像サイズ（画素数）を縮小する。具体的には、ダウンサンプリング部１２１への入力データは、前処理された画像データ、または、画素形式の特徴データ（がチャネル分割されたデータ）である。
　ダウンサンプリング部１２１が画像サイズを縮小する方法および縮小率は特定のものに限定されない。
　例えば、ダウンサンプリング部１２１が、縦２個×横２個の４つの画素ごとに１つの画素に置き換えることによって、画素数が４分の１の画像に縮小するようにしてもよい。その場合、ダウンサンプリング部１２１が、４つの画素の画素値のうち最大値を選択するようにしてもよい。あるいは、ダウンサンプリング部１２１が、４つの画素の画素値の平均を算出して、サイズ縮小後の画像の画素値として用いるようにしてもよい。
　あるいは、出力チャネル数が、入力チャネル数の４倍に設定されていてもよい。そして、ダウンサンプリング部１２１が、縦２個×横２個の４つの画素をそれぞれ別のチャネルに割り当てるようにしてもよい。
　ここでいう入力チャネル数は、ダウンサンプリング部１２１への入力データにおけるチャネルの個数である。出力チャネル数は、ダウンサンプリング部１２１からの出力データにおけるチャネルの個数である。
　図４は、処理ブロック部１２２の構成例を示す概略ブロック図である。図４に示す構成において、処理ブロック部１２２は、アフィンチャネル変換部１３１と、チャネル分割部１３２と、畳み込み処理部１３３と、乗算部１３４と、加算部１３５と、チャネル結合部１３６とを備える。
　アフィンチャネル変換部１３１は、畳み込みニューラルネットワークにおけるアフィン層（Affine Layer）に該当する。アフィン層は、全結合層とも称される。アフィンチャネル変換部１３１は、処理ブロック部１２２への入力に対する重み付けを行う。この重み付けは、ニューラルネットワークで一般的に行われる、ニューロンモデルへの入力に対する重み付けに相当する。なお、アフィンチャネル変換部１３１が、１×１の大きさのフィルタを用いて処理を行うようにしてもよい。
　チャネル分割部１３２は、アフィンチャネル変換部１３１の出力をチャネルごとのデータに分割する。例えば、チャネル分割部１３２は、アフィンチャネル変換部１３１の出力データに含まれる各チャネルを、グループＡおよびグループＢの２つのグループの何れかに振り分ける。チャネル分割部１３２は、グループＡに振り分けたチャネルを乗算部１３４へ出力し、グループＢに振り分けたチャネルを畳み込み処理部１３３およびチャネル結合部１３６へ出力する。
　ここでいうチャネルは、個々の画像の特徴データであってもよい。チャネル分割は、個々の画像の特徴データを複数のグループの何れかに振り分けることであってもよい。例えば、アフィンチャネル変換部１３１の出力データが、複数の画像の特徴データを含み、個々の画像の特徴データがチャネルとして扱われてもよい。チャネル分割部１３２が、チャネルの分割にて、個々の画像の特徴データを複数のグループの何れかに振り分けるようにしてもよい。
　畳み込み処理部１３３は、グループＢのデータ（グループＢに振り分けられたデータ）の入力を受けて、入力されたデータに対して畳み込み処理を行う。畳み込み処理部１３３が、入力されたデータに対して畳み込み処理および非線形変換などの一連の処理を行うようにしてもよい。畳み込み処理部１３３が、畳み込みニューラルネットワークを用いて構成されていてもよい。
　畳み込み処理部１３３は、処理後のデータをグループＣおよびグループＤの２つのグループに振り分ける。畳み込み処理部１３３は、グループＣに振り分けたデータを乗算部１３４に出力し、グループＤに振り分けたデータを加算部１３５に出力する。
　乗算部１３４は、グループＡのデータとグループＣのデータとの入力を受けて、グループＡのデータとグループＣのデータとの要素ごとの乗算を行う。グループＡのデータとグループＣのデータとは、縦の要素数および横の要素数の何れも同じであり、乗算部１３４は、グループＡのデータとグループＣのデータとの同じ位置の要素ごとに、要素の値を乗算する。乗算部１３４は、乗算結果のデータを加算部１３５へ出力する。
　加算部１３５は、乗算部１３４からのデータとグループＤのデータとの入力を受けて、入力された乗算部１３４からのデータとグループＤのデータとを足し合わせる。具体的には、加算部１３５は、乗算部１３４からのデータとグループＤのデータとの要素ごとの加算を行う。乗算部１３４からのデータとグループＤのデータとは、縦の要素数および横の要素数の何れも同じであり、加算部１３５は、乗算部１３４からのデータとグループＤのデータとの同じ位置の要素ごとに、要素の値を加算する。加算部１３５は、加算結果のデータをチャネル結合部１３６へ出力する。
　チャネル結合部１３６は、チャネル分割部１３２が行う処理に対して逆の処理を行う。これにより、チャネル結合部１３６は、加算部１３５からの１つのデータとグループＢの１つのデータとを、１つのデータに結合する。ここでいう逆の処理は、逆演算に相当する処理である。ここでいう結合は、複数のデータを分割可能に１つのデータに纏めることであってもよい。
　特徴抽出部１２のチャネル分割部１１３の各々は、処理ステージ部１１２が出力する中間特徴の各々を２つのグループの何れかに振り分ける。これにより、チャネル分割部１１３は、処理ステージ部１１２が出力する中間特徴データから、受信側装置２０への通信データとして特徴データ群に纏めるためのデータを抽出する。上述したように、チャネルは、個々の画像の特徴データであってもよい。チャネル分割は、個々の画像の特徴データを複数のグループの何れかに振り分けることであってもよい。
　図２の例のように処理ステージ部１１２とチャネル分割部１１３とを交互に設ける構成とすることで、処理ステージ部１１２およびチャネル分割部１１３による処理に対する逆処理を比較的簡単な計算で行うことができる。
　通信データ生成部１３は、特徴データに基づいて通信データを生成する。具体的には、通信データ生成部１３は、特徴抽出部１２が出力する特徴データ群を、通信データに変換する。
　通信データ生成部１３は、通信データ生成手段の例に該当する。
　量子化部１４は、入力画像の特徴データを量子化する。ここでいう量子化は、実数から整数への丸め（四捨五入、切り捨て、または、切り上げ）であってもよい。したがって、量子化部１４が行う特徴データの量子化は、特徴データに含まれる実数の各々を整数に変換することである。特徴データに含まれる実数は、特徴データの要素である実数ベクトルのさらに要素であってもよい。
　量子化部１４は、量子化手段の例に該当する。
　符号化部１５は、量子化された特徴データをエントロピ符号化する。ここでいうエントロピ符号化は、入力データ（入力符号）の予測確率分布に基づいて、情報エントロピを最小化するようにデータ変換（符号化）することである。符号化部１５が行う処理に、公知のエントロピ符号化アルゴリズムを用いることができる。
　符号化部１５は、エントロピ符号化によって特徴データをビットストリーム（Bit Stream、ビット列で表されるデータストリーム）に変換する。
　ただし、情報処理システム１が用いる符号化方式は、エントロピ符号化方式に限定されない。ビットストリームなど通信に適したデータを生成可能ないろいろな符号化方式を、情報処理システム１に適用することができる。
　量子化部１４が行う量子化、および、符号化部１５が行う符号化の何れも、特定の処理に限定されない。これらの処理の組み合わせにて特徴データを送信用のビットストリームに変換可能な、いろいろな処理を用いることができる。
　送信部１６は、通信データを送信する。具体的には、送信部１６は、符号化部１５が出力するビットストリームを、通信信号にて受信側装置２０の受信部２１へ送信する。送信部１６は、送信手段の例に該当する。
　送信部１６と受信部２１との間の通信方式は、特定のものに限定されない。例えば、送信部１６と受信部２１とが無線通信を行うようにしてもよいし、有線で通信を行うようにしてもよい。
　受信部２１は、取得画像の特徴データに基づく通信データを受信する。具体的には、受信部２１は、送信部１６からの信号を受信し、ビットストリームを復元する。
　受信部２１は、受信手段の例に該当する。
　特徴復元部２２は、受信部２１が受信した通信データに基づいて、特徴データを復元する。
　特徴復元部２２は、特徴復元手段の例に該当する。
　復号部２３は、エントロピ復号によってビットストリームを量子化された特徴データに変換する。復号部２３が行う復号は、符号化部１５が行う符号化の逆演算に該当する。
　上記のように、情報処理システム１が用いる符号化方式は、エントロピ符号化方式に限定されない。受信側装置２０が行う復号はエントロピ復号に限定されず、送信側装置１０によって符号化されたデータを復号するものであればよい。
　脱量子化部２４は、復号部２３が取得する量子化された特徴データを脱量子化する。具体的には、脱量子化部２４は、特徴データに含まれる整数の各々を実数に変換する。
　脱量子化部２４が整数を実数に変換する方法は、特定の方法に限定されない。例えば、脱量子化部２４が、特徴データの要素としての実数ベクトルの符号化確率を表す確率分布を予め記憶しておき、この確率分布に基づいてサンプリングを行うようにしてもよい。この場合、特徴データの要素としての実数ベクトルの符号化確率を表す確率分布は、量子化される前の特徴データの確率分布の例に該当する。
　脱量子化部２４が、特徴データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
　あるいは、脱量子化部２４が、整数の値はそのままとし、整数データから実数データへ、データ形式のみを変更するようにしてもよい。
　脱量子化部２４は、脱量子化手段の例に該当する。
　脱量子化部２４が行う脱量子化は、理想的には量子化部１４による量子化の逆演算であるが、通常、送信側における量子化前の値を受信側で常に正確に復元することはできない。脱量子化部２４による脱量子化後の特徴データも、量子化ノイズ（量子化誤差）を含んでいると考えられる。量子化ノイズは、量子化および脱量子化に起因する誤差である。量子化ノイズを含んでいることを示す場合、「ノイジー特徴データ」、「ノイジー中間特徴データ」のように、用語に「ノイジー」（Noisy）を付加する。
　特徴データに含まれる実数の大きさが、量子化での丸め分の大きさに対して大きい場合、受信側装置２０が行う受信画像の復元および画像認識に対する、ノイジー特徴データに含まれる量子化ノイズの影響は小さい。受信側装置２０の処理に精度を要求される場合、要求される精度に応じて、特徴データに含まれる実数の大きさを大きくしてもよい。特徴データに含まれる実数の大きさを大きくすることは、例えば、取得画像における画素値の上限を大きくとって、画素値を大きい値で表すことで行われる。
　脱量子化部２４による脱量子化は、量子化部１４による量子化に対する近似的な逆演算と捉えることができる。
　中間特徴生成部２５は、脱量子化部２４が出力するノイジー特徴データ群から、ノイジー中間特徴データを算出する。中間特徴生成部２５の演算は、理想的には特徴抽出部１２の演算の逆演算であるが、これに限定されない。中間特徴生成部２５は、情報処理システム１の用途に応じた要求精度でノイジー中間特徴データを算出できるものであればよい。
　以下では、中間特徴生成部２５が、逆演算可能な畳み込みニューラルネットワークによる深層学習モデルを用いて構成され、中間特徴生成部２５が、特徴抽出部１２のうちチャネル分割部１１３－１、処理ステージ部１１２－２、チャネル分割部１１３－２および処理ステージ部１１２－３の部分の逆モデルとなっている場合を例に説明する。ここでいう逆モデルは、逆演算を行うモデルである。すなわち、中間特徴生成部２５が、特徴抽出部１２のうち上記の部分による演算に対する逆演算を行う場合を例に説明する。
　図５は、中間特徴生成部２５の構成例を示す概略ブロック図である。図５に示す構成において、中間特徴生成部２５は、逆処理ステージ部２１１と、チャネル結合部２１２とを備える。
　図５の例において、２つの逆処理ステージ部２１１と、２つのチャネル結合部２１２とが、交互に配置されて直列に接続されている。２つの逆処理ステージ部２１１を区別する場合、データの流れの上流側から下流側へ順に、符号２１１－１、２１１－２を付す。２つのチャネル結合部２１２を区別する場合、データの流れの上流側から下流側へ順に、符号２１２－１、２１２－２を付す。
　逆処理ステージ部２１１の各々は、１つの処理ステージ部１１２の演算の逆演算を行う。逆処理ステージ部２１１－１は、処理ステージ部１１２－３の演算の逆演算を行う。逆処理ステージ部２１１－２は、処理ステージ部１１２－２の演算の逆演算を行う。
　図５の例において、中間特徴生成部２５に入力されるノイジー特徴データ群には、ノイジー中間特徴データＹ１’が含まれる。ノイジー中間特徴データＹ１’は、処理ステージ部１１２－３（図２）が出力する中間特徴データＹ３が、量子化ノイズを含んで復元されたデータである。
　チャネル結合部２１２－１の出力を、ノイジー中間特徴データＹ２’と表記する。ノイジー中間特徴データＹ２’は、処理ステージ部１１２－２が出力する中間特徴データＹ２が、量子化ノイズを含んで復元されたデータである。
　チャネル結合部２１２－２の出力を、ノイジー中間特徴データＹ３’と表記する。ノイジー中間特徴データＹ３’は、処理ステージ部１１２－１が出力する中間特徴データＹ１が、量子化ノイズを含んで復元されたデータである。
　図６は、逆処理ステージ部２１１の構成例を示す概略ブロック図である。図６に示す構成において、逆処理ステージ部２１１は、逆処理ブロック部２２１と、アップサンプリング部２２２とを備える。
　図６の例において、Ｎ個の逆処理ブロック部２２１が直列に接続され、さらに、アップサンプリング部２２２が直列に接続されている。Ｎ個の逆処理ブロック部２２１を区別する場合、データの流れの上流側から下流側へ順に、符号２２１－１、・・・、２２１－Ｎを付す。
　逆処理ブロック部２２１の各々は、１つの処理ブロック部１２２の演算の逆演算を行う。逆処理ブロック部２２１－１、・・・、２２１－Ｎは、それぞれ、処理ブロック部１２２－Ｎ、・・・、１２２－１の演算の逆演算を行う。
　図７は、逆処理ブロック部２２１の構成例を示す概略ブロック図である。図７に示す構成において、逆処理ブロック部２２１は、チャネル分割部２３１と、畳み込み処理部２３２と、減算部２３３と、除算部２３４と、チャネル結合部２３５と、逆アフィンチャネル変換部２３６とを備える。
　チャネル分割部２３１は、チャネル結合部１３６の演算の逆演算を行う。これによりチャネル分割部２３１は、チャネル分割部１３２と同様の処理を行う。例えば、チャネル分割部２３１は、チャネル分割部２３１自らへの入力データに含まれる各チャネルを、チャネル分割部１３２と同様に、グループＡ’およびグループＢ’の２つのグループの何れかに振り分ける。グループＡ’は、グループＡに相当するグループである。グループＢ’は、グループＢに相当するグループである。
　チャネル分割部２３１は、グループＡ’に振り分けたデータを減算部２３３へ出力し、グループＢ’に振り分けたデータを畳み込み処理部２３２およびチャネル結合部２３５へ出力する。
　畳み込み処理部２３２と、減算部２３３と除算部２３４との組み合わせにて、畳み込み処理部１３３と、乗算部１３４と、加算部１３５との組み合わせによる演算の逆演算を行う。
　畳み込み処理部２３２は、畳み込み処理部１３３と同様の処理を行う。具体的には、畳み込み処理部２３２は、グループＢ’のデータの入力を受けて、入力されたデータに対して畳み込み処理を行う。畳み込み処理部１３３が、入力されたデータに対して畳み込み処理および非線形変換などの一連の処理を行う場合、畳み込み処理部２３２も、畳み込み処理部１３３と同様の一連の処理を行う。畳み込み処理部２３２が、畳み込みニューラルネットワークを用いて構成されていてもよい。
　畳み込み処理部２３２は、処理後のデータをグループＣ’およびグループＤ’の２つのグループに振り分ける。グループＣ’は、グループＣに相当するグループである。グループＤ’はグループＤに相当するグループである。
　畳み込み処理部２３２は、グループＤ’に振り分けたデータを減算部２３３に出力し、グループＣ’に振り分けたデータを除算部２３４に出力する。
　減算部２３３は、加算部１３５の逆演算を行う。具体的には、減算部２３３は、グループＡ’のデータとグループＤ’のデータとの入力を受けて、入力されたグループＡ’のデータからグループＤ’のデータを減算する。さらに具体的には、減算部２３３は、グループＡ’のデータとグループＤ’のデータとの要素ごとに、グループＡ’のデータの要素の値からグループＤ’のデータの要素の値を減算する。グループＡ’のデータとグループＤ’のデータとは、縦の要素数および横の要素数の何れも同じであり、減算部２３３は、グループＡ’のデータとグループＤ’のデータとの同じ位置の要素ごとに、グループＡ’のデータの要素の値からグループＤ’のデータの要素の値を減算する。減算部２３３は、減算結果のデータを除算部２３４へ出力する。
　除算部２３４は、乗算部１３４の逆演算を行う。具体的には、除算部２３４は、減算部２３３からのデータとグループＣ’のデータとの入力を受けて、減算部２３３からのデータとグループＣ’のデータとの要素ごとに、減算部２３３からのデータの要素の値をグループＣ’のデータの要素の値で除算する。減算部２３３からのデータとグループＣ’のデータとは、縦の要素数および横の要素数の何れも同じであり、除算部２３４は、減算部２３３からのデータとグループＣ’のデータとの同じ位置の要素ごとに、減算部２３３からのデータの要素の値をグループＣ’のデータの要素の値で除算する。除算部２３４は、除算結果のデータをチャネル結合部２３５へ出力する。
　チャネル結合部２３５は、チャネル分割部２３１が行う処理に対して逆の処理を行う。これにより、チャネル結合部２３５は、除算部２３４からの１つのデータとグループＢ’の１つのデータとを、１つのデータに結合する。
　チャネル結合部２３５の処理は、チャネル分割部１３２が行う処理に対する逆の処理にも該当する。
　逆アフィンチャネル変換部２３６は、アフィンチャネル変換部１３１の演算の逆演算を行う。
　逆処理ステージ部２１１のアップサンプリング部２２２は、理想的には、ダウンサンプリング部１２１の演算の逆演算を行う。ただし、送信側におけるダウンサンプリング前のデータを受信側で常に正確に復元できない場合がある。例えば上記のように、ダウンサンプリング部１２１が、４つの画素をそれら４つの画素の画素値の平均の画素値を有する１つの画素に置き換える場合について考える。この場合、アップサンプリング部２２２は、通常、得られる１つの画素値から元の４つの画素値を算出することはできない。
　そこで、アップサンプリング部２２２が、ダウンサンプリング前のデータを近似的に復元するようにしてもよい。例えば、アップサンプリング部２２２が、入力データの各画素を縦２個×横２個の４つの画素に分割し、各画素の値を元の画素の値と同じ値に設定することによって、データ（画像データまたは特徴データ）を４倍のサイズの画像データに変換するようにしてもよい。
　中間特徴生成部２５のチャネル結合部２１２は、チャネル分割部１１３の演算に対する逆演算を行う。これにより、チャネル結合部２１２は、複数のチャネルを１つに纏めたデータを生成する。チャネル結合部２１２－１は、チャネル分割部１１３－２の演算に対する逆演算を行う。チャネル結合部２１２－２は、チャネル分割部１１３－１の演算に対する逆演算を行う。
　取得画像復元部２６は、中間特徴生成部２５が出力する中間特徴データに基づいて画像を算出する。具体的には、取得画像復元部２６は、特徴抽出部１２の処理のうち、前処理部１１１および処理ステージ部１１２－１の処理に対する逆の処理を行うことによって、取得画像を復元する。取得画像復元部２６が算出する画像を、復元画像とも称する。
　取得画像復元部２６は、対象復元手段の例に該当する。取得画像復元部２６による取得画像の復元は、特徴復元部２２が復元した特徴データに基づいて取得画像データを復元する処理に該当する。
　図８は、取得画像復元部２６の構成例を示す概略ブロック図である。図８に示す構成において、取得画像復元部２６は、逆処理ステージ部２１１と、後処理部２４１とを備える。
　取得画像復元部２６の逆処理ステージ部２１１を、中間特徴生成部２５の逆処理ステージ部（図５）と区別する場合、取得画像復元部２６の逆処理ステージ部２１１を、逆処理ステージ部２１１－３と表記する。逆処理ステージ部２１１－３は、処理ステージ部１１２－１（図２）の逆モデルに該当する。
　後処理部２４１は、前処理部１１１の演算の逆演算を行う。
　復元画像は、取得画像に類似する。具体的には、復元画像は、取得画像に量子化ノイズが加わった画像である。
　認識部２７は、中間特徴生成部２５が出力するノイジー中間特徴データ群に基づいて画像認識を行う。中間特徴生成部２５が出力するノイジー中間特徴データ群は、復元画像の特徴データに相当する。認識部２７が行う画像認識は、復元画像に対する画像認識に相当する。復元画像に対する画像認識は、復元画像の元の画像である取得画像に対する画像認識といえる。
　したがって、認識部２７が行う画像認識は、特徴復元部２２が復元した特徴データに基づいて、取得画像データの表現内容である取得画像に対する認識処理を行うことに該当する。認識部２７は、認識手段の例に該当する。
　図９は、認識部２７の構成例を示す概略ブロック図である。図９に示す構成において、認識部２７は、中間特徴処理部２５１と、アップサンプリング部２５２と、加算部２５３と、位置推定処理部２５４と、分類処理部２５５と、ＮＭＳ（Non-Maximum Suppression）処理部２５６とを備える。
　図９の例において、３つの中間特徴処理部２５１それぞれに１つずつ位置推定処理部２５４および分類処理部２５５が接続されている。
　また、１つ目の中間特徴処理部２５１の出力が１つ目のアップサンプリング部２５２に入力され、そのアップサンプリング部２５２の出力と、２つ目の中間特徴処理部２５１の出力とを、１つ目の加算部２５３が画素ごとに加算している。加算後のデータが、２つ目のアップサンプリング部２５２に入力され、そのアップサンプリング部２５２の出力と、３つ目の中間特徴処理部２５１の出力とを、２つ目の加算部２５３が画素ごとに加算している。
　３つの中間特徴処理部２５１を区別する場合、上記の１つめの中間特徴処理部２５１を中間特徴処理部２５１－１と表記する。２つめの中間特徴処理部２５１を中間特徴処理部２５１－２と称する。３つめの中間特徴処理部２５１を中間特徴処理部２５１－３と称する。
　３つの位置推定処理部２５４を区別する場合、中間特徴処理部２５１－１に接続している位置推定処理部２５４を位置推定処理部２５４－１と表記する。中間特徴処理部２５１－２に接続している位置推定処理部２５４を位置推定処理部２５４－２と表記する。中間特徴処理部２５１－３に接続している位置推定処理部２５４を位置推定処理部２５４－３と表記する。
　３つの分類処理部２５５を区別する場合、中間特徴処理部２５１－１に接続している分類処理部２５５を分類処理部２５５－１と表記する。中間特徴処理部２５１－２に接続している分類処理部２５５を分類処理部２５５－２と表記する。中間特徴処理部２５１－３に接続している分類処理部２５５を分類処理部２５５－３と表記する。
　２つのアップサンプリング部２５２を区別する場合、中間特徴処理部２５１－１の出力が入力されるアップサンプリング部２５２をアップサンプリング部２５２－１と表記する。中間特徴処理部２５１－２の出力が入力されるアップサンプリング部２５２をアップサンプリング部２５２－２と表記する。
　２つの加算部２５３を区別する場合、中間特徴処理部２５１－２の出力と、アップサンプリング部２５２－１の出力とを加算する加算部２５３を、加算部２５３－１と表記する。中間特徴処理部２５１－３の出力と、アップサンプリング部２５２－２の出力とを加算する加算部２５３を、加算部２５３－２と表記する。
　中間特徴処理部２５１の各々は、ノイジー中間特徴データに含まれるノイジー中間特徴において、認識対象を検出する。中間特徴処理部２５１が認識対象を１つも検出しない場合があってもよい。また、１つの中間特徴処理部２５１が複数の認識対象を検出する場合があってもよい。
　中間特徴処理部２５１が認識対象を検出する方法として、公知の方法を用いることができる。
　アップサンプリング部２５２の各々は、逆処理ステージ部２１１のアップサンプリング部２２２（図６）と同様の処理を行う。アップサンプリング部２５２は、アップサンプリング部２２２の場合と同様、ダウンサンプリング部１２１によるダウンサンプリング前のデータを復元する。アップサンプリング部２５２が、ダウンサンプリング部１２１によるダウンサンプリング前のデータを近似的に復元するようにしてもよい。
　加算部２５３の各々は、中間特徴処理部２５１の出力と、アップサンプリング部２５２の出力とを画素ごとに足し合わせる。
　位置推定処理部２５４の各々は、中間特徴処理部２５１が検出した認識対象の復元画像における位置を推定する。
　位置推定処理部２５４が認識対象の復元画像における位置を検出する方法として公知の方法を用いることができる。
　分類処理部２５５は、中間特徴処理部２５１が検出した認識対象をクラス分類する。このクラス分類は、認識対象の種類の推定であってもよい。
　分類処理部２５５が認識対象をクラス分類する方法として公知の方法を用いることができる。
　ＮＭＳ処理部２５６は、同じクラスとして認識された領域が画像上（ここでは復元画像上）で重なっている場合に、その重なりを解消する。ＮＭＳ処理部２５６が、重なっている同じクラスの領域のうち何れか１つを残して他を削除するようにしてもよい。あるいは、ＮＭＳ処理部２５６が、重なっている領域を、それらの領域を包含する１つの領域に置き換えるようにしてもよい。
　ＮＭＳ処理部２５６が処理を行う方法として、Non-Maximum Suppressionとして公知の方法を用いるようにしてもよい。
　出力部２８は、取得画像復元部２６が生成する復元画像と、認識部２７による認識結果とを示す情報を出力する。例えば、出力部２８が表示装置を備えて復元画像を表示するようにしてもよい。そして、出力部２８が、復元画像における認識対象をバウンディングボックス（Bounding Box、その領域をちょうど囲う矩形）で囲って示し、その認識対象のクラスをバウンディングボックスの色で示すようにしてもよい。
　だたし、出力部２８が、復元画像と認識結果とを出力する方法は、特定の方法に限定されない。
　出力部２８が、復元画像と認識結果とを別々に出力するようにしてもよい。
　出力部２８は、出力手段の例に該当する。
　図１０は、送信側装置１０が行う処理の手順の例を示すフローチャートである。送信側装置１０が、図１０の処理を繰り返し行うようにしてもよい。例えば、送信側装置１０が、静止画像の取得を所定の周期で繰り返す場合、静止画像を取得する毎に図１０の処理を行うようにしてもよい。
　図１０の処理において、画像取得部１１は、画像を取得する（ステップＳ１０１）。上記のように、画像取得部１１が取得する画像を取得画像とも称する。
　次に、特徴抽出部１２は、取得画像の特徴データを抽出する（ステップＳ１０２）。
　次に、量子化部１４は、特徴データを量子化する（ステップＳ１０３）。
　次に、符号化部１５は、量子化された特徴データを符号化する（ステップＳ１０４）。符号化部１５は、量子化された特徴データの符号化によって、量子化された特徴データをビットストリームに変換する。
　そして、送信部１６は、符号化部１５が出力するビットストリームを受信側装置２０へ送信する（ステップＳ１０５）。
　ステップＳ１０５の後、送信側装置１０は、図１０の処理を終了する。
　図１１は、受信側装置２０が行う処理の手順の例を示すフローチャートである。受信側装置２０が、送信側装置１０による図１０の処理の繰り返しに応じて、図１１の処理を繰り返し行うようにしてもよい。
　図１１の処理において、受信部２１は、ビットストリームを受信する（ステップＳ２０１）。
　次に、復号部２３は、受信部２１が受信したビットストリームを復号する（ステップＳ２０２）。上述したように、復号部２３は、送信側装置１０の符号化部１５が行う符号化の逆演算によって復号を行う。復号部２３は、ビットストリームの復号によって、量子化された特徴データを生成する。
　次に、脱量子化部２４は、ステップＳ２０２でのビットストリームの復号によって得られたデータを脱量子化することによって、ノイジー特徴データを算出する（ステップＳ２０３）。上述したように、ノイジー特徴データは、特徴抽出部１２が抽出する特徴データに量子化ノイズが加わったものといえる。
　次に、中間特徴生成部２５が、ノイジー特徴データに基づいてノイジー中間特徴データを生成する（ステップＳ２０４）。
　取得画像復元部２６は、ノイジー中間特徴データに基づいて復元画像を生成する（ステップＳ２０５）。
　また、認識部２７は、ノイジー中間特徴データに基づいて画像認識を行い、認識結果を算出する（ステップＳ２０６）。
　そして、出力部２８は、復元画像および認識結果を出力する（ステップＳ２０７）。
　ステップＳ２０７の後、受信側装置２０は、図１１の処理を終了する。
　以上のように、受信部２１は、取得画像データの表現内容である取得画像の特徴を示す特徴データに基づく通信データを受信する。特徴復元部２２は、受信された通信データに基づいて特徴データを復元する。取得画像復元部２６は、復元された前記データに基づいて取得画像データを復元する。認識部２７は、復元された特徴データに基づいて取得画像データの表現内容である取得画像に対する画像認識を行う。出力部２８は、復元された対象データの表現内容と認識処理による認識結果とを示す情報を出力する。
　このように、受信側装置２０は、特徴復元部２２が復元する特徴データを、取得画像復元部２６による取得画像の復元、および、認識部２７による画像認識の両方に用いる。受信側装置２０によれば、画像を復元した後、復元された画像を用いて画像認識を行う場合との比較において、取得画像データの復元処理、および、復元されるデータの表現内容である復元画像に対する画像認識を行う処理時間が短くて済む。
　また、受信部２１は、量子化された特徴データに基づく通信データを受信する。脱量子化部２４は、量子化された特徴データに対して、量子化される前の特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う。
　脱量子化部２４が、特徴データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
　また、受信部２１は、中間特徴データＹ１と、中間特徴データＹ１からダウンサンプリング部１２１によってダウンサンプリングされたデータに基づいて算出される中間特徴データＹ２とに基づく通信データを受信する。特徴復元部２２は、中間特徴データＹ２が受信された通信データに基づいて復元されたノイジー中間特徴データＹ２’からアップサンプリング部２２２によってアップサンプリングしたデータに基づいてノイジー中間特徴データＹ３’を復元する。
　このように、受信側装置２０が、異なる画像サイズの特徴データを用いて取得画像データを復元することによって、送信側装置１０での画像の圧縮率の調整が比較的容易になる。
　また、特徴復元部２２は、処理ステージ部１１２が、中間特徴データＹ１からダウンサンプリングされたデータに基づいて中間特徴データＹ２を算出する処理の逆演算に該当する処理を用いて、中間特徴データＹ１を復元する。
　これにより、特徴復元部２２が、中間特徴データを比較的高精度に復元できると期待される。
＜第二実施形態＞
　図１２は、第二実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図２に示す構成において、情報処理システム２は、送信側装置３０と、受信側装置４０とを備える。送信側装置３０は、画像取得部１１と、特徴抽出部１２と、通信データ生成部３１と、送信部１６と、ノイジー特徴データ記憶部３５と、を備える。通信データ生成部３１は、量子化部１４と、符号化部１５と、脱量子化部３２と、特徴差分算出部３３と、特徴算出部３４とを備える。受信側装置２０は、受信部２１と、特徴復元部４１と、取得画像復元部２６と、認識部２７と、出力部２８と、ノイジー特徴データ記憶部４３とを備える。特徴復元部４１は、復号部２３と、脱量子化部２４と、中間特徴生成部２５と、特徴算出部４２とを備える。
　図１２の各部のうち図１の各部に対応して同様の機能を有する部分には同一の符号（１１、１２、１４、１５、１６、２１、２３、２４、２５、２６、２７、２８）を付し、ここでは詳細な説明を省略する。
　図１２に示す情報処理システム２の構成を、図１に示す情報処理システム１と比較すると、動画像を効率的に伝送し処理するための機能部が追加されている。それ以外の点では、情報処理システム２は、情報処理システム１と同様である。
　第二実施形態では、画像取得部１１は、動画像、または、例えば１秒周期など比較的短い周期で繰り返し撮像される静止画像を取得する。画像取得部１１が動画像を取得する場合、動画像の各フレームのデータを取得画像データとして扱う。
　取得画像データのうちの１つを第一取得画像データと称し、第一取得画像の次に撮像される取得画像のデータを第二取得画像データと称する。第一取得画像データは、第一対象データの例に該当する。第二取得画像データは、第二対象データの例に該当する。
　特徴抽出部１２は、画像取得部１１が取得する複数の画像（画像取得部１１が動画像を取得する場合は、動画像のフレーム）それぞれの特徴データを算出する。例えば、特徴抽出部１２は、第一取得画像データから第一特徴データを抽出し、第二取得画像データから第二特徴データを抽出する。
　通信データ生成部３１は、画像取得部１１が取得する最初の画像については、第一実施形態の通信データ生成部１３と同様、その画像の特徴データ（例えば特徴データ群）を通信データに変換する。
　一方、通信データ生成部３１は、画像取得部１１が取得する２つ目以降の画像については、特徴差分データを算出し、算出した特徴差分データに基づいて通信データを生成する。特徴差分データは、特徴抽出部１２が算出する２つの特徴データの相違を示すデータである。例えば、通信データ生成部３１は、第一特徴データと第二特徴データとの相違を示す特徴差分データを算出し、算出した特徴差分データに基づいて通信データを生成する。
　特に、通信データ生成部３１は、量子化部１４における量子化、および、脱量子化部３２における脱量子化によって、量子化ノイズを含むノイジー特徴差分データを生成し、ノイジー特徴差分データに基づいて通信データを生成する。
　脱量子化部３２は、受信側装置４０の脱量子化部２４と同じ処理を行う。これにより、脱量子化部３２は、脱量子化部２４が生成するノイジー特徴データと同じノイジー特徴データを生成する。
　ノイジー特徴データ記憶部３５は、ノイジー特徴データを一時的に記憶する。ノイジー特徴データ記憶部３５が記憶するノイジー特徴データは、次の処理におけるノイジー特徴差分データの生成に用いられる。ここでいう次の処理は、画像取得部１１が取得する動画像のフレームごとの処理など、画像取得部１１が取得する画像ごとの処理のうち、次の画像に対する処理である。
　特徴差分算出部３３は、ノイジー特徴差分データを算出する。ノイジー特徴差分データは、連続する処理でそれぞれ生成される特徴データと、１つ前の処理で生成されたノイジー特徴データとの差分データである。
　送信側装置３０は、２つ目以降の画像の処理では、特徴データに代えてノイジー特徴差分データを量子化および符号化して得られるビットストリームを受信側装置４０へ送信する。受信側装置４０は、受信するビットストリームからノイジー特徴差分データを復元する。そして、受信側装置４０は、復元したノイジー特徴差分データと、１つ前の処理におけるノイジー特徴データとを足し合わせることによって、今回の処理におけるノイジー特徴データを算出する。それ以降の処理は、第一実施形態の受信側装置２０の場合と同様である。
　受信側装置４０は、情報処理装置の例に該当する。
　送信側装置３０の特徴算出部３４は、２つ目以降の画像の処理において、脱量子化部３２が算出する今回の処理におけるノイジー特徴差分データと、ノイジー特徴データ記憶部３５が記憶している前回の処理におけるノイジー特徴データとを足し合わせて、今回の処理におけるノイジー特徴データを算出する。特徴算出部３４は、ノイジー特徴データ記憶部３５が記憶している前回の処理におけるノイジー特徴データを、特徴算出部３４自らが算出した今回の処理におけるノイジー特徴データに更新する。ここでいうデータの更新は、データの上書きであってもよい。
　受信側装置４０のノイジー特徴データ記憶部４３は、送信側装置３０のノイジー特徴データ記憶部３５と同様、ノイジー特徴データを一時的に記憶する。
　特徴算出部４２は、脱量子化部２４が復元する、今回の処理におけるノイジー特徴差分データと、ノイジー特徴データ記憶部４３が記憶している前回の処理におけるノイジー特徴データとを足し合わせる。これにより、特徴算出部４２は、今回の処理におけるノイジー特徴データを算出する。特徴算出部４２は、算出したノイジー特徴データを、中間特徴生成部２５へ出力する。また、特徴算出部４２は、ノイジー特徴データ記憶部４３が記憶している前回の処理におけるノイジー特徴データを、特徴算出部４２自らが算出した今回の処理におけるノイジー特徴データに更新する。
　図１３は、特徴差分算出部３３の構成例を示す概略ブロック図である。図１３に示す構成において、特徴差分算出部３３は、差分処理ステージ部３１１と、アップサンプリング部３１２とを備える。
　図１３は、特徴差分算出部３３がインバーティブル深層畳み込みニューラルネットワークモデルを用いて構成される場合の例を示している。ただし、特徴差分算出部３３の構成は、特定のものに限定されない。
　図１３の例において、特徴差分算出部３３は、３つの差分処理ステージ部３１１と、２つのアップサンプリング部３１２とを備える。これらは、２つの差分処理ステージ部３１１の間のそれぞれにアップサンプリング部３１２が１つずつ設けられる配置で直列に接続されている。３つの差分処理ステージ部３１１を区別する場合、データの流れの上流側から下流側へ順に、符号３１１－１、３１１－２、３１１－３を付す。２つのアップサンプリング部３１２を区別する場合、データの流れの上流側から下流側へ順に、符号３１２－１、３１２－２を付す。
　以下、現在の処理における時刻ステップを時刻ステップｔで表し、前回の処理における時刻ステップを時刻ステップｔ－１で表す。
　差分処理ステージ部３１１の各々は、時刻ステップｔにおける特徴データと時刻ステップｔ－１におけるノイジー特徴データとの差分を算出する。
　図１４は、差分処理ステージ部３１１の構成例を示す概略ブロック図である。図１４に示す構成において、差分処理ステージ部３１１は、差分処理ブロック部３２１を備える。
　図１４の例において、Ｎ個の差分処理ブロック部３２１が直列に接続されている。Ｎ個の差分処理ブロック部３２１を区別する場合、データの流れの上流側から下流側へ順に、符号３２１－１、・・・、３２１－Ｎを付す。
　図１５は、差分処理ブロック部３２１の構成例を示す概略ブロック図である。図１５に示す構成において、差分処理ブロック部３２１は、アフィンチャネル変換部３３１と、チャネル分割部３３２と、畳み込み処理部３３３と、乗算部３３４と、加算部３３５と、チャネル結合部３３６とを備える。
　アフィンチャネル変換部３３１、チャネル分割部３３２、乗算部３３４、加算部３３５、および、チャネル結合部３３６は、図４のアフィンチャネル変換部１３１、チャネル分割部１３２、乗算部１３４、加算部１３５、および、チャネル結合部１３６と同様である。アフィンチャネル変換部３３１は、他の差分処理ブロック部３２１からのデータ、または、特徴抽出部１２からの特徴データに対して、アフィンチャネル変換部１３１と同様の処理を行う。
　畳み込み処理部３３３は、チャネル分割部３３２からのデータと、時刻ステップｔ－１におけるノイジー特徴データと、アップサンプリング部３１２からのデータとの入力を受ける。
　チャネル分割部３３２から畳み込み処理部３３３へのデータは、グループＢに相当するグループのデータである。また、畳み込み処理部３３３は、ノイジー特徴データ記憶部３５が記憶する、時刻ステップｔ－１におけるノイジー特徴データを取得する。
　畳み込み処理部３３３は、チャネル分割部３３２からのデータと、時刻ステップｔ－１におけるノイジー特徴データと、アップサンプリング部３１２からのデータとを結合し、結合したデータに対して畳み込み処理部１３３の場合と同様の処理を行う。
　具体的には、畳み込み処理部３３３は、結合後のデータに対して畳み込み処理を行う。畳み込み処理部３３３が、結合後のデータに対して畳み込み処理および非線形変換などの一連の処理を行うようにしてもよい。畳み込み処理部３３３が、畳み込みニューラルネットワークを用いて構成されていてもよい。
　なお、差分処理ステージ部３１１－１では、アップサンプリング部３１２からの入力が無い。そこで、差分処理ステージ部３１１－１の差分処理ブロック部３２１では、畳み込み処理部３３３が、チャネル分割部３３２からのデータと、時刻ステップｔ－１におけるノイジー特徴データとを結合するようにしてもよい。
　畳み込み処理部３３３は、処理後のデータをグループＣに相当するグループおよびグループＤに相当するグループの２つのグループに振り分ける。畳み込み処理部３３３は、グループＣに相当するグループに振り分けたデータを乗算部３３４に出力し、グループＤに相当するグループに振り分けたデータを加算部３３５に出力する。
　図１６は、特徴算出部３４の構成例を示す概略ブロック図である。図１６に示す構成において、特徴算出部３４は、復元処理ステージ部３４１と、アップサンプリング部３４２とを備える。
　図１６は、特徴算出部３４がインバーティブル深層畳み込みニューラルネットワークモデルを用いて構成される場合の例を示している。ただし、特徴算出部３４の構成は、特定のものに限定されない。
　図１６の例において、特徴算出部３４は、３つの復元処理ステージ部３４１と、２つのアップサンプリング部３４２とを備える。これらは、２つの復元処理ステージ部３４１の間のそれぞれにアップサンプリング部３４２が１つずつ設けられる配置で直列に接続されている。３つの復元処理ステージ部３４１を区別する場合、データの流れの上流側から下流側へ順に、符号３４１－１、３４１－２、３４１－３を付す。２つのアップサンプリング部３４２を区別する場合、データの流れの上流側から下流側へ順に、符号３４２－１、３４２－２を付す。
　復元処理ステージ部３４１の各々は、時刻ステップｔ－１における特徴データと、時刻ステップｔにおけるノイジー特徴差分データとに基づいて、時刻ステップｔにおけるノイジー特徴データを算出する。
　図１７は、復元処理ステージ部３４１の構成例を示す概略ブロック図である。図１７に示す構成において、復元処理ステージ部３４１は、復元処理ブロック部３５１を備える。
　図１７の例において、Ｎ個の復元処理ブロック部３５１が直列に接続されている。Ｎ個の復元処理ブロック部３５１を区別する場合、データの流れの上流側から下流側へ順に、符号３５１－１、・・・、３５１－Ｎを付す。
　図１８は、復元処理ブロック部３５１の構成例を示す概略ブロック図である。図１８に示す構成において、復元処理ブロック部３５１は、チャネル分割部３６１と、畳み込み処理部３６２と、減算部３６３と、除算部３６４と、チャネル結合部３６５と、逆アフィンチャネル変換部３６６とを備える。
　チャネル分割部３６１、減算部３６３、除算部３６４、チャネル結合部３６５、および、逆アフィンチャネル変換部３６６は、逆処理ブロック部２２１のチャネル分割部２３１、減算部２３３、除算部２３４、チャネル結合部２３５、および、逆アフィンチャネル変換部２３６と同様である。チャネル分割部３６１は、他の復元処理ブロック部３５１からのデータ、または、脱量子化部２４が出力するノイジー特徴差分データに対してチャネル分割部２３１と同様の処理を行う。
　チャネル分割部３６１が行う処理は、チャネル結合部３３６が行う処理の逆処理に該当する。減算部３６３が行う演算は、加算部３３５が行う演算に対する逆演算に該当する。除算部３６４が行う演算は、乗算部３３４が行う演算に対する逆演算に該当する。チャネル結合部３６５が行う処理は、チャネル分割部３３２が行う処理の逆処理に該当する。
　畳み込み処理部３６２は、畳み込み処理部３３３と同様の処理を行う。具体的には、畳み込み処理部３６２は、チャネル分割部３６１からのデータと、時刻ステップｔ－１におけるノイジー特徴データと、アップサンプリング部３４２からのデータとの入力を受ける。
　チャネル分割部３６１から畳み込み処理部３６２へのデータは、グループＢに相当するグループのデータである。また、畳み込み処理部３６２は、ノイジー特徴データ記憶部３５が記憶する、時刻ステップｔ－１におけるノイジー特徴データを取得する。
　畳み込み処理部３６２は、チャネル分割部３６１からのデータと、時刻ステップｔ－１におけるノイジー特徴データと、アップサンプリング部３４２からのデータとを結合し、結合したデータに対して畳み込み処理部３３３の場合と同様の処理を行う。
　具体的には、畳み込み処理部３６２は、結合後のデータに対して畳み込み処理を行う。畳み込み処理部３６２が、結合後のデータに対して畳み込み処理および非線形変換などの一連の処理を行うようにしてもよい。畳み込み処理部３６２が、畳み込みニューラルネットワークを用いて構成されていてもよい。
　畳み込み処理部３６２は、処理後のデータをグループＣに相当するグループおよびグループＤに相当するグループの２つのグループに振り分ける。畳み込み処理部３６２は、グループＤに相当するグループに振り分けたデータを減算部３６３に出力し、グループＣに相当するグループに振り分けたデータを除算部３６４に出力する。
　受信側装置４０の特徴復元部４１は、受信部２１が受信した通信データに基づいて特徴差分データを復元し、復元された特徴差分データと、ノイジー特徴データ記憶部４３が記憶する時刻ステップｔ－１におけるノイジー特徴データとに基づいて、時刻ステップｔにおける特徴データを復元する。
　特徴復元部４１は、特徴復元手段の例に該当する。
　第二実施形態では、送信側装置３０と受信側装置４０とが特徴差分データを示す通信データを送受信することにより、脱量子化部２４は、量子化された特徴差分データに対する脱量子化を行う。
　第一実施形態での量子化された特徴データの脱量子化の場合と同様、脱量子化部２４が、量子化される前の特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行うようにしてもよい。例えば、脱量子化部２４が、特徴差分データの要素としての実数ベクトルの符号化確率を表す確率分布を予め記憶しておき、この確率分布に基づいてサンプリングを行うようにしてもよい。
　受信側装置４０の特徴算出部４２は、送信側装置３０の特徴算出部３４と同様である。送信側装置３０と受信側装置４０とで同様の処理を行ってノイジー特徴データを生成し、記憶しておく。
　送信側装置３０は、ノイジー特徴差分データの算出に、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データを前回のノイジー特徴データ（時刻ステップｔ－１）として用いる。受信側装置４０は、ノイジー特徴差分データからノイジー特徴データ（時刻ステップｔ）を復元する際に、ノイジー特徴データ記憶部４３が記憶している前回のノイジー特徴データ（時刻ステップｔ－１）を用いる。
　受信側装置４０が、送信側装置３０と同様の、前回のノイジー特徴データを用いて今回のノイジー特徴データを復元することによって、今回のノイジー特徴データを高精度に復元できると期待される。
　図１９は、送信側装置３０が行う処理の手順の例を示すフローチャートである。図１９は、送信側装置３０が、動画像または連写した静止画像など、複数の画像（動画像の場合はフレーム）を受信側装置に４０に送信する場合の、１つの画像に対する処理の手順の例を示している。送信側装置３０は、画像ごとに、図１９の処理を繰り返し行う。
　１つ目の画像の送信と２つ目以降の画像の送信とでは、送信側装置３０の処理が異なるため、送受信の対象の画像が何個目の画像かの個数を、時刻ステップとして表す。例えば、送信側装置３０が、１つ目の画像を送信するための処理を行う場合、時刻ステップｔ＝１とする。
　図１９の処理において、画像取得部１１は、画像を取得する（ステップＳ３０１）。上記のように、画像取得部１１が取得する画像を取得画像とも称する。また、今回の処理の時刻ステップを、時刻ステップｔとする。ｔは正の整数である。
　次に、特徴抽出部１２は、取得画像の特徴データを抽出する（ステップＳ３０２）。
　次に、送信側装置３０は、時刻ステップｔがｔ＝１か否かを判定する（ステップＳ３０３）。すなわち、送信側装置３０は、送信対象の画像が１つ目の画像か否かを判定する。
　ｔ＝１であると判定した場合（ステップＳ３０３：ＹＥＳ）、量子化部１４は、特徴データを量子化する（ステップＳ３１１）。
　次に、符号化部１５は、量子化されたデータを符号化する（ステップＳ３３１）。ここでいう「量子化されたデータ」は、ｔ＝１のときはステップＳ３１１で量子化された特徴データである。一方、ｔ≧２のときは、「量子化されたデータ」は、ステップＳ３２２で量子化された差分データである。符号化部１５は、量子化されたデータの符号化によって、送信用のビットストリームを生成する。
　次に、送信部１６は、符号化部１５が生成したビットストリームを受信側装置４０へ送信する（ステップＳ３３２）。
　次に、送信側装置３０は、時刻ステップｔがｔ＝１か否かを判定する（ステップＳ３３３）。すなわち、送信側装置３０は、ステップＳ３３２で送信した画像が、１つめの画像か否かを判定する。
　ｔ＝１であると判定した場合（ステップＳ３３３：ＹＥＳ）、脱量子化部３２は、量子化されたデータを脱量子化することによって、ノイジー特徴データを算出し、ノイジー特徴データ記憶部３５に記憶させる（ステップＳ３４１）。ｔ＝１の場合、ステップＳ３１１で量子化部１４が特徴データを量子化している。このことから、ステップＳ３４１における脱量子化によってノイジー特徴データが得られる。
　ステップＳ３４１の後、送信側装置３０は、図１９の処理を終了する。
　一方、ステップ３０３において、ｔ≧２であると送信側装置３０が判定した場合（ステップＳ３０３：ＮＯ）、特徴差分算出部３３が、特徴差分データを算出する（ステップＳ３２１）。
　具体的には、特徴差分算出部３３は、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データを読み出す。このノイジー特徴データは、送信側装置３０による図１９の処理の前回の実行で得られたものであるから、時刻ステップｔ－１のノイジー特徴データである。
　そして、特徴差分算出部３３は、ステップＳ３０２で特徴抽出部１２が抽出した特徴データ（時刻ステップｔ）と、ノイジー特徴データ記憶部３５から読み出したノイジー特徴データ（時刻ステップｔ－１）とに基づいて、特徴差分データを算出する。
　ステップＳ３２１の後、量子化部１４は、特徴差分データを量子化する（ステップＳ３２２）。
　ステップＳ３２２の後、処理がステップＳ３３１へ進む。
　一方、ステップＳ３３３でｔ≧２であると送信側装置３０が判定した場合（ステップＳ３３３：ＮＯ）、脱量子化部３２は、量子化されたデータを脱量子化することによって、ノイジー特徴差分データを算出する（ステップＳ３５１）。ｔ≧２の場合、ステップＳ３２２で量子化部１４が特徴差分データを量子化している。このことから、ステップＳ３５１における脱量子化によってノイジー特徴差分データが得られる。
　ステップＳ３５１の後、特徴算出部３４は、ノイジー特徴データを算出し、ノイジー特徴データ記憶部３５に記憶させる（ステップＳ３５２）。
　具体的には、特徴算出部３４は、ノイジー特徴データ記憶部３５が記憶しているノイジー特徴データ（時刻ステップｔ－１）を読み出す。そして、特徴算出部３４は、ステップＳ３５１で脱量子化部３２が算出したノイジー特徴差分データ（時刻ステップｔ）と、ノイジー特徴データ記憶部３５から読み出したノイジー特徴データ（時刻ステップｔ－１）とに基づいて、ノイジー特徴データ（時刻ステップｔ）を算出する。特徴算出部３４は、算出したノイジー特徴データ（時刻ステップｔ）をノイジー特徴データ記憶部３５に記憶させる。
　ステップＳ３５２の後、送信側装置３０は、図１９の処理を終了する。
　図２０は、受信側装置４０が行う処理の手順の例を示すフローチャートである。受信側装置４０が、送信側装置３０による図１９の処理の繰り返しに応じて、図２０の処理を繰り返し行う。
　図２０のステップＳ４０１およびＳ４０２は、ビットストリームが特徴データを表す場合と特徴差分データを表す場合とがある点以外は、図１１のステップＳ２０１およびＳ２０２と同様である。ステップＳ４０２において、時刻ステップｔがｔ＝１の場合は、量子化された特徴データが得られる。一方、ｔ≧２の場合は、量子化された特徴差分データが得られる。
　ステップＳ４０２の後、受信側装置４０は、時刻ステップｔがｔ＝１か否かを判定する（ステップＳ４０３）。すなわち、受信側装置４０は、復元対象の画像が１つ目の画像か否かを判定する。
　ｔ＝１であると受信側装置４０判定した場合（ステップＳ４０３：ＹＥＳ）、脱量子化部２４は、ノイジー特徴データを算出し、ノイジー特徴データ記憶部４３に記憶させる（ステップＳ４１１）。
　具体的には、脱量子化部２４は、図１１のステップＳ２０３の場合と同様、ビットストリームの復号によって得られたデータを脱量子化することによって、ノイジー特徴データを算出する。そして、脱量子化部２４は、算出したノイジー特徴データをノイジー特徴データ記憶部４３に記憶させる。
　ステップＳ４１１の後、処理がステップＳ４３１へ進む。
　ステップＳ４３１からＳ４３４は、図１１のステップＳ２０４～Ｓ２０７と同様である。
　ステップＳ４３４の後、受信側装置４０は、図２０の処理を終了する。
　一方、ステップＳ４０３において、ｔ≧２であると受信側装置４０が判定した場合（ステップＳ４０３：ＮＯ）、脱量子化部２４は、ステップＳ４０２でのビットストリームの復号によって得られたデータを脱量子化することによって、ノイジー特徴差分データを算出する（ステップＳ４２１）。
　次に、特徴算出部４２は、ノイジー特徴データ（時刻ステップｔ）を算出し、ノイジー特徴データ記憶部４３に記憶させる（ステップＳ４２２）。具体的には、特徴算出部４２は、ノイジー特徴データ記憶部４３が記憶しているノイジー特徴データを読み出す。このノイジー特徴データは、受信側装置４０による図２０の処理の前回の実行で得られたものであるから、時刻ステップｔ－１のノイジー特徴データである。
　そして、特徴算出部４２は、ステップＳ４２１で脱量子化部２４が算出したノイジー特徴差分データ（時刻ステップｔ）と、ノイジー特徴データ記憶部３５から読み出したノイジー特徴データ（時刻ステップｔ－１）とに基づいて、ノイジー特徴データ（時刻ステップｔ）を算出する。特徴算出部４２は、算出したノイジー特徴データをノイジー特徴データ記憶部４３に記憶させる。
　ステップＳ４２２の後、処理がステップＳ４３１へ進む。
　以上のように、受信部２１は、第一時刻ステップにおける取得画像の特徴を示す第一特徴データと、第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける取得画像の特徴を示す第二特徴データとの相違を示す特徴差分データに基づく通信データを受信する。特徴復元部４１は、受信された通信データに基づいて特徴差分データを復元し、復元された特徴差分データと、第一特徴データとに基づいて第二特徴データを復元する。
　受信側装置４０によれば、特徴差分データに基づく通信データを受信することによって、特徴データに基づく通信データを受信する場合よりも、通信量が少なくて済むと期待される。
　また、受信部２１は、量子化された差分データに基づく通信データを受信する。脱量子化部２４は、量子化された特徴差分データに対して、量子化される前の特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う。
　脱量子化部２４が、特徴差分データの確率分布を脱量子化に反映させることによって、脱量子化を高精度に行えると期待される。
＜第三実施形態＞
　情報処理システム１または情報処理システム２において、通信データの圧縮率を動的に変化させるなど、送信側装置が行う処理の設定を動的に更新するようにしてもよい。その際、受信側装置が行う処理の設定も動的に更新するようにしてもよい。第三実施形態では、その点について説明する。
　図２１は、第三実施形態に係る情報処理システムの構成の第一例を示す概略ブロック図である。図２１に示す構成において、情報処理システム３ａは、送信側装置５１と、受信側装置５２と、設定更新装置５３とを備える。設定更新装置５３は、設定更新部５４を備える。
　送信側装置５１および受信側装置５２は、送信側装置１０および受信側装置２０であってもよい。すなわち、第一実施形態に基づいて第三実施形態を実施するようにしてもよい。あるいは、送信側装置５１および受信側装置５２は、送信側装置３０および受信側装置４０であってもよい。すなわち、第二実施形態に基づいて第三実施形態を実施するようにしてもよい。
　設定更新部５４は、送信側装置５１の処理の設定と、受信側装置５２の処理の設定とを更新する。例えば、設定更新部５４は、特徴抽出部１２の処理と、中間特徴生成部２５および取得画像復元部２６の処理とが逆演算の関係になるように、これらの処理の設定を動的に更新する。さらに例えば、設定更新部５４が、特徴抽出部１２の処理ステージ部１１２の個数と、中間特徴生成部２５および取得画像復元部２６の逆処理ステージ部２１１の個数の合計とが同じ個数になるように、これらの個数を動的に変化させるようにしてもよい。
　設定更新部５４は、設定更新手段の例に該当する。
　これにより、通信データの圧縮率を動的に変化させるなど処理の設定を動的に変化させることができ、かつ、受信側装置５２が、特徴データの復元を高精度に行えると期待される。
　設定更新部５４が、送信側装置または受信側装置の何れかに設けられていてもよい。
　図２２は、第三実施形態に係る情報処理システムの構成の第二例を示す概略ブロック図である。図２２に示す構成において、情報処理システム３ｂでは、設定更新部５４が、送信側装置５１に設けられている。それ以外の点では、情報処理システム３ｂは、情報処理システム３ａの場合と同様である。
　図２３は、第三実施形態に係る情報処理システムの構成の第三例を示す概略ブロック図である。図２３に示す構成において、情報処理システム３ｃでは、設定更新部５４が、受信側装置５２に設けられている。それ以外の点では、情報処理システム３ｃは、情報処理システム３ａの場合と同様である。
＜第四実施形態＞
　図２４は、第四実施形態に係る情報処理装置の構成例を示す概略ブロック図である。図２４に示す構成において、情報処理装置６１０は、受信部６１１と、特徴復元部６１２と、対象復元部６１３と、認識部６１４と、出力部６１５と、を備える。
　かかる構成において、受信部６１１は、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する。特徴復元部６１２は、受信された通信データに基づいて特徴データを復元する。対象復元部６１３は、復元された特徴データに基づいて対象データを復元する。認識部６１４は、復元された特徴データに基づいて対象データの表現内容に対する認識処理を行う。出力部６１５は、復元された対象データの表現内容と認識処理による認識結果とを示す情報を出力する。
　受信部６１１は、受信手段の例に該当する、特徴復元部６１２は、特徴復元手段の例に該当する。対象復元部６１３は、対象復元手段の例に該当する。認識部６１４は、認識手段の例に該当する。出力部６１５は、出力手段の例に該当する。
　このように、情報処理装置６１０は、特徴復元部６１２が復元する特徴データを、対象復元部６１３による対象データの復元、および、認識部６１４による認識処理の両方に用いる。情報処理装置６１０によれば、対象データを復元した後、復元された対象データを用いて認識処理を行う場合との比較において、対象データの復元処理、および、復元される対象データの表現内容に対する認識処理を行う処理時間が短くて済む。
＜第五実施形態＞
　図２５は、第五実施形態に係る情報処理システムの構成例を示す概略ブロック図である。図２５に示す構成において、情報処理システム６２０は、送信側装置６３０と受信側装置６４０とを備える。送信側装置６３０はデータ取得部６３１と、特徴抽出部６３２と、通信データ生成部６３３と、送信部６３４と、を備える。受信側装置６４０は、受信部６４１と、特徴復元部６４２と、対象復元部６４３と、認識部６４４と、出力部６４５と、を備える。
　かかる構成において、データ取得部６３１は、対象データを取得する。特徴抽出部６３２は、対象データの表現内容の特徴を示す特徴データを算出する。通信データ生成部６３３は、特徴データに基づいて通信データを生成する。送信部６３４は、通信データを送信する。受信部６４１は、通信データを受信する。特徴復元部６４２は、受信された通信データに基づいて特徴データを復元する。対象復元部６４３は、復元された特徴データに基づいて対象データを復元する。認識部６４４は、復元された特徴データに基づいて対象データの表現内容に対する認識処理を行う。出力部６４５は、復元された対象データの表現内容と認識処理による認識結果とを示す情報を出力する。
　このように、受信側装置６４０は、特徴復元部６４２が復元する特徴データを、対象復元部６４３による対象データの復元、および、認識部６４４による認識処理の両方に用いる。情報処理システム６２０によれば、対象データを復元した後、復元された対象データを用いて認識処理を行う場合との比較において、対象データの復元処理、および、復元される対象データの表現内容に対する認識処理を行う処理時間が短くて済む。
＜第六実施形態＞
　図２６は、第六実施形態に係る情報処理方法における処理の手順の例を示すフローチャートである。図２６に示す処理は、通信データを取得すること（ステップＳ６１１）と、特徴データを復元すること（ステップＳ６１２）と、対象データを復元すること（ステップＳ６１３）と、認識処理を行うこと（ステップＳ６１４）と、結果を出力すること（ステップＳ６１５）とを含む。
　通信データを取得すること（ステップＳ６１１）では、対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する。特徴データを復元すること（ステップＳ６１２）では、受信された通信データに基づいて特徴データを復元する。対象データを復元すること（ステップＳ６１３）では、復元された特徴データに基づいて対象データを復元する。認識処理を行うこと（ステップＳ６１４）では、復元された特徴データに基づいて対象データの表現内容に対する認識処理を行う。結果を出力すること（ステップＳ６１５）では、復元された対象データの表現内容と認識処理による認識結果とを示す情報を出力する。
　図２６に示す情報処理方法によればステップＳ６１２で復元する特徴データを、ステップＳ６１３での対象データの復元、および、ステップＳ６１４での認識処理の両方に用いる。図２６に示す情報処理方法によれば対象データを復元した後、復元された対象データを用いて認識処理を行う場合との比較において、対象データの復元処理、および、復元される対象データの表現内容に対する認識処理を行う処理時間が短くて済む。
　図２７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　図２７に示す構成において、コンピュータ７００は、ＣＰＵ（Central Processing Unit、中央処理装置）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。
　上記の送信側装置１０、受信側装置２０、送信側装置３０、受信側装置４０、送信側装置５１、受信側装置５２、設定更新装置５３、情報処理装置６１０、送信側装置６３０、および、受信側装置６４０のうち何れか１つ以上またはその一部が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。
　送信側装置１０がコンピュータ７００に実装される場合、特徴抽出部１２、通信データ生成部１３およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、送信側装置１０の処理のための記憶領域を主記憶装置７２０に確保する。
　画像取得部１１による画像データの取得は、例えば、インタフェース７４０が撮像装置を備え、ＣＰＵ７１０の制御に従って撮像を行うことで実行される。送信部１６によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
　受信側装置２０がコンピュータ７００に実装される場合、特徴復元部２２、取得画像復元部２６、認識部２７、およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、受信側装置２０の処理のための記憶領域を主記憶装置７２０に確保する。
　受信部２１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部２８による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
　送信側装置３０がコンピュータ７００に実装される場合、特徴抽出部１２、通信データ生成部３１およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、ノイジー特徴データ記憶部３５など送信側装置３０の処理のための記憶領域を主記憶装置７２０に確保する。
　画像取得部１１による画像データの取得は、例えば、インタフェース７４０が撮像装置を備え、ＣＰＵ７１０の制御に従って撮像を行うことで実行される。送信部１６によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
　受信側装置４０がコンピュータ７００に実装される場合、取得画像復元部２６、認識部２７、特徴復元部４１、およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、ノイジー特徴データ記憶部４３など受信側装置４０の処理のための記憶領域を主記憶装置７２０に確保する。
　受信部２１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部２８による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
　情報処理装置６１０がコンピュータ７００に実装される場合、特徴復元部６１２、対象復元部６１３および認識部６１４の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、情報処理装置６１０の処理のための記憶領域を主記憶装置７２０に確保する。
　受信部６１１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部６１５による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
　送信側装置６３０がコンピュータ７００に実装される場合、特徴抽出部６３２および通信データ生成部６３３の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、送信側装置６３０の処理のための記憶領域を主記憶装置７２０に確保する。
　データ取得部６３１による対象データの取得は、インタフェース７４０が撮像装置など対象データ取得のためのデバイスを備え、ＣＰＵ７１０の制御に従って動作することで実行される。送信部６３４によるデータの送信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。
　受信側装置６４０がコンピュータ７００に実装される場合、特徴復元部６４２、対象復元部６４３および認識部６４４の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
　また、ＣＰＵ７１０は、プログラムに従って、受信側装置６４０の処理のための記憶領域を主記憶装置７２０に確保する。
　受信部６４１によるデータの受信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って動作することで実行される。出力部６４５による情報の出力は、例えば、インタフェース７４０が表示装置を備え、ＣＰＵ７１０の制御に従って画像を表示することで実行される。
　なお、送信側装置１０、受信側装置２０、送信側装置３０、受信側装置４０、送信側装置５１、受信側装置５２、設定更新装置５３、情報処理装置６１０、送信側装置６３０、および、受信側装置６４０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　また、上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限定されない。
　（付記１）
　対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する受信手段と、
　受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、
　復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、
　復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
　復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
　を備える情報処理装置。
　（付記２）
　前記受信手段は、量子化された前記特徴データに基づく前記通信データを受信し、
　前記特徴復元手段は、量子化された前記特徴データに対して、量子化される前の前記特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
　付記１に記載の情報処理装置。
　（付記３）
　前記受信手段は、第一時刻ステップにおける第一対象データの表現内容の特徴を示す第一特徴データと、前記第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける第二対象データの表現内容の特徴を示す第二特徴データとの相違を示す特徴差分データに基づく前記通信データを受信し、
　前記特徴復元手段は、受信された前記通信データに基づいて前記特徴差分データを復元し、復元された前記特徴差分データと、前記第一特徴データとに基づいて前記第二特徴データを復元する、
　付記１に記載の情報処理装置。
　（付記４）
　前記受信手段は、量子化された前記特徴差分データに基づく前記通信データを受信し、
　前記特徴復元手段は、量子化された前記特徴差分データに対して、量子化される前の前記特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
　付記３に記載の情報処理装置。
　（付記５）
　前記受信手段は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとに基づく前記通信データを受信し、
　前記特徴復元手段は、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する、
　付記１から４の何れか一つに記載の情報処理装置。
　（付記６）
　前記特徴復元手段は、前記第一中間特徴データからダウンサンプリングされたデータに基づいて前記第二中間特徴データを算出する処理の逆演算に該当する処理を用いて、前記第一中間特徴データを復元する、
　付記５に記載の情報処理装置。
　（付記７）
　前記特徴復元手段の処理と前記対象復元手段の処理との組み合わせが、前記通信データの送信元の装置における対象データからの特徴抽出処理の逆演算に該当する処理となるように、前記通信データの送信元の装置が行う処理の設定、前記特徴復元手段が行う処理の設定、または、前記対象復元手段が行う処理の設定の少なくとも何れかを動的に更新する設定更新手段をさらに備える、
　付記６に記載の情報処理装置。
　（付記８）
　送信側装置と受信側装置とを備え、
　前記送信側装置は、
　対象データを取得するデータ取得手段と、
　前記対象データの表現内容の特徴を示す特徴データを算出する特徴抽出手段と、
　前記特徴データに基づいて通信データを生成する通信データ生成手段と、
　前記通信データを送信する送信手段と、
　を備え、
　前記受信側装置は、
　前記通信データを受信する受信手段と、
　受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、
　復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、
　復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
　復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
　を備える情報処理システム。
　（付記９）
　前記通信データ生成手段は、前記特徴データを量子化する量子化手段を備え、
　前記特徴復元手段は、量子化された前記特徴データに対して、量子化される前の前記特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
　付記８に記載の情報処理システム。
　（付記１０）
　前記データ取得手段は、第一時刻ステップにおける第一対象データと、前記第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける第二対象データとを取得し、
　前記特徴抽出手段は、前記第一対象データの表現内容の特徴を示す第一特徴データと、前記第二対象データの表現内容の特徴を示す第二特徴データとを算出し、
　前記通信データ生成手段は、前記第一特徴データと前記第二特徴データとの相違を示す特徴差分データを算出し、算出した特徴差分データに基づいて前記通信データを生成し、
　前記特徴復元手段は、受信された前記通信データに基づいて前記特徴差分データを復元し、復元された前記特徴差分データと、前記第一特徴データとに基づいて前記第二特徴データを復元する、
　付記８に記載の情報処理システム。
　（付記１１）
　前記通信データ生成手段は、前記特徴差分データを量子化する量子化手段を備え、
　前記特徴復元手段は、量子化された前記特徴差分データに対して、量子化される前の前記特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
　付記１０に記載の情報処理システム。
　（付記１２）
　前記送信側装置は、
　量子化誤差を含む前記特徴データであるノイジー特徴データを記憶するノイジー特徴データ記憶手段
　をさらに備え、
　前記通信データ生成手段は、
　量子化誤差を含む前記第一特徴データである第一ノイジー特徴データを前記ノイジー特徴データ記憶手段から読み出し、前記第一ノイジー特徴データと前記第二特徴データとの相違を示す前記特徴差分データを算出する特徴差分算出手段と、
　前記第一ノイジー特徴データと前記第二特徴データとの相違を示す前記特徴差分データが量子化された後脱量子化されたデータと、前記第一ノイジー特徴データとに基づいて、量子化誤差を含む前記第二特徴データである第二ノイジー特徴データを算出し、前記ノイジー特徴データ記憶手段が記憶する前記ノイジー特徴データを前記第二ノイジー特徴データに更新する特徴復元手段と、
　を備える、
　付記１１に記載の情報処理システム。
　（付記１３）
　前記特徴抽出手段は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含む前記特徴データを算出し、
　前記特徴復元手段は、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する、
　付記８から１２の何れか一つに記載の情報処理システム。
　（付記１４）
　前記特徴復元手段は、前記特徴抽出手段が前記第一中間特徴データからダウンサンプリングされたデータに基づいて前記第二中間特徴データを算出する処理の逆演算に該当する処理を用いて、前記第一中間特徴データを復元する、
　付記１３に記載の情報処理システム。
　（付記１５）
　前記特徴復元手段の処理と前記対象復元手段の処理との組み合わせが、前記通信データの送信元の装置における対象データからの特徴抽出処理の逆演算に該当する処理となるように、前記通信データの送信元の装置が行う処理の設定、前記特徴復元手段が行う処理の設定、または、前記対象復元手段が行う処理の設定の少なくとも何れかを動的に更新する設定更新手段をさらに備える、
　付記１４に記載の情報処理システム。
　（付記１６）
　対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
　受信された前記通信データに基づいて前記特徴データを復元することと、
　復元された前記特徴データに基づいて前記対象データを復元することと、
　復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
　復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
　を含む情報処理方法。
　（付記１７）
　送信側装置が、対象データを取得することと、
　前記送信側装置が、前記対象データの表現内容の特徴を示す特徴データを算出することと、
　前記送信側装置が、前記特徴データに基づいて通信データを生成することと、
　前記送信側装置が、前記通信データを送信することと、
　受信側装置が、前記通信データを受信することと、
　前記受信側装置が、受信された前記通信データに基づいて前記特徴データを復元することと、
　前記受信側装置が、復元された前記特徴データに基づいて前記対象データを復元することと、
　前記受信側装置が、復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
　前記受信側装置が、復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
　を含む情報処理方法。
　（付記１８）
　コンピュータに、
　対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
　受信された前記通信データに基づいて前記特徴データを復元することと、
　復元された前記特徴データに基づいて前記対象データを復元することと、
　復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
　復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
　を実行させるためのプログラムを記録する記録媒体。
　本発明は、情報処理装置、情報処理システム、情報処理方法および記録媒体に適用してもよい。
　１、２、６２０　情報処理システム
　１０、３０、６３０　送信側装置
　１１　画像取得部
　１２、６３２　特徴抽出部
　１３、３１、６３３　通信データ生成部
　１４　量子化部
　１５　符号化部
　１６、６３４　送信部
　２０、４０、６４０　受信側装置
　２１、６１１、６４１　受信部
　２２、４１、６１２、６４２　特徴復元部
　２３　復号部
　２４、３２　脱量子化部
　２５　中間特徴生成部
　２６　取得画像復元部
　２７、６１４、６４４　認識部
　２８、６１５、６４５　出力部
　３３　特徴差分算出部
　３４、４２　特徴算出部
　３５、４３　ノイジー特徴データ記憶部
　１１１　前処理部
　１１２　処理ステージ部
　１１３、１３２、２３１　チャネル分割部
　１２１　ダウンサンプリング部
　１２２　処理ブロック部
　１３１　アフィンチャネル変換部
　１３３、２３２、３６２　畳み込み処理部
　１３４　乗算部
　１３５、２５３　加算部
　１３６、２１２、２３５、３６５　チャネル結合部
　２１１　逆処理ステージ部
　２２１　逆処理ブロック部
　２２２、２５２、３１２、３４２　アップサンプリング部
　２３３、３６３　減算部
　２３４、３６４　除算部
　２３６　逆アフィンチャネル変換部
　２４１　後処理部
　２５１　中間特徴処理部
　２５４　位置推定処理部
　２５５　分類処理部
　３１１　差分処理ステージ部
　３４１　復元処理ステージ部
　３５１　復元処理ブロック部
　６１０　情報処理装置
　６１３、６４３　対象復元部
　６３１　データ取得部

Claims (10)

  1. 　対象データの表現内容の特徴を示す特徴データに基づく通信データを受信する受信手段と、
    　受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、
    　復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、
    　復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
    　復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
    　を備える情報処理装置。
  2. 　前記受信手段は、量子化された前記特徴データに基づく前記通信データを受信し、
    　前記特徴復元手段は、量子化された前記特徴データに対して、量子化される前の前記特徴データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
    　請求項１に記載の情報処理装置。
  3. 　前記受信手段は、第一時刻ステップにおける第一対象データの表現内容の特徴を示す第一特徴データと、前記第一時刻ステップよりも遅い時刻ステップである第二時刻ステップにおける第二対象データの表現内容の特徴を示す第二特徴データとの相違を示す特徴差分データに基づく前記通信データを受信し、
    　前記特徴復元手段は、受信された前記通信データに基づいて前記特徴差分データを復元し、復元された前記特徴差分データと、前記第一特徴データとに基づいて前記第二特徴データを復元する、
    　請求項１に記載の情報処理装置。
  4. 　前記受信手段は、量子化された前記特徴差分データに基づく前記通信データを受信し、
    　前記特徴復元手段は、量子化された前記特徴差分データに対して、量子化される前の前記特徴差分データの確率分布に従ったサンプリングに基づく脱量子化を行う脱量子化手段を備える、
    　請求項３に記載の情報処理装置。
  5. 　前記受信手段は、第一中間特徴データと、前記第一中間特徴データからダウンサンプリングされたデータに基づいて算出される第二中間特徴データとを含む前記特徴データに基づく前記通信データを受信し、
    　前記特徴復元手段は、受信された前記通信データに基づいて復元された前記第二中間特徴データからアップサンプリングされたデータに基づいて前記第一中間特徴データを復元する、
    　請求項１から４の何れか一項に記載の情報処理装置。
  6. 　前記特徴復元手段は、前記第一中間特徴データからダウンサンプリングされたデータに基づいて前記第二中間特徴データを算出する処理の逆演算に該当する処理を用いて、前記第一中間特徴データを復元する、
    　請求項５に記載の情報処理装置。
  7. 　前記特徴復元手段の処理と前記対象復元手段の処理との組み合わせが、前記通信データの送信元の装置における対象データからの特徴抽出処理の逆演算に該当する処理となるように、前記通信データの送信元の装置が行う処理の設定、前記特徴復元手段が行う処理の設定、または、前記対象復元手段が行う処理の設定の少なくとも何れかを動的に更新する設定更新手段をさらに備える、
    　請求項６に記載の情報処理装置。
  8. 　送信側装置と受信側装置とを備え、
    　前記送信側装置は、
    　対象データを取得するデータ取得手段と、
    　前記対象データの表現内容の特徴を示す特徴データを算出する特徴抽出手段と、
    　前記特徴データに基づいて通信データを生成する通信データ生成手段と、
    　前記通信データを送信する送信手段と、
    　を備え、
    　前記受信側装置は、
    　前記通信データを受信する受信手段と、
    　受信された前記通信データに基づいて前記特徴データを復元する特徴復元手段と、
    　復元された前記特徴データに基づいて前記対象データを復元する対象復元手段と、
    　復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行う認識手段と、
    　復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力する出力手段と、
    　を備える情報処理システム。
  9. 　対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
    　受信された前記通信データに基づいて前記特徴データを復元することと、
    　復元された前記特徴データに基づいて前記対象データを復元することと、
    　復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
    　復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
    　を含む情報処理方法。
  10. 　コンピュータに、
    　対象データの表現内容の特徴を示す特徴データに基づく通信データを受信することと、
    　受信された前記通信データに基づいて前記特徴データを復元することと、
    　復元された前記特徴データに基づいて前記対象データを復元することと、
    　復元された前記特徴データに基づいて前記対象データの表現内容に対する認識処理を行うことと、
    　復元された前記対象データの表現内容と前記認識処理による認識結果とを示す情報を出力することと、
    　を実行させるためのプログラムを記録する記録媒体。
PCT/JP2021/001240 2021-01-15 2021-01-15 情報処理装置、情報処理システム、情報処理方法および記録媒体 WO2022153480A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/001240 WO2022153480A1 (ja) 2021-01-15 2021-01-15 情報処理装置、情報処理システム、情報処理方法および記録媒体
US18/271,642 US20240062507A1 (en) 2021-01-15 2021-01-15 Information processing device, information processing system, information processing method, and recording medium
JP2022574987A JPWO2022153480A5 (ja) 2021-01-15 情報処理装置、情報処理システム、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/001240 WO2022153480A1 (ja) 2021-01-15 2021-01-15 情報処理装置、情報処理システム、情報処理方法および記録媒体

Publications (1)

Publication Number Publication Date
WO2022153480A1 true WO2022153480A1 (ja) 2022-07-21

Family

ID=82448090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001240 WO2022153480A1 (ja) 2021-01-15 2021-01-15 情報処理装置、情報処理システム、情報処理方法および記録媒体

Country Status (2)

Country Link
US (1) US20240062507A1 (ja)
WO (1) WO2022153480A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155232A1 (ja) * 2017-02-23 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
WO2018207334A1 (ja) * 2017-05-12 2018-11-15 日本電気株式会社 画像認識装置、画像認識方法および画像認識プログラム
WO2020241074A1 (ja) * 2019-05-30 2020-12-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018155232A1 (ja) * 2017-02-23 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
WO2018207334A1 (ja) * 2017-05-12 2018-11-15 日本電気株式会社 画像認識装置、画像認識方法および画像認識プログラム
WO2020241074A1 (ja) * 2019-05-30 2020-12-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PRYSTAVKA, PYLYP ET AL.: "Automated Object Recognition System based on Convolutional Autoencoder", 10TH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTER INFORMATION TECHNOLOGIES (ACIT, September 2020 (2020-09-01), pages 830 - 833, XP033833558, DOI: 10.1109/ACIT49673.2020.9208945 *
ZHANG, WENRUI: "An Image Recognition Algorithm Based on Self-Encoding and Convolutional Neural Network Fusion", 2019 INTERNATIONAL CONFERENCE ON ELECTRONIC ENGINEERING AND INFORMATICS (EEI, November 2019 (2019-11-01), pages 402 - 407, XP033715073, DOI: 10.1109/EEI48997.2019.00093 *

Also Published As

Publication number Publication date
US20240062507A1 (en) 2024-02-22
JPWO2022153480A1 (ja) 2022-07-21

Similar Documents

Publication Publication Date Title
KR20200044652A (ko) 영상의 주관적 품질을 평가하는 방법 및 장치
WO2018150083A1 (en) A method and technical equipment for video processing
EP3821373B1 (en) Video processing
CN109525859B (zh) 模型训练、图像发送、图像处理方法及相关装置设备
US20180352207A1 (en) Methods and Systems for Transmitting Data in a Virtual Reality System
JP2015536108A (ja) 映像圧縮方法
WO2019056898A1 (zh) 一种编码、解码方法及装置
US20210166434A1 (en) Signal processing apparatus and signal processing method
WO2012147523A1 (ja) 撮像装置及び画像生成方法
Ayzik et al. Deep image compression using decoder side information
CN111696039A (zh) 图像处理方法及装置、存储介质和电子设备
KR20200044667A (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
KR20230107878A (ko) 적응적 얼굴 재현 및 얼굴 복원에 기반한 비디오 화상회의
JP4561649B2 (ja) 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
US20240037802A1 (en) Configurable positions for auxiliary information input into a picture data processing neural network
US20240161488A1 (en) Independent positioning of auxiliary information in neural network based picture processing
EP1124384A1 (en) Information processing apparatus for compressed image data using class-classification adaptive processing
WO2022153480A1 (ja) 情報処理装置、情報処理システム、情報処理方法および記録媒体
CN109474825B (zh) 一种脉冲序列压缩方法及系统
CN109379590B (zh) 一种脉冲序列压缩方法及系统
CN116847087A (zh) 视频处理方法、装置、存储介质及电子设备
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
TW202324308A (zh) 圖像編解碼方法和裝置
KR20220065652A (ko) Dvs 데이터 및 fbis 이미지의 퓨전 방법, 이를 구현하는 시스템 및 비-일시적 프로그램 저장 장치
CN113409209A (zh) 图像去模糊方法、装置、电子设备与存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919373

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022574987

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18271642

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21919373

Country of ref document: EP

Kind code of ref document: A1