WO2021240647A1 - 画像処理システム、画像処理装置及び画像処理プログラム - Google Patents

画像処理システム、画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
WO2021240647A1
WO2021240647A1 PCT/JP2020/020742 JP2020020742W WO2021240647A1 WO 2021240647 A1 WO2021240647 A1 WO 2021240647A1 JP 2020020742 W JP2020020742 W JP 2020020742W WO 2021240647 A1 WO2021240647 A1 WO 2021240647A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
image data
unit
image
information indicating
Prior art date
Application number
PCT/JP2020/020742
Other languages
English (en)
French (fr)
Inventor
智規 久保田
鷹詔 中尾
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2020/020742 priority Critical patent/WO2021240647A1/ja
Priority to JP2022527320A priority patent/JP7505552B2/ja
Publication of WO2021240647A1 publication Critical patent/WO2021240647A1/ja
Priority to US17/955,595 priority patent/US20230014220A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to an image processing system, an image processing device, and an image processing program.
  • the data size is reduced by executing the coding process in advance, and the recording cost and the transmission cost are reduced.
  • the conventional coding process is performed based on the shape and properties that can be grasped by the human concept, and the feature part that AI pays attention to during the image recognition process (a feature that cannot always be demarcated by the human concept). It is not based on the part). Therefore, it is required that the coding process suitable for the image recognition process by AI is performed.
  • One aspect is to realize a coding process that reflects the compression rate suitable for image recognition process.
  • the image processing system By executing image recognition processing on the first image data acquired in the first time, a generation unit that generates information indicating a feature portion that affects the image recognition processing, and a generation unit.
  • a prediction unit that predicts information indicating the feature portion in a second time after the first time, based on the information indicating the feature portion in the first time. It has a coding unit for encoding the second image data acquired at the second time by using the compression rate based on the information indicating the predicted feature portion.
  • FIG. 1 is a first diagram showing an example of a system configuration of an image processing system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the cloud device and the edge device.
  • FIG. 3 is a first diagram showing a specific example of the functional configuration and processing of the map generation unit of the cloud device.
  • FIG. 4 is a second diagram showing a specific example of the functional configuration and processing of the map generation unit of the cloud device.
  • FIG. 5 is a first diagram showing a specific example of processing of the buffer portion of the edge device.
  • FIG. 6 is a first diagram showing a specific example of the functional configuration and processing of the analysis unit of the edge device.
  • FIG. 7 is a first diagram showing a specific example of the functional configuration and processing of the compressibility determination unit of the edge device.
  • FIG. 1 is a first diagram showing an example of a system configuration of an image processing system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the cloud device and the edge device.
  • FIG. 3 is a
  • FIG. 8 is a diagram showing a specific example of the functional configuration and processing of the coding unit of the edge device.
  • FIG. 9 is a first flowchart showing the flow of coding processing by the image processing system.
  • FIG. 10 is a second diagram showing an example of the system configuration of the image processing system.
  • FIG. 11 is a second diagram showing a specific example of processing of the buffer portion of the edge device.
  • FIG. 12 is a first diagram showing a specific example of the functional configuration and processing of the analysis unit of the cloud device.
  • FIG. 13 is a second flowchart showing the flow of coding processing by the image processing system.
  • FIG. 14 is a third diagram showing an example of the system configuration of the image processing system.
  • FIG. 15 is a fourth diagram showing an example of a system configuration of an image processing system.
  • FIG. 16 is a third diagram showing a specific example of processing of the buffer portion of the edge device.
  • FIG. 17 is a second diagram showing a specific example of the functional configuration and processing of the analysis unit of the cloud device.
  • FIG. 18 is a third flowchart showing the flow of coding processing by the image processing system.
  • FIG. 19 is a fifth diagram showing an example of a system configuration of an image processing system.
  • FIG. 20 is a fourth diagram showing a specific example of processing of the buffer portion of the edge device.
  • FIG. 21 is a second diagram showing a specific example of the functional configuration and processing of the analysis unit of the edge device.
  • FIG. 22 is a second diagram showing a specific example of the functional configuration and processing of the compressibility determination unit of the edge device.
  • FIG. 23 is a fourth flowchart showing the flow of coding processing by the image processing system.
  • FIG. 24 is a sixth diagram showing an example of the system configuration of the image processing system.
  • FIG. 25 is a conceptual diagram showing an image processing system that can be converted into a map having information of different particle sizes.
  • FIG. 1 is a first diagram showing an example of a system configuration of an image processing system.
  • the image processing system 100 includes an image pickup device 110, an edge device 120, and a cloud device 130.
  • the image pickup device 110 takes a picture at a predetermined frame cycle and transmits the moving image data to the edge device 120.
  • the edge device 120 is an example of an image processing device, and the moving image data transmitted from the image pickup device 110 is encoded in frame units and the encoded data is output.
  • the edge device 120 acquires a map from the cloud device 130 for the image data of each frame, and reflects the compression rate according to the acquired map.
  • the map referred to here is a map that visualizes the feature portion that AI paid attention to during the image recognition process.
  • the image recognition unit (details will be described later) that performs the image recognition process is analyzed for image recognition. It is generated by identifying the feature parts that affect the processing.
  • An image processing program is installed in the edge device 120, and when the program is executed, the edge device 120 functions as a buffer unit 121, an analysis unit 122, a compression rate determination unit 123, and an encoding unit 124. ..
  • the buffer unit 121 buffers a predetermined number of image data of each frame included in the moving image data transmitted from the image pickup device 110.
  • an analysis program is installed in the cloud device 130, and when the program is executed, the cloud device 130 functions as a map generation unit 131.
  • the cloud device 130 further has a decoding unit that decodes the coded data (encoded data obtained by encoding the image data (for example, the image data 140)) transmitted from the edge device 120, but is omitted in FIG. doing.
  • the map generation unit 131 is an example of the generation unit.
  • the map generation unit 131 acquires image data (for example, image data 140) transmitted from the edge device 120 and decoded by the decoding unit. Further, in the map generation unit 131, the image recognition unit executes an image recognition process on the acquired image data using a CNN (Convolutional Neural Network). Further, the map generation unit 131 generates a map (for example, map 150) that visualizes a feature portion that affects the image recognition process based on the structural information of the image recognition unit when the image recognition process is executed.
  • a CNN Convolutional Neural Network
  • the map generation unit 131 transmits the generated map to the edge device 120.
  • the time lag from when the edge device 120 transmits the image data 140 to the cloud device 130 until the edge device 120 receives the map 150 from the cloud device 130 is less than a predetermined time x.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the cloud device and the edge device.
  • FIG. 2A is a diagram showing an example of the hardware configuration of the cloud device 130.
  • the cloud device 130 includes a processor 201, a memory 202, an auxiliary storage device 203, an I / F (Interface) device 204, a communication device 205, and a drive device 206.
  • the hardware of the cloud device 130 is connected to each other via the bus 207.
  • the processor 201 has various arithmetic devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (for example, an analysis program, etc.) onto the memory 202 and executes them.
  • the memory 202 has a main storage device such as a ROM (ReadOnlyMemory) and a RAM (RandomAccessMemory).
  • the processor 201 and the memory 202 form a so-called computer, and the processor 201 executes various programs read on the memory 202, so that the computer realizes various functions of the cloud device 130.
  • the auxiliary storage device 203 stores various programs and various data used when various programs are executed by the processor 201.
  • the I / F device 204 is a connection device connected to the operation device 211 and the display device 212, which are examples of external devices.
  • the I / F device 204 receives an operation on the cloud device 130 via the operation device 211. Further, the I / F device 204 outputs the result of processing by the cloud device 130 and displays it via the display device 212.
  • the communication device 205 is a communication device for communicating with other devices.
  • the cloud device 130 communicates with the edge device 120 via the communication device 205.
  • the drive device 206 is a device for setting the recording medium 213.
  • the recording medium 213 referred to here includes a medium such as a CD-ROM, a flexible disk, a magneto-optical disk, or the like, which records information optically, electrically, or magnetically. Further, the recording medium 213 may include a semiconductor memory or the like for electrically recording information such as a ROM or a flash memory.
  • the various programs installed in the auxiliary storage device 203 are installed, for example, by setting the distributed recording medium 213 in the drive device 206 and reading the various programs recorded in the recording medium 213 by the drive device 206. Will be done.
  • various programs installed in the auxiliary storage device 203 may be installed by being downloaded from the network via the communication device 205.
  • FIG. 2B is a diagram showing an example of the hardware configuration of the edge device 120. As shown in FIG. 2B, the hardware configuration of the edge device 120 is the same as the hardware configuration of the cloud device 130.
  • an image processing program is installed in the auxiliary storage device 223. Further, in the case of the edge device 120, the image pickup device 110 and the cloud device 130 communicate with each other via the communication device 225.
  • FIG. 3 is a first diagram showing a specific example of the functional configuration and processing of the map generation unit of the cloud device.
  • the map generation unit 131 includes an image recognition unit 310 and an important feature map generation unit 320.
  • the image data 140 (for example, image data 140) transmitted from the edge device 120 and decoded by the decoding unit is input to the image recognition unit 310
  • the image data 140 is forward-propagated by the CNN of the image recognition unit 310. ..
  • the recognition result (for example, label) of the object 350 to be recognized included in the image data 140 is output from the output layer of the CNN.
  • the label output from the image recognition unit 310 is a correct label.
  • the important feature map generation unit 320 generates an "important feature map" based on the structural information of the image recognition unit 310 by using a BP (Back Propagation) method, a GBP (Guided Back Propagation) method, a selective BP method, or the like. do.
  • the important feature map is a map that visualizes feature portions that affect the image recognition process in the image data based on the structural information of the image recognition unit 310 when the image recognition process is executed.
  • the error of each label is calculated from the classification probability obtained by executing the image recognition process on the image data for which the correct label is output as the recognition result, and the gradient obtained by back propagation to the input layer is obtained. It is a method of visualizing the featured part by imaging the size. Further, the GBP method is a method of visualizing the feature portion by imaging only the positive value of the gradient information as the feature portion.
  • the selective BP method is a method of performing processing using the BP method or the GBP method after maximizing only the error of the correct label.
  • the feature part that is visualized is a feature part that affects only the score of the correct answer label.
  • the example of FIG. 3 shows how the important feature map 360 was generated by the selective BP method.
  • the important feature map generation unit 320 transmits the generated important feature map 360 to the edge device 120 as the map 150.
  • FIG. 4 is a second diagram showing a specific example of the functional configuration and processing of the map generation unit of the cloud device.
  • the map generation unit 131 has a refined image generation unit 410 and an important feature index map generation unit 420.
  • the refined image generation unit 410 has an image refiner unit 411, an image error calculation unit 412, an image recognition unit 413, and a score error calculation unit 414.
  • the image refiner unit 411 uses CNN as an image data generation model to generate refined image data from image data (for example, image data 140) decoded by the decoding unit.
  • the image refiner unit 411 changes the image data 140 so that the score of the correct answer label becomes the maximum when the image recognition unit 413 executes the image recognition process using the generated refined image data. Further, the image refiner unit 411 generates refined image data so that the amount of change from the image data 140 (difference between the refined image data and the image data 140) is small, for example. As a result, according to the image refiner unit 411, it is possible to generate image data (refined image data) that is visually close to the image data (image data 140) before the change.
  • the image refiner unit 411 -The error (score error) between the score when the image recognition process is executed using the generated refined image data and the score that maximizes the score of the correct answer label.
  • the image difference value which is the difference between the generated refined image data and the image data 140, The CNN of the image refiner unit 411 is learned so as to minimize the problem.
  • the image error calculation unit 412 calculates the difference between the image data 140 and the refined image data output from the image refiner unit 411 during CNN learning, and inputs the image difference value to the image refiner unit 411.
  • the image error calculation unit 412 calculates an image difference value by, for example, performing a pixel-by-pixel difference (L1 difference) or a SSIM (Structural Similarity) calculation, and inputs the image difference value to the image refiner unit 411.
  • the image recognition unit 413 has a trained CNN that executes image recognition processing by inputting refined image data generated by the image refiner unit 411 and outputs a score of the recognition result label.
  • the score output by the image recognition unit 413 is notified to the score error calculation unit 414.
  • the score error calculation unit 414 calculates the error between the score notified by the image recognition unit 413 and the score that maximizes the score of the correct answer label, and notifies the image refiner unit 411 of the score error.
  • the score error notified by the score error calculation unit 414 is used for learning CNN in the image refiner unit 411.
  • the refined image output from the image refiner unit 411 during learning of the CNN of the image refiner unit 411 is stored in the refined image storage unit 415.
  • the refined image data performed and when the score of the correct answer label output from the image recognition unit 413 is maximized is hereinafter referred to as "score maximized refined image data".
  • the important feature index map generation unit 420 has an important feature map generation unit 421, a deterioration scale map generation unit 422, and a superimposition unit 423.
  • the important feature map generation unit 421 acquires the structural information of the image recognition unit 413 when the image recognition process is executed by inputting the score maximization refined image data from the image recognition unit 413. Further, the important feature map generation unit 421 generates an important feature map based on the structural information of the image recognition unit 413 by using the BP method, the GBP method or the selective BP method.
  • the deterioration scale map generation unit 422 generates a "deterioration scale map" based on the image data (for example, image data 140) decoded by the decoding unit and the score maximization refined image data.
  • the deterioration scale map is a map showing the changed portion and the degree of change of each changed portion when the score maximizing refined image data is generated from the image data 140.
  • the superimposing unit 423 generates an important feature index map 430 by superimposing the important feature map generated by the important feature map generation unit 421 and the deterioration scale map generated by the deterioration scale map generation unit 422.
  • the important feature index map 430 is a map that visualizes feature portions that affect image recognition processing in image data.
  • the important feature index map generation unit 420 transmits the generated important feature index map 430 to the edge device 120 as the map 150.
  • map generation unit 131 is used. -Instead of determining the compression ratio based on humans -To determine the compression ratio based on AI A map for determining the compression ratio is generated based on the degree of influence on the recognition accuracy of the feature portion that AI pays attention to when executing the image recognition process. Then, based on the map generated by the map generation unit 131, the edge device 120 finally executes the coding process on the image data.
  • the feature map which is the output of each layer of the CNN when the image recognition process is executed, may be used to specify the feature portion to be noticed when the AI executes the image recognition process, and the compression ratio may be determined. ..
  • the compression rate may be determined based on the change in the feature portion that the AI paid attention to when executing the image recognition process by inputting the image data of different image quality.
  • the refined image data whose recognition accuracy when the image recognition process is executed by the image recognition unit 413 is a predetermined reference may be regarded as the score maximizing refined image data.
  • the important feature index map generation unit 420 will generate the important feature index map 430 by using the image data input to the map generation unit 131 and the refined image data as a predetermined reference.
  • FIG. 5 is a first diagram showing a specific example of processing of the buffer portion of the edge device.
  • the buffer unit 121 of the edge device 120 buffers a predetermined number of image data of each frame included in the moving image data transmitted from the image pickup device 110.
  • FIG. 6 is a first diagram showing a specific example of the functional configuration and processing of the analysis unit of the edge device.
  • the analysis unit 122 includes an image data reading unit 601, a motion analysis unit 602, and a conversion information calculation unit 603.
  • the image data reading unit 601 reads the image data buffered in the buffer unit 121, notifies the coding unit 124 to encode the image data, and then transmits the coded data to the cloud device 130. Further, the image data reading unit 601 notifies the motion analysis unit 602 of the read image data.
  • the image data reading unit 601 reads the image data buffered in the buffer unit 121 after the lapse of a predetermined time x, and notifies the motion analysis unit 602 and the coding unit 124.
  • the motion analysis unit 602 calculates the amount of change in the image data generated during the predetermined time x based on the set of image data notified from the image data reading unit 601 and obtains the motion information based on the calculated change amount. Generate.
  • the motion analysis unit 602 calculates, for example, feature quantities such as coordinates, inclination, height, width, and area of the object included in the image data 140. Further, the motion analysis unit 602 calculates, for example, feature quantities such as coordinates, inclination, height, width, and area of the object included in the image data 180.
  • the motion analysis unit 602 calculates, for example, a coordinate difference, a rotation angle difference, an aspect ratio, etc., which are changes in the feature amount between the image data 180 and the image data 140, to obtain a second time.
  • the method of generating motion information by the motion analysis unit 602 is not limited to the above. For example, from each image data buffered between the image data 140 and the image data 180, feature quantities such as the coordinates, inclination, height, width, and area of the object are calculated, and they are supplementarily or or used. Motion information may be generated by using it independently.
  • -Information indicating the movement of an object for example, motion vector information of coded data
  • -Information indicating the existence of an object for example, information indicating a coding mode (intra-prediction mode or inter-prediction mode), information indicating the distribution of coefficients, information indicating the arrangement of quantization values, etc.
  • the motion analysis unit 602 when the motion analysis unit 602 generates motion information, -A method to directly analyze the movement of an object in image data, -A method of analyzing the movement of an object as a result of the movement of a feature amount that can be acquired without being aware of the object in the image data.
  • the feature quantities that can be acquired without being aware of the object include, for example, edge information, corner information, information indicating changes in color and brightness, image statistical information for each region, and other information that is eventually linked to the shape of the object. included.
  • the feature amount that can be acquired without being aware of the object includes the feature amount that does not necessarily need to be bundled as an object when calculating.
  • FIG. 7 is a first diagram showing a specific example of the functional configuration and processing of the compressibility determination unit of the edge device.
  • the compression rate determination unit 123 includes a map acquisition unit 701, a conversion information acquisition unit 702, a prediction unit 703, and a compression rate calculation unit 704.
  • the map 160 corresponding to 180 is predicted, and the compression rate calculation unit 704 is notified.
  • the compression rate information 170 is generated by determining the compression rate of the block. Specifically, the compression rate calculation unit 704 aggregates each pixel value of the map 160 for each processing block and determines the compression rate according to the aggregation result to generate the compression rate information 170.
  • FIG. 7 shows that the compression rate of the hatched processing block in the compression rate information 170 is smaller than the compression rate of the unhatched processing block.
  • FIG. 8 is a diagram showing a specific example of the functional configuration and processing of the coding unit of the edge device.
  • the coding unit 124 includes a difference unit 801, an orthogonal conversion unit 802, a quantization unit 803, an entropy coding unit 804, an inverse quantization unit 805, and an inverse orthogonal conversion unit 806.
  • the coding unit 124 includes an addition unit 807, a buffer unit 808, an in-loop filter unit 809, a frame buffer unit 810, an in-screen prediction unit 811 and an inter-screen prediction unit 812.
  • the orthogonal conversion unit 802 executes the orthogonal conversion processing on the predicted residual signal output by the difference unit 801.
  • the quantization unit 803 quantizes the predicted residual signal that has undergone orthogonal conversion processing, and generates a quantized signal.
  • the quantization unit 803 generates a quantization signal using the compression rate information 170 including the compression rate determined for each processing block by the compression rate determination unit 123.
  • the entropy coding unit 804 generates coded data by performing an entropy coding process on the quantized signal.
  • the dequantization unit 805 dequantizes the quantization signal.
  • the inverse orthogonal conversion unit 806 executes an inverse orthogonal conversion process on the inversely quantized quantized signal.
  • the addition unit 807 generates reference image data by adding the signal output from the inverse orthogonal conversion unit 806 and the predicted image.
  • the buffer unit 808 stores the reference image data generated by the addition unit 807.
  • the in-loop filter unit 809 performs a filter process on the reference image data stored in the buffer unit 808.
  • the filter unit 809 in the loop has -Deblocking filter (DB), -Sample Adaptive Offset filter (SAO), -Adaptive loop filter (ALF), Is included.
  • the frame buffer unit 810 stores the reference image data filtered by the in-loop filter unit 809 in frame units.
  • the in-screen prediction unit 811 makes in-screen predictions based on the reference image data and generates predicted image data.
  • the predicted image data generated by the in-screen prediction unit 811 or the inter-screen prediction unit 812 is output to the difference unit 801 and the addition unit 807.
  • the coding unit 124 is described as MPEG-2, MPEG-4, H.M.
  • the coding process is performed using an existing moving image coding method such as 264 or HEVC.
  • the coding process performed by the coding unit 124 is not limited to these moving image coding methods, and may be performed using any coding method that controls the compression rate by quantization.
  • FIG. 9 is a first flowchart showing the flow of coding processing by the image processing system.
  • the image pickup by the image pickup apparatus 110 is started, the coding process shown in FIG. 9 is started.
  • step S901 the buffer unit 121 of the edge device 120 acquires and buffers the image data of each frame of the moving image data transmitted from the image pickup device 110.
  • step S908 if it is determined in step S908 that the coding process is to be completed (YES in step S908), the coding process is terminated.
  • the image processing system 100 affects the image recognition processing by executing the image recognition processing on the image data acquired in the first time. Generate a map that visualizes the given feature part. Further, the image processing system 100 according to the first embodiment has a second image based on the generated map in the first time and the movement of the object in the second time after the first time. Predict the map in time. Further, the image processing system 100 according to the first embodiment encodes the image data acquired in the second time by using the compression rate determined for each processing block based on the predicted map.
  • the compression ratio when the compression ratio is determined based on the map that visualizes the feature portion that affects the image recognition processing, it depends on the time (predetermined time x) until the determined compression ratio is reflected. Converts the map and predicts the map after a predetermined time has passed. As a result, the compression rate suitable for the image recognition process can be reflected at an appropriate position in the image data to be encoded.
  • the second embodiment will be described focusing on the differences from the first embodiment.
  • FIG. 10 is a second diagram showing an example of the system configuration of the image processing system. As shown in FIG. 10, the image processing system 1000 has the following differences from the image processing system 100 of FIG.
  • the transmission time required to transmit the generated map 1020 to the edge device 120, and Is the time obtained by adding the time y adjusted so that the time obtained by adding the above time x is substantially equal to the predetermined time x to the first time ( t).
  • the difference from the image processing system 100 of FIG. 1 is that the compression rate determination unit 1002 of the edge device 120 generates the compression rate information 170 based on the map 160'transmitted from the cloud device 130. ..
  • the cloud device 130 has an analysis unit 1003, and the analysis unit 1003 has an analysis unit 1003.
  • FIG. 11 is a second diagram showing a specific example of processing of the buffer portion of the edge device.
  • the buffer unit 121 of the edge device 120 buffers a predetermined number of image data of each frame included in the moving image data transmitted from the image pickup device 110.
  • FIG. 12 is a first diagram showing a specific example of the functional configuration and processing of the analysis unit of the cloud device.
  • the analysis unit 1003 of the cloud device 130 has a map acquisition unit 1201, a motion analysis unit 1202, and a prediction unit 1203.
  • the motion analysis unit 1202 calculates the amount of change in the map generated during the time y based on the set of maps notified by the map acquisition unit 1201, and generates motion information based on the calculated amount of change.
  • the motion analysis unit 1202 calculates features such as coordinates, inclination, height, width, and area of the area corresponding to the object included in the map 150. Further, for example, the motion analysis unit 1202 calculates the feature quantities such as the coordinates, inclination, height, width, and area of the area corresponding to the object included in the map 1020.
  • the movement of the area corresponding to the object at t + y) is analyzed, and the movement information is generated. Further, the motion analysis unit 1202 notifies the prediction unit 1203 of the generated motion information.
  • FIG. 13 is a second flowchart showing the flow of coding processing by the image processing system. The difference from FIG. 9 is in steps S1301 to S1304.
  • the image processing system 1000 according to the second embodiment has the map corresponding to the image data in the third time and the movement of the region corresponding to the object in the third time. Based on this, the map corresponding to the image data of the second time is predicted. As a result, according to the image processing system 1000 according to the second embodiment, the same effect as that of the first embodiment can be enjoyed.
  • FIG. 14 is a third diagram showing an example of the system configuration of the image processing system.
  • the difference from the image processing systems 100 and 1000 of FIG. 1 or FIG. 10 is the analysis unit 1401 and the compression rate determination unit 1402.
  • the image processing system 1400 According to the image processing system 1400 according to the third embodiment, it is possible to realize a coding process that reflects a compression rate suitable for the image recognition process.
  • the image data is processed in an order different from the time order buffered in the buffer unit 121 (that is, the image data is rearranged and processed). Further, in the fourth embodiment, a map corresponding to the image data sandwiched between the front and back image data on the time axis is predicted based on each map corresponding to the front and back image data.
  • the image data is rearranged, and the map corresponding to the image data sandwiched between the previous and next image data on the time axis is predicted.
  • the prediction accuracy can be improved as compared with the case where the map corresponding to the future image data is predicted from the map corresponding to the past image data on the time axis.
  • FIG. 15 is a fourth diagram showing an example of a system configuration of an image processing system. As shown in FIG. 15, the image processing system 1500 has the following differences from the image processing system 100 of FIG.
  • the ringed image data 1510 is read out.
  • the image data 1010 and the image data 1510 are rearranged.
  • the compression rate determination unit 1502 of the edge device 120 generates the compression rate information 170 based on the map 160'transmitted from the cloud device 130. ..
  • the cloud device 130 has an analysis unit 1503, and the analysis unit 1503 has an analysis unit 1503.
  • FIG. 16 is a third diagram showing a specific example of processing of the buffer portion of the edge device.
  • the buffer unit 121 of the edge device 120 buffers the image data of a predetermined number of frames among the image data of each frame included in the moving image data transmitted from the image pickup device 110.
  • FIG. 17 is a second diagram showing a specific example of the functional configuration and processing of the analysis unit of the cloud device.
  • the analysis unit 1503 of the cloud device 130 has a map acquisition unit 1701, a motion analysis unit 1702, and a prediction unit 1703.
  • the motion analysis unit 1702 calculates the amount of change in the map generated during the time z based on the set of maps notified by the map acquisition unit 1701, and generates motion information based on the calculated amount of change.
  • the motion analysis unit 1702 calculates features such as coordinates, inclination, height, width, and area of the area corresponding to the object included in the map 150. Further, for example, the motion analysis unit 1702 calculates features such as coordinates, inclination, height, width, and area of the area corresponding to the object included in the map 1520.
  • the prediction unit 1703 is based on the motion information notified by the motion analysis unit 1702.
  • the map 160'predicted by the prediction unit 1703 is transmitted to the edge device 120.
  • FIG. 18 is a third flowchart showing the flow of coding processing by the image processing system. The difference from FIG. 9 is steps S1801 to S1804.
  • the image processing system 1500 according to the fourth embodiment has a map corresponding to the image data of the first and fourth times and a region corresponding to the object in the second time. Predict the map corresponding to the image data of the second time based on the motion. Thereby, according to the image processing system 1500 according to the fourth embodiment, the same effect as that of the first embodiment can be enjoyed.
  • FIG. 19 is a fifth diagram showing an example of a system configuration of an image processing system.
  • the differences from the image processing systems 100, 1000, 1400, and 1500 of FIGS. 1, 10, 14, and 15 are the analysis unit 1901, the compression rate determination unit 1902.
  • the compression rate determination unit 1902 converts the acquired map 150 and the predicted map 1020 based on other conversion information notified from the analysis unit 1901, and between the first time and the third time. Predict the map corresponding to the image data (not shown) of the time.
  • the compression ratio determining unit 1902 converts the predicted map 1020 and the calculated map 160 based on other conversion information notified by the analysis unit 1901, and sets the third time and the second time. Predict the map corresponding to the image data (not shown) in the interim time.
  • the compression ratio is determined and the compression ratio information 1910 is generated.
  • the compression ratio is determined, and the compression ratio information 170 is generated.
  • the compression rate determination unit 1902 determines compression rate information having a compression rate of each determined processing block.
  • the example of FIG. 19 shows how the compression rate determination unit 1902 determines the compression rate of each processing block used when encoding the image data 1010 and generates the compression rate information 1920.
  • FIG. 20 is a fourth diagram showing a specific example of processing of the buffer unit of the edge device.
  • the buffer unit 121 of the edge device 120 buffers the image data of a predetermined number of frames among the image data of each frame included in the moving image data transmitted from the image pickup device 110.
  • FIG. 20 shows that 7 frames of image data of time t + y 0 to time t + y 6 are buffered as image data of each time between the first time and the second time.
  • FIG. 21 is a second diagram showing a specific example of the functional configuration and processing of the analysis unit of the edge device.
  • the analysis unit 1901 includes an image data reading unit 2101, a motion analysis unit 2102, and a conversion information calculation unit 2103.
  • the motion analysis unit 2102 generates a set of image data based on the image data notified from the image data reading unit 2101, and calculates the amount of change in the image data sandwiched between the generated sets based on the generated set. By doing so, motion information is generated.
  • the movement of the object in 3 is analyzed and the movement information is generated.
  • the object at time t + y 1 can be calculated. It analyzes the movement and generates the movement information.
  • the conversion information calculation unit 2103 predicts a map corresponding to the image data sandwiched between the image data sets from the map set corresponding to the image data set based on each motion information notified by the motion analysis unit 2102. Generate conversion information to do.
  • the example of FIG. 21 shows how the conversion information calculation unit 2103 generated the conversion information t + y 0 to t + y 6.
  • FIG. 22 is a second diagram showing a specific example of the functional configuration and processing of the compressibility determination unit of the edge device.
  • the compression rate determination unit 1902 includes a map acquisition unit 2201, a conversion information acquisition unit 2202, a prediction unit 2203, and a compression rate calculation unit 2204.
  • FIG. 23 is a fourth flowchart showing the flow of coding processing by the image processing system.
  • step S2301 the buffer unit 121 of the edge device 120 acquires and buffers the image data of each frame of the moving image data transmitted from the image pickup device 110.
  • step S2308 determines whether the coding process is to be completed (YES in step S2308). If it is determined in step S2308 that the coding process is to be completed (YES in step S2308), the coding process is terminated.
  • the image processing system 1900 according to the fifth embodiment transmits a part of the image data of the image data of each frame of the moving image data to the cloud device 130 to generate a map. do. Further, the image processing system 1900 according to the fifth embodiment has a part of the image data based on the generated map and the movement of the object at the time when the image data between the part of the image data is acquired. Predict the map corresponding to the image data between. As a result, according to the fifth embodiment, it is possible to further reduce the amount of communication between the edge device 120 and the cloud device 130 while enjoying the same effects as those of the above-mentioned embodiments.
  • FIG. 24 is a sixth diagram showing an example of the system configuration of the image processing system.
  • the position information indicating the above may be transmitted.
  • the map generation unit 131 of the cloud device 130 can input the position information at the same time when the image recognition process is executed for the image data 140.
  • the map generation unit 131 can improve the recognition accuracy for the image data 140 and generate a more appropriate map 150.
  • the map generation unit 131 of the cloud device 130 transmits, for example, the processing result (recognition result) of the image recognition processing for the image data 140 when transmitting the map 150. You may.
  • the compression rate determination unit 2402 of the edge device 120 can predict a more appropriate map by using the recognition result when predicting the map 160 based on the conversion information.
  • the image processing system 2400 in the image processing system 2400 according to the sixth embodiment, information obtained when processing is executed in each of the edge device 120 and the cloud device 130 is mutually transmitted. Thereby, more appropriate processing can be realized in the edge device 120 and the cloud device 130.
  • the image data reflecting the map generated by the cloud device 130 when the sorting is not performed is the future image data when viewed from the cloud device 130.
  • a plurality of image data can be sandwiched between the image data for which a map has already been generated.
  • the movement of the area corresponding to the object included in the sandwiched image data is the image data at the time when the position of the object is fixed and the image data at the time when the position of the object is fixed after that time. Will be analyzed based on. As a result, the prediction accuracy of the map can be improved and the prediction difficulty of the map can be lowered.
  • the routine rearrangement is not performed. This is because the information for determining the compression ratio may be transmitted from the cloud device at a timing that does not always match the standard sorting. Therefore, in the fourth embodiment, instead of performing the standard rearrangement and executing the coding process, the coding process is performed at the timing at which the coding process can be performed. As a result, according to the fourth embodiment, it is possible to reduce the difference between the transmission time between the cloud device and the edge device, the map generation time in the cloud device, and the time lag after sorting.
  • the map generated by the map generation unit of each of the above embodiments has been described as having information on the pixel size, the map does not necessarily have to have the information on the pixel size. Therefore, the generated map may be converted into a map having information having different particle sizes, for example.
  • the edge device 120 has a first compression ratio determining unit that generates a map having pixel grain size information, and a second compression rate determining unit that converts a map having pixel grain size information into a map having different grain size information.
  • a compression ratio determining unit will be included.
  • FIG. 25 is a conceptual diagram showing an image processing system that can be converted into a map having information of different particle sizes.
  • 25a can convert the image processing system 100 (FIG. 1) into a map having information of different grain sizes by including the first compressibility determining unit 2511 and the second compressibility determining unit 2512.
  • the conceptual diagram when it is transformed into a simple image processing system is shown.
  • 25b includes an image in which the image processing system 1000 (FIG. 10) can be converted into a map having information of different grain sizes by including the first compression rate determination unit 2521 and the second compression rate determination unit 2522.
  • the conceptual diagram when it is transformed into a processing apparatus is shown.
  • the 25c includes an image capable of converting the image processing system 1400 (FIG. 14) into a map having information of different grain sizes by including the first compression rate determination unit 2531 and the second compression rate determination unit 2532. It shows how it was transformed into a processing system.
  • the amount of data transmitted from the cloud device to the edge device can be reduced.
  • the amount of calculation when analyzing the movement of the area corresponding to the object is large, but by converting it to a map with different grain size information, the amount of calculation is reduced. can do.
  • the prediction accuracy of the map may be affected by the noise of the pixel size, but by converting to a map having information of different grain size, the pixel size is increased. The influence of noise can be reduced.
  • the image processing system has been described as having a cloud device and an edge device, but the cloud device does not necessarily have to be on the cloud, and a map generation unit, an analysis unit, and a coding unit are used. It may be arranged with a time lag between and.
  • the cloud device and the map device included in the image processing system may be an edge device arranged at a predetermined base where the video analysis device is installed, and a center device that functions as an aggregation device at the base.
  • it may be a group of devices connected in an environment where a time lag occurs due to a factor different from the time lag caused by the network.
  • the map is generated so that the feature portion acquired from the image data and the feature portion that AI pays attention to when executing the image recognition process act effectively. , You may want to generate a map using some of the feature parts.
  • Image processing system 110 Imaging device 120: Edge device 121: Buffer unit 122: Analysis unit 123: Compression rate determination unit 124: Coding unit 130: Cloud device 131: Map generation unit 310: Image recognition unit 320: Important features Map generation unit 410: Refined image generation unit 420: Important feature index map generation unit 601: Image data reading unit 602: Motion analysis unit 603: Conversion information calculation unit 701: Map acquisition unit 702: Conversion information acquisition unit 703: Prediction unit 704 : Compression rate calculation unit 1000: Image processing system 1001: Analysis unit 1002: Compression rate determination unit 1003: Analysis unit 1201: Map acquisition unit 1202: Motion analysis unit 1203: Prediction unit 1400: Image processing system 1401: Analysis unit 1402: Compression unit Rate determination unit 1501: Analysis unit 1502: Compression rate determination unit 1701: Map acquisition unit 1702: Motion analysis unit 1703: Prediction unit 1900: Image processing system 1901: Analysis unit 1902: Compression rate determination unit 2101: Image data reading unit 2102: Motion analysis unit 2103:

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像認識処理に適した圧縮率を反映した符号化処理を実現する。画像処理システムは、第１の時間に取得された第１の画像データに対して画像認識処理を実行することで、画像認識処理に影響を与える特徴部分を示す情報を生成する生成部と、前記第１の時間での前記特徴部分を示す情報に基づいて、前記第１の時間より後の第２の時間での前記特徴部分を示す情報を予測する予測部と、予測した前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する符号化部とを有する。

Description

画像処理システム、画像処理装置及び画像処理プログラム
　本発明は、画像処理システム、画像処理装置及び画像処理プログラムに関する。
　一般に、画像データを記録または伝送する場合には、予め符号化処理を実行することでデータサイズを削減し、記録コストや伝送コストを削減する。
　一方で、近年、ＡＩ（Artificial Intelligence）による画像認識処理に利用することを目的として、画像データを記録または伝送するケースが増えてきている。
特開２００９－０２７５６３号公報
　しかしながら、従来の符号化処理は、人間の概念で把握できる形状や性質に基づいて行われており、画像認識処理時にＡＩが注目する特徴部分（必ずしも人間の概念で境界分けをすることができない特徴部分）に基づいて行われているわけでない。このため、ＡＩによる画像認識処理に適した符号化処理が行われることが求められる。
　一方で、画像認識処理時にＡＩが注目する特徴部分を特定するには、一定程度の時間を要する。このため、特定した特徴部分に基づく圧縮率を反映して符号化処理を実行しようとしても、符号化対象の画像データ内では既に特徴部分が移動していることもあり得る。このような場合、特定した特徴部分に基づく圧縮率が、符号化対象の画像データ内で適切な位置に反映されないことになる。
　一つの側面では、画像認識処理に適した圧縮率を反映した符号化処理を実現することを目的とする。
　一態様によれば、画像処理システムは、
　第１の時間に取得された第１の画像データに対して画像認識処理を実行することで、画像認識処理に影響を与える特徴部分を示す情報を生成する生成部と、
　前記第１の時間での前記特徴部分を示す情報に基づいて、前記第１の時間より後の第２の時間での前記特徴部分を示す情報を予測する予測部と、
　予測した前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する符号化部とを有する。
　画像認識処理に適した圧縮率を反映した符号化処理を実現することができる。
図１は、画像処理システムのシステム構成の一例を示す第１の図である。 図２は、クラウド装置及びエッジ装置のハードウェア構成の一例を示す図である。 図３は、クラウド装置のマップ生成部の機能構成及び処理の具体例を示す第１の図である。 図４は、クラウド装置のマップ生成部の機能構成及び処理の具体例を示す第２の図である。 図５は、エッジ装置のバッファ部の処理の具体例を示す第１の図である。 図６は、エッジ装置の解析部の機能構成及び処理の具体例を示す第１の図である。 図７は、エッジ装置の圧縮率決定部の機能構成及び処理の具体例を示す第１の図である。 図８は、エッジ装置の符号化部の機能構成及び処理の具体例を示す図である。 図９は、画像処理システムによる符号化処理の流れを示す第１のフローチャートである。 図１０は、画像処理システムのシステム構成の一例を示す第２の図である。 図１１は、エッジ装置のバッファ部の処理の具体例を示す第２の図である。 図１２は、クラウド装置の解析部の機能構成及び処理の具体例を示す第１の図である。 図１３は、画像処理システムによる符号化処理の流れを示す第２のフローチャートである。 図１４は、画像処理システムのシステム構成の一例を示す第３の図である。 図１５は、画像処理システムのシステム構成の一例を示す第４の図である。 図１６は、エッジ装置のバッファ部の処理の具体例を示す第３の図である。 図１７は、クラウド装置の解析部の機能構成及び処理の具体例を示す第２の図である。 図１８は、画像処理システムによる符号化処理の流れを示す第３のフローチャートである。 図１９は、画像処理システムのシステム構成の一例を示す第５の図である。 図２０は、エッジ装置のバッファ部の処理の具体例を示す第４の図である。 図２１は、エッジ装置の解析部の機能構成及び処理の具体例を示す第２の図である。 図２２は、エッジ装置の圧縮率決定部の機能構成及び処理の具体例を示す第２の図である。 図２３は、画像処理システムによる符号化処理の流れを示す第４のフローチャートである。 図２４は、画像処理システムのシステム構成の一例を示す第６の図である。 図２５は、異なる粒度の情報を有するマップに変換可能な画像処理システムを示す概念図である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜画像処理システムのシステム構成＞
　はじめに、第１の実施形態に係る画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す第１の図である。図１に示すように、画像処理システム１００は、撮像装置１１０、エッジ装置１２０、クラウド装置１３０を有する。
　撮像装置１１０は、所定のフレーム周期で撮影を行い、動画像データをエッジ装置１２０に送信する。
　エッジ装置１２０は画像処理装置の一例であり、撮像装置１１０より送信される動画像データについて、フレーム単位で符号化し、符号化データを出力する。エッジ装置１２０は、動画像データをフレーム単位で符号化する際、各フレームの画像データについてクラウド装置１３０よりマップを取得し、取得したマップに応じた圧縮率を反映する。なお、ここでいうマップとは、画像認識処理時にＡＩが注目した特徴部分を可視化したマップであり、本実施形態では、画像認識処理を行う画像認識部（詳細は後述）を解析し、画像認識処理に影響を与える特徴部分を特定することで生成される。
　エッジ装置１２０には、画像処理プログラムがインストールされており、当該プログラムが実行されることで、エッジ装置１２０は、バッファ部１２１、解析部１２２、圧縮率決定部１２３、符号化部１２４として機能する。
　バッファ部１２１は、撮像装置１１０より送信される動画像データに含まれる各フレームの画像データを、所定数バッファリングする。
　解析部１２２は、バッファ部１２１より第１の時間（＝ｔ）にバッファリングされた画像データ１４０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。なお、符号化部１２４では、時間＝ｔ－ｘにバッファリングされた画像データに基づいて生成された圧縮率情報を用いて、第１の時間（＝ｔ）にバッファリングされた画像データ１４０を符号化する（ただし、ここでは符号化処理の詳細説明は割愛する）。
　また、解析部１２２は、第１の時間（＝ｔ）より所定時間（＝ｘ）後の第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０をバッファ部１２１より読み出し、符号化部１２４に通知する。また、解析部１２２は、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０の、第１の時間（＝ｔ）にバッファリングされた画像データからの変化量を算出する。更に、解析部１２２は、算出した変化量に基づいて、第２の時間（＝ｔ＋ｘ）におけるマップを予測するための変換情報を生成し、圧縮率決定部１２３に通知する。
　圧縮率決定部１２３は、クラウド装置１３０により生成されたマップであって、第１の時間（＝ｔ）にバッファリングされた画像データ１４０に対応するマップ１５０を取得する。また、圧縮率決定部１２３は、取得したマップ１５０を、解析部１２２より通知された変換情報を用いて変換することで、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０に対応するマップ１６０を予測する。
　更に、圧縮率決定部１２３は、算出したマップ１６０に基づいて、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０を符号化する際に用いる圧縮率を、符号化処理時の処理ブロック単位で決定する。圧縮率決定部１２３は、各処理ブロックの圧縮率を、圧縮率情報１７０として符号化部１２４に通知する。
　符号化部１２４は、解析部１２２より通知された、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０を、圧縮率決定部１２３より通知された圧縮率情報１７０を用いて符号化し、符号化データを生成する。
　一方、クラウド装置１３０には、解析プログラムがインストールされており、当該プログラムが実行されることで、クラウド装置１３０は、マップ生成部１３１として機能する。なお、クラウド装置１３０は、更に、エッジ装置１２０より送信される符号化データ（画像データ（例えば、画像データ１４０）を符号化した符号化データ）を復号する復号部を有するが、図１では省略している。
　マップ生成部１３１は生成部の一例である。マップ生成部１３１は、エッジ装置１２０より送信され、復号部にて復号された画像データ（例えば、画像データ１４０）を取得する。また、マップ生成部１３１は、取得した画像データに対して、画像認識部がＣＮＮ（Convolutional Neural Network）を用いて画像認識処理を実行する。また、マップ生成部１３１は、画像認識処理を実行した際の画像認識部の構造情報に基づいて、画像認識処理に影響を与える特徴部分を可視化したマップ（例えば、マップ１５０）を生成する。
　更に、マップ生成部１３１は、生成したマップをエッジ装置１２０に送信する。なお、本実施形態において、エッジ装置１２０がクラウド装置１３０に画像データ１４０を送信してから、エッジ装置１２０がクラウド装置１３０からマップ１５０を受信するまでのタイムラグは所定時間ｘ未満であるとする。
　＜クラウド装置及びエッジ装置のハードウェア構成＞
　次に、クラウド装置１３０及びエッジ装置１２０のハードウェア構成について説明する。図２は、クラウド装置及びエッジ装置のハードウェア構成の一例を示す図である。このうち、図２（ａ）は、クラウド装置１３０のハードウェア構成の一例を示す図である。図２（ａ）に示すように、クラウド装置１３０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、クラウド装置１３０の各ハードウェアは、バス２０７を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、解析プログラム等）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータはクラウド装置１３０の各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
　Ｉ／Ｆ装置２０４は、外部装置の一例である操作装置２１１、表示装置２１２と接続する接続デバイスである。Ｉ／Ｆ装置２０４は、クラウド装置１３０に対する操作を、操作装置２１１を介して受け付ける。また、Ｉ／Ｆ装置２０４は、クラウド装置１３０による処理の結果を出力し、表示装置２１２を介して表示する。
　通信装置２０５は、他の装置と通信するための通信デバイスである。クラウド装置１３０は、通信装置２０５を介してエッジ装置１２０と通信する。
　ドライブ装置２０６は記録媒体２１３をセットするためのデバイスである。ここでいう記録媒体２１３には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１３には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１３がドライブ装置２０６にセットされ、該記録媒体２１３に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
　一方、図２（ｂ）は、エッジ装置１２０のハードウェア構成の一例を示す図である。図２（ｂ）に示すように、エッジ装置１２０のハードウェア構成は、クラウド装置１３０のハードウェア構成と同様である。
　ただし、エッジ装置１２０の場合、補助記憶装置２２３には、画像処理プログラムがインストールされている。また、エッジ装置１２０の場合、通信装置２２５を介して撮像装置１１０及びクラウド装置１３０と通信する。
　＜クラウド装置の機能構成及び処理の具体例＞
　次に、クラウド装置１３０のマップ生成部１３１の機能構成及び処理の具体例（２種類）について、図３及び図４を用いて説明する。
　（１）マップ生成部の機能構成及び処理の具体例その１
　図３は、クラウド装置のマップ生成部の機能構成及び処理の具体例を示す第１の図である。図３に示すように、マップ生成部１３１は、画像認識部３１０と重要特徴マップ生成部３２０とを有する。
　エッジ装置１２０から送信され、復号部により復号された画像データ（例えば、画像データ１４０）が画像認識部３１０に入力されると、画像データ１４０は、画像認識部３１０のＣＮＮによって順伝播処理される。これにより、ＣＮＮの出力層からは、画像データ１４０に含まれる認識対象のオブジェクト３５０についての認識結果（例えば、ラベル）が出力される。なお、ここでは、画像認識部３１０より出力されるラベルは正解ラベルであるとする。
　重要特徴マップ生成部３２０は、ＢＰ（Back Propagation）法、ＧＢＰ（Guided Back Propagation）法または選択的ＢＰ法等を用いることで、画像認識部３１０の構造情報に基づいて"重要特徴マップ"を生成する。重要特徴マップとは、画像認識処理を実行した際の画像認識部３１０の構造情報に基づいて、画像データにおいて、画像認識処理に影響を与える特徴部分を可視化したマップである。
　なお、ＢＰ法は、認識結果として正解ラベルが出力される画像データについて画像認識処理を実行することで得た分類確率から各ラベルの誤差を計算し、入力層まで逆伝播して得られる勾配の大小を画像化することで、特徴部分を可視化する方法である。また、ＧＢＰ法は、勾配情報の正値のみを特徴部分として画像化することで、特徴部分を可視化する方法である。
　更に、選択的ＢＰ法は、正解ラベルの誤差のみを最大にしたうえで、ＢＰ法またはＧＢＰ法を用いて処理を行う方法である。選択的ＢＰ法の場合、可視化される特徴部分は、正解ラベルのスコアのみに影響を与える特徴部分となる。
　図３の例は、選択的ＢＰ法により重要特徴マップ３６０を生成した様子を示している。重要特徴マップ生成部３２０では、生成した重要特徴マップ３６０を、マップ１５０としてエッジ装置１２０に送信する。
　（２）マップ生成部の機能構成及び処理の具体例その２
　図４は、クラウド装置のマップ生成部の機能構成及び処理の具体例を示す第２の図である。図４の場合、マップ生成部１３１は、リファイン画像生成部４１０と重要特徴指標マップ生成部４２０とを有する。
　更に、リファイン画像生成部４１０は、画像リファイナ部４１１、画像誤差演算部４１２、画像認識部４１３、スコア誤差演算部４１４を有する。
　画像リファイナ部４１１は、画像データの生成モデルとしてＣＮＮを用いて、復号部により復号された画像データ（例えば、画像データ１４０）からリファイン画像データを生成する。
　なお、画像リファイナ部４１１は、生成したリファイン画像データを用いて画像認識部４１３が画像認識処理を実行した際に、正解ラベルのスコアが最大となるように、画像データ１４０を変更する。また、画像リファイナ部４１１は、例えば、画像データ１４０からの変更量（リファイン画像データと画像データ１４０との差分）が小さくなるように、リファイン画像データを生成する。これにより、画像リファイナ部４１１によれば、視覚的に変更前の画像データ（画像データ１４０）に近い画像データ（リファイン画像データ）を生成することができる。
　具体的には、画像リファイナ部４１１では、
・生成したリファイン画像データを用いて画像認識処理を実行した際のスコアと、正解ラベルのスコアを最大にしたスコアとの誤差（スコア誤差）と、
・生成したリファイン画像データと画像データ１４０との差分である画像差分値と、
を最小化するように画像リファイナ部４１１が有するＣＮＮの学習を行う。
　画像誤差演算部４１２は、画像データ１４０と、ＣＮＮの学習中に画像リファイナ部４１１より出力されるリファイン画像データとの差分を算出し、画像差分値を、画像リファイナ部４１１に入力する。画像誤差演算部４１２では、例えば、画素ごとの差分（Ｌ１差分）やＳＳＩＭ（Structural Similarity）演算を行うことにより、画像差分値を算出し、画像リファイナ部４１１に入力する。
　画像認識部４１３は、画像リファイナ部４１１により生成されたリファイン画像データを入力として画像認識処理を実行し、認識結果のラベルのスコアを出力する、学習済みのＣＮＮを有する。なお、画像認識部４１３により出力されたスコアは、スコア誤差演算部４１４に通知される。
　スコア誤差演算部４１４は、画像認識部４１３により通知されたスコアと、正解ラベルのスコアを最大にしたスコアとの誤差を算出し、画像リファイナ部４１１にスコア誤差を通知する。スコア誤差演算部４１４により通知されたスコア誤差は、画像リファイナ部４１１においてＣＮＮの学習に用いられる。
　なお、画像リファイナ部４１１が有するＣＮＮの学習中に画像リファイナ部４１１から出力されるリファイン画像は、リファイン画像格納部４１５に格納される。画像リファイナ部４１１が有するＣＮＮの学習は、
・予め定められた学習回数分（例えば、最大学習回数＝Ｎ回分）、あるいは、
・正解ラベルのスコアが所定の閾値を超えるまで、あるいは、
・正解ラベルのスコアが所定の閾値を超え、かつ、画像差分値が所定の閾値より小さくなるまで、
行われ、画像認識部４１３より出力される正解ラベルのスコアが最大化した際のリファイン画像データを、以下では、"スコア最大化リファイン画像データ"と称す。
　続いて、重要特徴指標マップ生成部４２０の詳細について説明する。図４に示すように、重要特徴指標マップ生成部４２０は、重要特徴マップ生成部４２１、劣化尺度マップ生成部４２２、重畳部４２３を有する。
　重要特徴マップ生成部４２１は、スコア最大化リファイン画像データを入力として画像認識処理を実行した際の画像認識部４１３の構造情報を、画像認識部４１３より取得する。また、重要特徴マップ生成部４２１は、ＢＰ法、ＧＢＰ法または選択的ＢＰ法を用いることで、画像認識部４１３の構造情報に基づいて重要特徴マップを生成する。
　劣化尺度マップ生成部４２２は、復号部により復号された画像データ（例えば、画像データ１４０）とスコア最大化リファイン画像データとに基づいて、"劣化尺度マップ"を生成する。劣化尺度マップとは、画像データ１４０からスコア最大化リファイン画像データを生成した際の変更部分と各変更部分の変更度合いとを示したマップである。
　重畳部４２３は、重要特徴マップ生成部４２１において生成された重要特徴マップと、劣化尺度マップ生成部４２２において生成された劣化尺度マップとを重畳することで、重要特徴指標マップ４３０を生成する。重要特徴指標マップ４３０は、画像データにおいて画像認識処理に影響を与える特徴部分を可視化したマップである。
　重要特徴指標マップ生成部４２０では、生成した重要特徴指標マップ４３０を、マップ１５０としてエッジ装置１２０に送信する。
　（３）マップ生成部による他のマップ生成方法
　上記（１）、（２）に記載したように、マップ生成部１３１は、
・人間を基準とした圧縮率を決定する代わりに、
・ＡＩを基準とした圧縮率を決定するために、
ＡＩが画像認識処理を実行する際に注目する特徴部分についての認識精度への影響度に基づいて、圧縮率を決定するためのマップを生成する。そして、マップ生成部１３１により生成されたマップに基づいて、最終的に、エッジ装置１２０において画像データに対して符号化処理を実行する。
　つまり、上記（１）、（２）では、このような目的でマップを生成する場合のマップ生成方法を２種類例示したに過ぎず、同じ目的であれば、上記（１）、（２）とは異なる方法でマップを生成してもよい。
　例えば、画像認識処理を実行した際のＣＮＮの各層の出力である特徴マップを用いて、ＡＩが画像認識処理を実行する際に注目する特徴部分を特定して、圧縮率を決定してもよい。
　あるいは、上記（１）において、異なる画質の画像データを入力として、ＡＩが画像認識処理を実行する際に注目した特徴部分の変化に基づいて、圧縮率を決定してもよい。
　あるいは、上記（２）において、画像認識部４１３により画像認識処理が実行された際の認識精度が所定の基準となるリファイン画像データを、スコア最大化リファイン画像データとみなしてもよい。この場合、重要特徴指標マップ生成部４２０では、マップ生成部１３１に入力された画像データと、所定の基準となるリファイン画像データとを用いて、重要特徴指標マップ４３０を生成することになる。
　＜エッジ装置の各部の機能構成＞
　次に、エッジ装置１２０の各部の機能構成及び／又は処理の具体例について、図５～図８を用いて説明する。
　（１）バッファ部の処理の具体例
　はじめに、バッファ部１２１の処理の具体例について説明する。図５は、エッジ装置のバッファ部の処理の具体例を示す第１の図である。図５に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データを、所定数バッファリングする。
　図５の例は、バッファ部１２１が、所定時間ｘに対応するフレーム数の画像データをバッファリングした様子を示している。具体的には、現在の時間が第２の時間（＝ｔ＋ｘ）であるとすると、バッファ部１２１では、少なくとも、現在の時間から、所定時間ｘだけ過去の時間である第１の時間（＝ｔ）までの画像データをバッファリングする。
　なお、図５の例では、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間の画像データを省略しているが、バッファ部１２１には、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間に複数の画像データがバッファリングされているものとする。
　（２）解析部の機能構成及び処理の具体例
　次に、解析部１２２の機能構成及び処理の具体例について説明する。図６は、エッジ装置の解析部の機能構成及び処理の具体例を示す第１の図である。図６に示すように、解析部１２２は、画像データ読み出し部６０１、動き解析部６０２、変換情報算出部６０３を有する。
　画像データ読み出し部６０１は、バッファ部１２１にバッファリングされた画像データを読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、画像データ読み出し部６０１は、読み出した画像データを、動き解析部６０２に通知する。
　例えば、画像データ読み出し部６０１は、バッファ部１２１にバッファリングされた第１の時間（＝ｔ）の画像データを読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、画像データ読み出し部６０１は、読み出した第１の時間（＝ｔ）の画像データを、動き解析部６０２に通知する。
　また、画像データ読み出し部６０１は、所定時間ｘが経過した後にバッファ部１２１にバッファリングされた画像データを読み出し、動き解析部６０２及び符号化部１２４に通知する。
　例えば、画像データ読み出し部６０１は、バッファ部１２１にバッファリングされた第２の時間（＝ｔ＋ｘ）の画像データを読み出し、動き解析部６０２及び符号化部１２４に通知する。
　動き解析部６０２は、画像データ読み出し部６０１から通知された画像データの組に基づいて、所定時間ｘの間に生じた画像データの変化量を算出し、算出した変化量に基づいて動き情報を生成する。
　例えば、動き解析部６０２は、画像データ読み出し部６０１から通知された画像データの組として、第１の時間（＝ｔ）の画像データ１４０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０とを取得したとする。
　この場合、動き解析部６０２では、例えば、画像データ１４０に含まれるオブジェクトの座標、傾き、高さ、幅、面積等の特徴量を算出する。また、動き解析部６０２では、例えば、画像データ１８０に含まれるオブジェクトの座標、傾き、高さ、幅、面積等の特徴量を算出する。
　更に、動き解析部６０２では、例えば、画像データ１８０と画像データ１４０との間の特徴量の変化量である、座標差、回転角度差、縦横縮尺比等を算出することで、第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きを解析し、動き情報を生成する。また、動き解析部６０２では、生成した動き情報を、変換情報算出部６０３に通知する。
　変換情報算出部６０３は、動き解析部６０２より通知された動き情報に基づいて、
・クラウド装置１３０から送信される第１の時間（＝ｔ）の画像データ１４０に対応するマップ１６０から、
・第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップを、
予測するための変換情報を生成する。また、変換情報算出部６０３は、生成した変換情報を、圧縮率決定部１２３に通知する。
　なお、動き解析部６０２による動き情報の生成方法は、上記に限定されない。例えば、画像データ１４０から画像データ１８０までの間にバッファリングされた各画像データから、オブジェクトの座標、傾き、高さ、幅、面積等の特徴量を算出し、それらを補助的に、あるいは、主体的に用いて動き情報を生成してもよい。
　あるいは、画像データ１４０から画像データ１８０の直前の画像データまでの間にバッファリングされた各画像データを符号化した符号化データのうちの複数の符号化データから、
・オブジェクトの動きを示す情報（例えば、符号化データの動きベクトル情報等）、
・オブジェクトの存在を示す情報（例えば、符号化モード（イントラ予測モードまたはインタ予測モード）を示す情報、係数の分布を示す情報、量子化値の配置を示す情報等）、
を算出し、それらを補助的に、あるいは、主体的に用いて動き情報を生成してもよい。
　また、動き解析部６０２が動き情報を生成する際には、
・直接的に画像データにおけるオブジェクトの動きを解析する方法、
・画像データにおいてオブジェクトを意識しないで取得できる特徴量の動きによって、結果としてオブジェクトの動きを解析する方法、
のいずれか一方、または、両方を補完的に用いてもよい。なお、オブジェクトを意識しないで取得できる特徴量には、例えば、エッジ情報、コーナー情報、色彩や輝度の変化を示す情報、領域ごとの画像的統計情報等、結果的にオブジェクトの形状と結びつく情報が含まれる。あるいは、オブジェクトを意識しないで取得できる特徴量には、算出する際に、オブジェクトという括りが必ずしも必要でない特徴量が含まれる。
　（３）圧縮率決定部の機能構成及び処理の具体例
　次に、圧縮率決定部１２３の機能構成及び処理の具体例について説明する。図７は、エッジ装置の圧縮率決定部の機能構成及び処理の具体例を示す第１の図である。図７に示すように、圧縮率決定部１２３は、マップ取得部７０１、変換情報取得部７０２、予測部７０３、圧縮率算出部７０４を有する。
　マップ取得部７０１は、クラウド装置１３０よりマップ（例えば、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０）を取得し、予測部７０３に通知する。
　変換情報取得部７０２は、解析部１２２より変換情報（例えば、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０を予測するための変換情報）を取得する。また、変換情報取得部７０２は、取得した変換情報を、予測部７０３に通知する。
　予測部７０３は、変換情報取得部７０２より通知された変換情報に基づいて、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０を予測し、圧縮率算出部７０４に通知する。
　圧縮率算出部７０４は、予測部７０３より通知されたマップ１６０に基づいて、符号化部１２４が画像データ（第２の時間（＝ｔ＋ｘ）の画像データ１８０）を符号化する際の、各処理ブロックの圧縮率を決定することで圧縮率情報１７０を生成する。具体的には、圧縮率算出部７０４は、処理ブロックごとにマップ１６０の各画素値を集計し、集計結果に応じた圧縮率を決定することで、圧縮率情報１７０を生成する。図７の例は、圧縮率情報１７０のうち、ハッチングされた処理ブロックの圧縮率が、ハッチングされていない処理ブロックの圧縮率よりも小さいことを示している。
　（４）符号化部の機能構成及び処理の具体例
　次に、符号化部１２４の機能構成及び処理の具体例について説明する。図８は、エッジ装置の符号化部の機能構成及び処理の具体例を示す図である。図８に示すように、符号化部１２４は、差分部８０１、直交変換部８０２、量子化部８０３、エントロピ符号化部８０４、逆量子化部８０５、逆直交変換部８０６を有する。また、符号化部１２４は、加算部８０７、バッファ部８０８、ループ内フィルタ部８０９、フレームバッファ部８１０、画面内予測部８１１、画面間予測部８１２を有する。
　差分部８０１は、画像データ（例えば、第２の時間（＝ｔ＋ｘ）の画像データ１８０）と予測画像データとの差分を算出し、予測残差信号を出力する。
　直交変換部８０２は、差分部８０１により出力された予測残差信号に対して、直交変換処理を実行する。
　量子化部８０３は、直交変換処理された予測残差信号を量子化し、量子化信号を生成する。量子化部８０３では、圧縮率決定部１２３により処理ブロックごとに決定された圧縮率を含む圧縮率情報１７０を用いて量子化信号を生成する。
　エントロピ符号化部８０４は、量子化信号に対してエントロピ符号化処理を行うことで、符号化データを生成する。
　逆量子化部８０５は、量子化信号を逆量子化する。逆直交変換部８０６は、逆量子化された量子化信号に対して、逆直交変換処理を実行する。
　加算部８０７は、逆直交変換部８０６より出力された信号と、予測画像とを加算することで、参照画像データを生成する。バッファ部８０８は、加算部８０７により生成された参照画像データを格納する。
　ループ内フィルタ部８０９は、バッファ部８０８に格納された参照画像データに対してフィルタ処理を行う。ループ内フィルタ部８０９には、
・デブロッキングフィルタ（Deblocking filter：ＤＢ）、
・サンプルアダプティブオフセットフィルタ（Sample Adaptive Offset filter：ＳＡＯ）、
・適応ループフィルタ（Adaptive loop filter：ＡＬＦ）、
が含まれる。
　フレームバッファ部８１０は、ループ内フィルタ部８０９によりフィルタ処理が行われた参照画像データをフレーム単位で格納する。
　画面内予測部８１１は、参照画像データに基づいて画面内予測を行い、予測画像データを生成する。画面間予測部８１２は、入力された画像データ（例えば、第２の時間（＝ｔ＋ｘ）の画像データ１８０）と参照画像データとを用いてフレーム間で動き補償を行い、予測画像データを生成する。
　なお、画面内予測部８１１または画面間予測部８１２により生成された予測画像データは、差分部８０１及び加算部８０７に出力される。
　なお、上記説明では、符号化部１２４が、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４、ＨＥＶＣなどの既存の動画符号化方式を用いて符号化処理を行うものとした。しかしながら、符号化部１２４が行う符号化処理は、これらの動画符号化方式に限定されず、量子化により圧縮率を制御する任意の符号化方式を用いて行われてもよい。
　＜画像処理システムによる符号化処理の流れ＞
　次に、画像処理システム１００全体により実行される符号化処理の流れについて説明する。図９は、画像処理システムによる符号化処理の流れを示す第１のフローチャートである。撮像装置１１０による撮影が開始されることで、図９に示す符号化処理が開始される。
　ステップＳ９０１において、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信される動画像データの各フレームの画像データを取得し、バッファリングする。
　ステップＳ９０２において、エッジ装置１２０の解析部１２２は、バッファ部１２１にバッファリングされた画像データから、第１の時間（＝ｔ）の画像データを読み出し、符号化部１２４に通知して符号化した後、クラウド装置１３０に送信する。
　ステップＳ９０３において、クラウド装置１３０のマップ生成部１３１は、第１の時間（＝ｔ）の画像データに対応するマップを生成し、エッジ装置１２０に送信する。
　ステップＳ９０４において、エッジ装置１２０の解析部１２２は、バッファ部１２１より第２の時間（＝ｔ＋ｘ）の画像データを読み出し、第１の時間（＝ｔ）の画像データからの変化量を算出する。これにより、エッジ装置１２０の解析部１２２は、第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きを解析し、動き情報を生成する。また、エッジ装置１２０の解析部１２２は、生成した動き情報に基づき、変換情報を生成する。
　ステップＳ９０５において、エッジ装置１２０の圧縮率決定部１２３は、変換情報を用いて、第１の時間（＝ｔ）の画像データに対応するマップを変換し、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。
　ステップＳ９０６において、エッジ装置１２０の圧縮率決定部１２３は、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップに基づいて、第２の時間（＝ｔ＋ｘ）の画像データを符号化する際の各処理ブロックの圧縮率を決定する。
　ステップＳ９０７において、エッジ装置１２０の符号化部１２４は、圧縮率決定部１２３により決定された各処理ブロックの圧縮率を用いて、第２の時間（＝ｔ＋ｘ）の画像データを符号化する。
　ステップＳ９０８において、エッジ装置１２０は、符号化処理を終了するか否かを判定する。ステップＳ９０８において、符号化処理を継続すると判定した場合には（ステップＳ９０８においてＮＯの場合には）、ステップＳ９０１に戻る。この場合、画像処理システム１００では、第１の時間＝ｔ）をフレーム周期分進めて、同様の処理を実行する。
　一方、ステップＳ９０８において、符号化処理を終了すると判定した場合には（ステップＳ９０８においてＹＥＳの場合には）、符号化処理を終了する。
　以上の説明から明らかなように、第１の実施形態に係る画像処理システム１００は、第１の時間に取得された画像データに対して画像認識処理を実行することで、画像認識処理に影響を与える特徴部分を可視化したマップを生成する。また、第１の実施形態に係る画像処理システム１００は、生成した第１の時間でのマップと、第１の時間より後の第２の時間でのオブジェクトの動きとに基づいて、第２の時間でのマップを予測する。更に、第１の実施形態に係る画像処理システム１００は、予測したマップに基づき、処理ブロックごとに決定した圧縮率を用いて、第２の時間に取得された画像データを符号化する。
　このように、画像処理システム１００では、画像認識処理に影響を与える特徴部分を可視化したマップに基づき圧縮率を決定する際、決定した圧縮率が反映されるまでの時間（所定時間ｘ）に応じてマップを変換し、所定時間が経過した後のマップを予測する。これにより、画像認識処理に適した圧縮率を、符号化対象の画像データにおいて適切な位置に反映させることができる。
　この結果、第１の実施形態によれば、画像認識処理に適した圧縮率を反映した符号化処理を実現することができる。
　［第２の実施形態］
　上記第１の実施形態では、第１の時間（＝ｔ）でのマップと第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きとに基づいて、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測した。これに対して、第２の実施形態では、第３の時間（＝ｔ＋ｙ（ｙ＜ｘ））の画像データに対応するマップと、第３の時間でのオブジェクトに対応する領域の動きとに基づいて、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。以下、第２の実施形態について、第１の実施形態との相違点を中心に説明する。
　＜画像処理システムのシステム構成＞
　はじめに、第２の実施形態に係る画像処理システムのシステム構成について説明する。図１０は、画像処理システムのシステム構成の一例を示す第２の図である。図１０に示すように、画像処理システム１０００の場合、図１の画像処理システム１００に対して以下の相違点を有する。
　具体的には、エッジ装置１２０の解析部１００１が、第１の時間（＝ｔ）より所定時間（＝ｙ）後の第３の時間（＝ｔ＋ｙ）にバッファリングされた画像データ１０１０を読み出し、符号化部１２４に通知して符号化する点である。そして、エッジ装置１２０の解析部１００１が、第３の時間（＝ｔ＋ｙ）にバッファリングされた画像データ１０１０を符号化した符号化データを、クラウド装置１３０に送信する点である。
　なお、第３の時間（＝ｔ＋ｙ）は、例えば、
・時間ｙと、
・第３の時間の画像データ１０１０をクラウド装置１３０に送信する際にかかる送信時間と、
・クラウド装置１３０において第３の時間の画像データ１０１０に対応するマップ１０２０を生成する際にかかる生成時間と、
・生成したマップ１０２０をエッジ装置１２０に送信する際にかかる送信時間と、
を加算した時間が、所定時間ｘと概ね等しくなるように調整した時間ｙを第１の時間（＝ｔ）に加算した時間である。
　また、図１の画像処理システム１００との相違点は、エッジ装置１２０の圧縮率決定部１００２が、クラウド装置１３０より送信されたマップ１６０'に基づいて、圧縮率情報１７０を生成する点である。
　なお、第３の時間（＝ｔ＋ｙ）と第２の時間（＝ｔ＋ｘ）との間には、バッファリングされた複数の画像データが存在してもよいことは、上記第１の実施形態と同様である。
　また、図１の画像処理システム１００との相違点は、クラウド装置１３０のマップ生成部１３１が、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０を生成する点である。
　更に、図１の画像処理システム１００との相違点は、クラウド装置１３０が解析部１００３を有し、解析部１００３が、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０と、
に基づいて、第２の時間（ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する点である。
　＜エッジ装置の処理の具体例＞
　次に、エッジ装置１２０の処理の具体例（ここでは、バッファ部１２１の処理の具体例）について説明する。図１１は、エッジ装置のバッファ部の処理の具体例を示す第２の図である。図１１に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データを、所定数バッファリングする。第２の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、少なくとも、第３の時間（＝ｔ＋ｙ）の画像データ１０１０が含まれる。
　＜クラウド装置の機能構成及び処理の具体例＞
　次に、クラウド装置１３０の解析部１００３の機能構成及び処理の具体例について、図１２を用いて説明する。図１２は、クラウド装置の解析部の機能構成及び処理の具体例を示す第１の図である。
　図１２に示すように、クラウド装置１３０の解析部１００３は、マップ取得部１２０１、動き解析部１２０２、予測部１２０３を有する。
　マップ取得部１２０１は、マップ生成部１３１から通知されるマップの組を取得する。具体的には、マップ取得部１２０１は、マップ生成部１３１において生成された、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０との組を取得する。また、マップ取得部１２０１は、取得したマップの組を動き解析部１２０２に通知する。
　動き解析部１２０２は、マップ取得部１２０１より通知されたマップの組に基づいて、時間ｙの間に生じたマップの変化量を算出し、算出した変化量に基づいて動き情報を生成する。
　例えば、動き解析部１２０２は、マップ１５０に含まれるオブジェクトに対応する領域の座標、傾き、高さ、幅、面積等の特徴量を算出する。また、例えば、動き解析部１２０２は、マップ１０２０に含まれるオブジェクトに対応する領域の座標、傾き、高さ、幅、面積等の特徴量を算出する。
　更に、動き解析部１２０２は、例えば、マップ１５０とマップ１０２０との間の特徴量の変化量である、座標差、回転角度差、縦横縮尺比等を算出することで、第３の時間（＝ｔ＋ｙ）でのオブジェクトに対応する領域の動きを解析し、動き情報を生成する。また、動き解析部１２０２では、生成した動き情報を、予測部１２０３に通知する。
　予測部１２０３は、動き解析部１２０２より通知された動き情報に基づいて、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測するための変換情報を生成する。また、予測部１２０３は、生成した変換情報に基づいて、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する。なお、予測部１２０３により予測されたマップ１６０'は、エッジ装置１２０に送信される。
　＜画像処理システムによる符号化処理の流れ＞
　次に、画像処理システム１０００全体により実行される符号化処理の流れについて説明する。図１３は、画像処理システムによる符号化処理の流れを示す第２のフローチャートである。図９との相違点は、ステップＳ１３０１～Ｓ１３０４である。
　ステップＳ１３０１において、エッジ装置１２０の解析部１００１は、バッファ部１２１にバッファリングされた画像データから、第３の時間（＝ｔ＋ｙ）の画像データを読み出し、符号化部１２４に通知して符号化した後、クラウド装置１３０に送信する。
　ステップＳ１３０２において、クラウド装置１３０のマップ生成部１３１は、第３の時間（＝ｔ＋ｙ）の画像データに対応するマップを生成する。
　ステップＳ１３０３において、クラウド装置１３０の解析部１００３は、第３の時間（＝ｔ＋ｙ）の画像データに対応するマップの、第１の時間（＝ｔ）の画像データに対応するマップからの変化量を算出する。これにより、クラウド装置１３０の解析部１００３は、第３の時間（＝ｔ＋ｙ）でのオブジェクトに対応する領域の動きを解析し、動き情報を生成する。また、クラウド装置１３０の解析部１００３は、生成した動き情報に基づき、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測するための変換情報を生成する。
　ステップＳ１３０４において、クラウド装置１３０の解析部１００３は、生成された変換情報を用いて、第３の時間（＝ｔ＋ｙ）の画像データに対応するマップを変換することで、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。
　以上の説明から明らかなように、第２の実施形態に係る画像処理システム１０００は、第３の時間の画像データに対応するマップと、第３の時間でのオブジェクトに対応する領域の動きとに基づいて、第２の時間の画像データに対応するマップを予測する。これにより、第２の実施形態に係る画像処理システム１０００によれば、上記第１の実施形態と同様の効果を享受することができる。
　［第３の実施形態］
　上記第１の実施形態と第２の実施形態とでは、異なる手法により、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測し、それぞれの手法で予測したマップを用いて圧縮率を決定した。
　これに対して、第３の実施形態では、第１の実施形態において予測した第２の時間（＝ｔ＋ｘ）の画像データに対応するマップと、第２の実施形態において予測した第２の時間（＝ｔ＋ｘ）の画像データに対応するマップとを用いて、圧縮率を決定する。以下、第１及び第２の実施形態との相違点を中心に説明する。
　＜画像処理システムのシステム構成＞
　図１４は、画像処理システムのシステム構成の一例を示す第３の図である。図１または図１０の画像処理システム１００、１０００との相違点は、解析部１４０１、圧縮率決定部１４０２である。
　図１４に示すように、画像処理システム１４００の場合、解析部１４０１は、第１の時間（＝ｔ）にバッファリングされた画像データ１４０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、解析部１４０１は、第１の時間（＝ｔ）より所定時間（＝ｙ）後の第３の時間（＝ｔ＋ｙ）にバッファリングされた画像データ１０１０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、解析部１４０１は、第１の時間（＝ｔ）より所定時間（＝ｘ）後の第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０を読み出し（ただし、ｙ＜ｘ）、符号化部１２４に通知する。また、解析部１４０１は、第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０の、第１の時間（＝ｔ）にバッファリングされた画像データからの変化量を算出することで、第２の時間（＝ｔ＋ｘ）でのオブジェクトの動きを解析し、動き情報を生成する。更に、解析部１４０１は、生成した動き情報に基づいて変換情報を生成し、圧縮率決定部１２３に通知する。
　圧縮率決定部１４０２は、クラウド装置１３０により生成されたマップであって、第１の時間（＝ｔ）の画像データに対応するマップ１５０を取得する。また、圧縮率決定部１４０２は、取得したマップ１５０を、解析部１４０１より通知された変換情報に基づいて変換し、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０を予測する。
　また、圧縮率決定部１４０２は、クラウド装置１３０により生成されたマップであって、第２の時間（＝ｔ＋ｙ）の画像データに対応するマップ１６０'を取得する。
　また、圧縮率決定部１４０２は、予測したマップ１６０と、取得したマップ１６０'とに基づいて、第２の時間（＝ｔ＋ｘ）の画像データ１８０を符号化する際の各処理ブロックの圧縮率を決定する。更に、圧縮率決定部１４０２は、各処理ブロックについて決定した圧縮率を、圧縮率情報１７０として符号化部１２４に通知する。
　以上の説明から明らかなように、第３の実施形態に係る画像処理システム１４００は、異なる手法により予測した、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップ１６０、１６０'に基づいて圧縮率を決定する。これにより、第３の実施形態に係る画像処理システム１４００によれば、画像認識処理に適した圧縮率を、符号化対象の画像データにおいてより適切な位置に反映させることができる。
　この結果、第３の実施形態に係る画像処理システム１４００によれば、画像認識処理に適した圧縮率を反映した符号化処理を実現することができる。
　［第４の実施形態］
　上記各実施形態では、バッファ部１２１にバッファリングされた時間順に従って画像データを処理することで、時間軸において過去の画像データに対応するマップから、時間軸において未来の画像データに対応するマップを予測する場合について説明した。
　これに対して、第４の実施形態では、バッファ部１２１にバッファリングされた時間順とは異なる順序で画像データを処理する（つまり、画像データを並び替えて処理する）。更に、第４の実施形態では、時間軸上で前後の画像データに挟み込まれている画像データに対応するマップを、前後の画像データに対応する各マップに基づいて予測する。
　例えば、第４の実施形態では、
・第１の時間（＝ｔ）→第２の時間（＝ｔ＋ｘ）→第４の時間（＝ｔ＋ｚ）の時間順にバッファ部１２１にバッファリングされた画像データに対して（ただし、ｘ＜ｚ）、
・第１の時間（＝ｔ）→第４の時間（＝ｔ＋ｚ）→第２の時間（＝ｔ＋ｘ）の時間順に画像データを並び替えて処理する。そして、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを、第１の時間（＝ｔ）の画像データに対応するマップと、第４の時間（＝ｔ＋ｚ）の画像データに対応するマップとに基づいて予測する。
　このように、第４の実施形態では、画像データを並び替え、時間軸上で前後の画像データに挟み込まれている画像データに対応するマップを予測する。これにより、第４の実施形態によれば、時間軸において過去の画像データに対応するマップから未来の画像データに対応するマップを予測する場合と比較して、予測精度を向上させることができる。以下、第４の実施形態について、第１の実施形態との相違点を中心に説明する。
　＜画像処理システムのシステム構成＞
　はじめに、第４の実施形態に係る画像処理システムのシステム構成について説明する。図１５は、画像処理システムのシステム構成の一例を示す第４の図である。図１５に示すように、画像処理システム１５００の場合、図１の画像処理システム１００に対して以下の相違点を有する。
　具体的には、エッジ装置１２０の解析部１５０１が、第１の時間（＝ｔ）より所定時間（＝ｚ＞ｘ）後の第４の時間（＝ｔ＋ｚ）にバッファリングされた画像データ１５１０を読み出し、符号化部１２４に通知して符号化する点である。そして、エッジ装置１２０の解析部１５０１が第４の時間（＝ｔ＋ｚ）にバッファリングされた画像データ１５１０を符号化した符号化データをクラウド装置１３０に送信する点である。
　つまり、エッジ装置１２０の解析部１５０１の場合、第３の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１０１０（図１５において不図示）を読み出す前に、第４の時間（＝ｔ＋ｚ）にバッファリングされた画像データ１５１０を読み出す。これにより、画像データ１０１０と画像データ１５１０との間で並べ替えが行われることになる。
　また、図１の画像処理システム１００との相違点は、エッジ装置１２０の圧縮率決定部１５０２が、クラウド装置１３０より送信されたマップ１６０'に基づいて、圧縮率情報１７０を生成する点である。
　更に、図１の画像処理システム１００との相違点は、クラウド装置１３０が解析部１５０３を有し、解析部１５０３が、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
に基づいて、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する点である。
　なお、所定時間（＝ｚ）は、第１の時間（＝ｔ）と第４の時間（＝ｔ＋ｚ）との間にバッファリングされる画像データの数が、一般的な動画像符号化処理の双方向参照符号化構造を形成するのに必要な数となるように調整されているものとする。
　＜エッジ装置の処理の具体例＞
　次に、エッジ装置１２０の処理の具体例（ここでは、バッファ部１２１の処理の具体例）について説明する。図１６は、エッジ装置のバッファ部の処理の具体例を示す第３の図である。図１６に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データのうち、所定数のフレームの画像データをバッファリングする。第４の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、第１の時間（＝ｔ）の画像データ１４０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０と、第４の時間（＝ｔ＋ｚ）の画像データ１５１０とが含まれる。
　なお、第２の時間（＝ｔ＋ｘ）と第４の時間（＝ｔ＋ｚ）との間には、バッファリングされた複数の画像データが存在してもよいことは、上記第１の実施形態と同様である。
　＜クラウド装置の機能構成及び処理の具体例＞
　次に、クラウド装置１３０の解析部１５０３の機能構成及び処理の具体例について、図１７を用いて説明する。図１７は、クラウド装置の解析部の機能構成及び処理の具体例を示す第２の図である。
　図１７に示すように、クラウド装置１３０の解析部１５０３は、マップ取得部１７０１、動き解析部１７０２、予測部１７０３を有する。
　マップ取得部１７０１は、マップ生成部１３１から通知されるマップの組を取得する。具体的には、マップ取得部１７０１は、マップ生成部１３１において生成された、第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０との組を取得する。また、マップ取得部１７０１は、取得したマップの組を動き解析部１７０２に通知する。
　動き解析部１７０２は、マップ取得部１７０１より通知されたマップの組に基づいて、時間ｚの間に生じたマップの変化量を算出し、算出した変化量に基づいて動き情報を生成する。
　例えば、動き解析部１７０２は、マップ１５０に含まれるオブジェクトに対応する領域の座標、傾き、高さ、幅、面積等の特徴量を算出する。また、例えば、動き解析部１７０２は、マップ１５２０に含まれるオブジェクトに対応する領域の座標、傾き、高さ、幅、面積等の特徴量を算出する。
　更に、動き解析部１７０２は、例えば、マップ１５０とマップ１５２０との間の特徴量の変化量である、座標差、回転角度差、縦横縮尺比等を算出することで、第２の時間（＝ｔ＋ｘ）でのオブジェクトに対応する領域の動きを解析し、動き情報を生成する。また、動き解析部１７０２では、生成した動き情報を、予測部１７０３に通知する。
　予測部１７０３は、動き解析部１７０２より通知された動き情報に基づいて、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
を変換し、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測するための変換情報を生成する。また、予測部１７０３は、生成した変換情報に基づいて、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０と、
・第４の時間（＝ｔ＋ｚ）の画像データ１５１０に対応するマップ１５２０と、
から、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０'を予測する。なお、予測部１７０３により予測されたマップ１６０'は、エッジ装置１２０に送信される。
　＜画像処理システムによる符号化処理の流れ＞
　次に、画像処理システム１５００全体により実行される符号化処理の流れについて説明する。図１８は、画像処理システムによる符号化処理の流れを示す第３のフローチャートである。図９との相違点は、ステップＳ１８０１～Ｓ１８０４である。
　ステップＳ１８０１において、エッジ装置１２０の解析部１５０１は、バッファ部１２１にバッファリングされた画像データから、第４の時間（＝ｔ＋ｚ）の画像データを読み出し、符号化部１２４に通知して符号化した後、クラウド装置１３０に送信する。
　ステップＳ１８０２において、クラウド装置１３０のマップ生成部１３１は、第４の時間（＝ｔ＋ｚ）の画像データに対応するマップを生成する。
　ステップＳ１８０３において、クラウド装置１３０の解析部１５０３は、第４の時間（＝ｔ＋ｚ）の画像データに対応するマップの、第１の時間（＝ｔ）の画像データに対応するマップからの変化量を算出する。これにより、クラウド装置１３０の解析部１５０３は、第２の時間（＝ｔ＋ｘ）でのオブジェクトに対応する領域の動きを解析し、動き情報を生成する。また、クラウド装置１３０の解析部１５０３は、生成した動き情報に基づき、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測するための変換情報を生成する。
　ステップＳ１８０４において、クラウド装置１３０の解析部１５０３は、生成された変換情報を用いて、第１の時間（＝ｔ）及び第４の時間（＝ｔ＋ｘ）の画像データに対応するマップを変換する。これにより、クラウド装置１３０の解析部１５０３では、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップを予測する。
　以上の説明から明らかなように、第４の実施形態に係る画像処理システム１５００は、第１及び第４の時間の画像データに対応するマップと、第２の時間でのオブジェクトに対応する領域の動きとに基づいて、第２の時間の画像データに対応するマップを予測する。これにより、第４の実施形態に係る画像処理システム１５００によれば、上記第１の実施形態と同様の効果を享受することができる。
　［第５の実施形態］
　上記第１乃至第４の実施形態では、撮像装置１１０から送信された動画像データの各フレームの画像データを全てクラウド装置１３０に送信するものとして説明した。これに対して、第５の実施形態では、動画像データの各フレームの画像データのうち、一部の画像データをクラウド装置１３０に送信し、クラウド装置１３０にて一部の画像データに対応するマップを生成する。また、第５の実施形態では、マップが生成された一部の画像データの間に挟まれる他の画像データに対応するマップを、当該一部の画像データに対応するマップに基づいて予測する。以下、第５の実施形態について、上記第１の実施形態との相違点を中心に説明する。
　＜画像処理システムのシステム構成＞
　はじめに、第５の実施形態に係る画像処理システムのシステム構成について説明する。図１９は、画像処理システムのシステム構成の一例を示す第５の図である。図１、図１０、図１４、図１５の画像処理システム１００、１０００、１４００、１５００との相違点は、解析部１９０１、圧縮率決定部１９０２である。
　図１９に示すように、画像処理システム１９００の場合、解析部１９０１は、第１の時間（＝ｔ）にバッファリングされた画像データ１４０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。また、解析部１９０１は、第１の時間（＝ｔ）より所定時間（＝ｘ）後の第２の時間（＝ｔ＋ｘ）にバッファリングされた画像データ１８０を読み出し、符号化部１２４に通知して符号化した後、符号化データをクラウド装置１３０に送信する。
　また、解析部１９０１は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間にバッファリングされた全ての画像データ（図１９の例では、紙面の都合から、画像データ１０１０のみを明示）を読み出し、符号化部１２４に通知する。
　更に、解析部１９０１は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間にバッファリングされた全ての画像データについて、前後の画像データからの変換情報を生成し、圧縮率決定部１９０２に通知する。例えば、解析部１９０１は、画像データ１０１０について、前後の画像データである、画像データ１４０及び画像データ１８０からの変換情報を生成し、圧縮率決定部１９０２に通知する。
　圧縮率決定部１９０２は、クラウド装置１３０により算出されたマップであって、第１の時間（＝ｔ）の画像データに対応するマップ１５０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０とを取得する。また、圧縮率決定部１９０２は、取得したマップ１５０とマップ１６０とを、解析部１９０１より通知された変換情報に基づいて変換し、第３の時間（＝ｔ＋ｙ）の画像データ１０１０に対応するマップ１０２０を予測する。
　また、圧縮率決定部１９０２は、取得したマップ１５０と予測したマップ１０２０とを、解析部１９０１より通知された他の変換情報に基づいて変換し、第１の時間と第３の時間との間の時間の画像データ（不図示）に対応するマップを予測する。
　同様に、圧縮率決定部１９０２は、予測したマップ１０２０と算出したマップ１６０とを、解析部１９０１より通知された他の変換情報に基づいて変換し、第３の時間と第２の時間との間の時間の画像データ（不図示）に対応するマップを予測する。以下、同様の処理を繰り返すことで、圧縮率決定部１９０２では、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間に含まれる全ての画像データに対応するマップを予測する。
　更に、圧縮率決定部１９０２は、第１の時間（＝ｔ）の画像データに対応するマップに基づいて、第１の時間（＝ｔ）の画像データを符号化する際に用いる各処理ブロックの圧縮率を決定し、圧縮率情報１９１０を生成する。また、圧縮率決定部１９０２は、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップに基づいて、第２の時間（＝ｔ＋ｘ）の画像データを符号化する際に用いる各処理ブロックの圧縮率を決定し、圧縮率情報１７０を生成する。更に、圧縮率決定部１９０２は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各画像データに対応する各マップに基づいて、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各画像データを符号化する際に用いる各処理ブロックの圧縮率を決定する。更に、圧縮率決定部１９０２は、決定した各処理ブロックの圧縮率を有する圧縮率情報を生成する。図１９の例は、圧縮率決定部１９０２が、画像データ１０１０を符号化する際に用いる各処理ブロックの圧縮率を決定し、圧縮率情報１９２０を生成した様子を示している。
　＜エッジ装置の各部の機能構成及び処理の具体例＞
　次に、エッジ装置１２０の各部の機能構成及び／又は処理の具体例について図２０～図２２を用いて説明する。
　（１）バッファ部の処理の具体例
　図２０は、エッジ装置のバッファ部の処理の具体例を示す第４の図である。図１９に示すように、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信された動画像データに含まれる各フレームの画像データのうち、所定数のフレームの画像データをバッファリングする。第５の実施形態においてエッジ装置１２０のバッファ部１２１にバッファリングされる画像データには、第１の時間（＝ｔ）の画像データ１４０と、第２の時間（＝ｔ＋ｘ）の画像データ１８０と、第１の時間と第２の時間との間の各時間の画像データとが含まれる。
　図２０の例は、第１の時間と第２の時間との間の各時間の画像データとして、時間ｔ＋ｙ０～時間ｔ＋ｙ６の７フレームの画像データがバッファリングされることを示している。
　（２）解析部の機能構成及び処理の具体例
　次に、解析部１９０１の機能構成及び処理の具体例について説明する。図２１は、エッジ装置の解析部の機能構成及び処理の具体例を示す第２の図である。図２１に示すように、解析部１９０１は、画像データ読み出し部２１０１、動き解析部２１０２、変換情報算出部２１０３を有する。
　画像データ読み出し部２１０１は、バッファ部１２１にバッファリングされた画像データ（例えば、第１の時間の画像データから第２の時間の画像データまで）を読み出す。また、画像データ読み出し部２１０１は、読み出した画像データを動き解析部２１０２及び符号化部１２４に通知する。また、画像データ読み出し部２１０１は、読み出した画像データのうち、符号化部１２４により符号化された第１の時間（＝ｔ）の画像データ及び第２の時間（＝ｔ＋ｘ）の画像データの符号化データを、クラウド装置１３０に送信する。
　動き解析部２１０２は、画像データ読み出し部２１０１から通知された画像データに基づいて、画像データの組を生成し、生成した組に基づいて、生成した組に挟み込まれる画像データの変化量を算出することで動き情報を生成する。
　例えば、第１の時間（＝ｔ）の画像データと、第２の時間（＝ｔ＋ｘ）の画像データとの組に基づいて、時間ｔ＋ｙ３の画像データの変化量を算出することで、時間ｔ＋ｙ３でのオブジェクトの動きを解析し、動き情報を生成する。また、第１の時間（＝ｔ）の画像データと、時間ｔ＋ｙ３の画像データとの組に基づいて、時間ｔ＋ｙ１の画像データの変化量を算出することで、時間ｔ＋ｙ１でのオブジェクトの動きを解析し、動き情報を生成する。また、時間ｔ＋ｙ３の画像データと第２の時間（＝ｔ＋ｘ）の画像データとの組に基づいて、時間ｔ＋ｙ５の画像データの変化量を算出することで時間ｔ＋ｙ５でのオブジェクトの動きを解析し、動き情報を生成する。
　以下、同様に、
・第１の時間（＝ｔ）の画像データと、時間ｔ＋ｙ１の画像データとの組に基づいて、時間ｔ＋ｙ０の画像データの変化量を算出することで、時間ｔ＋ｙ０でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ１の画像データと、時間ｔ＋ｙ３の画像データとの組に基づいて、時間ｔ＋ｙ２の画像データの変化量を算出することで、時間ｔ＋ｙ２でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ３の画像データと、時間ｔ＋ｙ５の画像データとの組に基づいて、時間ｔ＋ｙ４の画像データの変化量を算出することで、時間ｔ＋ｙ４でのオブジェクトの動きを解析し、動き情報を生成する。
・時間ｔ＋ｙ５の画像データと、第２の時間（＝ｔ＋ｘ）の画像データとの組に基づいて、時間ｔ＋ｙ６の画像データの変化量を算出することで、時間ｔ＋ｙ６でのオブジェクトの動きを解析し、動き情報を生成する。
　変換情報算出部２１０３は、動き解析部２１０２より通知されたそれぞれの動き情報に基づいて、画像データの組に対応するマップの組から、画像データの組に挟み込まれる画像データに対応するマップを予測するための変換情報を生成する。図２１の例は、変換情報算出部２１０３が、変換情報ｔ＋ｙ０～ｔ＋ｙ６を生成した様子を示している。
　（２）圧縮率決定部の機能構成及び処理の具体例
　次に、圧縮率決定部１９０２の機能構成及び処理の具体例について説明する。図２２は、エッジ装置の圧縮率決定部の機能構成及び処理の具体例を示す第２の図である。図２２に示すように、圧縮率決定部１９０２は、マップ取得部２２０１、変換情報取得部２２０２、予測部２２０３、圧縮率算出部２２０４を有する。
　マップ取得部２２０１は、クラウド装置１３０よりマップ（例えば、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データ１４０、１８０に対応するマップ１５０、１６０）を取得し、予測部２２０３に通知する。
　変換情報取得部２２０２は、解析部１９０１より変換情報（例えば、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各フレームの画像データについて生成された変換情報ｔ＋ｙ０～ｔ＋ｙ６）を取得する。また、変換情報取得部２２０２は、取得した変換情報ｔ＋ｙ０～ｔ＋ｙ６を、予測部２２０３に通知する。
　予測部２２０３は、マップ取得部２２０１から通知された第１の時間（＝ｔ）の画像データに対応するマップ１５０及び第２の時間（＝ｔ＋ｘ）の画像データに対応するマップ１６０を圧縮率算出部２２０４に通知する。
　また、予測部２２０３は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間の画像データに対応するマップを予測する。例えば、
・第１の時間（＝ｔ）の画像データに対応するマップ１５０と、第２の時間（＝ｔ＋ｘ）の画像データに対応するマップ１６０と、変換情報ｔ＋ｙ３とに基づいて、時間ｔ＋ｙ３の画像データに対応するマップ２２１３を予測する。
・第１の時間（＝ｔ）の画像データに対応するマップ１５０と、時間ｔ＋ｙ３の画像データに対応するマップ２２１３と、変換情報ｔ＋ｙ１とに基づいて、時間ｔ＋ｙ１の画像データに対応するマップを予測する。
・・・
・時間ｔ＋ｙ６の画像データに対応するマップと、第２の時間ｔ＋ｘの画像データ１８０に対応するマップ１６０と、変換情報ｔ＋ｙ６とに基づいて、時間ｔ＋ｙ６の画像データに対応するマップを予測する。
　圧縮率算出部２２０４は、予測部２２０３から通知されるマップに基づいて各処理ブロックの圧縮率を決定し、圧縮率情報を生成する。例えば、圧縮率算出部２２０４は、
・第１の時間（＝ｔ）の画像データ１４０に対応するマップ１５０に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１９１０を生成する。
・・・
・時間ｔ＋ｙ３の画像データに対応するマップ２２１３に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１９２０を生成する。
・・・
・第２の時間（＝ｔ＋ｘ）の画像データ１８０に対応するマップ１６０に基づいて各処理ブロックの圧縮率を決定し、圧縮率情報１７０を生成する。
　＜画像処理システムによる符号化処理の流れ＞
　次に、画像処理システム１９００全体により実行される符号化処理の流れについて説明する。図２３は、画像処理システムによる符号化処理の流れを示す第４のフローチャートである。
　ステップＳ２３０１において、エッジ装置１２０のバッファ部１２１は、撮像装置１１０より送信される動画像データの各フレームの画像データを取得し、バッファリングする。
　ステップＳ２３０２において、エッジ装置１２０の解析部１５０１は、バッファ部１２１にバッファリングされた画像データから、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データを読み出す。また、エッジ装置１２０の解析部１５０１は、読み出した第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データを、符号化部１２４１に通知して符号化した後、クラウド装置１３０に送信する。
　ステップＳ２３０３において、クラウド装置１３０のマップ生成部１３１は、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データに対応するマップをそれぞれ生成し、エッジ装置１２０に送信する。
　ステップＳ２３０４において、エッジ装置１２０の解析部１９０１は、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間のオブジェクトの動きを解析し、動き情報を生成する。また、エッジ装置１２０の解析部１９０１は、生成した動き情報に基づき、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間の画像データに対応する変換情報を生成する。
　ステップＳ２３０５において、エッジ装置１２０の圧縮率決定部１９０２は、生成された変換情報に基づいて、第１の時間（＝ｔ）と第２の時間（＝ｔ＋ｘ）との間の各時間の画像データに対応する各マップを予測する。
　ステップＳ２３０６において、エッジ装置１２０の圧縮率決定部１９０２は、各マップに基づいて、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データを符号化する際の各処理ブロックの圧縮率を決定し、各圧縮率情報を生成する。
　ステップＳ２３０７において、エッジ装置１２０の符号化部１２４は、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データを、対応する各圧縮率情報を用いて符号化する。
　ステップＳ２３０８において、エッジ装置１２０は、符号化処理を終了するか否かを判定する。ステップＳ２３０８において、符号化処理を継続すると判定した場合には（ステップＳ２３０８においてＮＯの場合には）、ステップＳ２３０１に戻る。この場合、画像処理システム１９００では、第２の時間（＝ｔ＋ｘ）をフレーム周期分進めた時間を第１の時間として、同様の処理を実行する。
　一方、ステップＳ２３０８において、符号化処理を終了すると判定した場合には（ステップＳ２３０８においてＹＥＳの場合には）、符号化処理を終了する。
　以上の説明から明らかなように、第５の実施形態に係る画像処理システム１９００は、動画像データの各フレームの画像データのうち、一部の画像データをクラウド装置１３０に送信してマップを生成する。また、第５の実施形態に係る画像処理システム１９００は、生成したマップと、一部の画像データの間の画像データが取得された時間でのオブジェクトの動きとに基づいて、一部の画像データの間の画像データに対応するマップを予測する。これにより、第５の実施形態によれば、上記各実施形態と同様の効果を享受しつつ、更に、エッジ装置１２０とクラウド装置１３０との間の通信量を削減することが可能となる。
　［第６の実施形態］
　上記第１乃至第５の実施形態では、エッジ装置１２０からクラウド装置１３０に画像データを符号化した符号化データを送信し、クラウド装置１３０からエッジ装置１２０にマップを送信する場合について説明した。しかしながら、エッジ装置１２０からクラウド装置１３０に送信する情報は、符号化データに限定されない。また、クラウド装置１３０からエッジ装置１２０に送信する情報は、マップに限定されない。
　図２４は、画像処理システムのシステム構成の一例を示す第６の図である。図２４に示すように、画像処理システム２４００において、エッジ装置１２０の解析部２４０１は、例えば、第１の時間（＝ｔ）の画像データ１４０を送信する際、画像データ１４０に含まれるオブジェクトの位置を示す位置情報を送信してもよい。これにより、クラウド装置１３０のマップ生成部１３１では、画像データ１４０に対して画像認識処理を実行する際、あわせて、位置情報を入力することができる。この結果、マップ生成部１３１では、画像データ１４０に対する認識精度が向上し、より適切なマップ１５０を生成することができる。
　また、図２４に示すように、画像処理システム２４００において、クラウド装置１３０のマップ生成部１３１は、例えば、マップ１５０を送信する際、画像データ１４０に対する画像認識処理の処理結果（認識結果）を送信してもよい。これにより、エッジ装置１２０の圧縮率決定部２４０２では、変換情報に基づいてマップ１６０を予測する際、認識結果を用いることで、より適切なマップを予測することができる。
　以上の説明から明らかなように、第６の実施形態に係る画像処理システム２４００では、エッジ装置１２０及びクラウド装置１３０それぞれにおいて処理を実行した際に得られる情報を、相互に送信する。これにより、エッジ装置１２０及びクラウド装置１３０においてより適切な処理を実現することができる。
　［その他の実施形態］
　上記第５の実施形態では、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データがバッファリングされた際、第１の時間（＝ｔ）及び第２の時間（＝ｔ＋ｘ）の画像データの符号化データをクラウド装置１３０に送信するものとして説明した。しかしながら、第１の時間（＝ｔ）～第２の時間（＝ｔ＋ｘ）の各画像データの符号化データをクラウド装置１３０に送信してもよい。この場合、圧縮率算出部２２０４では、予測部２２０３にて予測されたマップと、クラウド装置１３０にて生成されたマップとに基づいて圧縮率を決定してもよい。
　また、上記第４の実施形態では、バッファリングされた画像データを並べ替えて処理する場合について説明したが、これは、マップの予測精度を上げ、マップの予測難易度を下げるためである。上記説明から明らかなように、並び替えが行われていない場合、クラウド装置１３０により生成されるマップが反映される画像データは、クラウド装置１３０から見た場合、未来の画像データである。一方で、並び替えが行われた場合、複数の画像データを、既にマップが生成された画像データで挟み込むことができる。
　この場合、挟み込まれた画像データに含まれるオブジェクトに対応する領域の動きは、オブジェクトの位置が確定した時間の画像データと、当該時間よりも後の同じくオブジェクトの位置が確定した時間の画像データと、に基づいて解析されることになる。これにより、マップの予測精度を上げ、マップの予測難易度を下げることができる。
　なお、上記第４の実施形態の場合、一般的な動画像符号化処理が画像データを並べ替えて符号化するケースとは異なり、定型的な並べ替えは行わない。これは、圧縮率を決定するための情報が、定型的な並べ替えとは必ずしも一致しないタイミングで、クラウド装置から送信されることもありうるからである。このため、上記第４の実施形態では、定型的な並べ替えを行って符号化処理を実行する代わりに、符号化できるタイミングで符号化処理を行う。この結果、上記第４の実施形態によれば、クラウド装置とエッジ装置との間の送信時間やクラウド装置でのマップ生成時間と、並べ替え後のタイムラグとの差分を小さくすることができる。
　また、上記各実施形態のマップ生成部により生成されるマップは、画素粒度の情報を有するものとして説明したが、マップは、必ずしも画素粒度の情報を有している必要なない。このため、生成したマップは、例えば、粒度の異なる情報を有するマップに変換してもよい。
　具体的には、所定の領域ごとに集計した情報や、所定の領域ごとに集計した情報の統計量、あるいは、所定の領域ごとの量子化値などの圧縮率を示す情報を有するマップに変換してもよい。その場合、エッジ装置１２０には、画素粒度の情報を有するマップを生成する第１の圧縮率決定部と、画素粒度の情報を有するマップから、異なる粒度の情報を有するマップに変換する第２の圧縮率決定部とが含まれることになる。
　図２５は、異なる粒度の情報を有するマップに変換可能な画像処理システムを示す概念図である。図２５において、２５ａは、第１の圧縮率決定部２５１１と第２の圧縮率決定部２５１２とを含めることで、画像処理システム１００（図１）を、異なる粒度の情報を有するマップに変換可能な画像処理システムに変形した場合の概念図を示している。
　また、２５ｂは、第１の圧縮率決定部２５２１と第２の圧縮率決定部２５２２とを含めることで、画像処理システム１０００（図１０）を、異なる粒度の情報を有するマップに変換可能な画像処理装置に変形した場合の概念図を示している。
　更に、２５ｃは、第１の圧縮率決定部２５３１と第２の圧縮率決定部２５３２とを含めることで、画像処理システム１４００（図１４）を、異なる粒度の情報を有するマップに変換可能な画像処理システムに変形した様子を示している。
　このように、異なる粒度の情報を有するマップに変換することで、例えば、クラウド装置からエッジ装置に伝送するデータ量を削減することができる。また、画素粒度の情報を有するマップの場合、オブジェクトに対応する領域の動きを解析する際の演算量が大きいのに対して、異なる粒度の情報を有するマップに変換することで、演算量を削減することができる。更に、画素粒度の情報を有するマップの場合、マップの予測精度が、画素粒度のノイズに影響される可能性があるのに対して、異なる粒度の情報を有するマップに変換することで、画素粒度のノイズの影響を軽減することができる。
　また、上記各実施形態では、画像処理システムがクラウド装置とエッジ装置とを有するものとして説明したが、クラウド装置は、必ずしもクラウド上にある必要はなく、マップ生成部や解析部と、符号化部との間にタイムラグがある状態で配置されてもよい。
　例えば、画像処理システムに含まれるクラウド装置及びマップ装置は、映像解析装置が設置される所定の拠点に配されたエッジ装置、及び、当該拠点において集約装置として機能するセンタ装置であってもよい。あるいは、ネットワークを介することにより生じるタイムラグとは異なる要因でタイムラグが生じる環境下で接続された装置群であってもよい。
　また、上記各実施形態では、画像データより取得される特徴部分と、ＡＩが画像認識処理を実行する際に注目する特徴部分とが、効果的に作用するようにマップを生成するものとしたが、そのうちの一部の特徴部分を用いてマップを生成するようにしてもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　１００　　　：画像処理システム
　１１０　　　：撮像装置
　１２０　　　：エッジ装置
　１２１　　　：バッファ部
　１２２　　　：解析部
　１２３　　　：圧縮率決定部
　１２４　　　：符号化部
　１３０　　　：クラウド装置
　１３１　　　：マップ生成部
　３１０　　　：画像認識部
　３２０　　　：重要特徴マップ生成部
　４１０　　　：リファイン画像生成部
　４２０　　　：重要特徴指標マップ生成部
　６０１　　　：画像データ読み出し部
　６０２　　　：動き解析部
　６０３　　　：変換情報算出部
　７０１　　　：マップ取得部
　７０２　　　：変換情報取得部
　７０３　　　：予測部
　７０４　　　：圧縮率算出部
　１０００　　：画像処理システム
　１００１　　：解析部
　１００２　　：圧縮率決定部
　１００３　　：解析部
　１２０１　　：マップ取得部
　１２０２　　：動き解析部
　１２０３　　：予測部
　１４００　　：画像処理システム
　１４０１　　：解析部
　１４０２　　：圧縮率決定部
　１５０１　　：解析部
　１５０２　　：圧縮率決定部
　１７０１　　：マップ取得部
　１７０２　　：動き解析部
　１７０３　　：予測部
　１９００　　：画像処理システム
　１９０１　　：解析部
　１９０２　　：圧縮率決定部
　２１０１　　：画像データ読み出し部
　２１０２　　：動き解析部
　２１０３　　：変換情報算出部
　２２０１　　：マップ取得部
　２２０２　　：変換情報取得部
　２２０３　　：予測部
　２２０４　　：圧縮率算出部
　２４００　　：画像処理システム
　２４０１　　：解析部
　２４０２　　：圧縮率決定部

Claims (12)

  1. 　第１の時間に取得された第１の画像データに対して画像認識処理を実行することで、画像認識処理に影響を与える特徴部分を示す情報を生成する生成部と、
    　前記第１の時間での前記特徴部分を示す情報に基づいて、前記第１の時間より後の第２の時間での前記特徴部分を示す情報を予測する予測部と、
    　予測した前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する符号化部と
    　を有する画像処理システム。
  2. 　前記第１の画像データに含まれるオブジェクトの特徴量と、
    　前記第２の画像データに含まれる該オブジェクトの特徴量と、
    に基づいて、前記第２の時間での該オブジェクトの動きを解析し、
    　前記予測部は、
    　前記第１の時間での前記特徴部分を示す情報と、
    　解析された前記第２の時間での該オブジェクトの動きと、
    に基づいて、前記第２の時間での第１の前記特徴部分を示す情報を予測する、請求項１に記載の画像処理システム。
  3. 　前記第１の時間での前記特徴部分を示す情報に基づいて算出された、オブジェクトの領域の特徴量と、
    　前記第１の時間と前記第２の時間との間の第３の時間に取得された第３の画像データに対して前記生成部が画像認識処理を実行することで生成した前記第３の時間での前記特徴部分を示す情報に基づいて算出された該オブジェクトの領域の特徴量と、
    に基づいて、前記第３の時間での該オブジェクトの領域の動きを解析し、
    　前記予測部は、
    　前記第３の時間での前記特徴部分を示す情報と、
    　解析された前記第３の時間での該オブジェクトの領域の動きと、
    に基づいて、前記第２の時間での第２の前記特徴部分を示す情報を予測する、請求項２に記載の画像処理システム。
  4. 　前記符号化部は、
    　第１の前記特徴部分を示す情報と、
    　第２の前記特徴部分を示す情報と、
    に基づく圧縮率を用いて、前記第２の画像データを符号化する、請求項３に記載の画像処理システム。
  5. 　前記生成部は、
    　前記特徴部分を示す情報を、画像データが取得された順序とは異なる順序で生成し、
    　前記予測部は、
    　前記特徴部分を示す情報を予測する際、時間軸において前後の画像データに対して前記生成部が画像認識処理を実行することで生成した前記特徴部分を示す情報を用いて予測する、請求項１に記載の画像処理システム。
  6. 　前記第１の時間での前記特徴部分を示す情報に基づいて算出された、オブジェクトの領域の特徴量と、
    　前記第２の時間より後の第４の時間に取得された第４の画像データに対して前記生成部が画像認識処理を実行することで生成した前記第４の時間での前記特徴部分を示す情報に基づいて算出された該オブジェクトの領域の特徴量と、
    に基づいて、前記第２の時間での該オブジェクトの領域の動きを解析し、
    　前記予測部は、
    　前記第１の時間での前記特徴部分を示す情報と、
    　前記第４の時間での前記特徴部分を示す情報と、
    　解析された前記第２の時間での前記オブジェクトの領域の動きと、
    に基づいて、前記第２の時間での前記特徴部分を示す情報を予測する、請求項５に記載の画像処理システム。
  7. 　前記生成部は、
    　取得された複数の画像データのうちの一部の画像データに対して画像認識処理を実行することで、前記特徴部分を示す情報を生成し、
    　前記予測部は、
    　前記特徴部分を示す情報を予測する際、時間軸において前後の画像データについて生成された前記特徴部分を示す情報を用いて予測する、請求項１に記載の画像処理システム。
  8. 　前記第１の画像データに含まれるオブジェクトの特徴量と、
    　前記第２の時間より後の第４の時間に取得された第４の画像データに含まれる該オブジェクトの特徴量と、
    に基づいて、前記第２の時間での該オブジェクトの動きを解析し、
    　前記予測部は、
    　前記第１の時間での前記特徴部分を示す情報と、
    　前記生成部が前記第４の画像データに対して画像認識処理を実行することで生成した前記第４の時間での前記特徴部分を示す情報と、
    　解析された前記第２の時間での該オブジェクトの動きと、
    に基づいて、前記第２の時間での前記特徴部分を示す情報を予測する、請求項７に記載の画像処理システム。
  9. 　前記符号化部は、
    　前記予測部により予測された前記第２の時間での前記特徴部分を示す情報と、
    　前記生成部が前記第２の画像データに対して画像認識処理を実行することで生成した前記第２の時間での前記特徴部分を示す情報と、
    に基づく圧縮率を用いて、前記第２の画像データを符号化する、請求項８に記載の画像処理システム。
  10. 　前記符号化部は、
    　前記第２の画像データを符号化する際の処理ブロックごとに、予測した前記特徴部分を示す情報を集計し、集計結果に基づいて決定された処理ブロックごとの圧縮率を用いて、前記第２の画像データを符号化する、請求項１に記載の画像処理システム。
  11. 　第１の時間に取得された第１の画像データに対して画像認識処理を実行することで生成された、画像認識処理に影響を与える特徴部分を示す情報に基づいて、前記第１の時間より後の第２の時間での前記特徴部分を示す情報を予測する予測部と、
    　予測した前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する符号化部と
    　を有する画像処理装置。
  12. 　第１の時間に取得された第１の画像データに対して画像認識処理を実行することで生成された、画像認識処理に影響を与える特徴部分を示す情報に基づいて、前記第１の時間より後の第２の時間での前記特徴部分を示す情報を予測し、
    　予測した前記特徴部分を示す情報に基づく圧縮率を用いて、前記第２の時間に取得された第２の画像データを符号化する、
    　処理をコンピュータに実行させるための画像処理プログラム。
PCT/JP2020/020742 2020-05-26 2020-05-26 画像処理システム、画像処理装置及び画像処理プログラム WO2021240647A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/020742 WO2021240647A1 (ja) 2020-05-26 2020-05-26 画像処理システム、画像処理装置及び画像処理プログラム
JP2022527320A JP7505552B2 (ja) 2020-05-26 2020-05-26 画像処理システム、画像処理装置及び画像処理プログラム
US17/955,595 US20230014220A1 (en) 2020-05-26 2022-09-29 Image processing system, image processing device, and computer-readable recording medium storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020742 WO2021240647A1 (ja) 2020-05-26 2020-05-26 画像処理システム、画像処理装置及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/955,595 Continuation US20230014220A1 (en) 2020-05-26 2022-09-29 Image processing system, image processing device, and computer-readable recording medium storing image processing program

Publications (1)

Publication Number Publication Date
WO2021240647A1 true WO2021240647A1 (ja) 2021-12-02

Family

ID=78723240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020742 WO2021240647A1 (ja) 2020-05-26 2020-05-26 画像処理システム、画像処理装置及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20230014220A1 (ja)
JP (1) JP7505552B2 (ja)
WO (1) WO2021240647A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014022787A (ja) * 2012-07-12 2014-02-03 Canon Inc 画像符号化装置、画像符号化方法
WO2020080141A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 センサ装置、信号処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6073075B2 (ja) 2012-05-17 2017-02-01 クラリオン株式会社 車載カメラシステム及びこれに用いる映像受信装置
US10972733B2 (en) 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014022787A (ja) * 2012-07-12 2014-02-03 Canon Inc 画像符号化装置、画像符号化方法
WO2020080141A1 (ja) * 2018-10-19 2020-04-23 ソニー株式会社 センサ装置、信号処理方法

Also Published As

Publication number Publication date
JP7505552B2 (ja) 2024-06-25
US20230014220A1 (en) 2023-01-19
JPWO2021240647A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
Djelouah et al. Neural inter-frame compression for video coding
US11375208B2 (en) Trisoup node size per slice
US20210099715A1 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (vqa)
CN104885455B (zh) 一种用于视频编码的计算机实现的方法及装置
CN113196761A (zh) 用于评估视频的主观质量的方法及装置
CN112399176B (zh) 一种视频编码方法、装置、计算机设备及存储介质
US8780997B2 (en) Regulation of decode-side processing based on perceptual masking
US11012718B2 (en) Systems and methods for generating a latent space residual
CN107371029B (zh) 基于内容的视频包优先级分配方法
US11659193B2 (en) Framework for video conferencing based on face restoration
US10972749B2 (en) Systems and methods for reconstructing frames
JP7434604B2 (ja) ニューラル画像圧縮における画像置換を用いたコンテンツ適応型オンライン訓練
US20220284632A1 (en) Analysis device and computer-readable recording medium storing analysis program
CN114900691B (zh) 编码方法、编码器及计算机可读存储介质
US11979565B2 (en) Content-adaptive online training method and apparatus for post-filtering
US20220405979A1 (en) Content-adaptive online training method and apparatus for deblocking in block-wise image compression
KR20230124017A (ko) 포인트 클라우드 인코딩 및 디코딩 방법과 시스템,포인트 클라우드 인코더 및 포인트 클라우드 디코더
JP2023543752A (ja) 点群コーデック方法及びシステム、並びに点群エンコーダ及び点群デコーダ
CN116170594B (zh) 一种基于率失真代价预测的编码方法和装置
WO2021240647A1 (ja) 画像処理システム、画像処理装置及び画像処理プログラム
JP7368639B2 (ja) ビデオ符号化のための方法、装置及びコンピュータプログラム
EP4072138A1 (en) Microdosing for low bitrate video compression
RU2777392C1 (ru) Способ и устройство для кодирования видеоданных
US20230262236A1 (en) Analysis device, analysis method, and computer-readable recording medium storing analysis program
US20230247212A1 (en) Device and method for encoding and decoding image using ai

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20937222

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527320

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20937222

Country of ref document: EP

Kind code of ref document: A1