WO2023047516A1 - 画像処理システム、符号化装置、符号化方法及び符号化プログラム - Google Patents

画像処理システム、符号化装置、符号化方法及び符号化プログラム Download PDF

Info

Publication number
WO2023047516A1
WO2023047516A1 PCT/JP2021/035014 JP2021035014W WO2023047516A1 WO 2023047516 A1 WO2023047516 A1 WO 2023047516A1 JP 2021035014 W JP2021035014 W JP 2021035014W WO 2023047516 A1 WO2023047516 A1 WO 2023047516A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
compression rate
accuracy
encoding
result
Prior art date
Application number
PCT/JP2021/035014
Other languages
English (en)
French (fr)
Inventor
智規 久保田
知行 上野
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2023549243A priority Critical patent/JPWO2023047516A1/ja
Priority to PCT/JP2021/035014 priority patent/WO2023047516A1/ja
Publication of WO2023047516A1 publication Critical patent/WO2023047516A1/ja
Priority to US18/444,823 priority patent/US20240193817A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Definitions

  • the present invention relates to an image processing system, an encoding device, an encoding method, and an encoding program.
  • the data size is reduced by encoding to reduce recording and transmission costs.
  • the multiple AI processes are included and the limit compression rate differs for each process.
  • the multiple processes include object detection processing by AI and distance measurement processing by AI for the detected target object.
  • decoded data with the image quality required for ranging processing cannot be obtained.
  • a situation may arise in which appropriate distance measurement processing cannot be performed on the object.
  • the purpose is to be able to generate decrypted data that can be used in multiple processes by AI.
  • an image processing system comprises: Compression that is determined so that when multiple processes are performed by AI on the decoded data generated by decoding the encoded image data, the result of any process can obtain a predetermined accuracy. and an encoding unit for encoding the image data at a rate.
  • FIG. 1 is a diagram showing an example of the system configuration of an image processing system.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an encoding device and an image analysis device;
  • FIG. 3 is a diagram showing a specific example of compression rate control processing.
  • FIG. 4 is a first flowchart showing the flow of compression rate control processing.
  • FIG. 5A is a first diagram showing an example of a compression ratio control result.
  • FIG. 5B is a second diagram illustrating an example of a compression ratio control result.
  • FIG. 6 is a diagram showing an example of the system configuration of the image processing system in a specific phase.
  • FIG. 7 is a diagram illustrating an example of a result of processing by each processing unit;
  • FIG. 8 is a diagram showing an example of rule information.
  • FIG. 1 is a diagram showing an example of the system configuration of an image processing system.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an encoding device and an image analysis device
  • FIG. 9 is a flowchart showing the flow of rule information generation processing.
  • FIG. 10 is a diagram showing an example of the system configuration of the image processing system in the encoding phase.
  • FIG. 11 is a second flowchart showing the flow of compression rate control processing.
  • FIG. 12 is a diagram illustrating an example of a result of switching compression ratios.
  • FIG. 1 is a diagram showing an example of the system configuration of an image processing system.
  • the image processing system 100 has an imaging device 110, an encoding device 120, and an image analysis device .
  • the encoding device 120 and the image analysis device 130 are communicably connected via a network (not shown).
  • the image capture device 110 captures images in a predetermined frame cycle and transmits moving image data to the encoding device 120 .
  • An encoding program is installed in the encoding device 120, and the encoding device 120 functions as an encoding unit 121 and a compression rate setting unit 122 by executing the encoding program.
  • the encoding unit 121 encodes image data of each frame included in moving image data to generate encoded data.
  • the encoding unit 121 uses the compression rate map set by the compression rate setting unit 122 (indicating the compression rate of each region when image data is encoded at a different compression rate for each region). map) to encode the image data.
  • the encoding unit 121 also transmits the generated encoded data to the image analysis device 130 .
  • the compression rate setting unit 122 sets the acquired compression rate map in the encoding unit 121 each time the compression rate map generated by the image analysis device 130 is acquired. As a result, the compression rate of each region is appropriately controlled when the encoding unit 121 encodes the image data.
  • An image analysis program is installed in the image analysis device 130.
  • the image analysis device 130 functions as a decoding unit 131, processing units 132_1 to 132_n, an output unit 133, an accuracy monitoring unit 134, and a compression rate map generation unit 135 by executing the image analysis program.
  • the decoding unit 131 decodes the encoded data transmitted from the encoding device 120 and generates decoded data.
  • the processing units 132_1 to 132_n each perform AI processing on the decoded data in parallel.
  • the n types of processing (where n is an integer of 2 or more) by AI include, for example, processing for identifying attributes of each of n types of different objects included in the decrypted data (for example, processing for identifying pedestrian attributes, vehicle , etc.) may be included.
  • the output unit 133 outputs the results of processing performed on the decoded data by the processing units 132_1 to 132_n.
  • the accuracy monitoring unit 134 performs accuracy monitoring processing based on the rule information 136. It is assumed that the rule information 136 defines rules for determining the compression rate when each of the processing units 132_1 to 132_n performs AI processing on decoded data in parallel. Specifically, in the case of this embodiment, the rule information 136 prescribes "determine the compression ratio so that any processing by AI can obtain a result with a predetermined accuracy or higher". do.
  • the accuracy monitoring unit 134 monitors whether or not a predetermined accuracy is obtained for the results of processing performed on the decoded data by the processing units 132_1 to 132_n. Further, when the accuracy monitoring unit 134 determines that the predetermined accuracy is not obtained for the result of any of the processing by the processing units 132_1 to 132_n, the accuracy monitoring unit 134 determines a new compression ratio so as to obtain the predetermined accuracy. do.
  • the compression rate map generation section 135 When a new compression rate is determined by the accuracy monitoring section 134, the compression rate map generation section 135 generates a compression rate map based on the determined new compression rate. In this embodiment, the compression rate map generation unit 135 generates a compression rate map in which the determined new compression rate is stored in the entire area of the image data. The compression rate map generation unit 135 generates a compression rate map each time a new compression rate is determined, and transmits the generated compression rate map to the encoding device 120 .
  • each unit surrounded by a dashed line indicates that each region is Compression rate control processing is executed to appropriately control the compression rate.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of an encoding device and an image analysis device
  • 2a of FIG. 2 is a diagram showing an example of the hardware configuration of the encoding device.
  • the encoding device 120 has a processor 201 , a memory 202 , an auxiliary storage device 203 , an I/F (Interface) device 204 , a communication device 205 and a drive device 206 .
  • Each piece of hardware of the encoding device 120 is interconnected via a bus 207 .
  • the processor 201 has various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (for example, an encoding program, etc.) onto the memory 202 and executes them.
  • the memory 202 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and the processor 201 executes various programs read onto the memory 202, thereby realizing various functions of the computer.
  • the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201 .
  • the I/F device 204 is a connection device that connects the imaging device 110, which is an example of an external device, and the encoding device 120.
  • the communication device 205 is a communication device for communicating with the image analysis device 130 via a network.
  • a drive device 206 is a device for setting a recording medium 210 .
  • the recording medium 210 here includes media such as CD-ROMs, flexible disks, magneto-optical disks, etc. that record information optically, electrically, or magnetically.
  • the recording medium 210 may also include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory.
  • auxiliary storage device 203 Various programs to be installed in the auxiliary storage device 203 are installed by, for example, setting the distributed recording medium 210 in the drive device 206 and reading the various programs recorded in the recording medium 210 by the drive device 206. be done. Alternatively, various programs installed in the auxiliary storage device 203 may be installed by being downloaded from the network via the communication device 205 .
  • 2b of FIG. 2 is a diagram showing an example of the hardware configuration of the image analysis device 130.
  • the processor 22 for example, reads an image analysis program or the like onto the memory 222 and executes it.
  • the I/F device 224 receives operations for the image analysis device 130 via the operation device 231 . Also, the I/F device 224 outputs the result of processing by the image analysis device 130 and displays it via the display device 232 . Also, the communication device 225 communicates with the encoding device 120 via a network.
  • FIG. 3 is a diagram showing a specific example of compression rate control processing. Note that in the example of FIG. 3, there are two processing units (processing unit 132_1 and processing unit 132_2) for simplification of explanation.
  • reference numeral 310 indicates image data of each frame included in moving image data.
  • the example of FIG. 3 shows that the situation around the shooting position changed from "scene A” to "scene B" with the passage of time.
  • reference numeral 320 indicates the compression rate of the entire area at each time, with the horizontal axis indicating time and the vertical axis indicating compression rate.
  • the compression rate map generation unit 135 generates two compression rate maps including new compression rates in response to changes in the surroundings of the imaging position.
  • reference numeral 330 indicates the accuracy of the result of processing performed on the decoded data by the processing unit 132_1, with the horizontal axis indicating time and the vertical axis indicating accuracy. Also, the dotted line indicates the allowable accuracy.
  • the result of processing by the processing unit 132_1 was above the allowable accuracy at time t1 , but the situation around the shooting position changed from "scene A" to "scene B.” At later time t2 , the accuracy is less than the allowable accuracy. Further, the result of processing by the processing unit 132_1 greatly exceeds the allowable accuracy at time t3 after the compression rate map including the new compression rate is set for the first time. Furthermore, the result of processing by the processing unit 132_1 approaches the allowable accuracy at time t4 after the compression rate map including the new compression rate is set for the second time.
  • reference numeral 340 indicates the accuracy of the result of processing by the processing unit 132_2 performed on the decoded data, with the horizontal axis indicating time and the vertical axis indicating accuracy. Also, the dotted line indicates the allowable accuracy.
  • the result of the processing by the processing unit 132_2 was above the allowable accuracy at time t1 and time t2 , but the situation around the shooting position changed from "scene A" to "scene Between time t2 and time t3 after the change to B", the accuracy is approaching acceptable accuracy. Further, the result of processing by the processing unit 132_2 greatly exceeds the allowable accuracy at time t3 after the compression rate map including the new compression rate is set for the first time. Furthermore, the result of processing by the processing unit 132_1 approaches the allowable accuracy at time t4 after the compression rate map including the new compression rate is set for the second time.
  • the compression ratio control processing will be described with reference to reference numerals 310, 330, and 340. While “Scene A" continues, the encoding unit 121 is set to the default compression rate, and the result of processing by the processing unit 132_1 and the result of processing by the processing unit 132_2 both exceed the allowable accuracy. ing.
  • the accuracy monitoring unit 134 sets a compression ratio lower than the current compression ratio as a new compression ratio, as indicated by reference numeral 320. decide. Further, the compression rate map generation unit 135 generates a compression rate map storing the determined new compression rate in the entire area of the image data, and the compression rate setting unit 122 encodes the generated compression rate map. 121 is set. As a result, the image quality of the decoded data is improved, and both the result of processing by the processing unit 132_1 and the result of processing by the processing unit 132_2 greatly exceed the allowable accuracy.
  • the result of the processing by the processing units 132_1 and 132_2 greatly exceeds the allowable accuracy.
  • the compression ratio is determined as a new compression ratio.
  • the compression rate map generation unit 135 generates a compression rate map storing the determined new compression rate in the entire area of the image data, and the compression rate setting unit 122 encodes the generated compression rate map. 121 is set.
  • any AI processing result can be obtained with a predetermined accuracy. That is, according to the present embodiment, it is possible to generate decoded data that can be used in multiple processes by AI.
  • the method of calculating the accuracy of the results of processing by each processing unit is arbitrary.
  • the processing unit performs a process of identifying an attribute of an object
  • the accuracy of the identified attribute or the transition of the accuracy may be calculated as the accuracy of the result of the process.
  • the processing unit when the processing unit performs a process of detecting an object, for example, the detection frequency of the object in a plurality of decoded data or the transition of the detection frequency may be calculated as the accuracy of the processing result. .
  • the processing unit performs the process of measuring the distance to the object, for example, the fluctuation of the distance to the object in each of the plurality of decoded data or the transition of the fluctuation is used as the accuracy of the processing result. can be calculated.
  • the accuracy monitoring unit 134 monitors the accuracy of the results of processing by the processing units 132_1 and 132_2 for the entire area of the image data. Further, the compression rate map generation unit 135 generated a compression rate map by storing the determined new compression rate in the entire area of the image data.
  • the compression rate map generation method is not limited to this.
  • the accuracy monitoring unit 134 monitors the results of processing by the processing units 132_1 and 132_2 for each compression rate setting granularity (for example, an encoding block in video encoding) that can be set by the encoding unit 121. may be monitored for accuracy.
  • the compression rate map generation unit 135 can generate a compression rate map that stores the compression rate determined for each set granularity.
  • a compression rate map is generated in which the compression rate determined based on the respective accuracies of the results of processing by the processing units 132_1 and 132_2 is stored in each region for each set granularity in the image data. It will be.
  • the position information of objects whose attributes are identified by the processing units 132_1, 132_2, . etc. is effective.
  • FIG. 4 is a first flowchart showing the flow of compression rate control processing.
  • step S401 the accuracy monitoring unit 134 reads the predefined rule information 136.
  • step S402 the compression rate map generation unit 135 generates a compression rate map in which the default compression rate is stored in the entire area of the image data, and the compression rate setting unit 122 encodes the generated compression rate map. 121 is set.
  • step S403 the accuracy monitoring unit 134 acquires the results of processing by the processing units 132_1 to 132_n and calculates the accuracy of each processing result.
  • step S404 the accuracy monitoring unit 134 determines whether or not there is a processing unit whose processing result is equal to or less than the allowable accuracy. If it is determined in step S404 that there is a processing unit whose processing result is equal to or less than the allowable accuracy (if YES in step S404), the process proceeds to step S407.
  • step S407 the accuracy monitoring unit 134 adjusts the accuracy and A new compression ratio is determined according to the difference from the allowable accuracy.
  • step S404 determines whether there is no processing unit whose processing result is equal to or less than the allowable accuracy (NO in step S404). If it is determined in step S404 that there is no processing unit whose processing result is equal to or less than the allowable accuracy (NO in step S404), the process proceeds to step S405.
  • step S405 the accuracy monitoring unit 134 identifies the minimum accuracy among the accuracies of the results of processing by the processing units 132_1 to 132_n, and calculates the difference between the identified minimum accuracy and the allowable accuracy. .
  • step S406 the accuracy monitoring unit 134 determines whether or not the calculated difference is equal to or greater than a predetermined threshold (that is, whether or not the specified minimum accuracy exceeds the allowable accuracy by a predetermined threshold or more). If it is determined in step S406 that it is less than the predetermined threshold value (NO in step S406), the process proceeds to step S409.
  • a predetermined threshold that is, whether or not the specified minimum accuracy exceeds the allowable accuracy by a predetermined threshold or more. If it is determined in step S406 that it is less than the predetermined threshold value (NO in step S406), the process proceeds to step S409.
  • step S406 determines whether it is equal to or greater than the predetermined threshold (if YES in step S406). If it is determined in step S406 that it is equal to or greater than the predetermined threshold (if YES in step S406), the process proceeds to step S407.
  • step S407 the accuracy monitoring unit 134 determines a new compression ratio according to the difference between the minimum accuracy and the allowable accuracy so that the minimum accuracy approaches the allowable accuracy.
  • step S408 the compression rate map generation unit 135 generates a compression rate map in which the determined new compression rate is stored in the entire area of the image data, and the compression rate setting unit 122 stores the generated compression rate map. is set in the encoding unit 121 .
  • step S409 the accuracy monitoring unit 134 determines whether or not to end the compression rate control process. If it is determined in step S409 to continue the compression rate control process (NO in step S409), the process returns to step S403.
  • step S409 if it is determined in step S409 that the compression rate control process should end (if YES in step S409), the compression rate control process ends.
  • FIG. 5A is a first diagram showing an example of a compression ratio control result.
  • decoded data 510 to 513 represent decoded data processed by the processing unit 132_1 at times t 1 to t 4 in FIG. 3, respectively.
  • decoded data 520 to 523 indicate decoded data processed by the processing unit 132_2 at times t 1 to t 4 in FIG. 3, respectively.
  • the difference in hatching density indicates the difference in image quality of the decoded data due to the difference in compression rate. Specifically, the lighter the hatching, the lower the compression rate and the higher the image quality of the decoded data, and the darker the hatching, the higher the compression rate and the lower the image quality of the decoded data.
  • FIG. 5A shows that the processing unit 132_1 and the processing unit 132_2 were able to identify the attribute of the target object ⁇ and the processing unit 132_2, respectively, at time t1 before the situation around the shooting position changed. ing.
  • FIG. 5A shows that the processing unit 132_1 cannot identify the attribute of the target object ⁇ at time t2 due to a change in the circumstances around the imaging position.
  • the compression rate is appropriately controlled in response to the inability of the processing unit 132_1 to identify the attribute of the target object ⁇ . This indicates that the processing unit 132_1 has become able to identify the attribute of the target object ⁇ .
  • FIG. 5B is a second diagram showing an example of the compression ratio control result.
  • the example of FIG. 5B shows a case where accuracy is monitored for each set granularity of the compression rate.
  • accuracy is monitored in each of two regions.
  • the processing unit 132_1 identifies only the attribute of the object ⁇ positioned below by processing the decoded data 531 by the processing unit 132_1. Further, the processing unit 132_2 identifies both the attribute of the object ⁇ located below and the attribute of the object ⁇ located above by processing the decoded data 541 by the processing unit 132_2.
  • the processing unit 132_1 processes the decoded data 532 after the compression ratio of the upper region is appropriately controlled, so that the processing unit 132_1 determines the attribute of the object ⁇ positioned below and the This indicates that both attributes of the object ⁇ located at are successfully identified.
  • the processing unit 132_2 processes the decoded data 542 after the compression rate of the upper region has been appropriately controlled, so that the processing unit 132_2 determines the attributes of the object ⁇ located below. and the attributes of the object ⁇ positioned above have been identified.
  • the image processing system 100 monitors the accuracy of the results of multiple processing by AI, and appropriately controls the compression rate of each region according to the monitored accuracy.
  • the image processing system 100 according to the first embodiment even if the image quality of the decoded data deteriorates due to a change in the situation around the shooting position, the image quality can be improved by changing the compression rate.
  • the result of processing by any AI will be able to obtain acceptable accuracy.
  • each process eg, x+1th process
  • the image processing system according to the second embodiment is equipped with a function for sequentially switching the compression rate.
  • a specific phase for identifying a switching method when sequentially switching compression ratios An encoding phase in which the compression rate is sequentially switched and encoded according to the specified switching method; to run.
  • the second embodiment will be described below by dividing into a specific phase and an encoding phase. However, the description will focus on the differences from the first embodiment.
  • FIG. 6 is a diagram showing an example of the system configuration of the image processing system in a specific phase.
  • an image processing system 600 in a specific phase has an encoding device 620 and an image analysis device 630 .
  • An encoding program is installed in the encoding device 620, and the encoding device 620 functions as the encoding unit 121 and the compression rate setting unit 622 by executing the encoding program.
  • the encoding unit 121 has the same function as the encoding unit 121 described using FIG. 1 in the first embodiment, so the description is omitted here. However, in the identification phase, the encoding unit 121 encodes the image data of each frame included in the identification moving image data to generate encoded data.
  • the compression rate setting unit 622 sets the acquired compression rate map in the encoding unit 121 each time the compression rate map generated by the image analysis device 630 is acquired. In the specific phase, the compression rate setting unit 622 creates a compression rate map in which the compression rate is lowered step by step in order to search for a compression rate that can provide the image quality required by each of the plurality of AI processes. Set to 121.
  • An image analysis program is installed in the image analysis device 630.
  • the image analysis device 630 functions as the decoding unit 131, the first processing unit 632_1, the second processing unit 632_2, . . .
  • the image analysis device 630 also functions as a processing result analysis unit 634 , a compression ratio map generation unit 635 and a rule information generation unit 636 .
  • decoding unit 131 and the output unit 133 have already been explained using FIG. 1 in the first embodiment, so explanations thereof are omitted here.
  • a processing unit that sequentially performs processing by AI is, for example, -
  • the first processing unit 632_1 performs an object detection process for detecting a predetermined object from the decoded data, Performing distance measurement processing for measuring the distance to the detected object by the second processing unit 632_2, -Perform a situation judgment process for judging the situation of the object based on the distance measured by the third processing unit 632_3; Refers to the processing unit, etc.
  • the first processing unit 632_1, the second processing unit 632_2, . Process each decoded data generated by decoding.
  • first processing unit 632_1 the second processing unit 632_2, .
  • the processing result analysis unit 634 acquires the result of processing performed on each decoded data from each of the first processing unit 632_1, the second processing unit 632_2, . In addition, the processing result analysis unit 634 analyzes the acquired processing results in the specific phase, and provides the image quality necessary for each processing unit to output the appropriate processing result. Search ratios to identify switching compression ratios.
  • the compression rate map generation unit 635 sequentially generates a compression rate map in which the stepwise lowered compression rate is stored in all areas in the specific phase, and transmits the compression rate map to the encoding device 620 .
  • the rule information generation unit 636 identifies a switching condition for switching the compression ratio and a switching area based on the switching compression ratio of each processing unit searched by the processing result analysis unit 634 . Then, the rule information generating unit 636 generates rule information defining rules for determining the compression rate when AI processing is sequentially performed on the decoded data.
  • ⁇ Conditions for switching the compression rate ⁇ A region where the compression rate is switched when the condition is satisfied, ⁇ When the condition is satisfied, the switching compression rate (switching compression rate), contains decision rules that specify
  • each part surrounded by a dashed line performs rule information generation processing for generating rule information.
  • FIG. 7 is a diagram illustrating an example of a result of processing by each processing unit
  • decoded data 710 to 730 represent decoded data generated by encoding and decoding the image data of each frame included in the moving image data for identification by gradually decreasing the compression rate.
  • decoded data 710 indicates decoded data in which an object is detected by the object detection processing by the first processing unit 632_1.
  • Decoded data 720 indicates decoded data in which the object is detected by the first processing unit 632_1 and the distance to the object is measured by distance measurement processing by the second processing unit 632_2.
  • the decoded data 730 the object is detected by the first processing unit 632_1, the distance to the object is measured by the second processing unit 632_2, and the situation of the object is judged by the situation judgment processing by the third processing unit 632_3. Decrypted data is shown.
  • the first processing unit 632_1 can appropriately detect the object from the decoded data 710.
  • the processing result analysis unit 634 can specify a compression ratio of 1 as the switching compression ratio of the first processing unit 632_1.
  • the second processing unit 632_2 appropriately measures the distance to the object in the area where the object is detected in the decoded data 720. be able to.
  • the processing result analysis unit 634 can specify the compression ratio of 2 as the switching compression ratio of the second processing unit 632_2.
  • the third processing unit 632_3 detects the target object in the decoded data 730 based on the distance to the target object. Appropriately judge the situation of things. Thereby, the processing result analysis unit 634 can specify the compression ratio of 3 as the switching compression ratio of the third processing unit 632_3.
  • FIG. 8 is a diagram showing an example of rule information. Also here, for the sake of simplification of explanation, the case where the image analysis device 130 has the first processing section 632_1 to the third processing section 632_3 will be explained.
  • the code 810 is The image quality required when the first processing unit 632_1 performs processing, The image quality required when the second processing unit 632_2 performs processing, The image quality required when the third processing unit 632_3 performs processing, are different from each other and (Image quality required for processing by the first processing unit 632_1) ⁇ (Image quality required for processing by the second processing unit 632_2) ⁇ (Required for processing by the third processing unit 632_3 image quality) and the switching compression rate is ⁇ Compression rate 1>Compression rate 2>Compression rate 3 It indicates that it has been identified as
  • a compression ratio of 1 is set for the entire area of image data as a default; Switching the compression ratio of the area corresponding to the result of the processing by the first processing unit in the image data to the compression ratio of 2 on the condition that the result of the processing by the first processing unit 632_1 is output; switching the compression ratio of the area corresponding to the result of processing by the second processing unit in the image data to compression ratio 3 on condition that the result of the processing by the second processing unit 632_2 is output; will contain a decision rule that specifies
  • symbol 820 is The image quality required when the first processing unit 632_1 performs processing, The image quality required when the second processing unit 632_2 performs processing, The image quality required when the third processing unit 632_3 performs processing, are different from each other and (Image quality required for processing by the first processing unit 632_1) ⁇ (Image quality required for processing by the second processing unit 632_2)> (Required for processing by the third processing unit 632_3 image quality) and the switching compression rate is ⁇ Compression ratio 4>Compression ratio 5 ⁇ Compression ratio 6 It indicates that it has been identified as
  • the rule information 821 includes, in addition to the decision rules defined in the rule information 136 described in the first embodiment, - A compression rate of 4 is set for the entire area of the image data as a default; Switching the compression ratio of the area corresponding to the result of the processing by the first processing unit in the image data to the compression ratio of 5 on the condition that the result of the processing by the first processing unit 632_1 is output; will contain a decision rule that specifies
  • symbol 830 is The image quality required when the first processing unit 632_1 performs processing, The image quality required when the second processing unit 632_2 performs processing, The image quality required when the third processing unit 632_3 performs processing, are different from each other and (Image quality required for processing by the first processing unit 632_1)>(Image quality required for processing by the second processing unit 632_2)>(Required for processing by the third processing unit 632_3 image quality) and the switching compression rate is ⁇ Compression ratio 7 ⁇ compression ratio 8 ⁇ compression ratio 9 It indicates that it has been identified as
  • the rule information 831 includes, in addition to the decision rules defined in the rule information 136 described in the first embodiment, - A compression rate of 7 is set for the entire area of the image data as a default; will contain a decision rule that specifies
  • FIG. 9 is a flowchart showing the flow of rule information generation processing.
  • step S901 the encoding device 120 acquires moving image data for identification.
  • step S902 the processing result analysis unit 634 of the image analysis device 630 sets "1" to a counter m indicating the processing order of each processing unit.
  • step S903 the compression rate map generation unit 635 of the image analysis device 630 transmits to the encoding device 120 a compression rate map in which a predetermined compression rate is stored in the entire area of the image data. Also, the compression rate setting unit 622 of the encoding device 120 sets the compression rate map in the encoding unit 121 .
  • step S ⁇ b>904 the encoding unit 121 of the encoding device 120 generates encoded data by encoding image data included in the moving image data for identification using the set compression rate map. 130.
  • step S905 the decoding unit 131 of the image analysis device 130 decodes the encoded data to generate decoded data.
  • step S906 the first to m-th processing units of the image analysis device 130 process the decoded data.
  • step S907 the processing result analysis unit 634 of the image analysis device 130 determines whether or not the m-th processing unit has output an appropriate processing result. If it is determined in step S907 that an appropriate result of processing has not been output (NO in step S907), the process proceeds to step S908.
  • step S ⁇ b>908 the compression rate map generation unit 635 of the image analysis device 130 generates a compression rate map that stores the compression rate reduced by a predetermined step size for the entire area of the image data, and transmits the compression rate map to the encoding device 120 .
  • the compression rate setting unit 622 of the encoding device 120 sets the compression rate map in the encoding unit 121 . After that, the process returns to step S904.
  • step S907 determines whether an appropriate result of processing has been output (if YES in step S907). If it is determined in step S907 that an appropriate result of processing has been output (if YES in step S907), the process proceeds to step S909.
  • step S909 the processing result analysis unit 634 of the image analysis device 130 specifies the compression ratio when the appropriate processing result is output as the switching compression ratio of the m-th processing unit.
  • step S910 the processing result analysis unit 634 of the image analysis device 130 determines whether switching compression ratios have been identified for all processing units. If it is determined in step S910 that there is a processing unit that has not specified the switching compression rate (NO in step S910), the process proceeds to step S911.
  • step S911 the processing result analysis unit 634 of the image analysis device 630 increments the counter m indicating the processing order, and returns to step S903.
  • step S910 determines whether the switching compression ratio has been specified for all processing units (if YES in step S910). If it is determined in step S910 that the switching compression ratio has been specified for all processing units (if YES in step S910), the process proceeds to step S912.
  • step S912 the rule information generation unit 636 of the image analysis device 630 generates rule information based on the switching compression rate of each processing unit, and ends the rule information generation process.
  • FIG. 10 is a diagram showing an example of the system configuration of the image processing system in the encoding phase.
  • the image processing system 1000 has an imaging device 110 , an encoding device 620 and an image analysis device 630 .
  • An encoding program is installed in the encoding device 620, and the encoding device 620 functions as the encoding unit 121 and the compression rate setting unit 622 by executing the encoding program.
  • the encoding unit 121 has the same function as the encoding unit 121 described using FIG. 1 in the first embodiment, so the description is omitted here.
  • the compression rate setting unit 622 sets the acquired compression rate map in the encoding unit 121 each time the compression rate map generated by the image analysis device 630 is acquired. Note that in the encoding phase, the compression rate setting unit 622 - A compression ratio map in which a switching compression ratio based on rule information (for example, any of the rule information 811 to 831) is stored in each area, or - A compression ratio map in which a compression ratio newly determined for the switching compression ratio is stored in each area; to get one of
  • An image analysis program is installed in the image analysis device 630.
  • the image analysis device 630 includes the decoding unit 131, the first processing unit 632_1, the second processing unit 632_2, . , functions as a compression rate map generator 635 .
  • Accuracy monitoring unit 1034 performs accuracy monitoring processing based on rule information (for example, any of rule information 811 to 831).
  • rule information for example, any of rule information 811 to 831.
  • the accuracy monitoring unit 1034 monitors whether or not a predetermined accuracy is obtained for the results of processing by each processing unit. Then, if the accuracy monitoring unit 134 determines that the predetermined accuracy is not obtained for the result of processing by any of the processing units, it determines a new compression rate so that the predetermined accuracy is obtained.
  • the compression ratio map generating unit 635 When the accuracy monitoring unit 1034 notifies the compression ratio map generation unit 635 of the switching compression ratio, the compression ratio map generating unit 635 generates a compression ratio map by storing the switching compression ratio in the corresponding area. In addition, when the accuracy monitoring unit 1034 notifies the compression ratio map generation unit 635 of the newly determined compression ratio, the compression ratio map generation unit 635 generates the compression ratio map by storing the newly determined compression ratio in the corresponding area. Generate. Also, the compression rate map generator 635 transmits the generated compression rate map to the encoding device 620 each time it generates a compression rate map.
  • FIG. 11 is a second flowchart showing the flow of compression rate control processing.
  • steps S1101 to S1103 and step S1104 are different from the compression rate control process described with reference to FIG.
  • step S1101 the accuracy monitoring unit 1034 determines whether or not the results of processing by the first processing unit 632_1 to n-th processing unit 632_n satisfy the switching conditions specified in the rule information.
  • step S1101 If it is determined in step S1101 that the switching condition is not satisfied (NO in step S1101), the process proceeds to step S1103.
  • step S1101 determines whether the switching condition is satisfied (if YES in step S1101), the process proceeds to step S1102.
  • step S1102 the compression rate map generation unit 635 generates a compression rate map by storing the switched compression rate in the corresponding area. Also, the compression rate setting unit 622 sets the generated compression rate map in the encoding unit 121 .
  • step S1103 the accuracy monitoring unit 1034 acquires the results of processing by the first processing unit 632_1 to n-th processing unit 632_n, and calculates the accuracy of each processing result.
  • step S1104 compression rate map generation section 635 generates a compression rate map by storing the newly determined compression rate in the corresponding area, and compression rate setting section 622 stores the generated compression rate map. It is set in the encoding unit 121 .
  • FIG. 12 is a diagram illustrating an example of a result of switching compression ratios.
  • decoded data 1210 to 1240 represent decoded data generated by encoding and decoding image data of each frame included in moving image data.
  • the difference in hatching density indicates the difference in image quality of the decoded data due to the difference in compression rate. Specifically, the lighter the hatching, the lower the compression rate and the higher the image quality of the decoded data, and the darker the hatching, the higher the compression rate and the lower the image quality of the decoded data.
  • FIG. 12 shows how multiple objects appear over time.
  • the first processing unit 632_1 performs object detection processing on the entire region of the decoded data.
  • the image data is encoded at a compression rate of 1.
  • the first processing unit 632_1 performs object detection processing on the entire area and detects the target object 1201. At this time, the image data is encoded at a compression rate of 1, but as the object 1201 is detected, the compression rate of the area corresponding to the area where the object 1201 is detected is lower than the compression rate of 1. is switched to a lower compression ratio of 2.
  • the decoded data 1230 is the image data, - the region corresponding to the region where the object 1201 is detected is encoded at a compression rate of 2, and ⁇ A region other than the region corresponding to the region where the target object 1201 is detected is encoded at a compression rate of 1. This is decoded data generated by decoding encoded data.
  • the first processing unit 632_1 performs object detection processing on the entire area, and detects the target objects 1201 and 1211. Further, the second processing unit 632_2 performs distance measurement processing on the area where the object 1201 is detected, and measures the distance to the object. Also, as the distance measurement process is performed on the object 1201, the compression ratio of the area corresponding to the area where the object 1201 is detected is switched to compression ratio 3, which is lower than compression ratio 2. FIG. Further, as the object 1211 is newly detected, the compression ratio of the area corresponding to the area where the object 1211 is detected is switched to compression ratio 2, which is lower than compression ratio 1. FIG.
  • the decoded data 1240 is the image data, - the region corresponding to the region where the object 1201 is detected is encoded at a compression rate of 3, and - the region corresponding to the region where the object 1211 is detected is encoded at a compression rate of 2, and ⁇ A region other than the region corresponding to the region where the object 1201 and the object 1211 are detected is encoded at a compression rate of 1.
  • This is decoded data generated by decoding encoded data.
  • the first processing unit 632_1 performs object detection processing on the entire area, and detects the target objects 1201, 1211, and 1221.
  • the second processing unit 632_2 performs distance measurement processing on the area where the target object 1201 is detected, and after measuring the distance to the target object, the third processing unit 632_3 performs situation determination processing, Determine the status of objects.
  • the second processing unit 632_2 performs distance measurement processing on the area where the object 1211 is detected, and measures the distance to the object. Also, as the distance measurement process is performed on the object 1211, the compression ratio of the area corresponding to the area where the object 1211 is detected is switched to the compression ratio 3, which is lower than the compression ratio 2.
  • the compression ratio of the area corresponding to the area where the object 1221 is detected is switched to compression ratio 2, which is lower than compression ratio 1.
  • the new compression ratio 1 may be determined by, for example, detecting the object 1201 in the decoded data 1220 and then calculating the accuracy of the result of processing by the first processing unit 632_1.
  • the new compression rate of 2 is determined by, for example, performing distance measurement processing on the object 1201 in the decoded data 1230 and then calculating the accuracy of the result of processing by the second processing unit 632_2. good too.
  • the new compression rate of 3 is determined by, for example, calculating the accuracy of the result of processing by the third processing unit 632_3 after performing the situation determination processing on the object 1201 in the decoded data 1240. good too.
  • the image processing system 1000 performs a plurality of AI-based processing on each region of decoded data generated by decoding encoded image data. Processing is done sequentially. Further, the image processing system 1000 according to the second embodiment performs the x-th process when the image quality required for the x+1-th process is higher than the image quality required for the x-th process. Switch the compression rate of the area corresponding to the result of to the switching compression rate.
  • each process can be performed appropriately when a plurality of processes are sequentially performed by AI.
  • the image processing system 1000 according to the second embodiment compresses each region when encoding image data so that the results of any of the plurality of processings by AI can obtain acceptable accuracy. determine the rate. Also, the image processing system 1000 according to the second embodiment encodes the image data at the determined compression rate for each area.
  • the image processing system 1000 monitors the accuracy of the results of multiple processing by AI, and appropriately controls the compression rate after switching each region according to the monitored accuracy.
  • the image processing system 1000 according to the second embodiment even if the image quality of the decoded data deteriorates due to a change in the situation around the shooting position, the image quality can be improved by changing the compression rate.
  • the result of processing by any AI will be able to obtain acceptable accuracy.
  • the encoding devices 120, 620 and the image analysis devices 130, 630 are separate devices, but the encoding devices 120, 620 and the image analysis devices 130, 630 are integrated devices. good too.
  • the imaging device 110 and the encoding devices 120 and 620 are separate devices, but the imaging device 110 and the encoding devices 120 and 620 may be an integrated device.
  • part of the functions realized by the image analysis devices 130 and 630 may be realized by the encoding devices 120 and 620, and part of the functions realized by the encoding devices 120 and 620 may be implemented by the encoding devices 120 and 620. may be realized by the image analysis device 130, 630.
  • the specific phase and the encoding phase are described as using different image processing systems, but the same image processing system may be used to execute the specific phase and the encoding phase. .
  • the switching compression rate is specified by stepwise decreasing the compression rate in the specific phase, but the switching compression rate is specified by stepwise increasing the compression rate.
  • a new compression rate is determined after switching to the switching compression rate in the encoding phase.
  • the new compression rate that has already been determined may be used when switching to the switching compression rate.
  • the compression rate is determined for each area in which an object is detected. You may make it
  • the method of determining a new compression rate by the precision monitoring unit described in each of the above embodiments is merely an example.
  • the compression rate may be determined based on information for determining the compression rate obtained by analyzing the recognition state and recognition process by AI and information indicating the accuracy transition of the processing result. good.
  • the compression rate corresponding to the processing unit that performs processing on a predetermined area is determined, the compression rate is increased step by step while observing the accuracy transition of the processing result of the processing unit. (or lower).
  • the compression rate may be determined based on information for determining the compression rate, which is obtained by analyzing the processing state and process of a processing unit that processes a predetermined region.
  • information for determining the compression ratio obtained by analyzing the processing state and process of a processing unit that performs processing on a predetermined area, and a processing unit different from the processing unit that determines the compression ratio
  • the compression ratio may be determined based on the accuracy transition of the processing results.
  • recognition processing by AI described in each of the above embodiments may include analysis processing and the like that obtain results based on analysis by a computer or the like, in addition to deep learning processing.
  • the compression ratio of the area may be determined based on the results of processing by the part of the processing units.
  • the compression ratio of the region may be determined including the result of processing by a processing unit that does not perform processing.
  • Image processing system 110 Imaging device 120: Encoding device 121: Encoding unit 122: Compression rate setting unit 130: Image analysis device 131: Decoding unit 132_1 to 132_n: Processing unit 133: Output unit 134: Accuracy monitoring unit 135 : Compression rate map generation unit 136 : Rule information 620 : Encoding device 622 : Compression rate setting unit 632_1 : First processing unit 632_2 : Second processing unit 632_3 : Third processing unit 632_n : nth processing unit 634 : Processing result analysis Unit 635: Compression rate map generation unit 636: Rule information generation unit 811 to 831: Rule information 1034: Accuracy monitoring unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ＡＩによる複数の処理において利用可能な復号データを生成できるようにする。画像処理システムは、符号化された画像データが復号されることで生成された復号データに対して、ＡＩによる複数の処理が行われる場合に、いずれの処理の結果も所定の精度が得られるように決定された圧縮率で、前記画像データを符号化する符号化部を有する。

Description

画像処理システム、符号化装置、符号化方法及び符号化プログラム
　本発明は、画像処理システム、符号化装置、符号化方法及び符号化プログラムに関する。
　一般に、画像データを記録または伝送する際には、符号化によりデータサイズを小さくすることで、記録コストや伝送コストの削減を図る。
　一方で、ＡＩ（Artificial Intelligence）による処理に利用する目的で、画像データを記録または伝送する場合においては、復号データをＡＩが適切に処理できる限界まで各領域の圧縮率を上げて（つまり、限界圧縮率で）画像データを符号化する方法が考えられる。
特開２０２１－０１３１４６号公報 国際公開第２０２０／１６２４９５号
　しかしながら、ＡＩによる処理が複数含まれ、それぞれの処理ごとに、限界圧縮率が異なるケースも想定される。例えば、複数の処理として、ＡＩによる物体検出処理と、検出した対象物に対するＡＩによる測距処理とが含まれていたとする。この場合、物体検出処理に適した限界圧縮率で符号化すると、測距処理を行うのに必要な画質の復号データが得られず、復号データから対象物を検出することはできるが、検出した対象物に対して適切な測距処理を行うことができないといった事態が生じ得る。
　一つの側面では、ＡＩによる複数の処理において利用可能な復号データを生成できるようにすることを目的とする。
　一態様によれば、画像処理システムは、
　符号化された画像データが復号されることで生成された復号データに対して、ＡＩによる複数の処理が行われる場合に、いずれの処理の結果も所定の精度が得られるように決定された圧縮率で、前記画像データを符号化する符号化部を有する。
　ＡＩによる複数の処理において利用可能な復号データが生成できるようになる。
図１は、画像処理システムのシステム構成の一例を示す図である。 図２は、符号化装置及び画像解析装置のハードウェア構成の一例を示す図である。 図３は、圧縮率制御処理の具体例を示す図である。 図４は、圧縮率制御処理の流れを示す第１のフローチャートである。 図５Ａは、圧縮率の制御結果の一例を示す第１の図である。 図５Ｂは、圧縮率の制御結果の一例を示す第２の図である。 図６は、特定フェーズにおける画像処理システムのシステム構成の一例を示す図である。 図７は、各処理部による処理の結果の一例を示す図である。 図８は、ルール情報の一例を示す図である。 図９は、ルール情報生成処理の流れを示すフローチャートである。 図１０は、符号化フェーズにおける画像処理システムのシステム構成の一例を示す図である。 図１１は、圧縮率制御処理の流れを示す第２のフローチャートである。 図１２は、圧縮率の切り替え結果の一例を示す図である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜画像処理システムのシステム構成＞
　はじめに、第１の実施形態に係る符号化装置及び画像解析装置を備える画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す図である。図１に示すように、画像処理システム１００は、撮像装置１１０、符号化装置１２０、画像解析装置１３０を有する。画像処理システム１００において、符号化装置１２０と画像解析装置１３０とは、ネットワーク（不図示）を介して通信可能に接続される。
　撮像装置１１０は、所定のフレーム周期で撮影を行い、動画像データを符号化装置１２０に送信する。
　符号化装置１２０には符号化プログラムがインストールされており、当該符号化プログラムが実行されることで、符号化装置１２０は、符号化部１２１及び圧縮率設定部１２２として機能する。
　符号化部１２１は、動画像データに含まれる各フレームの画像データを符号化し、符号化データを生成する。符号化部１２１は、符号化データを生成する際、圧縮率設定部１２２により設定された圧縮率マップ（画像データを領域ごとに異なる圧縮率で符号化する場合において、各領域の圧縮率を示したマップ）で、画像データを符号化する。また、符号化部１２１は、生成した符号化データを、画像解析装置１３０に送信する。
　圧縮率設定部１２２は、画像解析装置１３０により生成された圧縮率マップを取得するごとに、取得した圧縮率マップを符号化部１２１に設定する。これにより、符号化部１２１が画像データを符号化する際の各領域の圧縮率が適切に制御される。
　画像解析装置１３０には、画像解析プログラムがインストールされている。画像解析装置１３０は、当該画像解析プログラムが実行されることで、復号部１３１、処理部１３２＿１～１３２＿ｎ、出力部１３３、精度監視部１３４、圧縮率マップ生成部１３５として機能する。
　復号部１３１は、符号化装置１２０より送信された符号化データを復号し、復号データを生成する。
　処理部１３２＿１～１３２＿ｎは、それぞれ、復号データに対して、ＡＩによる処理を並列に行う。ＡＩによるｎ種類（ｎは２以上の整数）の処理には、例えば、復号データに含まれるｎ種類の異なる対象物それぞれの属性を識別する処理（例えば、歩行者の属性を識別する処理、車両の属性を識別する処理等）が含まれていてもよい。
　出力部１３３は、復号データに対して行われた処理部１３２＿１～１３２＿ｎによるそれぞれの処理の結果を出力する。
　精度監視部１３４は、ルール情報１３６に基づく精度監視処理を行う。ルール情報１３６には、処理部１３２＿１～１３２＿ｎそれぞれが、復号データに対して、ＡＩによる処理を並列に行う場合の、圧縮率の決定ルールが規定されているものとする。具体的には、本実施形態の場合、ルール情報１３６には、"いずれのＡＩによる処理も所定の精度以上の結果が得られるように、圧縮率を決定すること"が規定されているものとする。
　このため、精度監視部１３４は、復号データに対して行われた処理部１３２＿１～１３２＿ｎによるそれぞれの処理の結果について、所定の精度が得られているか否かを監視する。また、精度監視部１３４は、処理部１３２＿１～１３２＿ｎによるいずれかの処理の結果について、所定の精度が得られていないと判定した場合、所定の精度が得られるように、新たな圧縮率を決定する。
　圧縮率マップ生成部１３５は、精度監視部１３４により新たな圧縮率が決定された場合に、決定された新たな圧縮率に基づいて、圧縮率マップを生成する。本実施形態において、圧縮率マップ生成部１３５は、画像データの全領域に、決定された新たな圧縮率が格納された圧縮率マップを生成する。圧縮率マップ生成部１３５は、新たな圧縮率が決定されるごとに圧縮率マップを生成し、生成した圧縮率マップを符号化装置１２０に送信する。
　なお、図１の画像処理システム１００において、一点鎖線で囲まれた各部は、符号化部１２１、復号部１３１、処理部１３２＿１～１３２＿ｎ、出力部１３３の各部が動作している間、各領域の圧縮率を適切に制御する圧縮率制御処理を実行する。
　＜符号化装置及び画像解析装置のハードウェア構成＞
　次に、符号化装置１２０及び画像解析装置１３０のハードウェア構成について説明する。図２は、符号化装置及び画像解析装置のハードウェア構成の一例を示す図である。
　このうち、図２の２ａは、符号化装置のハードウェア構成の一例を示す図である。符号化装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、符号化装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、符号化プログラム等）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
　Ｉ／Ｆ装置２０４は、外部装置の一例である撮像装置１１０と、符号化装置１２０とを接続する接続デバイスである。
　通信装置２０５は、ネットワークを介して画像解析装置１３０と通信するための通信デバイスである。
　ドライブ装置２０６は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０６にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
　一方、図２の２ｂは、画像解析装置１３０のハードウェア構成の一例を示す図である。なお、画像解析装置１３０のハードウェア構成は、符号化装置１２０のハードウェア構成と概ね同じであるため、ここでは、符号化装置１２０との相違点を中心に説明する。
　プロセッサ２２１は、例えば、画像解析プログラム等をメモリ２２２上に読み出して実行する。
　Ｉ／Ｆ装置２２４は、画像解析装置１３０に対する操作を、操作装置２３１を介して受け付ける。また、Ｉ／Ｆ装置２２４は、画像解析装置１３０による処理の結果を出力し、表示装置２３２を介して表示する。また、通信装置２２５は、ネットワークを介して符号化装置１２０と通信する。
　＜圧縮率制御処理の具体例＞
　次に、画像処理システム１００において、図１の一点鎖線で囲まれた各部（精度監視部１３４、圧縮率マップ生成部１３５、圧縮率設定部１２２）により実行される圧縮率制御処理の具体例について説明する。図３は、圧縮率制御処理の具体例を示す図である。なお、図３の例では、説明の簡略化のため、処理部を２つとしている（処理部１３２＿１、処理部１３２＿２）。
　図３において、符号３１０は、動画像データに含まれる各フレームの画像データを示している。図３の例では、時間の経過に伴って、撮影位置周辺の状況が、"シーンＡ"から"シーンＢ"に変化したことを示している。
　また、図３において、符号３２０は、各時間における全領域の圧縮率を示しており、横軸は時間を縦軸は圧縮率をそれぞれ示している。図３の例によれば、圧縮率マップ生成部１３５は、撮影位置周辺の状況が変化したことに応じて、新たな圧縮率を含む圧縮率マップを２回生成している。
　また、図３において、符号３３０は、復号データに対して行われた処理部１３２＿１による処理の結果についての精度を示しており、横軸は時間を縦軸は精度をそれぞれ示している。また、点線は、許容精度を示している。
　図３の符号３３０の例によれば、処理部１３２＿１による処理の結果は、時間ｔ１において許容精度以上であったが、撮影位置周辺の状況が"シーンＡ"から"シーンＢ"に変化した後の時間ｔ２においては許容精度以下となっている。また、処理部１３２＿１による処理の結果は、新たな圧縮率を含む圧縮率マップが１回目に設定された後の時間ｔ３においては許容精度を大きく上回っている。更に、処理部１３２＿１による処理の結果は、新たな圧縮率を含む圧縮率マップが２回目に設定された後の時間ｔ４においては許容精度に近づいている。
　また、図３において、符号３４０は、復号データに対して行われた処理部１３２＿２による処理の結果についての精度を示しており、横軸は時間を縦軸は精度をそれぞれ示している。また、点線は、許容精度を示している。
　図３の符号３４０の例によれば、処理部１３２＿２による処理の結果は、時間ｔ１及び時間ｔ２においては許容精度以上であったが、撮影位置周辺の状況が"シーンＡ"から"シーンＢ"に変化した後の時間ｔ２と時間ｔ３との間においては、許容精度に近づいている。また、処理部１３２＿２による処理の結果は、新たな圧縮率を含む圧縮率マップが１回目に設定された後の時間ｔ３においては許容精度を大きく上回っている。更に、処理部１３２＿１による処理の結果は、新たな圧縮率を含む圧縮率マップが２回目に設定された後の時間ｔ４においては許容精度に近づいている。
　ここで、符号３１０、符号３３０、符号３４０を参照しながら、圧縮率制御処理について説明する。"シーンＡ"が継続している間、符号化部１２１にはデフォルトの圧縮率が設定されており、処理部１３２＿１による処理の結果及び処理部１３２＿２による処理の結果は、いずれも許容精度を上回っている。
　一方、撮影位置周辺の状況が"シーンＡ"から"シーンＢ"へと変化したことで、デフォルトの圧縮率が適切ではなくなり、処理部１３２＿１による処理の結果についての精度及び処理部１３２＿２による処理の結果についての精度が低下する。
　符号３３０に示すように、処理部１３２＿１による処理の結果が、許容精度以下となると、符号３２０に示すように、精度監視部１３４では、現在の圧縮率よりも低い圧縮率を新たな圧縮率として決定する。また、圧縮率マップ生成部１３５では、決定された新たな圧縮率を、画像データの全領域に格納した圧縮率マップを生成し、圧縮率設定部１２２では、生成された圧縮率マップを符号化部１２１に設定する。これにより、復号データの画質が改善され、処理部１３２＿１による処理の結果及び処理部１３２＿２による処理の結果が、いずれも許容精度を大きく上回ることになる。
　符号３３０、３４０に示すように、処理部１３２＿１及び処理部１３２＿２による処理の結果が許容精度を大きく上回ったことで、符号３２０に示すように、精度監視部１３４では、現在の圧縮率よりも高い圧縮率を新たな圧縮率として決定する。また、圧縮率マップ生成部１３５では、決定された新たな圧縮率を、画像データの全領域に格納した圧縮率マップを生成し、圧縮率設定部１２２では、生成された圧縮率マップを符号化部１２１に設定する。これにより、処理部１３２＿１による処理の結果及び処理部１３２＿２による処理の結果が、いずれも許容精度に近づく。
　このように、各処理部による処理の結果についての精度を監視し、監視した精度に応じて各領域の圧縮率を適切に制御することで、いずれのＡＩによる処理の結果も所定の精度が得られるようになる。つまり、本実施形態によれば、ＡＩによる複数の処理において利用可能な復号データが生成できるようになる。
　なお、各処理部による処理の結果についての精度の算出方法は任意である。例えば、処理部が対象物の属性を識別する処理を行う場合にあっては、識別した属性の確度あるいは確度の推移を、処理の結果についての精度として算出してもよい。
　また、処理部が対象物を検出する処理を行う場合にあっては、例えば、複数の復号データにおける対象物の検出頻度あるいは検出頻度の推移を、処理の結果についての精度として算出してもよい。
　また、処理部が対象物までの距離を測定する処理を行う場合にあっては、例えば、複数の復号データそれぞれにおける対象物までの距離のゆらぎあるいはゆらぎの推移を、処理の結果についての精度として算出してもよい。
　なお、図３の例において、精度監視部１３４は、画像データの全領域について、処理部１３２＿１及び処理部１３２＿２による処理の結果についての精度を監視した。また、圧縮率マップ生成部１３５は、決定された新たな圧縮率を画像データの全領域に格納することで圧縮率マップを生成した。
　しかしながら、圧縮率マップの生成方法はこれに限定されない。例えば、精度監視部１３４は、符号化部１２１が設定可能な、圧縮率の設定粒度（例えば、動画像の符号化における符号化ブロック）ごとに、処理部１３２＿１及び処理部１３２＿２による処理の結果についての精度を監視してもよい。
　これにより、圧縮率マップ生成部１３５は、設定粒度ごとに決定された圧縮率を格納した圧縮率マップを生成することができる。この場合、処理部１３２＿１及び処理部１３２＿２による処理の結果についてのそれぞれの精度に基づいて決定された圧縮率が、画像データ内の設定粒度ごとの領域それぞれに格納された圧縮率マップが生成されることになる。
　かかる生成方法は、例えば、処理部１３２＿１、処理部１３２＿２、・・・処理部１３２＿ｎそれぞれによる処理の結果についての精度が、画像データ内の領域によって、あるいは、画像データ内の対象物の種類によって異なる場合等に有効である。あるいは、並列に実行される処理部１３２＿１、処理部１３２＿２、・・・処理部１３２＿ｎにより属性が識別された対象物の位置情報を統合し、設定粒度ごとの領域それぞれに異なる圧縮率を格納する場合等に有効である。
　＜圧縮率制御処理の流れ＞
　次に、圧縮率制御処理の流れについて説明する。図４は、圧縮率制御処理の流れを示す第１のフローチャートである。
　ステップＳ４０１において、精度監視部１３４は、予め規定されたルール情報１３６を読み出す。
　ステップＳ４０２において、圧縮率マップ生成部１３５は、デフォルトの圧縮率が、画像データの全領域に格納された圧縮率マップを生成し、圧縮率設定部１２２は、生成された圧縮率マップを符号化部１２１に設定する。
　ステップＳ４０３において、精度監視部１３４は、処理部１３２＿１～１３２＿ｎによる処理の結果を取得し、各処理の結果についての精度を算出する。
　ステップＳ４０４において、精度監視部１３４は、処理の結果が許容精度以下となる処理部があるか否かを判定する。ステップＳ４０４において、処理の結果が許容精度以下となる処理部があると判定した場合には（ステップＳ４０４においてＹＥＳの場合には）、ステップＳ４０７に進む。
　この場合、ステップＳ４０７において、精度監視部１３４は、処理の結果（複数の結果が許容精度以下の場合には全ての処理の結果）が許容精度以上となるように、処理の結果についての精度と許容精度との差分に応じて、新たな圧縮率を決定する。
　一方、ステップＳ４０４において、処理の結果が許容精度以下となる処理部がないと判定した場合には（ステップＳ４０４においてＮＯの場合には）、ステップＳ４０５に進む。
　ステップＳ４０５において、精度監視部１３４は、処理部１３２＿１～１３２＿ｎの各処理部による処理の結果についての精度のうち、最小の精度を特定し、特定した最小の精度と許容精度との差分を算出する。
　ステップＳ４０６において、精度監視部１３４は、算出した差分が所定の閾値以上であるか否か（つまり、特定した最小の精度が、許容精度を所定の閾値以上、上回ったか否か）を判定する。ステップＳ４０６において、所定の閾値未満であると判定した場合には（ステップＳ４０６においてＮＯの場合には）、ステップＳ４０９に進む。
　一方、ステップＳ４０６において、所定の閾値以上であると判定した場合には（ステップＳ４０６においてＹＥＳの場合には）、ステップＳ４０７に進む。
　この場合、ステップＳ４０７において、精度監視部１３４は、最小の精度が許容精度に近づくように、最小の精度と許容精度との差分に応じて、新たな圧縮率を決定する。
　ステップＳ４０８において、圧縮率マップ生成部１３５は、決定された新たな圧縮率が、画像データの全領域に格納された圧縮率マップを生成し、圧縮率設定部１２２は、生成された圧縮率マップを符号化部１２１に設定する。
　ステップＳ４０９において、精度監視部１３４は、圧縮率制御処理を終了するか否かを判定する。ステップＳ４０９において、圧縮率制御処理を継続すると判定した場合には（ステップＳ４０９においてＮＯの場合には）、ステップＳ４０３に戻る。
　一方、ステップＳ４０９において、圧縮率制御処理を終了すると判定した場合には（ステップＳ４０９においてＹＥＳの場合には）、圧縮率制御処理を終了する。
　＜圧縮率の制御結果＞
　次に、圧縮率制御処理（図４）による圧縮率の制御結果について説明する。図５Ａは、圧縮率の制御結果の一例を示す第１の図である。図５Ａにおいて、復号データ５１０～５１３は、それぞれ、図３の時間ｔ１～ｔ４において、処理部１３２＿１にて処理された復号データを示している。また、図５Ａにおいて、復号データ５２０～５２３は、それぞれ、図３の時間ｔ１～ｔ４において、処理部１３２＿２にて処理された復号データを示している。
　なお、復号データ５１０～５１３、５２０～５２３において、ハッチングの濃さの違いは、圧縮率の違いによる復号データの画質の違いを示している。具体的には、ハッチングが薄いほど圧縮率が低く、復号データの画質が高いことを示しており、ハッチングが濃いほど圧縮率が高く、復号データの画質が低いことを示している。
　図５Ａの例は、撮影位置周辺の状況が変化する前の時間ｔ１において、処理部１３２＿１は対象物αの属性を、処理部１３２＿２は対象物βの属性をそれぞれ識別できていたことを示している。
　また、図５Ａの例は、撮影位置周辺の状況が変化したことで、時間ｔ２において、処理部１３２＿１が、対象物αの属性を識別できなくなったことを示している。
　また、図５Ａの例は、処理部１３２＿１が対象物αの属性を識別できなくなったことに応じて、圧縮率が適切に制御されることで、時間ｔ３、時間ｔ４においては、再び、処理部１３２＿１が対象物αの属性を識別できるようになったことを示している。
　一方、図５Ｂは、圧縮率の制御結果の一例を示す第２の図である。図５Ｂの例は、圧縮率の設定粒度ごとに精度を監視する場合を示しており、ここでは、説明の簡略化のため、２つの領域それぞれにおいて精度を監視した場合を示している。
　図５Ｂに示すように、復号データ５３１が処理部１３２＿１により処理されることで、処理部１３２＿１は、下方に位置する対象物αの属性のみを識別している。また、復号データ５４１が処理部１３２＿２により処理されることで、処理部１３２＿２は、下方に位置する対象物βの属性及び上方に位置する対象物βの属性の両方を識別している。
　このように、上方の領域において、処理部１３２＿１による処理の結果が許容精度以下となった場合、上方の領域の圧縮率が適切に制御される。
　図５Ｂの例は、上方の領域の圧縮率が適切に制御された後の復号データ５３２が処理部１３２＿１により処理されることで、処理部１３２＿１が、下方に位置する対象物αの属性及び上方に位置する対象物αの属性の両方を識別できたことを示している。
　また、図５Ｂの例は、上方の領域の圧縮率が適切に制御された後の復号データ５４２が処理部１３２＿２により処理されることで、処理部１３２＿２が、下方に位置する対象物βの属性及び上方に位置する対象物βの属性の両方を識別できたことを示している。
　以上の説明から明らかなように、第１の実施形態に係る画像処理システム１００は、符号化された画像データが復号されることで生成された復号データに対して、ＡＩによる複数の処理が並列して行われる。また、第１の実施形態に係る画像処理システム１００は、ＡＩによる複数の処理のうちの、いずれの処理の結果も許容精度が得られるように、画像データを符号化する際の圧縮率を決定し、決定した圧縮率で、画像データを符号化する。
　このように、第１の実施形態に係る画像処理システム１００では、ＡＩによる複数の処理の結果についての精度を監視し、監視した精度に応じて各領域の圧縮率を適切に制御する。これにより、第１の実施形態に係る画像処理システム１００によれば、撮影位置周辺の状況が変化したことで復号データの画質が低下した場合でも、圧縮率を変えて画質を改善させることで、いずれのＡＩによる処理の結果も許容精度が得られるようになる。
　つまり、第１の実施形態によれば、ＡＩによる複数の処理において利用可能な復号データが生成できるようになる。
　［第２の実施形態］
　上記第１の実施形態では、ＡＩによる複数の処理を並列に行う場合について説明した。これに対して、第２の実施形態では、ＡＩによる複数の処理を逐次的に行う場合について説明する。
　ＡＩによる複数の処理を逐次的に行う場合、各処理（例えば、ｘ＋１番目の処理）では、先に行われた処理（例えば、ｘ番目の処理）の結果が用いられるため、先に行われた処理とは異なる画質の復号データを必要とする場合には、圧縮率を切り替える必要がある。このため、第２の実施形態に係る画像処理システムには、圧縮率を逐次的に切り替える機能が搭載され、かかる機能を実現するために、第２の実施形態に係る画像処理システムは、
・圧縮率を逐次的に切り替える際の切り替え方法を特定するための特定フェーズと、
・特定した切り替え方法に従って、圧縮率を逐次的に切り替えて符号化する符号化フェーズと、
を実行する。このため、以下、第２の実施形態では、特定フェーズと符号化フェーズとに分けて説明を行う。ただし、説明は、上記第１の実施形態との相違点を中心に行うものとする。
　＜画像処理システムのシステム構成（特定フェーズ）＞
　はじめに、第２の実施形態に係る符号化装置及び画像解析装置を備える、特定フェーズにおける画像処理システムのシステム構成について説明する。図６は、特定フェーズにおける画像処理システムのシステム構成の一例を示す図である。図６に示すように、特定フェーズにおける画像処理システム６００は、符号化装置６２０、画像解析装置６３０を有する。
　符号化装置６２０には符号化プログラムがインストールされており、当該符号化プログラムが実行されることで、符号化装置６２０は、符号化部１２１及び圧縮率設定部６２２として機能する。
　このうち、符号化部１２１は、上記第１の実施形態において、図１を用いて説明した符号化部１２１と同様の機能を有するため、ここでは説明を省略する。ただし、特定フェーズにおいて、符号化部１２１は、特定用の動画像データに含まれる各フレームの画像データを符号化し、符号化データを生成する。
　圧縮率設定部６２２は、画像解析装置６３０により生成された圧縮率マップを取得するごとに、取得した圧縮率マップを符号化部１２１に設定する。特定フェーズにおいて、圧縮率設定部６２２は、ＡＩによる複数の処理それぞれが必要とする画質を提供可能な圧縮率を探索するために、段階的に圧縮率を下げた圧縮率マップを、符号化部１２１に設定する。
　画像解析装置６３０には、画像解析プログラムがインストールされている。画像解析装置６３０は、当該画像解析プログラムが実行されることで、復号部１３１、第１処理部６３２＿１、第２処理部６３２＿２、・・・第ｎ処理部６３２＿ｎ、出力部１３３として機能する。また、画像解析装置６３０は、処理結果解析部６３４、圧縮率マップ生成部６３５、ルール情報生成部６３６として機能する。
　このうち、復号部１３１と出力部１３３は、上記第１の実施形態において図１を用いて説明済みであるため、ここでは説明を省略する。
　第１処理部６３２＿１、第２処理部６３２＿２、・・・第ｎ処理部６３２＿ｎは、それぞれ、復号データに対して、ＡＩによる処理を逐次的に行う。ＡＩによる処理を逐次的に行う処理部とは、例えば、
・第１処理部６３２＿１が復号データから所定の対象物を検出する物体検出処理を行い、
・第２処理部６３２＿２が検出された対象物までの距離を測定する測距処理を行い、
・第３処理部６３２＿３が測定した距離に基づいて対象物の状況を判断する状況判断処理を行う、
処理部等を指す。
　また、第１処理部６３２＿１、第２処理部６３２＿２、・・・第ｎ処理部６３２＿ｎは、特定フェーズにおいて、圧縮率を段階的に下げて符号化された各符号化データを、復号部１３１が復号することで生成された各復号データを処理する。
　更に、第１処理部６３２＿１、第２処理部６３２＿２、・・・第ｎ処理部６３２＿ｎは、特定フェーズにおいて、各復号データに対して行った処理の結果を、処理結果解析部６３４に通知する。
　処理結果解析部６３４は、特定フェーズにおいて、第１処理部６３２＿１、第２処理部６３２＿２、・・・第ｎ処理部６３２＿ｎそれぞれから、各復号データに対して行われた処理の結果を取得する。また、処理結果解析部６３４は、特定フェーズにおいて、取得した処理の結果を解析し、各処理部が適切な処理の結果を出力するのに必要な画質を、当該各処理部に提供可能な圧縮率を探索し、切り替え圧縮率を特定する。
　圧縮率マップ生成部６３５は、特定フェーズにおいて、段階的に下げた圧縮率を全領域に格納した圧縮率マップを順次生成し、符号化装置６２０に送信する。
　ルール情報生成部６３６は、処理結果解析部６３４により探索された各処理部の切り替え圧縮率に基づいて、圧縮率を切り替える切り替え条件及び切り替える領域を特定する。そして、ルール情報生成部６３６は、復号データに対して、ＡＩによる処理を逐次的に行う場合の、圧縮率の決定ルールを規定したルール情報を生成する。
　具体的には、ルール情報生成部６３６により生成されるルール情報には、上記第１の実施形態において説明したルール情報１３６に規定された決定ルールに加えて、
・圧縮率を切り替える条件、
・条件が成立した場合に、圧縮率を切り替える領域、
・条件が成立した場合に、切り替える圧縮率（切り替え圧縮率）、
が規定された決定ルールが含まれる。
　このように、特定フェーズにおける画像処理システム６００において、一点鎖線で囲まれた各部は、ルール情報を生成するためのルール情報生成処理を行う。
　＜各処理部による処理の結果（特定フェーズ）＞
　次に、特定フェーズにおける各処理部による処理の結果について説明する。図７は、各処理部による処理の結果の一例を示す図である。
　図７において、復号データ７１０～７３０は、特定用動画像データに含まれる各フレームの画像データを、圧縮率を段階的に下げて符号化し、復号することで生成された復号データを示している。
　また、図７において、復号データ７１０は、第１処理部６３２＿１による物体検出処理により対象物が検出された復号データを示している。また、復号データ７２０は、第１処理部６３２＿１により対象物が検出され、第２処理部６３２＿２による測距処理により対象物までの距離が測定された復号データを示している。更に、復号データ７３０は、第１処理部６３２＿１により対象物が検出され、第２処理部６３２＿２により対象物までの距離が測定され、第３処理部６３２＿３による状況判断処理により対象物の状況が判断された復号データを示している。
　図７に示すように、圧縮率１まで圧縮率を下げることで、第１処理部６３２＿１では、復号データ７１０から対象物を適切に検出することができる。これにより、処理結果解析部６３４では、第１処理部６３２＿１の切り替え圧縮率として、圧縮率１を特定することができる。
　また、図７に示すように、圧縮率２まで圧縮率を下げることで、第２処理部６３２＿２では、復号データ７２０の対象物が検出された領域において、対象物までの距離を適切に測定することができる。これにより、処理結果解析部６３４では、第２処理部６３２＿２の切り替え圧縮率として、圧縮率２を特定することができる。
　また、図７に示すように、圧縮率３まで圧縮率を下げることで、第３処理部６３２＿３では、復号データ７３０の対象物が検出された領域において、対象物までの距離に基づいて、対象物の状況を適切に判断することができる。これにより、処理結果解析部６３４では、第３処理部６３２＿３の切り替え圧縮率として、圧縮率３を特定することができる。
　＜ルール情報の詳細＞
　次に、特定フェーズにおいて生成されるルール情報の詳細について説明する。図８は、ルール情報の一例を示す図である。ここでも、説明の簡略化のため、画像解析装置１３０が第１処理部６３２＿１～第３処理部６３２＿３を有する場合について説明する。
　このうち、符号８１０は、
・第１処理部６３２＿１が処理を行う際に必要となる画質と、
・第２処理部６３２＿２が処理を行う際に必要となる画質と、
・第３処理部６３２＿３が処理を行う際に必要となる画質と、
が互いに異なっており、
・（第１処理部６３２＿１が処理を行う際に必要となる画質）＜（第２処理部６３２＿２が処理を行う際に必要となる画質）＜（第３処理部６３２＿３が処理を行う際に必要となる画質）
の関係にあり、切り替え圧縮率が、
・圧縮率１＞圧縮率２＞圧縮率３
と特定されたことを示している。
　この場合、ルール情報８１１には、上記第１の実施形態において説明したルール情報１３６に規定された決定ルールに加えて、
・デフォルトとして画像データの全領域に対して圧縮率１が設定されること、
・第１処理部６３２＿１による処理の結果が出力されたことを条件に、画像データのうち、第１処理部による処理の結果に対応する領域の圧縮率を、圧縮率２に切り替えること、
・第２処理部６３２＿２による処理の結果が出力されたことを条件に、画像データのうち、第２処理部による処理の結果に対応する領域の圧縮率を、圧縮率３に切り替えること、
が規定された決定ルールが含まれることになる。
　また、符号８２０は、
・第１処理部６３２＿１が処理を行う際に必要となる画質と、
・第２処理部６３２＿２が処理を行う際に必要となる画質と、
・第３処理部６３２＿３が処理を行う際に必要となる画質と、
が互いに異なっており、
・（第１処理部６３２＿１が処理を行う際に必要となる画質）＜（第２処理部６３２＿２が処理を行う際に必要となる画質）＞（第３処理部６３２＿３が処理を行う際に必要となる画質）
の関係にあり、切り替え圧縮率が、
・圧縮率４＞圧縮率５＜圧縮率６
と特定されたことを示している。
　この場合、ルール情報８２１には、上記第１の実施形態において説明したルール情報１３６に規定された決定ルールに加えて、
・デフォルトとして画像データの全領域に対して圧縮率４が設定されること、
・第１処理部６３２＿１による処理の結果が出力されたことを条件に、画像データのうち、第１処理部による処理の結果に対応する領域の圧縮率を、圧縮率５に切り替えること、
が規定された決定ルールが含まれることになる。
　また、符号８３０は、
・第１処理部６３２＿１が処理を行う際に必要となる画質と、
・第２処理部６３２＿２が処理を行う際に必要となる画質と、
・第３処理部６３２＿３が処理を行う際に必要となる画質と、
が互いに異なっており、
・（第１処理部６３２＿１が処理を行う際に必要となる画質）＞（第２処理部６３２＿２が処理を行う際に必要となる画質）＞（第３処理部６３２＿３が処理を行う際に必要となる画質）
の関係にあり、切り替え圧縮率が、
・圧縮率７＜圧縮率８＜圧縮率９
と特定されたことを示している。
　この場合、ルール情報８３１には、上記第１の実施形態において説明したルール情報１３６に規定された決定ルールに加えて、
・デフォルトとして画像データの全領域に対して圧縮率７が設定されること、
が規定された決定ルールが含まれることになる。
　＜ルール情報生成処理の流れ＞
　次に、特定フェーズにおける画像処理システム６００によるルール情報生成処理の流れについて説明する。図９は、ルール情報生成処理の流れを示すフローチャートである。
　ステップＳ９０１において、符号化装置１２０は、特定用の動画像データを取得する。
　ステップＳ９０２において、画像解析装置６３０の処理結果解析部６３４は、各処理部の処理順序を示すカウンタｍに"１"を設定する。
　ステップＳ９０３において、画像解析装置６３０の圧縮率マップ生成部６３５は、画像データの全領域に所定の圧縮率が格納された圧縮率マップを符号化装置１２０に送信する。また、符号化装置１２０の圧縮率設定部６２２は、当該圧縮率マップを符号化部１２１に設定する。
　ステップＳ９０４において、符号化装置１２０の符号化部１２１は、設定された圧縮率マップで、特定用の動画像データに含まれる画像データを符号化することで符号化データを生成し、画像解析装置１３０に送信する。
　ステップＳ９０５において、画像解析装置１３０の復号部１３１は、符号化データを復号し、復号データを生成する。
　ステップＳ９０６において、画像解析装置１３０の第１～第ｍ処理部は、復号データを処理する。
　ステップＳ９０７において、画像解析装置１３０の処理結果解析部６３４は、第ｍ処理部により適切な処理の結果が出力されたか否かを判定する。ステップＳ９０７において適切な処理の結果が出力されなかったと判定した場合には（ステップＳ９０７においてＮＯの場合には）、ステップＳ９０８に進む。
　ステップＳ９０８において、画像解析装置１３０の圧縮率マップ生成部６３５は、画像データの全領域に、所定の刻み幅分下げた圧縮率を格納した圧縮率マップを生成し、符号化装置１２０に送信する。また、符号化装置１２０の圧縮率設定部６２２は、当該圧縮率マップを符号化部１２１に設定する。その後、ステップＳ９０４に戻る。
　一方、ステップＳ９０７において適切な処理の結果が出力されたと判定した場合には（ステップＳ９０７においてＹＥＳの場合には）、ステップＳ９０９に進む。
　ステップＳ９０９において、画像解析装置１３０の処理結果解析部６３４は、適切な処理の結果が出力された際の圧縮率を、第ｍ処理部の切り替え圧縮率として特定する。
　ステップＳ９１０において、画像解析装置１３０の処理結果解析部６３４は、全ての処理部について、切り替え圧縮率を特定したか否かを判定する。ステップＳ９１０において切り替え圧縮率を特定していない処理部があると判定した場合には（ステップＳ９１０においてＮＯの場合には）、ステップＳ９１１に進む。
　ステップＳ９１１において、画像解析装置６３０の処理結果解析部６３４は、処理順序を示すカウンタｍをインクリメントし、ステップＳ９０３に戻る。
　一方、ステップＳ９１０において全ての処理部について切り替え圧縮率を特定したと判定した場合には（ステップＳ９１０においてＹＥＳの場合には）、ステップＳ９１２に進む。
　ステップＳ９１２において、画像解析装置６３０のルール情報生成部６３６は、各処理部の切り替え圧縮率に基づいて、ルール情報を生成し、ルール情報生成処理を終了する。
　＜画像処理システムのシステム構成（符号化フェーズ）＞
　次に、第２の実施形態に係る符号化装置及び画像解析装置を備える、符号化フェーズにおける画像処理システムのシステム構成について説明する。図１０は、符号化フェーズにおける画像処理システムのシステム構成の一例を示す図である。図１０に示すように、画像処理システム１０００は、撮像装置１１０、符号化装置６２０、画像解析装置６３０を有する。
　符号化装置６２０には符号化プログラムがインストールされており、当該符号化プログラムが実行されることで、符号化装置６２０は、符号化部１２１及び圧縮率設定部６２２として機能する。
　このうち、符号化部１２１は、上記第１の実施形態において、図１を用いて説明した符号化部１２１と同様の機能を有するため、ここでは説明を省略する。
　圧縮率設定部６２２は、画像解析装置６３０により生成された圧縮率マップを取得するごとに、取得した圧縮率マップを符号化部１２１に設定する。なお、符号化フェーズにおいて、圧縮率設定部６２２は、
・ルール情報（例えば、ルール情報８１１～８３１のいずれか）に基づく切り替え圧縮率が各領域に格納された圧縮率マップ、または、
・切り替え圧縮率に対して新たに決定された圧縮率が各領域に格納された圧縮率マップ、
のいずれかを取得する。
　画像解析装置６３０には、画像解析プログラムがインストールされている。画像解析装置６３０は、当該画像解析プログラムが実行されることで、復号部１３１、第１処理部６３２＿１、第２処理部６３２＿２、・・・第ｎ処理部６３２＿ｎ、出力部１３３、精度監視部１０３４、圧縮率マップ生成部６３５として機能する。
　このうち、復号部１３１、第１処理部６３２＿１、第２処理部６３２＿２、・・・第ｎ処理部６３２＿ｎ、出力部１３３、圧縮率マップ生成部６３５は、既に説明済みであるため、ここでは説明を省略する。
　精度監視部１０３４は、ルール情報（例えば、ルール情報８１１～８３１のいずれか）に基づく精度監視処理を行う。上述したように、ルール情報８１１～８３１には、上記第１の実施形態において説明したルール情報１３６に規定された決定ルールに加えて、
・圧縮率を切り替える条件、
・条件が成立した場合に、圧縮率を切り替える領域、
・条件が成立した場合に、切り替える圧縮率（切り替え圧縮率）、
が規定された決定ルールが含まれる。したがって、復号データに対して、第１処理部６３２＿１～第ｎ処理部６３２＿ｎが処理を行う際に、精度監視部１０３４は、ルール情報８１１～８３１のいずれかを参照し、各処理部による処理の結果に基づいて、切り替え圧縮率を決定する。
　また、精度監視部１０３４は、各処理部による処理の結果について、所定の精度が得られているか否かを監視する。そして、精度監視部１３４は、いずれかの処理部による処理の結果について、所定の精度が得られていないと判定した場合、所定の精度が得られるように、新たな圧縮率を決定する。
　圧縮率マップ生成部６３５は、精度監視部１０３４より切り替え圧縮率が通知された場合、対応する領域に、当該切り替え圧縮率を格納することで圧縮率マップを生成する。また、圧縮率マップ生成部６３５は、精度監視部１０３４より新たに決定された圧縮率が通知された場合、対応する領域に、当該新たに決定された圧縮率を格納することで圧縮率マップを生成する。また、圧縮率マップ生成部６３５は、圧縮率マップを生成するごとに、生成した圧縮率マップを符号化装置６２０に送信する。
　＜圧縮率制御処理の流れ＞
　次に、符号化フェーズにおける圧縮率制御処理の流れについて説明する。図１１は、圧縮率制御処理の流れを示す第２のフローチャートである。第１の実施形態において、図４を用いて説明した圧縮率制御処理との相違点は、ステップＳ１１０１～ステップＳ１１０３、ステップＳ１１０４である。
　ステップＳ１１０１において、精度監視部１０３４は、第１処理部６３２＿１～第ｎ処理部６３２＿ｎによる処理の結果が、ルール情報に規定された切り替え条件を満たすか否かを判定する。
　ステップＳ１１０１において、切り替え条件を満たさないと判定した場合には（ステップＳ１１０１においてＮＯの場合には）、ステップＳ１１０３に進む。
　一方、ステップＳ１１０１において、切り替え条件を満たすと判定した場合には（ステップＳ１１０１においてＹＥＳの場合には）、ステップＳ１１０２に進む。
　ステップＳ１１０２において、圧縮率マップ生成部６３５は、切り替え圧縮率を、対応する領域に格納することで圧縮率マップを生成する。また、圧縮率設定部６２２は、生成された圧縮率マップを、符号化部１２１に設定する。
　ステップＳ１１０３において、精度監視部１０３４は、第１処理部６３２＿１～第ｎ処理部６３２＿ｎによる処理の結果を取得し、各処理の結果についての精度を算出する。
　ステップＳ１１０４において、圧縮率マップ生成部６３５は、新たに決定された圧縮率を、対応する領域に格納することで圧縮率マップを生成し、圧縮率設定部６２２は、生成された圧縮率マップを符号化部１２１に設定する。
　＜圧縮率の切り替え結果＞
　次に、圧縮率制御処理（図１１）による圧縮率の切り替え結果の具体例について説明する。図１２は、圧縮率の切り替え結果の一例を示す図である。図１２において、復号データ１２１０～１２４０は、動画像データに含まれる各フレームの画像データを符号化し、復号することで生成された復号データを示している。
　なお、復号データ１２１０～１２４０において、ハッチングの濃さの違いは、圧縮率の違いによる復号データの画質の違いを示している。具体的には、ハッチングが薄いほど圧縮率が低く、復号データの画質が高いことを示しており、ハッチングが濃いほど圧縮率が高く、復号データの画質が低いことを示している。
　図１２の例は、時間の経過とともに、複数の対象物が現れた様子を示している。図１２に示すように、復号データ１２１０に対しては、第１処理部６３２＿１が、復号データの全領域に対して物体検出処理を行う。このとき、画像データは、圧縮率１で符号化されている。
　復号データ１２２０に対しては、第１処理部６３２＿１が、全領域に対して物体検出処理を行い、対象物１２０１を検出する。このとき、画像データは、圧縮率１で符号化されているが、対象物１２０１が検出されたことに伴い、対象物１２０１が検出された領域に対応する領域の圧縮率は、圧縮率１よりも低い圧縮率２に切り替えられる。
　復号データ１２３０は、画像データのうち、
・対象物１２０１が検出された領域に対応する領域が圧縮率２で符号化され、かつ、
・対象物１２０１が検出された領域に対応する領域以外の領域が圧縮率１で符号化された、
符号化データが復号されることで生成された復号データである。
　復号データ１２３０に対しては、第１処理部６３２＿１が、全領域に対して物体検出処理を行い、対象物１２０１、対象物１２１１を検出する。また、対象物１２０１を検出した領域に対しては、第２処理部６３２＿２が、測距処理を行い、対象物までの距離を測定する。また、対象物１２０１に対して測距処理が行われたことに伴い、対象物１２０１が検出された領域に対応する領域の圧縮率は、圧縮率２よりも低い圧縮率３に切り替えられる。更に、対象物１２１１が新たに検出されたことに伴い、対象物１２１１が検出された領域に対応する領域の圧縮率は、圧縮率１よりも低い圧縮率２に切り替えられる。
　復号データ１２４０は、画像データのうち、
・対象物１２０１が検出された領域に対応する領域が圧縮率３で符号化され、かつ、
・対象物１２１１が検出された領域に対応する領域が圧縮率２で符号化され、かつ、
・対象物１２０１及び対象物１２１１が検出された領域に対応する領域以外の領域が圧縮率１で符号化された、
符号化データが復号されることで生成された復号データである。
　復号データ１２４０に対しては、第１処理部６３２＿１が、全領域に対して物体検出処理を行い、対象物１２０１、対象物１２１１、対象物１２２１を検出する。また、対象物１２０１を検出した領域に対しては、第２処理部６３２＿２が、測距処理を行い、対象物までの距離を測定した後に、第３処理部６３２＿３が、状況判断処理を行い、対象物の状況を判断する。
　また、対象物１２１１を検出した領域に対しては、第２処理部６３２＿２が測距処理を行い、対象物までの距離を測定する。また、対象物１２１１に対して測距処理が行われたことに伴い、対象物１２１１が検出された領域に対応する領域の圧縮率が、圧縮率２よりも低い圧縮率３に切り替えられる。
　更に、対象物１２２１が新たに検出されたことに伴い、対象物１２２１が検出された領域に対応する領域の圧縮率が、圧縮率１よりも低い圧縮率２に切り替えられる。
　なお、図１２の例では、各処理部による処理の結果が許容精度以上となるように、新たな圧縮率１～圧縮率３を決定する処理については言及しなかった。しかしながら、新たな圧縮率１は、例えば、復号データ１２２０において対象物１２０１を検出した後、第１処理部６３２＿１による処理の結果についての精度を算出することで決定してもよい。同様に、新たな圧縮率２は、例えば、復号データ１２３０において対象物１２０１に対して測距処理を行った後、第２処理部６３２＿２による処理の結果についての精度を算出することで決定してもよい。同様に、新たな圧縮率３は、例えば、復号データ１２４０において対象物１２０１に対して状況判断処理を行った後、第３処理部６３２＿３による処理の結果についての精度を算出することで決定してもよい。
　以上の説明から明らかなように、第２の実施形態に係る画像処理システム１０００は、符号化された画像データが復号されることで生成された復号データの各領域に対して、ＡＩによる複数の処理が逐次的に行われる。また、第２の実施形態に係る画像処理システム１０００は、ｘ番目の処理を行うのに必要な画質よりも、ｘ＋１番目の処理を行うのに必要な画質の方が高い場合、ｘ番目の処理の結果に対応する領域の圧縮率を、切り替え圧縮率に切り替える。
　このように、第２の実施形態に係る画像処理システム１０００では、ＡＩによる複数の処理が逐次的に行われる際、それぞれの処理が必要とする画質を提供可能な切り替え圧縮率に切り替えて符号化する。これにより、第２の実施形態に係る画像処理システム１０００によれば、ＡＩによる複数の処理を逐次的に行う際、各処理を適切に行うことができる。
　また、第２の実施形態に係る画像処理システム１０００は、ＡＩによる複数の処理のうちの、いずれの処理の結果も許容精度が得られるように、画像データを符号化する際の各領域の圧縮率を決定する。また、第２の実施形態に係る画像処理システム１０００は、決定された各領域の圧縮率で、画像データを符号化する。
　このように、第２の実施形態に係る画像処理システム１０００では、ＡＩによる複数の処理の結果についての精度を監視し、監視した精度に応じて各領域の切り替え後の圧縮率を適切に制御する。これにより、第２の実施形態に係る画像処理システム１０００によれば、撮影位置周辺の状況が変化したことで復号データの画質が低下した場合でも、圧縮率を変えて画質を改善させることで、いずれのＡＩによる処理の結果も許容精度が得られるようになる。
　つまり、第２の実施形態によれば、ＡＩによる複数の処理において利用可能な復号データが生成できるようになる。
　［その他の実施形態］
　上記各実施形態において、符号化装置１２０、６２０と画像解析装置１３０、６３０とを別体の装置としたが、符号化装置１２０、６２０と画像解析装置１３０、６３０とは一体の装置であってもよい。
　また、上記各実施形態において、撮像装置１１０と符号化装置１２０、６２０とは別体の装置としたが、撮像装置１１０と符号化装置１２０、６２０とは一体の装置であってもよい。
　なお、一体の装置とした場合、当該装置では、例えば、上記画像解析プログラムを含む符号化プログラムが実行されることで、上記各実施形態において説明した各機能が実現される。
　なお、上記各実施形態において、画像解析装置１３０、６３０が実現する機能の一部は、符号化装置１２０、６２０が実現してもよいし、符号化装置１２０、６２０が実現する機能の一部は、画像解析装置１３０、６３０が実現してもよい。
　また、上記第２の実施形態では、特定フェーズと符号化フェーズとで異なる画像処理システムを用いるものとして説明したが、同じ画像処理システムを用いて特定フェーズと符号化フェーズとを実行してもよい。
　また、上記第２の実施形態では、特定フェーズにおいて、圧縮率を段階的に下げることで切り替え圧縮率を特定するものとして説明したが、圧縮率を段階的に上げることで切り替え圧縮率を特定してもよい。
　また、上記第２の実施形態では、符号化フェーズにおいて、切り替え圧縮率に切り替えた後に、新たな圧縮率を決定するものとして説明した。しかしながら、新たな圧縮率を既に決定している場合にあっては、切り替え圧縮率に切り替える際に、既に決定されている新たな圧縮率に切り替えてもよい。
　また、上記第２の実施形態では、対象物が検出された領域ごとに圧縮率を決定するものとして説明したが、上記第１の実施形態同様、圧縮率の設定粒度ごとに、圧縮率を決定するようにしてもよい。
　また、上記各実施形態において説明した、精度監視部による新たな圧縮率の決定方法は一例に過ぎない。例えば、ＡＩによる認識状態や認識過程を解析することにより得られる、圧縮率を決定するための情報と、処理の結果についての精度の推移を示す情報とに基づいて、圧縮率を決定してもよい。
　具体的には、所定の領域に対して処理を行う処理部に対応する圧縮率が決定された際、当該処理部による処理の結果についての精度の推移を見ながら、段階的に圧縮率を上げるようにしてもよい（あるいは下げるようにしてもよい）。あるいは、所定の領域に対して処理を行う処理部の処理状態や処理過程を解析することによって得られる、圧縮率を決定するための情報に基づいて、圧縮率を決定してもよい。
　あるいは、所定の領域に対して処理を行う処理部の処理状態や処理過程を解析することによって得られる、圧縮率を決定するための情報と、圧縮率を決定する処理部とは異なる処理部による処理の結果についての精度の推移とに基づいて、圧縮率を決定してもよい。
　また、上記各実施形態において説明したＡＩによる認識処理には、深層学習処理のほか、計算機等による解析に基づいて結果を得る解析処理等が含まれていてもよい。
　また、上記各実施形態においては説明しなかったが、画像データ内の領域によっては、全ての処理部が処理を行う領域と、処理部の一部のみが処理を行う領域とが含まれていてもよい。処理部の一部のみが処理を行う領域については、当該一部の処理部による処理の結果に基づいて、当該領域の圧縮率を決定してもよい。あるいは、処理を行わない処理部による処理の結果を含めて、当該領域の圧縮率を決定してもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　１００　　　　　　　　　：画像処理システム
　１１０　　　　　　　　　：撮像装置
　１２０　　　　　　　　　：符号化装置
　１２１　　　　　　　　　：符号化部
　１２２　　　　　　　　　：圧縮率設定部
　１３０　　　　　　　　　：画像解析装置
　１３１　　　　　　　　　：復号部
　１３２＿１～１３２＿ｎ　：処理部
　１３３　　　　　　　　　：出力部
　１３４　　　　　　　　　：精度監視部
　１３５　　　　　　　　　：圧縮率マップ生成部
　１３６　　　　　　　　　：ルール情報
　６２０　　　　　　　　　：符号化装置
　６２２　　　　　　　　　：圧縮率設定部
　６３２＿１　　　　　　　：第１処理部
　６３２＿２　　　　　　　：第２処理部
　６３２＿３　　　　　　　：第３処理部
　６３２＿ｎ　　　　　　　：第ｎ処理部
　６３４　　　　　　　　　：処理結果解析部
　６３５　　　　　　　　　：圧縮率マップ生成部
　６３６　　　　　　　　　：ルール情報生成部
　８１１～８３１　　　　　：ルール情報
　１０３４　　　　　　　　：精度監視部

Claims (11)

  1. 　符号化された画像データが復号されることで生成された復号データに対して、ＡＩによる複数の処理が行われる場合に、いずれの処理の結果も所定の精度が得られるように決定された圧縮率で、前記画像データを符号化する符号化部、
    　を有する画像処理システム。
  2. 　前記ＡＩによる複数の処理の結果を監視する監視部を更に有する、請求項１に記載の画像処理システム。
  3. 　前記監視部は、前記ＡＩによる複数の処理が並列に行われる場合であって、前記ＡＩによる複数の処理の結果のうちのいずれかの処理の結果が、許容精度以下であった場合、当該処理の結果が許容精度以上となるように新たな圧縮率を決定する、請求項２に記載の画像処理システム。
  4. 　前記監視部は、前記ＡＩによる複数の処理が並列に行われる場合であって、前記ＡＩによる複数の処理の結果についての精度のうち、最小の精度が、許容精度以上であった場合、許容精度に近づくように新たな圧縮率を決定する、請求項３に記載の画像処理システム。
  5. 　前記監視部は、前記ＡＩによる複数の処理が逐次的に行われる場合であって、ｘ番目の処理を行うための画質よりも、ｘ＋１番目の処理を行うための画質のほうが高い画質が必要となる場合、ｘ番目の処理の結果に対応する領域の圧縮率を、ｘ番目の処理を行った際の圧縮率よりも低い圧縮率に切り替える、請求項２に記載の画像処理システム。
  6. 　前記ＡＩによる複数の処理それぞれが必要とする画質を提供可能な各切り替え圧縮率と、各切り替え圧縮率に切り替える条件と、各切り替え圧縮率に切り替える各領域とが規定されたルール情報を有し、
    　前記監視部は、前記ＡＩによる複数の処理の結果と、前記ルール情報とに基づいて、各領域の圧縮率を切り替える、請求項５に記載の画像処理システム。
  7. 　前記監視部は、前記ＡＩによる複数の処理の結果のうちのいずれかの処理の結果が、許容精度以下であった場合、当該処理の結果が許容精度以上となるように、当該処理が行われる領域について、新たな圧縮率を決定する、請求項６に記載の画像処理システム。
  8. 　前記監視部は、前記ＡＩによる複数の処理の結果についての精度のうち、最小の精度が、許容精度以上であった場合、許容精度に近づくように、当該処理が行われる領域について、新たな圧縮率を決定する、請求項６に記載の画像処理システム。
  9. 　符号化された画像データが復号されることで生成された復号データに対して、ＡＩによる複数の処理が行われる場合に、いずれの処理の結果も所定の精度が得られるように決定された圧縮率で、前記画像データを符号化する符号化部、
    　を有する符号化装置。
  10. 　符号化された画像データが復号されることで生成された復号データに対して、ＡＩによる複数の処理が行われる場合に、いずれの処理の結果も所定の精度が得られるように決定された圧縮率で、前記画像データを符号化する、
    　処理をコンピュータが実行する符号化方法。
  11. 　符号化された画像データが復号されることで生成された復号データに対して、ＡＩによる複数の処理が行われる場合に、いずれの処理の結果も所定の精度が得られるように決定された圧縮率で、前記画像データを符号化する、
    　処理をコンピュータに実行させるための符号化プログラム。
PCT/JP2021/035014 2021-09-24 2021-09-24 画像処理システム、符号化装置、符号化方法及び符号化プログラム WO2023047516A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023549243A JPWO2023047516A1 (ja) 2021-09-24 2021-09-24
PCT/JP2021/035014 WO2023047516A1 (ja) 2021-09-24 2021-09-24 画像処理システム、符号化装置、符号化方法及び符号化プログラム
US18/444,823 US20240193817A1 (en) 2021-09-24 2024-02-19 Image processing system, encoding method, and computer-readable recording medium storing encoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035014 WO2023047516A1 (ja) 2021-09-24 2021-09-24 画像処理システム、符号化装置、符号化方法及び符号化プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/444,823 Continuation US20240193817A1 (en) 2021-09-24 2024-02-19 Image processing system, encoding method, and computer-readable recording medium storing encoding program

Publications (1)

Publication Number Publication Date
WO2023047516A1 true WO2023047516A1 (ja) 2023-03-30

Family

ID=85719377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035014 WO2023047516A1 (ja) 2021-09-24 2021-09-24 画像処理システム、符号化装置、符号化方法及び符号化プログラム

Country Status (3)

Country Link
US (1) US20240193817A1 (ja)
JP (1) JPWO2023047516A1 (ja)
WO (1) WO2023047516A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016025494A (ja) * 2014-07-22 2016-02-08 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP2017211799A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置および情報処理方法
WO2021152849A1 (ja) * 2020-01-31 2021-08-05 富士通株式会社 データ処理装置及びデータ処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016025494A (ja) * 2014-07-22 2016-02-08 ルネサスエレクトロニクス株式会社 画像受信装置、画像伝送システムおよび画像受信方法
JP2017211799A (ja) * 2016-05-25 2017-11-30 キヤノン株式会社 情報処理装置および情報処理方法
WO2021152849A1 (ja) * 2020-01-31 2021-08-05 富士通株式会社 データ処理装置及びデータ処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TOMONORI KUBOTA, TAKANORI NAKAO, EIJI YOSHIDA: "A high-compression video coding method for video analysis using Deep Learning", IEICE TECHNICAL REPORT, IEICE, JP, vol. 119, no. 456 (IE2019-121), 27 February 2020 (2020-02-27), JP , pages 121 - 126, XP009539202, ISSN: 2432-6380 *
TOMONORI KUBOTA, TAKANORI NAKAO, MASAFUMI KATOH, EIJI YOSHIDA, HIDENOBU MIYOSHI: "A method for analyze causes of deterioration of predict quality when Deep Learning is applied to instance segmentation", ITE TECHNICAL REPORT, EIZO JOHO MEDIA GAKKAI, TOKYO, JP, vol. 44, no. 12 (BioX2020-14,SIP2020-14,IE2020-14,MI2020-14), 21 May 2020 (2020-05-21), JP , pages 93 - 98, XP009544971, ISSN: 1342-6893 *

Also Published As

Publication number Publication date
JPWO2023047516A1 (ja) 2023-03-30
US20240193817A1 (en) 2024-06-13

Similar Documents

Publication Publication Date Title
GB2590222A (en) MVD precision for affine
US11025879B2 (en) Image processing apparatus, image processing method, and storage medium storing program
US10742989B2 (en) Variable frame rate encoding method and device based on a still area or a motion area
JP6605581B2 (ja) ビデオ符号化のための適応検索ウィンドウの配置
CN110738611A (zh) 一种视频画质增强方法、系统及设备
CN106162109B (zh) 一种远程监视方法和监控设备
CN114898273A (zh) 一种视频监控异常检测方法、装置及设备
US10051281B2 (en) Video coding system with efficient processing of zooming transitions in video
KR100646302B1 (ko) 움직임 벡터 검출 장치 및 움직임 벡터 검출 방법
WO2023047516A1 (ja) 画像処理システム、符号化装置、符号化方法及び符号化プログラム
CN113688832B (zh) 一种模型训练及图像处理方法、装置
JPWO2020156516A5 (ja)
CN115004677A (zh) 视觉传感器芯片及其操作方法和电子设备
JP2007166545A (ja) 動きベクトル検出装置及び方法
KR20220064950A (ko) 프레임 간 예측 방법 및 장치, 기기, 저장 매체
KR0159090B1 (ko) 시간정보발생장치
US11398091B1 (en) Repairing missing frames in recorded video with machine learning
JPH08140098A (ja) 動き補償符号化装置
JP2001285874A (ja) 動きベクトル探索装置、方法及びプログラムを記録した記録媒体
JP7310148B2 (ja) メディア符号化方法および装置
CN102300096A (zh) 帧类型检测方法及帧类型检测系统
JP4430690B2 (ja) 動き探索装置、動き探索方法、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP7552735B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN112738626B (zh) 视频文件的目标检测方法、装置、电子设备及存储介质
JP4410039B2 (ja) 動き検出装置および動き検出方法、画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958392

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549243

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21958392

Country of ref document: EP

Kind code of ref document: A1