WO2023228409A1 - 画像解析装置、画像解析方法及び画像解析プログラム - Google Patents

画像解析装置、画像解析方法及び画像解析プログラム Download PDF

Info

Publication number
WO2023228409A1
WO2023228409A1 PCT/JP2022/021753 JP2022021753W WO2023228409A1 WO 2023228409 A1 WO2023228409 A1 WO 2023228409A1 JP 2022021753 W JP2022021753 W JP 2022021753W WO 2023228409 A1 WO2023228409 A1 WO 2023228409A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
inspected
decoded data
image analysis
image
Prior art date
Application number
PCT/JP2022/021753
Other languages
English (en)
French (fr)
Inventor
智規 久保田
章弘 屋森
康之 村田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2022/021753 priority Critical patent/WO2023228409A1/ja
Publication of WO2023228409A1 publication Critical patent/WO2023228409A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Definitions

  • the present invention relates to an image analysis device, an image analysis method, and an image analysis program.
  • An analysis technique that inspects the object to be inspected by photographing the object as a moving image and analyzing the moving image data with an image analysis device at the transmission destination. According to this analysis technique, for example, it is possible to perform an inspection at pixel granularity, such as whether an object to be inspected is placed at a position according to design data.
  • JP2018-112440A Japanese Patent Application Publication No. 2021-057769
  • One aspect of the present invention is to reduce the amount of moving image data to be transmitted when an object to be inspected is photographed as a moving image and analyzed by an image analysis device at a transmission destination.
  • the image analysis device includes: When the first image data encoded at the first compression rate is decoded and the first decoded data is obtained, the object including the object to be inspected is analyzed by analyzing the first decoded data.
  • an identification unit for identifying the area and a reference area including the reference line;
  • a specifying unit that specifies the object area and the reference area using the identified area and information indicating a configuration of a structure to which the object to be inspected is attached;
  • a compression ratio map is generated in which the object region and the reference region are changed to a second compression ratio smaller than the first compression ratio, and a second image is encoded using the compression ratio map.
  • a measurement unit that measures the position of the object to be inspected based on the reference line by analyzing the second decoded data when second decoded data is obtained by decoding the data.
  • the amount of moving image data to be transmitted can be reduced.
  • FIG. 1 is a diagram showing an example of the system configuration of an image processing system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the encoding device and the image analysis device.
  • FIG. 3 is a first diagram showing an example of the functional configuration of the encoding device and the image analysis device of the image processing system according to the first embodiment.
  • FIG. 4 is a first diagram showing a specific example of image processing by the image processing system according to the first embodiment.
  • FIG. 5 is a second diagram showing a specific example of image processing by the image processing system according to the first embodiment.
  • FIG. 6 is a third diagram showing a specific example of image processing by the image processing system according to the first embodiment.
  • FIG. 7 is a fourth diagram showing a specific example of image processing by the image processing system according to the first embodiment.
  • FIG. 8 is a first flowchart showing the flow of image processing by the image processing system according to the first embodiment.
  • FIG. 9 is a second flowchart showing the flow of image processing by the image processing system according to the first embodiment.
  • FIG. 10 is a first diagram showing an example of a change in compression ratio.
  • FIG. 11 is a first diagram showing a specific example of image processing by the image processing system according to the second embodiment.
  • FIG. 12 is a second diagram showing a specific example of image processing by the image processing system according to the second embodiment.
  • FIG. 13 is a third diagram showing a specific example of image processing by the image processing system according to the second embodiment.
  • FIG. 14 is a fourth diagram showing a specific example of image processing by the image processing system according to the second embodiment.
  • FIG. 10 is a first diagram showing an example of a change in compression ratio.
  • FIG. 11 is a first diagram showing a specific example of image processing by the image processing system according to the second embodiment.
  • FIG. 12 is a second diagram showing
  • FIG. 15 is a first flowchart showing the flow of image processing by the image processing system according to the second embodiment.
  • FIG. 16 is a second flowchart showing the flow of image processing by the image processing system according to the second embodiment.
  • FIG. 17 is a diagram illustrating an example of a functional configuration of an encoding device and an image analysis device of an image processing system according to the third embodiment.
  • FIG. 18 is a first diagram showing a specific example of image processing by the image processing system according to the third embodiment.
  • FIG. 19 is a second diagram showing a specific example of image processing by the image processing system according to the third embodiment.
  • FIG. 20 is a third diagram showing a specific example of image processing by the image processing system according to the third embodiment.
  • FIG. 21 is a fourth diagram showing a specific example of image processing by the image processing system according to the third embodiment.
  • FIG. 22 is a diagram illustrating an example of a functional configuration of an encoding device and an image analysis device of an image processing system according to the fourth embodiment.
  • FIG. 23 is a second diagram showing an example of changes in compression ratio.
  • FIG. 24 is a third diagram showing an example of changes in compression ratio.
  • FIG. 25 is a fourth diagram showing an example of changes in compression ratio.
  • FIG. 1 is a diagram showing an example of the system configuration of an image processing system.
  • the image processing system 100 includes an imaging device 110, an encoding device 120, and an image analysis device 130.
  • the encoding device 120 and the image analysis device 130 are communicably connected via a network 180.
  • the imaging device 110 photographs at a predetermined frame period and transmits moving image data to the encoding device 120.
  • a plurality of parts (an example of a plurality of objects) are attached to a device 140 (an example of a structure) that is photographed by the imaging device 110, and are conveyed by a belt conveyor 150.
  • image data 160 shows an example of one frame of image data included in moving image data. In the example of FIG. It shows how it was done.
  • parts 161 and 162 are parts to be inspected (an example of an object to be inspected), and parts 163 and 164 are parts other than to be inspected (an example of an object to be inspected). shall be.
  • the encoding device 120 encodes the image data of each frame included in the video data and generates encoded data.
  • the encoding device 120 uses a compression rate map (a map indicating the compression rate of each region when image data is encoded with a different compression rate for each region) transmitted from the image analysis device 130. ) to encode the image data. Furthermore, the encoding device 120 transmits the generated encoded data to the image analysis device 130 via the network 180.
  • the image analysis device 130 decodes the encoded data transmitted from the encoding device 120 via the network 180 and generates decoded data.
  • the image analysis device 130 analyzes the generated decoded data (for example, by performing image recognition processing on the decoded data) to determine the area of the parts 161 and 162 (an example of multiple object areas. In this section, a plurality of "component areas" (referred to as "component areas") are specified.
  • the image analysis device 130 specifies a reference region (here, an outer edge region of the device 140) from the component region based on information indicating the configuration of the device 140 (for example, design data).
  • the image analysis device 130 generates a compression rate map in which the compression rate of the component area and the reference area is set to be lower than the compression rate of areas other than the component area and the reference area, and transmits it to the encoding device 120.
  • the encoding device 120 can encode image data using a compression rate map in which the compression rate of the component area and the reference area is lower than the compression rate of areas other than the component area and the reference area. can.
  • the amount of encoded data transmitted to the image analysis device 130 can be reduced compared to the case where image data is encoded using a compression rate map in which the compression rate of all regions is lowered. .
  • the image analysis device 130 decodes the encoded data whose data amount has been reduced, and generates decoded data. At this time, the image analysis device 130 can generate decoded data in which the component area and the reference area have high image quality. Therefore, by analyzing the decoded data (for example, by performing contour extraction processing on the decoded data), the image analysis device 130 analyzes the contour of the component 161, the contour of the component 162, and the reference line ( Here, the contour line of the outer edge of the device 140 can be extracted with high precision. As a result, the positions of the parts 161 and 162 based on the reference line can be measured with high precision.
  • the position measurement data 170 is calculated by calculating the distance (arrow) from the reference line of the part 161 and the distance (arrow) from the reference line of the part 152, so that the part 161 and the part based on the reference line are calculated. It shows how the position of No. 162 was measured with high precision.
  • the image processing system 100 when a part to be inspected is photographed as a moving image and analyzed by the image analysis device 130 at the transmission destination, the amount of moving image data to be transmitted is reduced. Highly accurate component position measurement can be achieved.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the encoding device and the image analysis device.
  • the encoding device 120 includes a processor 201, a memory 202, an auxiliary storage device 203, an I/F (Interface) device 204, a communication device 205, and a drive device 206. Note that each piece of hardware in the encoding device 120 is interconnected via a bus 207.
  • the processor 201 includes various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (eg, encoding programs, etc.) onto the memory 202 and executes them.
  • the memory 202 includes main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and when the processor 201 executes various programs read onto the memory 202, the computer realizes various functions.
  • the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201.
  • the I/F device 204 is a connection device that connects the imaging device 110, which is an example of an external device, and the encoding device 120.
  • the communication device 205 is a communication device for communicating with the image analysis device 130 via the network 180.
  • the drive device 206 is a device for setting the recording medium 210.
  • the recording medium 210 here includes a medium for recording information optically, electrically, or magnetically, such as a CD-ROM, a flexible disk, or a magneto-optical disk. Further, the recording medium 210 may include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory.
  • the various programs to be installed in the auxiliary storage device 203 are installed by, for example, setting the distributed recording medium 210 in the drive device 206 and reading out the various programs recorded on the recording medium 210 by the drive device 206. be done.
  • various programs installed in the auxiliary storage device 203 may be installed by being downloaded from the network 180 via the communication device 205.
  • 2b of FIG. 2 is a diagram showing an example of the hardware configuration of the image analysis device 130.
  • the hardware configuration of the image analysis device 130 is generally the same as that of the encoding device 120, so the differences from the encoding device 120 will be mainly explained here.
  • the processor 221 reads, for example, an image analysis program onto the memory 222 and executes it.
  • the I/F device 224 receives operations on the image analysis device 130 via the operating device 231.
  • the I/F device 224 also outputs the results of the processing by the image analysis device 130 and displays them via the display device 232.
  • the communication device 225 communicates with the encoding device 120 via the network 180.
  • FIG. 3 is a diagram illustrating an example of the functional configuration of the encoding device and image analysis device of the image processing system according to the first embodiment.
  • an encoding program is installed in the encoding device 120, and by executing the program, the encoding device 120 functions as the encoding unit 121 and the compression rate setting unit 122.
  • the encoding unit 121 encodes the image data of each frame included in the video data based on the compression rate map set by the compression rate setting unit 122, and generates encoded data. Furthermore, the encoding unit 121 transmits the generated encoded data to the image analysis device 130.
  • the compression rate setting unit 122 receives the compression rate map transmitted from the image analysis device 130 and sets it in the encoding unit 121.
  • an image analysis program is installed in the image analysis device 130.
  • the image analysis device 130 functions as a decoding unit 131, a region identification unit 132_1, a contour extraction unit 132_2, a specification unit 133, and a compression rate map generation unit 134 by executing the program.
  • the decoding unit 131 decodes the encoded data transmitted from the encoding device 120 and generates decoded data. Further, the decoding unit 131 notifies the area identification unit 132_1 and the contour extraction unit 132_2 of the generated decoded data.
  • the area identification unit 132_1 is an example of an identification unit.
  • the area identification unit 132_1 has a trained deep learning model that has been machine learned to identify various parts and the like attached to the device 140 by performing image recognition processing on decoded data.
  • the area identification unit 132_1 identifies various parts by inputting decoded data into a trained deep learning model, and notifies the identification unit 133 of the areas of the parts 161 and 162 to be inspected.
  • the identifying unit 133 identifies the areas of the parts 161 and 162 to be inspected, identified by the area identifying unit 132_1, as part areas. Further, the specifying unit 133 specifies a reference area (an outer edge area of the device 140) from the specified component area based on the design data 135 indicating the configuration of the device 140. Furthermore, the specifying unit 133 notifies the compression ratio map generating unit 134 and the contour extracting unit 132_2 of the specified component area and reference area.
  • the compression rate map generation unit 134 has a default compression rate map, and when notified of the component area and reference area from the identification unit 133, sets the compression rate of the component area and reference area to be lower than the default compression rate. Generate a compression rate map changed to the compression rate. Furthermore, the compression rate map generation unit 134 transmits the generated compression rate map to the encoding device 120.
  • the contour extraction unit 132_2 is an example of a measurement unit.
  • the contour extraction unit 132_2 corrects the shape of the device 140 in the decoded data based on the design data 135 indicating the configuration of the device 140. Specifically, if the imaging direction when the imaging device 110 photographs the device 140 is, for example, tilted with respect to the vertical direction, the shape of the device 140 in the decoded data will be distorted. In step 132_2, this is corrected based on the design data 135. Furthermore, the contour extraction unit 132_2 enlarges or reduces the size of the device 140 in the decoded data so that the size of the device 140 in the decoded data matches the size of the device 140 shown in the design data 135.
  • shape and size (hereinafter referred to as shape, etc.) of the device 140 in the decoded data are corrected in accordance with the design data 135, but the design The shape etc. of the data 135 may be corrected.
  • the contour extraction unit 132_2 performs contour extraction processing on the decoded data that has been corrected for the shape etc. of the device 140, and generates contour line image data by extracting the contour line.
  • the contour extracting section 132_2 refers to the component area and reference area specified by the specifying section 133, and extracts the contour lines of the parts 161 and 162 to be inspected and the reference line from among the contour lines in the contour image data. (outline of the outer edge of the device 140).
  • the contour extraction unit 132_2 calculates the distance of the contour of the component 161 from the reference line and the distance of the contour of the component 162 from the reference line, thereby calculating the distance of the component 161 and the component 162 based on the reference line.
  • the position is measured and position measurement data 170 is output.
  • the encoding unit 121 encodes the image data 160 using a compression rate map 400 in which a default compression rate is set, and generates encoded data 410. do. Furthermore, the encoding unit 121 transmits encoded data 410 to the image analysis device 130.
  • the encoded data 410 transmitted to the image analysis device 130 is decoded by the decoding unit 131, and decoded data 420 is generated. At this time, it is assumed that the generated decoded data 420 does not have sufficient image quality to perform highly accurate position measurement, but has enough image quality to be able to identify the parts 161 and 162.
  • the area identification unit 132_1 identifies the areas of the parts 161 and 162. Further, the specifying unit 133 specifies the areas of the parts 161 and 162 as part areas. In the decoded data 430, a dotted line 431 indicates a component area specified by the specifying unit 133.
  • the specifying unit 133 specifies a reference area (the outer edge area of the device 140) from the component area based on the design data 135.
  • the area between the dotted line 511 and the dotted line 512 indicates the reference area specified by the specifying unit 133.
  • the component area and reference area specified by the specifying unit 133 are notified to the compression ratio map generating unit 134.
  • the compression rate map generation unit 134 creates the compression rate map 500 by setting the compression rate of the component area and the reference area to a compression rate lower than the default compression rate in the compression rate map 400 in which the default compression rate is set. generate.
  • the encoding unit 121 encodes the image data 160' using the compression rate map 500, and performs encoding. Generate data 520. Furthermore, the encoding unit 121 transmits encoded data 520 to the image analysis device 130.
  • encoded data 520 transmitted to the image analysis device 130 is decoded by the decoding unit 131, and decoded data 610 is generated. At this time, it is assumed that the generated decoded data 610 has sufficient image quality to perform highly accurate position measurement for the component area and the reference area.
  • the area identifying unit 132_1 identifies the areas of the parts 161 and 162 with high precision, and the identifying unit 133 identifies the parts area. Further, the specifying unit 133 specifies a reference area from the component area based on the design data 135.
  • a dotted line 621 indicates a component area in which the areas of the parts 161 and 162 are identified with high accuracy by the area identification unit 132_1 and specified by the identification unit 133. Furthermore, in the decoded data 630 in FIG. 6, the area between the dotted line 631 and the dotted line 632 indicates the reference area specified by the specifying unit 133.
  • contour extraction unit 132_2 corrects the shape of the device 140 in the decoded data 610 based on the design data 135 with respect to the generated decoded data 610.
  • decoded data 640 is decoded data that includes the device 140' whose shape and the like have been corrected.
  • the contour extraction unit 132_2 extracts a contour line by performing contour extraction processing on the decoded data 640, and generates contour image data 650.
  • the contour extracting section 132_2 extracts the contour of the outer edge of the device 140 from among the contours in the contour image data 650 by referring to the reference area specified by the specifying section 133. Identify four reference lines that are . Note that the contour image data 710 in FIG. 7 indicates four positions to which the four identified reference lines are connected using rectangular dotted lines.
  • the contour extraction unit 132_2 generates coordinates based on the specified reference line and the design data 135 (see contour image data 720). Further, the contour extracting section 132_2 specifies the contour line of the component 161 and the contour line of the component 162 in the contour image data 720 by referring to the component area specified by the specifying section 133. Further, the contour extraction unit 132_2 calculates the distance from the specified reference line for each of the specified contour line of the component 161 and the specified contour line of the component 162 based on the generated coordinates.
  • the arrows shown in the contour image data 730 indicate how the distances from the reference line of the contour of the component 161 and the contour of the component 162 have been calculated.
  • FIGS. 8 and 9 are first and second flowcharts showing the flow of image processing by the image processing system according to the first embodiment.
  • step S801 the encoding device 120 acquires one frame of image data (an example of first image data) from the moving image data captured by the imaging device 110.
  • step S802 the encoding device 120 generates encoded data by encoding the acquired image data using a default compression rate map, and transmits it to the image analysis device 130 via the network 180.
  • step S803 the image analysis device 130 receives encoded data and generates decoded data (an example of first decoded data) by decoding the received encoded data.
  • step S804 the image analysis device 130 identifies the area of the part to be inspected by performing image recognition processing on the decoded data.
  • step S805 the image analysis device 130 specifies the area of the identified part to be inspected as a part area, and also refers to the design data to specify a reference area from the part area.
  • step S806 the image analysis device 130 sets the compression ratio (second compression ratio) of the identified component region and reference region to a lower compression ratio (second compression ratio) than the default compression ratio (first compression ratio). Generate a compression ratio map.
  • step S807 the image analysis device 130 determines whether to proceed to the measurement phase. If the component area cannot be identified, the image analysis device 130 determines not to proceed to the measurement phase (determines NO in step S807), and returns to step S801. In this case, the steps S801 to S806 are executed for the next frame of image data.
  • step S807 if the component area has been identified, it is determined to proceed to the measurement phase (YES in step S807), and the process proceeds to step 901 in FIG. In this case, the compression rate map generated in step S806 is transmitted to the encoding device 120.
  • step S901 the encoding device 120 acquires the next frame of image data (an example of second image data).
  • step S902 the encoding device 120 generates encoded data by encoding the acquired image data using the compression rate map generated in step S806, and transmits it to the image analysis device 130.
  • step S903 the image analysis device 130 receives the encoded data and generates decoded data (second decoded data) by decoding the received encoded data.
  • step S904 the image analysis device 130 performs image recognition processing on the decoded data to identify the area of the part to be inspected and specify the part area. Furthermore, the image analysis device 130 identifies a reference region based on the identified component region and design data.
  • step S905 the image analysis device 130 uses the design data to correct the shape, etc. of the device 140 in the decoded data.
  • step S906 the image analysis device 130 performs contour extraction processing on the decoded data that has been corrected for the shape etc. of the device 140 to extract the contour line and generate contour image data. Furthermore, the image analysis device 130 identifies a reference line from among the contour lines in the contour image data by referring to the reference area specified in step S904.
  • step S907 the image analysis device 130 generates coordinates based on the identified reference line.
  • step S908 the image analysis device 130 identifies the contour lines of the parts 161 and 162 to be inspected from among the contour lines in the contour image data by referring to the component area specified in step S904. Furthermore, the image analysis device 130 calculates the distance from the reference line for the contour line of the parts 161, 162 to be inspected based on the generated coordinates, and measures the position of the parts 161, 162 to be inspected.
  • step S909 the image analysis device 130 determines whether or not to end the image processing, and if it is determined to continue the image processing (if NO in step S909), the process proceeds to step S910.
  • step S910 the image analysis device 130 determines whether it has been switched to the next device. If it is determined in step S910 that the next device has not been switched (NO in step S910), the process returns to step S901.
  • step S910 determines that the device has been switched to the next device (YES in step S910). If it is determined in step S910 that the device has been switched to the next device (YES in step S910), the process returns to step S801 in FIG.
  • step S909 if it is determined in step S909 that the image processing is to be ended (in the case of YES in step S909), the image processing is ended.
  • FIG. 10 is a first diagram showing an example of a change in compression ratio.
  • reference numeral 1010 indicates image data of each frame included in the moving image data captured by the imaging device 110.
  • reference numeral 1020 indicates the main contents of image processing performed on the image data indicated by reference numeral 1010.
  • the image processing system 100 sets a default compression rate (time t 2 ).
  • the image processing system 100 performs image recognition processing to identify the component area and reference area, and generates and sets a compression ratio map ( time t3 ).
  • the image processing system 100 sets a default compression rate (time t 4 ). Note that the same image processing is repeated thereafter, and the same change in the compression ratio is also repeated.
  • the image processing system 100 decodes the first image data encoded at the default compression rate and obtains the first decoded data. , performs image recognition processing to identify the area of the part to be inspected. Further, the image processing system 100 according to the first embodiment specifies the area of the identified part to be inspected as a part area, and uses the specified part area and the design data of the device to determine a standard including the reference line. Identify the area. Further, the image processing system 100 according to the first embodiment generates a compression rate map in which the compression rate of the component area and the reference area is changed to a compression rate lower than the default compression rate, and uses the generated compression rate map. and encodes the second image data.
  • the image processing system 100 when the image processing system 100 according to the first embodiment obtains second decoded data obtained by decoding the encoded second image data, the image processing system 100 performs contour extraction processing to extract the contour of the part to be inspected. By specifying the reference line and the reference line, the position of the part to be inspected based on the reference line is measured.
  • the image processing system 100 when a part to be inspected is photographed as a moving image and analyzed by an image analysis device at a transmission destination, the amount of moving image data to be transmitted can be reduced. can be reduced.
  • the specific example of encoding and decoding processing is the same as the specific example of encoding and decoding processing in FIG. 4, so a description thereof will be omitted here.
  • the decoded data 420 generated by the decoding unit 131 of the image analysis device 130 does not have sufficient image quality to perform highly accurate position measurement, but it is possible to identify the outer edge of the device 140. It is assumed that the image quality is as high as possible.
  • the area identification unit 132_1 identifies the area at the outer edge of the device 140. Further, the specifying unit 133 specifies an area at the outer edge of the device 140 as a reference area. In the decoded data 1110, the area between the dotted line 1111 and the dotted line 1112 indicates the reference area specified by the specifying unit 133.
  • the specifying unit 133 specifies a component area from the reference area based on the design data 135.
  • a dotted line 1211 indicates a component area specified by the specifying unit 133.
  • the area identification unit 132_1 in this embodiment identifies the outer edge area of the device 140 with high accuracy, and the identification unit 133 identifies the reference area. . Further, the specifying unit 133 specifies a component area from the reference area based on the design data 135.
  • the area between the dotted line 1311 and the dotted line 1312 is the reference area specified by the specifying unit 133 because the area identifying unit 132_1 has identified the outer edge area of the device 140 with high accuracy. It shows.
  • a dotted line 1321 indicates the component area specified by the specifying unit 133.
  • the contour extracting section 132_2 extracts the contour of the outer edge of the device 140 from among the contours in the contour image data 650 by referring to the reference area specified by the specifying section 133. Identify four reference lines that are . Note that the contour image data 710 in FIG. 14 indicates four positions to which the four specified reference lines are connected using rectangular dotted lines.
  • the contour extraction unit 132_2 generates coordinates based on the specified reference line and the design data 135 (see contour image data 720). Further, the contour extracting section 132_2 specifies the contour line of the component 161 and the contour line of the component 162 in the contour image data 720 by referring to the component area specified by the specifying section 133. Further, the contour extraction unit 132_2 calculates the distance from the specified reference line for each of the specified contour line of the component 161 and the specified contour line of the component 162 based on the generated coordinates.
  • the arrows shown in the contour image data 730 indicate how the distances from the reference line of the contour of the component 161 and the contour of the component 162 are calculated.
  • 15 and 16 are first and second flowcharts showing the flow of image processing by the image processing system according to the second embodiment.
  • the differences from FIGS. 8 and 9 are steps S1501, S1502, S1601, S1602, and S1603.
  • step S1501 the image analysis device 130 performs image recognition processing on the decoded data to identify the outer edge area of the device 140 and specify the reference area.
  • step S1502 the image analysis device 130 specifies a component area based on the specified reference area and design data.
  • step S1601 the image analysis device 130 performs image recognition processing on the decoded data to identify the outer edge area of the device 140 and specify the reference area. Furthermore, the image analysis device 130 specifies a component area based on the specified reference area and design data.
  • step S1602 the image analysis device 130 extracts a contour line by performing contour extraction processing on the decoded data whose shape etc. of the device 140 have been corrected, and generates contour image data. Furthermore, the image analysis device 130 identifies a reference line from among the contour lines in the contour image data by referring to the reference area specified in step S1601.
  • step S1603 the image analysis device 130 identifies the contour lines of the parts 161 and 162 to be inspected from among the contour lines in the contour image data by referring to the component area specified in step S1601. Furthermore, the image analysis device 130 calculates the distance from the reference line for the contour line of the parts 161, 162 to be inspected based on the generated coordinates, and measures the position of the parts 161, 162 to be inspected.
  • the image processing system 100 decodes the first image data encoded at the default compression rate and obtains the first decoded data. , performs an image recognition process to identify the outer edge area of the device. Further, the image processing system 100 according to the second embodiment specifies the outer edge area of the identified device as a reference area, and uses the specified reference area and the design data of the device to determine whether the part to be inspected is included. Identify the part area. Further, the image processing system 100 according to the second embodiment generates a compression rate map in which the compression rate of the component area and the reference area is changed to a compression rate lower than the default compression rate, and uses the generated compression rate map. and encodes the second image data.
  • the image processing system 100 when the image processing system 100 according to the second embodiment obtains second decoded data obtained by decoding the encoded second image data, the image processing system 100 performs contour extraction processing to extract the contour of the part to be inspected. By specifying the reference line and the reference line, the position of the part to be inspected based on the reference line is measured.
  • the image processing system 100 when a part to be inspected is photographed as a moving image and analyzed by an image analysis device at a transmission destination, the amount of moving image data to be transmitted can be reduced. can be reduced.
  • FIG. 17 is a diagram illustrating an example of a functional configuration of an encoding device and an image analysis device of an image processing system according to the third embodiment.
  • the image analysis device 130 has a first area identification unit 1710_1 and a second area identification unit 1710_2 instead of the area identification unit 132_1.
  • the first area identification section 1710_1 is an example of a first identification section.
  • the first region identification unit 1710_1 performs machine learning to perform image recognition processing on the first decoded data to identify the parts to be inspected attached to the device 140 from parts other than the parts to be inspected. , has a trained deep learning model.
  • the first area identification unit 1710_1 identifies the area of the part to be inspected by inputting the first decoded data into the trained deep learning model, and notifies the identification unit 133 of the area.
  • the second area identification section 1710_2 is an example of a second identification section.
  • the second area identification unit 1710_2 performs image recognition processing on the second decoded data to perform machine learning to individually identify each component to be inspected attached to the device 140. It has a deep learning model.
  • the second area identification unit 1710_2 inputs the second decoded data into the trained deep learning model to individually identify areas of the part to be inspected, and notifies the identification unit 133 of the areas.
  • the second area identification unit 1710_2 for example, in a case where multiple parts to be inspected are attached to the device 140 and each part is of the same type but has different performance, parts can be identified. Therefore, according to the second area identification unit 1710_2, for example, it is possible to inspect whether or not a plurality of parts to be inspected are each attached to an attachment position corresponding to the performance.
  • the encoding and decoding process and the process of identifying a component area are the same as the specific examples of the encoding and decoding process and the process of identifying a component area in FIG. 4, so their explanations are omitted here. .
  • the first area identification unit 1710_1 identifies that the parts 161 and 162 to be inspected are different from the parts 163 and 164 that are not to be inspected. Further, the specifying unit 133 specifies the areas identified as the parts 161 and 162 to be inspected as part areas. In the decoded data 1810, a dotted line 1811 indicates a component area specified by the specifying unit 133.
  • the specifying unit 133 specifies a reference area (the outer edge area of the device 140) from the component area based on the design data 135.
  • the area between the dotted line 511 and the dotted line 512 indicates the reference area specified by the specifying unit 133.
  • the specifying unit 133 distinguishes and specifies individual component areas.
  • a dotted line 2011 indicates that the identifying unit 133 has identified the component area of the component 161 to be inspected
  • a dotted line 2012 indicates that the identifying unit 133 has identified the component area of the component 162 to be inspected. This indicates that the area has been identified as a parts area.
  • the specifying unit 133 specifies a reference area from the component area based on the design data 135.
  • the area between the dotted line 2021 and the dotted line 2022 indicates the reference area specified by the specifying unit 133.
  • the contour extracting section 132_2 extracts the contour of the outer edge of the device 140 from among the contours in the contour image data 650 by referring to the reference area specified by the specifying section 133. Identify four reference lines that are .
  • the contour extracting unit 132_2 refers to the component area specified by the specifying unit 133. Therefore, according to the contour extraction unit 132_2 in this embodiment, in addition to being able to measure the position of a component to be inspected, for example, a plurality of components to be inspected are each attached to a mounting position according to its performance. You can check whether there are any.
  • the image processing system 100 includes a first area identification unit 1710_1 and a second area identification unit 1710_2 in place of the area identification unit 132_1.
  • the region of the part to be inspected may be identified by performing a process of calculating the difference in pixel values of the image data between each frame of the moving image data.
  • the outer edge area of the device may be identified by performing a process of calculating the difference in pixel values of the image data between each frame of the moving image data.
  • the fourth embodiment will be described below, focusing on the differences from the first and second embodiments.
  • FIG. 22 is a diagram illustrating an example of a functional configuration of an encoding device and an image analysis device of an image processing system according to the fourth embodiment.
  • the image analysis device 130 includes an image processing unit 2210 instead of the area identification unit 132_1.
  • the image processing unit 2210 calculates the difference in pixel values of image data between frames of moving image data. For example, if the colors of the parts 161 and 162 are different from the colors of the device 140, the image processing unit 2210 will - Image data before the parts 161 and 162 are attached to the device 140, - Image data after the parts 161 and 162 are attached to the device 140, A region in which the difference between pixel values of is equal to or greater than a predetermined threshold is detected and notified to the specifying unit 133. Thereby, the specifying unit 133 can specify the area notified by the image processing unit 2210 as a component area. In this case, the specifying unit 133 specifies a reference area from the specified component area based on the design data 135.
  • the image processing unit 2210 - image data before the device 140 is placed on the belt conveyor 150; - Image data after the device 140 is placed on the belt conveyor 150; A region in which the difference between pixel values of is equal to or greater than a predetermined threshold is detected and notified to the specifying unit 133.
  • the specifying unit 133 can specify the area notified by the image processing unit 2210 as the reference area. In this case, the specifying unit 133 specifies a component area based on the design data 135 from the specified reference area.
  • image processing system 100 instead of the area identification unit 132_1, image processing that calculates the difference in pixel values of image data between each frame of moving image data is performed. Allocate a department. As a result, according to the fourth embodiment, it is possible to specify the component area or the reference area, so that the same effects as in the first or second embodiment can be achieved.
  • FIG. 23 is a second diagram showing an example of changes in compression ratio.
  • reference numeral 2320 indicates the state of the device 140 while capturing moving image data.
  • reference numeral 2330 indicates the main content of image processing performed on the image data indicated by reference numeral 2310.
  • the image processing system 100 detects the device to which the component is attached.
  • the image processing system 100 performs image recognition processing to identify the component area and the reference area, and generate and set a compression ratio map. Furthermore, the image processing system 100 measures the position of the component.
  • the image processing system 100 detects the device to which the component is attached.
  • the image processing system 100 performs image recognition processing to identify the component area and the reference area, and generate and set a compression ratio map. Furthermore, the image processing system 100 measures the position of the component.
  • the compression ratios of the component area and the reference area are changed as follows.
  • the maximum compression rate (an example of the third compression rate) is set until the component to be inspected is mounted on the device placed on the belt conveyor 150 (for example, until time t1 ).
  • the default compression ratio (time t 1 ).
  • a compression rate lower than the default compression rate is set (time t 2 ).
  • the maximum compression ratio is set (time t 3 ).
  • the maximum compression ratio is maintained until the next device is placed and the parts to be inspected are attached (from time t 3 to time t 4 ).
  • Set. When the part to be inspected is installed, set the default compression ratio (time t 4 ).
  • a compression rate lower than the default compression rate is set (time t 5 ).
  • the maximum compression ratio is set (time t 6 ).
  • the image processing system 100 not only changes the compression rate according to the progress of image processing, but also changes the compression rate according to the state of the device.
  • the image processing system 100 it is possible to lengthen the time during which a high compression rate is set. The amount of data can be reduced.
  • the maximum compression ratio is set up to time t 1 , or between time t 3 and time t 4 , or after time t 6 , but the maximum compression ratio is Instead of setting , the transmission of encoded data to the image analysis device 130 itself may be stopped.
  • FIG. 24 is a third diagram showing an example of a change in compression ratio.
  • reference numeral 2420 indicates the state of the device while capturing moving image data.
  • the image processing system 100 performs image recognition processing to specify the component area and reference area of the component 1 to be inspected, and generates and sets a compression ratio map. Thereafter, the image processing system 100 measures the position of the component 1 to be inspected.
  • the image processing system 100 performs image recognition processing to specify the component area and reference area of the component 2 to be inspected, and generates and sets a compression ratio map. Thereafter, the image processing system 100 measures the position of the component 2 to be inspected.
  • the image processing system 100 performs image recognition processing to specify the component area and reference area of the component 3 to be inspected, and generates and sets a compression ratio map. Thereafter, the image processing system 100 measures the position of the component 3 to be inspected.
  • the image processing system 100 detects the device.
  • the image processing system 100 performs image recognition processing to specify the component area and reference area of the component 1 to be inspected, and generates and sets a compression ratio map. Thereafter, the image processing system 100 measures the position of the component 1 to be inspected.
  • the image processing system 100 performs image recognition processing to specify the component area and reference area of the component 2 to be inspected, and generates and sets a compression ratio map. Thereafter, the image processing system 100 measures the position of the component 2 to be inspected.
  • the image processing system 100 performs image recognition processing to specify the component area and reference area of the component 3 to be inspected, and generates and sets a compression ratio map. Thereafter, the image processing system 100 measures the position of the component 3 to be inspected.
  • a default compression rate is set until the component 1 to be inspected is mounted on the device placed on the belt conveyor 150 (for example, until time t1 ).
  • a compression rate lower than the default compression rate is set for the specified area (time t 1 ).
  • the component area and reference area of the component 2 to be inspected are specified. Then, a compression rate lower than the default compression rate is set for the identified area (time t 2 ).
  • the component area and reference area of the component 3 to be inspected are specified. Then, a compression rate lower than the default compression rate is set for the identified area (time t 3 ).
  • the maximum compression ratio is set (time t 4 ).
  • the maximum compression ratio is set until the next device is placed (from time t4 to time t5 ).
  • the default compression rate is set until the part 1 to be inspected is attached (from time t5 to time t6 ).
  • a compression rate lower than the default compression rate is set for the specified area (time t 6 ).
  • the component area and reference area of the component 2 to be inspected are specified.
  • a compression rate lower than the default compression rate is set for the identified area (time t 7 ).
  • the component area and reference area of the component 3 to be inspected are specified.
  • a compression rate lower than the default compression rate is set for the identified area (time t 8 ).
  • the example of the image processing system 100 according to the sixth embodiment shown in FIG. Change the rate.
  • position measurement can be performed every time a component is attached to the device.
  • FIG. 25 is a fourth diagram showing an example of a change in compression ratio.
  • reference numeral 2510 indicates image data of each frame included in the moving image data photographed by the imaging device 110.
  • reference numeral 2520 indicates the state of the device 140 while capturing moving image data. Note that since the reference numerals 2510 and 2520 in FIG. 25 are the same as the reference numerals 2410 and 2420 in FIG. 24, their explanation will be omitted here.
  • image processing system 100 when the installation of parts 1, 2, and 3 to be inspected is completed, image recognition processing is performed to determine the component areas and reference areas of parts 1, 2, and 3 to be inspected. , and generate and set a compression ratio map. Thereafter, the image processing system 100 measures the positions of the parts 1, 2, and 3 to be inspected.
  • the image processing system 100 detects the device.
  • image processing system 100 when the installation of parts 1, 2, and 3 to be inspected is completed, image recognition processing is performed to determine the component areas and reference areas of parts 1, 2, and 3 to be inspected. , and generate and set a compression ratio map. Thereafter, the image processing system 100 measures the positions of the parts 1, 2, and 3 to be inspected.
  • a default compression ratio is set (time t 4 ).
  • the compression ratio for the specified areas is lower than the default compression rate.
  • Set a low compression ratio (time t 5 ).
  • the example of the image processing system 100 according to the sixth embodiment shown in FIG. Change the compression ratio when the process is completed.
  • an area other than the area at the outer edge of the device may be specified as the reference area.
  • an area other than the outer edge area of the device may be specified as the quasi-reference area.
  • an easily identifiable component attached to the device may be specified as the quasi-reference area.
  • the design data is used when specifying the reference area from the specified component area or when specifying the component area from the specified reference area.
  • information other than design data may be used as long as it indicates the configuration of the device.
  • the part area and the reference area specified by the identification unit are referred to.
  • information other than the component area and reference area specified by the specifying unit may be referred to. Examples of information other than the component area and reference area specified by the specifying unit include image features (color, shape, texture, etc.) of the area of the component to be inspected.
  • the image data used for position measurement may be, for example, image data for one frame or image data for multiple frames. It may be.
  • the optimum measurement result may be selected and output from among the plurality of measurement results obtained by performing position measurement on each image data.
  • an average value may be calculated and output for a plurality of measurement results obtained by performing position measurement on each image data.
  • the image analysis device 130 implements the identification unit and the compression ratio map generation unit.
  • the identification unit and the compression rate map generation unit may be realized in the encoding device 120, for example.
  • Image processing system 110 Imaging device 120: Encoding device 121: Encoding unit 122: Compression rate setting unit 130: Image analysis device 131: Decoding unit 132_1: Area identification unit 132_2: Contour extraction unit 133: Specification unit 134: Compression rate map generation unit 135: Design data 1710_1: First area identification unit 1710_2: Second area identification unit 2210: Image processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

検査対象の物体を動画像により撮影し、撮影した動画像データを伝送先の画像解析装置で解析する場合において、伝送する動画像データのデータ量を削減する。画像解析装置は、第１の圧縮率で符号化された第１の画像データを復号し、第１の復号データを取得した場合に、検査対象の物体が含まれる物体領域と、基準線が含まれる基準領域とを特定するための領域を識別する識別部と、識別された前記領域と、前記検査対象の物体が取り付けられた構造体の構成を示す情報とを用いて、前記物体領域と前記基準領域とを特定する特定部と、前記物体領域と前記基準領域とが、前記第１の圧縮率よりも小さい第２の圧縮率に変更された圧縮率マップが生成され、該圧縮率マップを用いて符号化された第２の画像データを復号した第２の復号データを取得した場合に、前記基準線に基づく前記検査対象の物体の位置を測定する測定部とを有する。

Description

画像解析装置、画像解析方法及び画像解析プログラム
　本発明は、画像解析装置、画像解析方法及び画像解析プログラムに関する。
　検査対象の物体を動画像により撮影し、動画像データを伝送先の画像解析装置で解析することで、検査対象の物体を検査する解析技術が知られている。当該解析技術によれば、例えば、検査対象の物体が設計データに応じた位置に配置されているかといった検査を、ピクセル粒度で行うことができる。
特開２０１８－１１２４４０号公報 特開２０２１－０５７７６９号公報
　一方で、上記解析技術の場合、検査対象の物体の位置を高精度に測定するためには撮影時の画素分解能を上げる必要があるが、その場合、伝送される動画像データのデータ量が増大するため、ネットワーク帯域が圧迫されることになる。
　一つの側面では、検査対象の物体を動画像により撮影し、伝送先の画像解析装置で解析する場合において、伝送する動画像データのデータ量を削減することを目的とする。
　一態様によれば、画像解析装置は、
　第１の圧縮率で符号化された第１の画像データを復号し、第１の復号データを取得した場合に、該第１の復号データを解析することで、検査対象の物体が含まれる物体領域と、基準線が含まれる基準領域とを特定するための領域を識別する識別部と、
　識別された前記領域と、前記検査対象の物体が取り付けられた構造体の構成を示す情報とを用いて、前記物体領域と前記基準領域とを特定する特定部と、
　前記物体領域と前記基準領域とが、前記第１の圧縮率よりも小さい第２の圧縮率に変更された圧縮率マップが生成され、該圧縮率マップを用いて符号化された第２の画像データを復号した第２の復号データを取得した場合に、該第２の復号データを解析することで、前記基準線に基づく前記検査対象の物体の位置を測定する測定部とを有する。
　検査対象の物体を動画像により撮影し、伝送先の画像解析装置で解析する場合において、伝送する動画像データのデータ量を削減することができる。
図１は、画像処理システムのシステム構成の一例を示す図である。 図２は、符号化装置及び画像解析装置のハードウェア構成の一例を示す図である。 図３は、第１の実施形態に係る画像処理システムの符号化装置及び画像解析装置の機能構成の一例を示す第１の図である。 図４は、第１の実施形態に係る画像処理システムによる画像処理の具体例を示す第１の図である。 図５は、第１の実施形態に係る画像処理システムによる画像処理の具体例を示す第２の図である。 図６は、第１の実施形態に係る画像処理システムによる画像処理の具体例を示す第３の図である。 図７は、第１の実施形態に係る画像処理システムによる画像処理の具体例を示す第４の図である。 図８は、第１の実施形態に係る画像処理システムによる画像処理の流れを示す第１のフローチャートである。 図９は、第１の実施形態に係る画像処理システムによる画像処理の流れを示す第２のフローチャートである。 図１０は、圧縮率の変化の一例を示す第１の図である。 図１１は、第２の実施形態に係る画像処理システムによる画像処理の具体例を示す第１の図である。 図１２は、第２の実施形態に係る画像処理システムによる画像処理の具体例を示す第２の図である。 図１３は、第２の実施形態に係る画像処理システムによる画像処理の具体例を示す第３の図である。 図１４は、第２の実施形態に係る画像処理システムによる画像処理の具体例を示す第４の図である。 図１５は、第２の実施形態に係る画像処理システムによる画像処理の流れを示す第１のフローチャートである。 図１６は、第２の実施形態に係る画像処理システムによる画像処理の流れを示す第２のフローチャートである。 図１７は、第３の実施形態に係る画像処理システムの符号化装置及び画像解析装置の機能構成の一例を示す図である。 図１８は、第３の実施形態に係る画像処理システムによる画像処理の具体例を示す第１の図である。 図１９は、第３の実施形態に係る画像処理システムによる画像処理の具体例を示す第２の図である。 図２０は、第３の実施形態に係る画像処理システムによる画像処理の具体例を示す第３の図である。 図２１は、第３の実施形態に係る画像処理システムによる画像処理の具体例を示す第４の図である。 図２２は、第４の実施形態に係る画像処理システムの符号化装置及び画像解析装置の機能構成の一例を示す図である。 図２３は、圧縮率の変化の一例を示す第２の図である。 図２４は、圧縮率の変化の一例を示す第３の図である。 図２５は、圧縮率の変化の一例を示す第４の図である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜画像処理システムのシステム構成＞
　はじめに、画像処理システムのシステム構成について説明する。図１は、画像処理システムのシステム構成の一例を示す図である。図１に示すように、画像処理システム１００は、撮像装置１１０、符号化装置１２０、画像解析装置１３０を有する。画像処理システム１００において、符号化装置１２０と画像解析装置１３０とは、ネットワーク１８０を介して通信可能に接続される。
　撮像装置１１０は、所定のフレーム周期で撮影を行い、動画像データを符号化装置１２０に送信する。撮像装置１１０が撮影する装置１４０（構造体の一例）には、複数の部品（複数の物体の一例）が取り付けられ、ベルトコンベア１５０により搬送される。図１において、画像データ１６０は、動画像データに含まれる１フレーム分の画像データの一例を示しており、図１の例では、装置１４０上に、４つの部品（部品１６１～１６４）が取り付けられた様子を示している。なお、本実施形態において、部品１６１、部品１６２は検査対象の部品（検査対象の物体の一例）であり、部品１６３、部品１６４は検査対象以外の部品（検査対象以外の物体の一例）であるとする。
　符号化装置１２０は、動画像データに含まれる各フレームの画像データを符号化し、符号化データを生成する。符号化装置１２０は、符号化データを生成する際、画像解析装置１３０から送信された圧縮率マップ（画像データを領域ごとに異なる圧縮率で符号化する場合の各領域の圧縮率を示したマップ）で、画像データを符号化する。また、符号化装置１２０は、生成した符号化データを、ネットワーク１８０を介して画像解析装置１３０に伝送する。
　画像解析装置１３０は、ネットワーク１８０を介して符号化装置１２０より伝送された符号化データを復号し、復号データを生成する。また、画像解析装置１３０は、生成した復号データを解析することで（例えば、復号データに対して画像認識処理を行うことで）、部品１６１、部品１６２の領域（複数の物体領域の一例。以下では、複数の「部品領域」と称す）を特定する。また、画像解析装置１３０は、装置１４０の構成を示す情報（例えば、設計データ）に基づいて、部品領域から基準領域（ここでは、装置１４０の外縁の領域）を特定する。更に、画像解析装置１３０は、部品領域及び基準領域の圧縮率を、部品領域及び基準領域以外の圧縮率よりも低い圧縮率にした圧縮率マップを生成し、符号化装置１２０に送信する。
　これにより、符号化装置１２０では、部品領域及び基準領域の圧縮率を、部品領域及び基準領域以外の圧縮率よりも低い圧縮率にした圧縮率マップを用いて、画像データを符号化することができる。この結果、全ての領域の圧縮率を下げた圧縮率マップを用いて画像データを符号化する場合と比較して、画像解析装置１３０に伝送される符号化データのデータ量を削減することができる。
　また、画像解析装置１３０は、データ量が削減された符号化データを復号し、復号データを生成する。このとき、画像解析装置１３０では、部品領域及び基準領域が高画質な復号データを生成することができる。このため、画像解析装置１３０では、当該復号データを解析することで（例えば、当該復号データに対して輪郭抽出処理を行うことで）、部品１６１の輪郭線、部品１６２の輪郭線、基準線（ここでは、装置１４０の外縁の輪郭線）を高精度に抽出することができる。この結果、基準線に基づく部品１６１、部品１６２の位置を高精度に測定することができる。
　図１において、位置測定データ１７０は、部品１６１の基準線からの距離（矢印）、及び、部品１５２の基準線からの距離（矢印）をそれぞれ算出することで、基準線に基づく部品１６１、部品１６２の位置を高精度に測定した様子を示している。
　このように、画像処理システム１００によれば、検査対象の部品を動画像により撮影し、伝送先の画像解析装置１３０で解析する場合において、伝送される動画像データのデータ量を削減しつつ、高精度な部品の位置測定を実現することできる。
　＜符号化装置及び画像解析装置のハードウェア構成＞
　次に、符号化装置１２０及び画像解析装置１３０のハードウェア構成について説明する。図２は、符号化装置及び画像解析装置のハードウェア構成の一例を示す図である。
　このうち、図２の２ａは、符号化装置のハードウェア構成の一例を示す図である。符号化装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、符号化装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、符号化プログラム等）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
　Ｉ／Ｆ装置２０４は、外部装置の一例である撮像装置１１０と、符号化装置１２０とを接続する接続デバイスである。
　通信装置２０５は、ネットワーク１８０を介して画像解析装置１３０と通信するための通信デバイスである。
　ドライブ装置２０６は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０６にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワーク１８０からダウンロードされることで、インストールされてもよい。
　一方、図２の２ｂは、画像解析装置１３０のハードウェア構成の一例を示す図である。なお、画像解析装置１３０のハードウェア構成は、符号化装置１２０のハードウェア構成と概ね同じであるため、ここでは、符号化装置１２０との相違点を中心に説明する。
　プロセッサ２２１は、例えば、画像解析プログラム等をメモリ２２２上に読み出して実行する。
　Ｉ／Ｆ装置２２４は、画像解析装置１３０に対する操作を、操作装置２３１を介して受け付ける。また、Ｉ／Ｆ装置２２４は、画像解析装置１３０による処理の結果を出力し、表示装置２３２を介して表示する。また、通信装置２２５は、ネットワーク１８０を介して符号化装置１２０と通信する。
　＜符号化装置及び画像解析装置の機能構成＞
　次に、第１の実施形態に係る画像処理システム１００の符号化装置１２０及び画像解析装置１３０の機能構成について説明する。図３は、第１の実施形態に係る画像処理システムの符号化装置及び画像解析装置の機能構成の一例を示す図である。
　上述したように、符号化装置１２０には符号化プログラムがインストールされており、当該プログラムが実行されることで、符号化装置１２０は、符号化部１２１、圧縮率設定部１２２として機能する。
　符号化部１２１は、圧縮率設定部１２２により設定された圧縮率マップのもと、動画像データに含まれる各フレームの画像データを符号化し、符号化データを生成する。また、符号化部１２１は、生成した符号化データを画像解析装置１３０に伝送する。
　圧縮率設定部１２２は、画像解析装置１３０から送信された圧縮率マップを受信し、符号化部１２１に設定する。
　また、上述したように、画像解析装置１３０には画像解析プログラムがインストールされている。画像解析装置１３０は、当該プログラムが実行されることで、復号部１３１、領域識別部１３２＿１、輪郭抽出部１３２＿２、特定部１３３、圧縮率マップ生成部１３４として機能する。
　復号部１３１は、符号化装置１２０より伝送された符号化データを復号し、復号データを生成する。また、復号部１３１は、生成した復号データを、領域識別部１３２＿１、輪郭抽出部１３２＿２に通知する。
　領域識別部１３２＿１は識別部の一例である。領域識別部１３２＿１は、復号データに対して画像認識処理を行うことで、装置１４０に取り付けられた各種部品等を識別するように機械学習された、学習済みの深層学習モデルを有する。領域識別部１３２＿１は、学習済みの深層学習モデルに復号データを入力することで各種部品等を識別し、検査対象の部品１６１、１６２の領域を、特定部１３３に通知する。
　特定部１３３は、領域識別部１３２＿１により識別された、検査対象の部品１６１、１６２の領域を、部品領域として特定する。また、特定部１３３は、装置１４０の構成を示す設計データ１３５に基づいて、特定した部品領域から、基準領域（装置１４０の外縁の領域）を特定する。更に、特定部１３３は、特定した部品領域及び基準領域を圧縮率マップ生成部１３４及び輪郭抽出部１３２＿２に通知する。
　圧縮率マップ生成部１３４は、デフォルトの圧縮率マップを有し、特定部１３３から部品領域及び基準領域が通知されると、当該部品領域及び基準領域の圧縮率を、デフォルトの圧縮率よりも低い圧縮率に変更した圧縮率マップを生成する。また、圧縮率マップ生成部１３４は、生成した圧縮率マップを、符号化装置１２０に送信する。
　輪郭抽出部１３２＿２は測定部の一例である。輪郭抽出部１３２＿２は、装置１４０の構成を示す設計データ１３５に基づいて、復号データ内の装置１４０の形状を補正する。具体的には、撮像装置１１０が装置１４０を撮影した際の撮影方向が、例えば、垂直方向に対して傾いていたとすると、復号データ内の装置１４０の形状には歪みが生じるため、輪郭抽出部１３２＿２では、設計データ１３５に基づいて、これを補正する。また、輪郭抽出部１３２＿２では、復号データ内の装置１４０の大きさが、設計データ１３５に示された装置１４０の大きさに一致するように、復号データ内の装置１４０を拡大または縮小する。
　なお、ここでは、設計データ１３５にあわせて、復号データ内の装置１４０の形状及び大きさ（以下、形状等と称す）を補正するものとしたが、復号データ内の装置１４０にあわせて、設計データ１３５の形状等を補正してもよい。
　また、輪郭抽出部１３２＿２は、装置１４０の形状等を補正した復号データに対して、輪郭抽出処理を行い、輪郭線を抽出することで、輪郭線画像データを生成する。また、輪郭抽出部１３２＿２は、特定部１３３により特定された部品領域及び基準領域を参照し、輪郭線画像データ内の輪郭線の中から、検査対象の部品１６１、１６２の輪郭線と、基準線（装置１４０の外縁の輪郭線）とを特定する。
　更に、輪郭抽出部１３２＿２は、部品１６１の輪郭線の基準線からの距離、及び、部品１６２の輪郭線の基準線からの距離をそれぞれ算出することで、基準線に基づく部品１６１、部品１６２の位置を測定し、位置測定データ１７０を出力する。
　＜画像処理システムによる画像処理の具体例＞
　次に、第１の実施形態に係る画像処理システム１００による画像処理の具体例について説明する。図４乃至図７は、第１の実施形態に係る画像処理システムによる画像処理の具体例を示す第１乃至第４の図である。
　図４に示すように、画像データ１６０が入力されると、符号化部１２１は、デフォルトの圧縮率が設定された圧縮率マップ４００を用いて画像データ１６０を符号化し、符号化データ４１０を生成する。また、符号化部１２１は、符号化データ４１０を画像解析装置１３０に伝送する。
　画像解析装置１３０に伝送された符号化データ４１０は、復号部１３１により復号され、復号データ４２０が生成される。このとき、生成される復号データ４２０は、高精度な位置測定を行うのに十分な画質を有していないが、部品１６１、部品１６２を識別できる程度の画質は有しているものとする。
　このため、生成された復号データ４２０に対して、画像認識処理を行うことで、領域識別部１３２＿１では、部品１６１、部品１６２の領域を識別する。また、特定部１３３では、部品１６１、部品１６２の領域を部品領域として特定する。復号データ４３０において、点線４３１は、特定部１３３により特定された部品領域を示している。
　続いて、図５に示すように、特定部１３３では、設計データ１３５に基づいて、部品領域から基準領域（装置１４０の外縁の領域）を特定する。図５の復号データ５１０において、点線５１１と点線５１２との間の領域は、特定部１３３により特定された基準領域を示している。
　特定部１３３により特定された部品領域及び基準領域は、圧縮率マップ生成部１３４に通知される。圧縮率マップ生成部１３４では、デフォルトの圧縮率が設定された圧縮率マップ４００において、部品領域及び基準領域の圧縮率を、デフォルトの圧縮率よりも低い圧縮率にすることで、圧縮率マップ５００を生成する。
　続いて、動画像データに含まれる画像データ１６０の次のフレームの画像データ１６０'が入力されると、符号化部１２１は、圧縮率マップ５００を用いて画像データ１６０'を符号化し、符号化データ５２０を生成する。また、符号化部１２１は、符号化データ５２０を画像解析装置１３０に伝送する。
　図６に示すように、画像解析装置１３０に伝送された符号化データ５２０は、復号部１３１により復号され、復号データ６１０が生成される。このとき、生成される復号データ６１０は、部品領域及び基準領域について、高精度な位置測定を行うのに十分な画質を有しているものとする。
　このため、生成された復号データ６１０に対して画像認識処理を行うことで、領域識別部１３２＿１では、部品１６１、部品１６２の領域を高精度に識別し、特定部１３３では部品領域を特定する。また、特定部１３３では、設計データ１３５に基づいて、部品領域から基準領域を特定する。
　図６の復号データ６２０において、点線６２１は、領域識別部１３２＿１により、部品１６１、部品１６２の領域が高精度に識別され、特定部１３３により特定された部品領域を示している。また、図６の復号データ６３０において、点線６３１と、点線６３２との間の領域は、特定部１３３により特定された基準領域を示している。
　また、生成された復号データ６１０に対して、輪郭抽出部１３２＿２では、設計データ１３５に基づいて、復号データ６１０内の装置１４０の形状等を補正する。図６において、復号データ６４０は、形状等が補正された装置１４０'を含む復号データである。
　輪郭抽出部１３２＿２は、復号データ６４０に対して輪郭抽出処理を行うことで、輪郭線を抽出し、輪郭線画像データ６５０を生成する。
　続いて、図７に示すように、輪郭抽出部１３２＿２は、特定部１３３が特定した基準領域を参照することで、輪郭線画像データ６５０内の輪郭線の中から、装置１４０の外縁の輪郭線である４本の基準線を特定する。なお、図７の輪郭線画像データ７１０は、特定した４本の基準線が接続される４箇所の位置を矩形点線で示している。
　続いて、輪郭抽出部１３２＿２は、特定した基準線と設計データ１３５とに基づいて座標を生成する（輪郭線画像データ７２０参照）。また、輪郭抽出部１３２＿２は、特定部１３３が特定した部品領域を参照することで、輪郭線画像データ７２０内の部品１６１の輪郭線及び部品１６２の輪郭線を特定する。更に、輪郭抽出部１３２＿２は、特定した部品１６１の輪郭線及び部品１６２の輪郭線それぞれについて、特定した基準線からの距離を、生成した座標に基づいて算出する。
　輪郭線画像データ７３０内に示した矢印は、部品１６１の輪郭線及び部品１６２の輪郭線の基準線からの距離が算出された様子を示している。
　＜画像処理システムによる画像処理の流れ＞
　次に、第１の実施形態に係る画像処理システム１００による画像処理の流れについて説明する。図８及び図９は、第１の実施形態に係る画像処理システムによる画像処理の流れを示す第１及び第２のフローチャートである。
　ステップＳ８０１において、符号化装置１２０は、撮像装置１１０により撮影された動画像データのうち、１フレーム分の画像データ（第１の画像データの一例）を取得する。
　ステップＳ８０２において、符号化装置１２０は、取得した画像データを、デフォルトの圧縮率マップを用いて符号化することで、符号化データを生成し、ネットワーク１８０を介して画像解析装置１３０に伝送する。
　ステップＳ８０３において、画像解析装置１３０は、符号化データを受信し、受信した符号化データを復号することで、復号データ（第１の復号データの一例）を生成する。
　ステップＳ８０４において、画像解析装置１３０は、復号データに対して画像認識処理を行うことで、検査対象の部品の領域を識別する。
　ステップＳ８０５において、画像解析装置１３０は、識別した検査対象の部品の領域を部品領域として特定するとともに、設計データを参照して、部品領域から基準領域を特定する。
　ステップＳ８０６において、画像解析装置１３０は、特定した部品領域及び基準領域の圧縮率を、デフォルトの圧縮率（第１の圧縮率）よりも低い圧縮率（第２の圧縮率）にすることで、圧縮率マップを生成する。
　ステップＳ８０７において、画像解析装置１３０は、測定フェーズに移行するか否かを判定する。画像解析装置１３０は、部品領域が特定できなかった場合には、測定フェーズに移行しないと判定し（ステップＳ８０７においてＮＯと判定し）、ステップＳ８０１に戻る。この場合、次の１フレーム分の画像データについて、ステップＳ８０１～Ｓ８０６までの各工程が実行される。
　一方、部品領域が特定できた場合には、測定フェーズに移行すると判定し（ステップＳ８０７においてＹＥＳと判定し）、図９のステップ９０１に進む。この場合、ステップＳ８０６において生成された圧縮率マップが符号化装置１２０に送信される。
　ステップＳ９０１において、符号化装置１２０は、次の１フレーム分の画像データ（第２の画像データの一例）を取得する。
　ステップＳ９０２において、符号化装置１２０は、取得した画像データを、ステップＳ８０６において生成された圧縮率マップを用いて符号化することで、符号化データを生成し、画像解析装置１３０に伝送する。
　ステップＳ９０３において、画像解析装置１３０は、符号化データを受信し、受信した符号化データを復号することで、復号データ（第２の復号データ）を生成する。
　ステップＳ９０４において、画像解析装置１３０は、復号データに対して画像認識処理を行うことで、検査対象の部品の領域を識別し、部品領域を特定する。また、画像解析装置１３０は、特定した部品領域と設計データとに基づいて、基準領域を特定する。
　ステップＳ９０５において、画像解析装置１３０は、設計データを用いて、復号データ内の装置１４０の形状等を補正する。
　ステップＳ９０６において、画像解析装置１３０は、装置１４０の形状等を補正した復号データに対して輪郭抽出処理を行うことで輪郭線を抽出し、輪郭線画像データを生成する。また、画像解析装置１３０は、ステップＳ９０４において特定した基準領域を参照することで、輪郭線画像データ内の輪郭線の中から、基準線を特定する。
　ステップＳ９０７において、画像解析装置１３０は、特定した基準線に基づいて座標を生成する。
　ステップＳ９０８において、画像解析装置１３０は、ステップＳ９０４において特定した部品領域を参照することで、輪郭線画像データ内の輪郭線の中から、検査対象の部品１６１、１６２の輪郭線を特定する。また、画像解析装置１３０は、生成した座標に基づいて、検査対象の部品１６１、１６２の輪郭線について、基準線からの距離を算出し、検査対象の部品１６１、１６２の位置を測定する。
　ステップＳ９０９において、画像解析装置１３０は、画像処理を終了するか否かを判定し、画像処理を継続すると判定した場合には（ステップＳ９０９においてＮＯの場合には）、ステップＳ９１０に進む。
　ステップＳ９１０において、画像解析装置１３０は、次の装置に切り替わったか否かを判定する。ステップＳ９１０において、次の装置に切り替わっていないと判定した場合には（ステップＳ９１０においてＮＯの場合には）、ステップＳ９０１に戻る。
　一方、ステップＳ９１０において、次の装置に切り替わったと判定した場合には（ステップＳ９１０においてＹＥＳの場合には）、図８のステップＳ８０１に戻る。
　また、ステップＳ９０９において、画像処理を終了すると判定した場合には（ステップＳ９０９においてＹＥＳの場合には）、画像処理を終了する。
　＜圧縮率の変化の一例＞
　次に、第１の実施形態に係る画像処理システム１００が画像処理を行う過程で、部品領域及び基準領域に設定される圧縮率の変化について説明する。図１０は、圧縮率の変化の一例を示す第１の図である。
　図１０において、符号１０１０は、撮像装置１１０により撮影された動画像データに含まれる各フレームの画像データを示している。図１０の例は、符号１０１０に示す動画像データに、
・識別番号＝００１の装置が撮影された画像データと、
・識別番号＝００１の装置から識別番号＝００２の装置へと切り替わる間に撮影された画像データと、
・識別番号＝００２の装置が撮影された画像データと、
が含まれることを示している。
　図１０において、符号１０２０は、符号１０１０に示す画像データに対して行われる画像処理の主な内容を示している。図１０の例によれば、識別番号＝００１の装置が撮影範囲に含まれると、画像処理システム１００では、画像認識処理を行うことで、部品領域及び基準領域を特定し、圧縮率マップを生成して設定する（時間ｔ１）。このとき、部品領域及び基準領域に設定される圧縮率は、符号１０２０に示すように、デフォルトの圧縮率よりも低い圧縮率となる。
　また、部品の位置測定が完了すると、画像処理システム１００では、デフォルトの圧縮率を設定する（時間ｔ２）。
　続いて、識別番号＝００２の装置が撮影範囲に含まれると、画像処理システム１００では、画像認識処理を行うことで、部品領域及び基準領域を特定し、圧縮率マップを生成して設定する（時間ｔ３）。
　また、部品の位置測定が完了すると、画像処理システム１００では、デフォルトの圧縮率を設定する（時間ｔ４）。なお、以降、同様の画像処理が繰り返され、圧縮率の変化も同様の変化が繰り返されることになる。
　以上の説明から明らかなように、第１の実施形態に係る画像処理システム１００は、デフォルトの圧縮率で符号化された第１の画像データを復号し、第１の復号データを取得した場合に、画像認識処理を行い、検査対象の部品の領域を識別する。また、第１の実施形態に係る画像処理システム１００は、識別した検査対象の部品の領域を部品領域として特定し、特定した部品領域と装置の設計データとを用いて、基準線が含まれる基準領域を特定する。また、第１の実施形態に係る画像処理システム１００は、部品領域及び基準領域の圧縮率をデフォルトの圧縮率よりも低い圧縮率に変更した圧縮率マップを生成し、生成した圧縮率マップを用いて第２の画像データを符号化する。更に、第１の実施形態に係る画像処理システム１００は、符号化した第２の画像データを復号した第２の復号データを取得した場合に、輪郭抽出処理を行い、検査対象の部品の輪郭線及び基準線を特定することで、基準線に基づく検査対象の部品の位置を測定する。
　これにより、第１の実施形態に係る画像処理システム１００によれば、検査対象の部品を動画像により撮影し、伝送先の画像解析装置で解析する場合において、伝送する動画像データのデータ量を削減することができる。
　［第２の実施形態］
　上記第１の実施形態では、はじめに部品領域を特定し、特定した部品領域と設計データとを用いて、基準領域を特定する場合について説明した。しかしながら、部品領域及び基準領域の特定方法はこれに限定されない。例えば、はじめに基準領域を特定し、特定した基準領域と設計データとを用いて、部品領域を特定してもよい。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
　＜画像処理システムによる画像処理の具体例＞
　はじめに、第２の実施形態に係る画像処理システム１００による画像処理の具体例について説明する。図１１乃至図１４は、第２の実施形態に係る画像処理システムによる画像処理の具体例を示す第１乃至第４の図であり、上記第１の実施形態において説明した、図４乃至図７に対応する。
　図１１において、符号化及び復号する処理の具体例は、図４の符号化及び復号する処理の具体例と同じであるため、ここでは説明を省略する。なお、本実施形態の場合、画像解析装置１３０の復号部１３１により生成される復号データ４２０は、高精度な位置測定を行うのに十分な画質を有していないが、装置１４０の外縁を識別できる程度の画質は有しているものとする。
　このため、生成された復号データ４２０に対して、画像認識処理を行うことで、領域識別部１３２＿１では、装置１４０の外縁の領域を識別する。また、特定部１３３では、装置１４０の外縁の領域を基準領域として特定する。復号データ１１１０において、点線１１１１と点線１１１２との間の領域は、特定部１３３により特定された基準領域を示している。
　続いて、図１２に示すように、特定部１３３では、設計データ１３５に基づいて、基準領域から、部品領域を特定する。図１２の復号データ５１０において、点線１２１１は、特定部１３３により特定された部品領域を示している。
　なお、図１２に示す以降の処理（圧縮率マップ５００の生成処理、次のフレームの画像データ１６０'に対する符号化処理）は、図５に示す対応する処理と同じであるため、ここでは説明を省略する。また、図１３に示す復号処理も、図６に示す復号処理と同じであるため、ここでは説明を省略する。
　図１３の復号データ６１０に対して、画像認識処理を行うことで、本実施形態における領域識別部１３２＿１では、装置１４０の外縁の領域を高精度に識別し、特定部１３３では基準領域を特定する。また、特定部１３３では、設計データ１３５に基づいて、基準領域から部品領域を特定する。
　図１３の復号データ１３１０において、点線１３１１と点線１３１２との間の領域は、領域識別部１３２＿１により装置１４０の外縁の領域が高精度に識別されたことで、特定部１３３により特定された基準領域を示している。
　また、図１３の復号データ１３２０において、点線１３２１は、特定部１３３により特定された部品領域を示している。
　なお、図１３において、輪郭抽出部１３２＿２により実行される、形状補正処理、輪郭抽出処理は、図６において説明済みであるため、ここでは説明を省略する。
　続いて、図１４に示すように、輪郭抽出部１３２＿２は、特定部１３３が特定した基準領域を参照することで、輪郭線画像データ６５０内の輪郭線の中から、装置１４０の外縁の輪郭線である４本の基準線を特定する。なお、図１４の輪郭線画像データ７１０は、特定した４本の基準線が接続される４箇所の位置を矩形点線で示している。
　続いて、輪郭抽出部１３２＿２は、特定した基準線と設計データ１３５とに基づいて座標を生成する（輪郭線画像データ７２０参照）。また、輪郭抽出部１３２＿２は、特定部１３３が特定した部品領域を参照することで、輪郭線画像データ７２０内の部品１６１の輪郭線及び部品１６２の輪郭線を特定する。更に、輪郭抽出部１３２＿２は、特定した部品１６１の輪郭線及び部品１６２の輪郭線それぞれについて、特定した基準線からの距離を、生成した座標に基づいて算出する。
　輪郭線画像データ７３０内に示した矢印は、部品１６１の輪郭線及び部品１６２の輪郭線それぞれの基準線からの距離が算出された様子を示している。
　＜画像処理システムによる画像処理の流れ＞
　次に、第２の実施形態に係る画像処理システム１００による画像処理の流れについて説明する。図１５及び図１６は、第２の実施形態に係る画像処理システムによる画像処理の流れを示す第１及び第２のフローチャートである。図８及び図９との相違点は、ステップＳ１５０１、Ｓ１５０２、Ｓ１６０１、Ｓ１６０２、Ｓ１６０３である。
　ステップＳ１５０１において、画像解析装置１３０は、復号データに対して画像認識処理を行うことで、装置１４０の外縁の領域を識別し、基準領域を特定する。
　ステップＳ１５０２において、画像解析装置１３０は、特定した基準領域と設計データとに基づいて部品領域を特定する。
　ステップＳ１６０１において、画像解析装置１３０は、復号データに対して画像認識処理を行うことで、装置１４０の外縁の領域を識別し、基準領域を特定する。また、画像解析装置１３０は、特定した基準領域と設計データとに基づいて、部品領域を特定する。
　ステップＳ１６０２において、画像解析装置１３０は、装置１４０の形状等を補正した復号データに対して輪郭抽出処理を行うことで輪郭線を抽出し、輪郭線画像データを生成する。また、画像解析装置１３０は、ステップＳ１６０１において特定した基準領域を参照することで、輪郭線画像データ内の輪郭線の中から、基準線を特定する。
　ステップＳ１６０３において、画像解析装置１３０は、ステップＳ１６０１において特定した部品領域を参照することで、輪郭線画像データ内の輪郭線の中から、検査対象の部品１６１、１６２の輪郭線を特定する。また、画像解析装置１３０は、生成した座標に基づいて、検査対象の部品１６１、１６２の輪郭線について、基準線からの距離を算出し、検査対象の部品１６１、１６２の位置を測定する。
　以上の説明から明らかなように、第２の実施形態に係る画像処理システム１００は、デフォルトの圧縮率で符号化された第１の画像データを復号し、第１の復号データを取得した場合に、画像認識処理を行い、装置の外縁の領域を識別する。また、第２の実施形態に係る画像処理システム１００は、識別した装置の外縁の領域を基準領域として特定し、特定した基準領域と装置の設計データとを用いて、検査対象の部品が含まれる部品領域を特定する。また、第２の実施形態に係る画像処理システム１００は、部品領域及び基準領域の圧縮率をデフォルトの圧縮率よりも低い圧縮率に変更した圧縮率マップを生成し、生成した圧縮率マップを用いて第２の画像データを符号化する。更に、第２の実施形態に係る画像処理システム１００は、符号化した第２の画像データを復号した第２の復号データを取得した場合に、輪郭抽出処理を行い、検査対象の部品の輪郭線及び基準線を特定することで、基準線に基づく検査対象の部品の位置を測定する。
　これにより、第２の実施形態に係る画像処理システム１００によれば、検査対象の部品を動画像により撮影し、伝送先の画像解析装置で解析する場合において、伝送する動画像データのデータ量を削減することができる。
　［第３の実施形態］
　上記第１の実施形態では、第１の復号データ及び第２の復号データにおいて、領域識別部１３２＿１が検査対象の部品を識別する場合について説明した。これに対して、第３の実施形態では、領域識別部１３２＿１に代えて、第１領域識別部と第２領域識別部とを配する。なお、第１領域識別部は、第１の復号データにおいて検査対象の部品を他の種類の部品から識別し、第２領域識別部は、第２の復号データにおいて検査対象の部品を個別に識別する。以下、第３の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。
　＜符号化装置及び画像解析装置の機能構成＞
　はじめに、第３の実施形態に係る画像処理システム１００の符号化装置及び画像解析装置の機能構成について説明する。図１７は、第３の実施形態に係る画像処理システムの符号化装置及び画像解析装置の機能構成の一例を示す図である。
　図３を用いて説明した機能構成との相違点は、画像解析装置１３０が、領域識別部１３２＿１に代えて、第１領域識別部１７１０＿１、第２領域識別部１７１０＿２を有する点である。
　第１領域識別部１７１０＿１は第１の識別部の一例である。第１領域識別部１７１０＿１は、第１の復号データに対して画像認識処理を行うことで、装置１４０に取り付けられた検査対象の部品を、検査対象以外の部品と識別するように機械学習された、学習済みの深層学習モデルを有する。第１領域識別部１７１０＿１は、学習済みの深層学習モデルに第１の復号データを入力することで、検査対象の部品の領域を識別し、特定部１３３に通知する。
　第２領域識別部１７１０＿２は第２の識別部の一例である。第２領域識別部１７１０＿２は、第２の復号データに対して画像認識処理を行うことで、装置１４０に取り付けられた検査対象の部品それぞれを個別に識別するように機械学習された、学習済みの深層学習モデルを有する。第２領域識別部１７１０＿２は、学習済みの深層学習モデルに第２の復号データを入力することで、検査対象の部品の領域を個別に識別し、特定部１３３に通知する。
　なお、第２領域識別部１７１０＿２によれば、例えば、検査対象の複数の部品が装置１４０に取り付けられ、それぞれが同一種類の部品であるが、異なる性能を有しているような場合において、個別の部品を識別することができる。このため、第２領域識別部１７１０＿２によれば、例えば、検査対象の複数の部品が、それぞれ、性能に応じた取り付け位置に取り付けられているか否かを検査することが可能になる。
　＜画像処理システムによる画像処理の具体例＞
　次に、第３の実施形態に係る画像処理システム１００による画像処理の具体例について説明する。図１８乃至図２１は、第３の実施形態に係る画像処理システムによる画像処理の具体例を示す第１乃至第４の図であり、上記第１の実施形態において説明した、図４乃至図７に対応する。
　図１８において、符号化及び復号する処理、部品領域を特定する処理は、図４の符号化及び復号する処理、部品領域を特定する処理の具体例と同じであるため、ここでは説明を省略する。
　ただし、図１８の場合、第１領域識別部１７１０＿１では、検査対象の部品１６１、部品１６２が、検査対象以外の部品１６３、部品１６４とは異なる部品であることを識別する。また、特定部１３３では、検査対象の部品１６１、１６２として識別された領域を、部品領域として特定する。復号データ１８１０において、点線１８１１は、特定部１３３により特定された部品領域を示している。
　続いて、図１９に示すように、特定部１３３では、設計データ１３５に基づいて、部品領域から基準領域（装置１４０の外縁の領域）を特定する。図１９の復号データ５１０において、点線５１１と点線５１２との間の領域は、特定部１３３により特定された基準領域を示している。
　なお、図１９に示す以降の処理（圧縮率マップ５００の生成処理、次のフレームの画像データ１６０'に対する符号化処理）は、図５に示す対応する処理と同じであるため、ここでは説明を省略する。また、図２０に示す復号処理、部品領域を特定する処理も、図６に示す復号処理、部品領域を特定する処理と同じであるため、ここでは説明を省略する。
　ただし、図２０の場合、第２領域識別部１７１０＿２では、検査対象の部品１６１、部品１６２が、検査対象以外の部品１６３、部品１６４とは異なる種類の部品であることに加え、部品１６１と部品１６２も異なる性能の部品であることを識別する。そして、特定部１３３では、個別の部品領域を区別して特定する。復号データ２０１０において、点線２０１１は、特定部１３３により、検査対象の部品１６１の部品領域であることが特定されたことを示しており、点線２０１２は、特定部１３３により、検査対象の部品１６２の部品領域であることが特定されたことを示している。また、特定部１３３では、設計データ１３５に基づいて、部品領域から基準領域を特定する。図２０の復号データ２０２０において、点線２０２１と点線２０２２との間の領域は、特定部１３３により特定された基準領域を示している。
　なお、図２０において、輪郭抽出部１３２＿２により実行される、形状補正処理、輪郭抽出処理は、図６において説明済みであるため、ここでは説明を省略する。
　続いて、図２１に示すように、輪郭抽出部１３２＿２は、特定部１３３が特定した基準領域を参照することで、輪郭線画像データ６５０内の輪郭線の中から、装置１４０の外縁の輪郭線である４本の基準線を特定する。
　なお、図２１に示す以降の処理（座標生成処理、位置測定処理）は、図７に示す対応する処理と同じであるため、ここでは説明を省略する。ただし、図２１の場合、輪郭抽出部１３２＿２では、特定部１３３が特定した部品領域を参照する。このため、本実施形態における輪郭抽出部１３２＿２によれば、検査対象の部品の位置を測定できることに加えて、例えば、検査対象の複数の部品が、それぞれ、性能に応じた取り付け位置に取り付けられているか否かを検査することができる。
　以上の説明から明らかなように、第３の実施形態に係る画像処理システム１００では、領域識別部１３２＿１に代えて、第１領域識別部１７１０＿１と、第２領域識別部１７１０＿２とを配する。これにより、第３の実施形態によれば、上記第１及び第２の実施形態と同様の効果を奏するとともに、位置測定以外の検査を行うことが可能になる。
　［第４の実施形態］
　上記第１の実施形態では、画像認識処理を行うことで、装置１４０に取り付けられた各種部品等を識別する場合について説明した。
　しかしながら、画像認識処理を行う代わりに、例えば、動画像データの各フレーム間の画像データの画素値の差分を算出する処理を行うことで、検査対象の部品の領域を識別してもよい。
　また、上記第２の実施形態では、画像認識処理を行うことで、装置１４０の外縁の領域を識別する場合について説明した。
　しかしながら、画像認識処理を行う代わりに、例えば、動画像データの各フレーム間の画像データの画素値の差分を算出する処理を行うことで、装置の外縁の領域を識別してもよい。以下、第４の実施形態について、上記第１及び第２の実施形態との相違点を中心に説明する。
　＜符号化装置及び画像解析装置の機能構成＞
　はじめに、第４の実施形態に係る画像処理システム１００の符号化装置及び画像解析装置の機能構成について説明する。図２２は、第４の実施形態に係る画像処理システムの符号化装置及び画像解析装置の機能構成の一例を示す図である。
　図３との相違点は、画像解析装置１３０が、領域識別部１３２＿１に代えて、画像処理部２２１０を有する点である。
　画像処理部２２１０は、動画像データの各フレーム間の画像データの画素値の差分を算出する。例えば、部品１６１、部品１６２の色が、装置１４０の色と異なっていた場合、画像処理部２２１０では、
・装置１４０に部品１６１、部品１６２が取り付けられる前の画像データと、
・装置１４０に部品１６１、部品１６２が取り付けられた後の画像データと、
の画素値の差分が所定の閾値以上となる領域を検出し、特定部１３３に通知する。これにより、特定部１３３では、画像処理部２２１０より通知された領域を、部品領域として特定することができる。なお、この場合、特定部１３３では、特定した部品領域から、設計データ１３５に基づいて基準領域を特定する。
　あるいは、装置１４０の色が、ベルトコンベア１５０の色と異なっていた場合、画像処理部２２１０では、
・装置１４０がベルトコンベア１５０に載置される前の画像データと、
・装置１４０がベルトコンベア１５０に載置された後の画像データと、
の画素値の差分が所定の閾値以上となる領域を検出し、特定部１３３に通知する。これにより、特定部１３３では、画像処理部２２１０より通知された領域を、基準領域として特定することができる。なお、この場合、特定部１３３では、特定した基準領域から、設計データ１３５に基づいて部品領域を特定する。
　以上の説明から明らかなように、第４の実施形態に係る画像処理システム１００では、領域識別部１３２＿１に代えて、動画像データの各フレーム間の画像データの画素値の差分を算出する画像処理部を配する。これにより、第４の実施形態によれば、部品領域または基準領域を特定することが可能となるため、上記第１または第２の実施形態と同様の効果を奏することになる。
　［第５の実施形態］
　上記第１乃至第４の実施形態では、部品領域及び基準領域の圧縮率を、画像処理の進行に応じて変更するものとして説明した（図１０参照）。しかしながら、部品領域及び基準領域の圧縮率の変更タイミングはこれに限定されない。以下、第５の実施形態について、上記各実施形態との相違点を中心に説明する。
　＜圧縮率の変化の一例＞
　図２３は、圧縮率の変化の一例を示す第２の図である。図２３において、符号２３１０は、撮像装置１１０により撮影された動画像データに含まれる各フレームの画像データを示している。図１０と同様、図２３の例は、符号２３１０に示す動画像データに、
・識別番号＝００１の装置が撮影された画像データと、
・識別番号＝００１の装置から識別番号＝００２の装置へと切り替わる間に撮影された画像データと、
・識別番号＝００２の装置が撮影された画像データと、
が含まれることを示している。
　図２３において、符号２３２０は、動画像データの撮影中における、装置１４０の状態を示している。図２３の例によれば、はじめに、識別番号＝００１の装置であって、検査対象の部品が取り付けられていない装置が、ベルトコンベア１５０に載置される。続いて、ベルトコンベア１５０に載置された識別番号＝００１の装置に、検査対象の部品が取り付けられ、その後、当該装置が次の工程へと移動される。
　続いて、識別番号＝００２の装置であって、検査対象の部品が取り付けられていない装置が、ベルトコンベア１５０に載置される。続いて、ベルトコンベア１５０に載置された識別番号＝００２の装置に、検査対象の部品が取り付けられる。
　また、図２３において、符号２３３０は、符号２３１０に示す画像データに対して行われる画像処理の主な内容を示している。図２３の例によれば、識別番号＝００１の装置がベルトコンベア１５０に載置され、検査対象の部品が取り付けられると、画像処理システム１００では、当該部品が取り付けられた装置を検出する。
　また、画像処理システム１００では、画像認識処理を行うことで、部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。更に、画像処理システム１００では、部品の位置測定を行う。
　また、識別番号＝００２の装置がベルトコンベア１５０に載置され、検査対象の部品が取り付けられると、画像処理システム１００では、当該部品が取り付けられた装置を検出する。
　また、画像処理システム１００では、画像認識処理を行うことで、部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。更に、画像処理システム１００では、部品の位置測定を行う。
　これに対して、第５の実施形態に係る画像処理システム１００では、符号２３４０に示すように、部品領域及び基準領域の圧縮率を以下のように変更する。
・ベルトコンベア１５０に載置された装置上に検査対象の部品が取り付けられるまでの間（例えば、時間ｔ１までの間）、最大の圧縮率（第３の圧縮率の一例）を設定する。
・検査対象の部品が取り付けられると、デフォルトの圧縮率を設定する（時間ｔ１）。
・画像認識処理が行われ、部品領域及び基準領域が特定されると、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ２）。
・検査対象の部品について位置測定が完了すると、最大の圧縮率を設定する（時間ｔ３）。
・ベルトコンベア１５０により装置が移動された後、次の装置が載置され、かつ、検査対象の部品が取り付けられるまでの間（時間ｔ３から時間ｔ４までの間）、最大の圧縮率を設定する。
・検査対象の部品が取り付けられると、デフォルトの圧縮率を設定する（時間ｔ４）。
・画像認識処理が行われ、部品領域及び基準領域が特定されると、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ５）。
・検査対象の部品について位置測定が完了すると、最大の圧縮率を設定する（時間ｔ６）。
　このように、第５の実施形態に係る画像処理システム１００は、画像処理の進行に応じて圧縮率を変更することに加えて、装置の状態に応じて、圧縮率を変更する。これにより、第５の実施形態によれば、高い圧縮率が設定されている時間を長くすることができるため、符号化装置１２０から画像解析装置１３０に符号化データを送信する場合の、符号化データのデータ量を削減することができる。
　なお、上記説明では、時間ｔ１までの間、あるいは、時間ｔ３から時間ｔ４までの間、あるいは、時間ｔ６以降において、最大の圧縮率を設定するものとしたが、最大の圧縮率を設定する代わりに、画像解析装置１３０への符号化データの伝送自体を停止してもよい。
　［第６の実施形態］
　上記各実施形態では、検査対象の複数の部品が、同じタイミングで装置に取り付けられる場合の画像処理について説明した。一方で、検査対象の複数の部品は、異なるタイミングで装置に取り付けられる場合もある。第６の実施形態では、検査対象の複数の部品が、異なるタイミングで装置に取り付けられる場合の画像処理について説明する。
　＜圧縮率の変化の一例＞
　（１）検査対象の部品が取り付けられるごとに位置測定する場合
　図２４は、圧縮率の変化の一例を示す第３の図である。図２４において、符号２４１０は、撮像装置１１０により撮影された動画像データに含まれる各フレームの画像データを示している。図２３と同様、図２４の例は、符号２４１０に示す動画像データに、
・識別番号＝００１の装置が撮影された画像データと、
・識別番号＝００１の装置から識別番号＝００２の装置へと切り替わる間に撮影された画像データと、
・識別番号＝００２の装置が撮影された画像データと、
が含まれることを示している。
　また、図２４において、符号２４２０は、動画像データの撮影中における、装置の状態を示している。図２４の例によれば、はじめに、識別番号＝００１の装置であって、検査対象の部品が取り付けられていない装置が、ベルトコンベア１５０に載置される。続いて、ベルトコンベア１５０に載置された識別番号＝００１の装置に、異なるタイミングで、検査対象の部品１、部品２、部品３が取り付けられ、その後、当該装置が次の工程へと移動される。
　続いて、識別番号＝００２の装置であって、検査対象の部品が取り付けられていない装置が、ベルトコンベア１５０に載置される。続いて、ベルトコンベア１５０に載置された識別番号＝００２の装置に、異なるタイミングで、検査対象の部品１、部品２、部品３が取り付けられる。
　また、図２４において、符号２４３０は、符号２４１０に示す動画像データに含まれる画像データに対して行われる画像処理の主な内容を示している。図２４の例によれば、識別番号＝００１の装置がベルトコンベア１５０に載置されると、画像処理システム１００では、当該装置を検出する。
　また、画像処理システム１００では、画像認識処理を行うことで、検査対象の部品１の部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。その後、画像処理システム１００では、検査対象の部品１の位置測定を行う。
　また、画像処理システム１００では、画像認識処理を行うことで、検査対象の部品２の部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。その後、画像処理システム１００では、検査対象の部品２の位置測定を行う。
　また、画像処理システム１００では、画像認識処理を行うことで、検査対象の部品３の部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。その後、画像処理システム１００では、検査対象の部品３の位置測定を行う。
　また、識別番号＝００２の装置がベルトコンベア１５０に載置されると、画像処理システム１００では、当該装置を検出する。
　また、画像処理システム１００では、画像認識処理を行うことで、検査対象の部品１の部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。その後、画像処理システム１００では、検査対象の部品１の位置測定を行う。
　また、画像処理システム１００では、画像認識処理を行うことで、検査対象の部品２の部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。その後、画像処理システム１００では、検査対象の部品２の位置測定を行う。
　また、画像処理システム１００では、画像認識処理を行うことで、検査対象の部品３の部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。その後、画像処理システム１００では、検査対象の部品３の位置測定を行う。
　これに対して、第６の実施形態に係る画像処理システム１００の図２４の例では、符号２４４０に示すように、検査対象の部品１～部品３の部品領域及び基準領域の圧縮率を以下のように変更する。
・ベルトコンベア１５０に載置された装置上に検査対象の部品１が取り付けられるまでの間（例えば、時間ｔ１までの間）、デフォルトの圧縮率を設定する。
・検査対象の部品１が取り付けられ、検査対象の部品１の部品領域及び基準領域を特定すると、特定した領域について、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ１）。
・検査対象の部品１について位置測定が完了し、検査対象の部品２が取り付けられると、検査対象の部品２の部品領域及び基準領域を特定する。そして、特定した領域について、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ２）。
・検査対象の部品２について位置測定が完了し、検査対象の部品３が取り付けられると、検査対象の部品３の部品領域及び基準領域を特定する。そして、特定した領域について、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ３）。
・検査対象の部品３について位置測定が完了すると、最大の圧縮率を設定する（時間ｔ４）。
・ベルトコンベア１５０により装置が移動された後、次の装置が載置されるまでの間（時間ｔ４から時間ｔ５までの間）、最大の圧縮率を設定する。
・ベルトコンベア１５０に次の装置が載置されると、検査対象の部品１が取り付けられるまでの間（時間ｔ５から時間ｔ６までの間）、デフォルトの圧縮率を設定する。
・検査対象の部品１が取り付けられ、検査対象の部品１の部品領域及び基準領域を特定すると、特定した領域について、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ６）。
・検査対象の部品１について位置測定が完了し、検査対象の部品２が取り付けられると、検査対象の部品２の部品領域及び基準領域を特定する。そして、特定した領域について、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ７）。
・検査対象の部品２について位置測定が完了し、検査対象の部品３が取り付けられると、検査対象の部品３の部品領域及び基準領域を特定する。そして、特定した領域について、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ８）。
　このように、第６の実施形態に係る画像処理システム１００の図２４の例は、画像処理の進行に応じて圧縮率を変更することに加えて、装置への部品の取り付けに応じて、圧縮率を変更する。これにより、第６の実施形態によれば、装置に部品が取り付けられるごとに、位置測定を行うことができる。
　（２）検査対象の全ての部品の取り付けが完了してから位置測定する場合
　図２５は、圧縮率の変化の一例を示す第４の図である。図２５において、符号２５１０は、撮像装置１１０により撮影された動画像データに含まれる各フレームの画像データを示している。また、図２５において、符号２５２０は、動画像データの撮影中における、装置１４０の状態を示している。なお、図２５における符号２５１０及び符号２５２０は、図２４における符号２４１０及び符号２４２０と同じであるため、ここでは説明を省略する。
　また、図２５において、符号２５３０は、符号２５１０に示す動画像データに含まれる画像データに対して行われる画像処理の主な内容を示している。図２５の例によれば、識別番号＝００１の装置がベルトコンベア１５０に載置されると、画像処理システム１００では、当該装置を検出する。
　また、画像処理システム１００では、検査対象の部品１、部品２、部品３の取り付けが完了すると、画像認識処理を行うことで、検査対象の部品１、部品２、部品３の部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。その後、画像処理システム１００では、検査対象の部品１、部品２、部品３の位置測定を行う。
　また、識別番号＝００２の装置がベルトコンベア１５０に載置されると、画像処理システム１００では、当該装置を検出する。
　また、画像処理システム１００では、検査対象の部品１、部品２、部品３の取り付けが完了すると、画像認識処理を行うことで、検査対象の部品１、部品２、部品３の部品領域及び基準領域を特定し、圧縮率マップを生成して設定する。その後、画像処理システム１００では、検査対象の部品１、部品２、部品３の位置測定を行う。
　これに対して、第６の実施形態に係る画像処理システム１００の図２５の例では、符号２５４０に示すように、検査対象の部品１～部品３の部品領域及び基準領域の圧縮率を以下のように変更する。
・ベルトコンベア１５０に装置が載置されるまでの間（例えば、時間ｔ１までの間）、最大の圧縮率を設定し、ベルトコンベア１５０に装置が載置されると、デフォルトの圧縮率を設定する（時間ｔ１）。
・検査対象の部品１、部品２、部品３の取り付けが完了し、検査対象の部品１、部品２、部品３の部品領域及び基準領域を特定すると、特定した領域について、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ２）。
・検査対象の部品１、部品２、部品３について位置測定が完了すると、最大の圧縮率を設定する（時間ｔ３）。
・ベルトコンベア１５０により装置が移動され、次の装置が載置されると、デフォルトの圧縮率を設定する（時間ｔ４）。
・検査対象の部品１、部品２、部品３の取り付けが完了し、検査対象の部品１、部品２、部品３の部品領域及び基準領域を特定すると、特定した領域について、デフォルトの圧縮率よりも低い圧縮率を設定する（時間ｔ５）。
　このように、第６の実施形態に係る画像処理システム１００の図２５の例は、画像処理の進行に応じて圧縮率を変更することに加えて、検査対象の全ての部品の装置への取り付けが完了したタイミングで、圧縮率を変更する。これにより、第６の実施形態によれば、圧縮率を低く設定する時間を短くすることが可能となり、符号化装置１２０から画像解析装置１３０に伝送するデータ量を削減することができる。
　［その他の実施形態］
　上記各実施形態では、部品領域及び基準領域の圧縮率をデフォルトの圧縮率よりも低い圧縮率に変更する際、部品領域及び基準領域以外の領域の圧縮率は、デフォルトの圧縮率を維持するものとして説明した。しかしながら、部品領域及び基準領域以外の圧縮率は、デフォルトの圧縮率を維持する必要はなく、例えば、最大の圧縮率に変更してもよい。
　また、上記各実施形態では、装置の外縁の領域を基準領域として特定する場合について説明したが、装置の外縁の領域以外の領域を基準領域として特定してもよい。あるいは、装置の外縁の領域を基準領域として特定しつつ、装置の外縁の領域以外の領域を準基準領域として特定してもよい。例えば、装置に取り付けられる、識別容易な部品を準基準領域として特定してもよい。
　また、上記各実施形態では、特定した部品領域から基準領域を特定する際、または、特定した基準領域から部品領域を特定する際、設計データを用いるものとして説明した。しかしながら、装置の構成を示す情報であれば、設計データ以外の情報を用いてもよい。
　また、上記各実施形態では、輪郭線画像データにおいて、検査対象の部品の輪郭線及び基準線を特定するにあたり、特定部により特定された部品領域及び基準領域を参照するものとして説明した。しかしながら、特定部により特定された部品領域及び基準領域以外の情報を参照してもよい。特定部により特定された部品領域及び基準領域以外の情報としては、例えば、検査対象の部品の領域の画像的特徴量（色、形状、テクスチャ等）等が挙げられる。
　また、上記各実施形態では、位置測定に用いる画像データの詳細について言及しなかったが、位置測定に用いる画像データは、例えば、１フレーム分の画像データであっても、複数フレーム分の画像データであってもよい。複数フレーム分の画像データを用いる場合には、それぞれの画像データにおいて位置測定を行うことで得られた複数の測定結果の中から、最適な測定結果を選択して出力してもよい。あるいは、それぞれの画像データにおいて位置測定を行うことで得られた複数の測定結果について平均値を算出し、出力してもよい。
　また、上記各実施形態では、画像解析装置１３０にて特定部及び圧縮率マップ生成部を実現する場合について説明した。しかしながら、特定部及び圧縮率マップ生成部は、例えば、符号化装置１２０において実現されてもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　１００　　　　　　　　　：画像処理システム
　１１０　　　　　　　　　：撮像装置
　１２０　　　　　　　　　：符号化装置
　１２１　　　　　　　　　：符号化部
　１２２　　　　　　　　　：圧縮率設定部
　１３０　　　　　　　　　：画像解析装置
　１３１　　　　　　　　　：復号部
　１３２＿１　　　　　　　：領域識別部
　１３２＿２　　　　　　　：輪郭抽出部
　１３３　　　　　　　　　：特定部
　１３４　　　　　　　　　：圧縮率マップ生成部
　１３５　　　　　　　　　：設計データ
　１７１０＿１　　　　　　：第１領域識別部
　１７１０＿２　　　　　　：第２領域識別部
　２２１０　　　　　　　　：画像処理部

Claims (18)

  1. 　第１の圧縮率で符号化された第１の画像データを復号し、第１の復号データを取得した場合に、該第１の復号データを解析することで、検査対象の物体が含まれる物体領域と、基準線が含まれる基準領域とを特定するための領域を識別する識別部と、
    　識別された前記領域と、前記検査対象の物体が取り付けられた構造体の構成を示す情報とを用いて、前記物体領域と前記基準領域とを特定する特定部と、
    　前記物体領域と前記基準領域とが、前記第１の圧縮率よりも小さい第２の圧縮率に変更された圧縮率マップが生成され、該圧縮率マップを用いて符号化された第２の画像データを復号した第２の復号データを取得した場合に、該第２の復号データを解析することで、前記基準線に基づく前記検査対象の物体の位置を測定する測定部と
    　を有する画像解析装置。
  2. 　前記識別部は、前記第１の復号データに対して画像認識処理を行うことで検査対象の物体の領域を識別し、
    　前記特定部は、識別された前記検査対象の物体の領域を前記物体領域として特定するとともに、特定した前記物体領域と前記構造体の構成を示す情報とを用いて、前記基準領域を特定する、請求項１に記載の画像解析装置。
  3. 　前記識別部は、前記第１の復号データに対して画像認識処理を行うことで前記構造体の外縁の領域を識別し、
    　前記特定部は、識別された前記構造体の外縁の領域を前記基準領域として特定するとともに、特定した前記基準領域と前記構造体の構成を示す情報とを用いて、前記物体領域を特定する、請求項１に記載の画像解析装置。
  4. 　前記識別部は、前記第２の復号データに対して画像認識処理を行うことで前記検査対象の物体の領域を識別し、
    　前記特定部は、前記第２の復号データにおいて識別された前記検査対象の物体の領域を前記物体領域として特定し、特定した前記物体領域と前記構造体の構成を示す情報とを用いて、前記第２の復号データにおける前記基準領域を特定し、
    　前記測定部は、前記第２の復号データより輪郭線を抽出し、
    　　前記第２の復号データにおいて特定された前記物体領域を参照することで、前記物体の輪郭線を特定し、
    　　前記第２の復号データにおいて特定された前記基準領域を参照することで、前記基準線となる輪郭線を特定する、請求項２に記載の画像解析装置。
  5. 　前記識別部は、前記第２の復号データに対して画像認識処理を行うことで前記構造体の外縁の領域を識別し、
    　前記特定部は、前記第２の復号データにおいて識別された前記構造体の外縁の領域を前記基準領域として特定し、特定した前記基準領域と前記構造体の構成を示す情報とを用いて、前記第２の復号データにおける前記物体領域を特定し、
    　前記測定部は、前記第２の復号データより輪郭線を抽出し、
    　　前記第２の復号データにおいて特定された前記物体領域を参照することで、前記物体の輪郭線を特定し、
    　　前記第２の復号データにおいて特定された前記基準領域を参照することで、前記基準線となる輪郭線を特定する、請求項３に記載の画像解析装置。
  6. 　前記測定部は、前記第２の復号データに含まれる構造体の形状を、前記構造体の構成を示す情報を用いて補正する、請求項１に記載の画像解析装置。
  7. 　前記測定部は、前記基準線に基づいて生成した座標を用いて、前記基準線から前記検査対象の物体の位置までの距離を算出することで、前記検査対象の物体の位置を測定する、請求項１に記載の画像解析装置。
  8. 　前記検査対象の複数の物体が、異なるタイミングで前記構造体に取り付けられる場合において、前記識別部、前記特定部、前記測定部は、前記構造体に物体が取り付けられるごとに実行される、請求項２に記載の画像解析装置。
  9. 　前記検査対象の複数の物体が、異なるタイミングで、前記構造体に取り付けられる場合において、前記識別部、前記特定部、前記測定部は、前記構造体に前記複数の物体がすべて取り付けられた後に実行される、
    　請求項２に記載の画像解析装置。
  10. 　前記測定部は、複数の前記第２の復号データが取得された場合、それぞれの前記第２の復号データにおいて測定された、前記検査対象の物体の位置についての複数の測定結果に基づき、１の測定結果を出力する、請求項１に記載の画像解析装置。
  11. 　前記圧縮率マップを生成する生成部を更に有する、請求項１に記載の画像解析装置。
  12. 　前記生成部は、前記物体領域と前記基準領域とを、前記第１の圧縮率よりも小さい第２の圧縮率に変更し、前記物体領域及び基準領域以外の領域を、前記第１の圧縮率よりも大きい第３の圧縮率に変更した圧縮率マップを生成する、請求項１１に記載の画像解析装置。
  13. 　前記生成部は、少なくとも、前記測定部による前記検査対象の物体の位置の測定が完了して以降は、すべての領域を、前記第１の圧縮率よりも大きい第３の圧縮率に変更した圧縮率マップを生成する、請求項１１に記載の画像解析装置。
  14. 　前記生成部は、少なくとも、前記検査対象の物体が取り付けられる前の構造体が前記第１の画像データに含まれるまでの間、すべての領域を、前記第３の圧縮率に変更した圧縮率マップを生成する、請求項１３に記載の画像解析装置。
  15. 　前記識別部には、
    　前記第１の復号データに対して画像認識処理を行うことで検査対象の物体の領域を識別する第１の識別部と、
    　前記第２の復号データに対して画像認識処理を行うことで検査対象の物体の領域を個別に識別する第２の識別部と
    　が含まれる、請求項４に記載の画像解析装置。
  16. 　前記識別部は、前記検査対象の物体が取り付けられる前の構造体が含まれる前記第１の復号データと、前記検査対象の物体が取り付けられた後の構造体が含まれる前記第１の復号データとの画素値の差分を算出することで、前記物体領域を識別し、
    　前記特定部は、識別された前記物体領域と、前記構造体の構成を示す情報とを用いて、前記基準領域を特定する、請求項１に記載の画像解析装置。
  17. 　第１の圧縮率で符号化された第１の画像データを復号し、第１の復号データを取得した場合に、該第１の復号データを解析することで、検査対象の物体が含まれる物体領域と、基準線が含まれる基準領域とを特定するための領域を識別し、
    　識別された前記領域と、前記検査対象の物体が取り付けられた構造体の構成を示す情報とを用いて、前記物体領域と前記基準領域とを特定し
    　前記物体領域と前記基準領域とが、前記第１の圧縮率よりも小さい第２の圧縮率に変更された圧縮率マップが生成され、該圧縮率マップを用いて符号化された第２の画像データを復号した第２の復号データを取得した場合に、該第２の復号データを解析することで、前記基準線に基づく前記検査対象の物体の位置を測定する、
    　処理をコンピュータが実行する画像解析方法。
  18. 　第１の圧縮率で符号化された第１の画像データを復号し、第１の復号データを取得した場合に、該第１の復号データを解析することで、検査対象の物体が含まれる物体領域と、基準線が含まれる基準領域とを特定するための領域を識別し、
    　識別された前記領域と、前記検査対象の物体が取り付けられた構造体の構成を示す情報とを用いて、前記物体領域と前記基準領域とを特定し
    　前記物体領域と前記基準領域とが、前記第１の圧縮率よりも小さい第２の圧縮率に変更された圧縮率マップが生成され、該圧縮率マップを用いて符号化された第２の画像データを復号した第２の復号データを取得した場合に、該第２の復号データを解析することで、前記基準線に基づく前記検査対象の物体の位置を測定する、
    　処理をコンピュータに実行させるための画像解析プログラム。
PCT/JP2022/021753 2022-05-27 2022-05-27 画像解析装置、画像解析方法及び画像解析プログラム WO2023228409A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021753 WO2023228409A1 (ja) 2022-05-27 2022-05-27 画像解析装置、画像解析方法及び画像解析プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021753 WO2023228409A1 (ja) 2022-05-27 2022-05-27 画像解析装置、画像解析方法及び画像解析プログラム

Publications (1)

Publication Number Publication Date
WO2023228409A1 true WO2023228409A1 (ja) 2023-11-30

Family

ID=88918825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021753 WO2023228409A1 (ja) 2022-05-27 2022-05-27 画像解析装置、画像解析方法及び画像解析プログラム

Country Status (1)

Country Link
WO (1) WO2023228409A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028528A (ja) * 2006-07-19 2008-02-07 Matsushita Electric Ind Co Ltd 画像符号化装置、方法およびシステム
JP2009273005A (ja) * 2008-05-09 2009-11-19 Omron Corp 部品実装基板の外観検査用画像の保存方法および復元方法、ならびに画像保存処理装置
JP2018026677A (ja) * 2016-08-09 2018-02-15 日本電信電話株式会社 符号化装置、符号化方法及び符号化プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008028528A (ja) * 2006-07-19 2008-02-07 Matsushita Electric Ind Co Ltd 画像符号化装置、方法およびシステム
JP2009273005A (ja) * 2008-05-09 2009-11-19 Omron Corp 部品実装基板の外観検査用画像の保存方法および復元方法、ならびに画像保存処理装置
JP2018026677A (ja) * 2016-08-09 2018-02-15 日本電信電話株式会社 符号化装置、符号化方法及び符号化プログラム

Similar Documents

Publication Publication Date Title
US11797886B2 (en) Image processing device, image processing method, and image processing program
US9007602B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US8417059B2 (en) Image processing device, image processing method, and program
US20180018805A1 (en) Three dimensional scene reconstruction based on contextual analysis
US9536321B2 (en) Apparatus and method for foreground object segmentation
US20130155417A1 (en) Three-dimensional measurement apparatus, method for three-dimensional measurement, and computer program
US10430962B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium that calculate a three-dimensional shape of an object by capturing images of the object from a plurality of directions
CN108513121B (zh) 用于场景的景深图评估的方法和设备
CN111480342B (zh) 编码装置、编码方法、解码装置、解码方法和存储介质
CN111753869A (zh) 图像处理方法、图像处理装置、存储介质、图像处理系统及已学习模型制造方法
EP3633606B1 (en) Information processing device, information processing method, and program
CN107622504B (zh) 用于处理图片的方法和装置
US11200681B2 (en) Motion detection method and motion detection system with low computational complexity and high detection accuracy
WO2022105027A1 (zh) 图像识别方法、系统、电子设备及存储介质
JP6922399B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2021225472A2 (en) Joint objects image signal processing in temporal domain
US11250581B2 (en) Information processing apparatus, information processing method, and storage medium
JP2000121319A (ja) 画像処理装置および画像処理方法、並びに提供媒体
JP2007298376A (ja) 境界の位置決定装置、境界の位置を決定する方法、当該装置としてコンピュータを機能させるためのプログラム、および記録媒体
US10529085B2 (en) Hardware disparity evaluation for stereo matching
WO2023228409A1 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
JP5935118B2 (ja) 物体検出装置および物体検出方法
JP2019144107A (ja) 情報処理装置、端末装置、情報処理方法、およびプログラム
US11270442B2 (en) Motion image integration method and motion image integration system capable of merging motion object images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22943809

Country of ref document: EP

Kind code of ref document: A1