WO2023238726A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2023238726A1
WO2023238726A1 PCT/JP2023/019936 JP2023019936W WO2023238726A1 WO 2023238726 A1 WO2023238726 A1 WO 2023238726A1 JP 2023019936 W JP2023019936 W JP 2023019936W WO 2023238726 A1 WO2023238726 A1 WO 2023238726A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
contour
target image
binary
target
Prior art date
Application number
PCT/JP2023/019936
Other languages
English (en)
French (fr)
Inventor
悠 岡野
一貴 上田
真平 竹本
晋哉 平澤
好成 奥野
Original Assignee
株式会社レゾナック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社レゾナック filed Critical 株式会社レゾナック
Publication of WO2023238726A1 publication Critical patent/WO2023238726A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and an image processing program.
  • Examples of area segmentation methods that identify object regions included in a target image and divide the target image according to the identified object regions include methods that use image analysis such as the watershed method, R-CNN, and Selective-Search. Examples include methods using deep learning such as the method.
  • the target image is an image in which multiple non-homogeneous objects (group of objects) are densely packed together (for example, an image obtained by photographing a group of particles that contain various internal unevenness and shading and have different external shapes and sizes). In this case, it becomes difficult to realize highly accurate region division.
  • the present disclosure aims to improve segmentation accuracy when segmenting an image of a non-homogeneous object group into regions.
  • An image processing device includes: a binary image generation unit that generates a binary image from the target image using a first trained model that binarizes the target image into an object area and a background area and generates a binary image; a prediction unit that predicts a contour line of an object region in a binary image generated from the target image using a second learned model that predicts a contour line of an object region in a binary image; a dilated contour image generation unit that performs dilation processing on the predicted contour to generate a dilated contour image; a foreground area image generation unit that generates a foreground area image based on the binary image generated from the target image and the dilated contour image; A background pixel identified based on a binary image generated from the target image, a boundary pixel identified based on the expanded contour image, and a foreground pixel identified based on the foreground region image are used. and an area dividing unit that divides the target image into object areas using a watershed
  • a second aspect of the present disclosure is the image processing device according to the first aspect, comprising: The binary image generation unit generates the binary image from the target image using trained U-Net as the first trained model.
  • a third aspect of the present disclosure is the image processing device according to the second aspect, comprising: The prediction unit generates a contour image from a binary image generated from the target image using a trained U-Net as the second trained model.
  • a fourth aspect of the present disclosure is the image processing device according to the third aspect, comprising:
  • the foreground area image generation unit generates the foreground area image by calculating a difference between a binary image generated from the target image and the dilated contour image.
  • a fifth aspect of the present disclosure is the image processing device according to the first aspect, comprising:
  • the target image is an image of a particle group taken under predetermined conditions.
  • a sixth aspect of the present disclosure is the image processing device according to the fifth aspect, comprising:
  • the image processing apparatus includes a statistical processing unit that analyzes and performs statistical processing on an image in which the target image is divided into object regions.
  • a seventh aspect of the present disclosure is the image processing device according to the sixth aspect,
  • the statistical processing unit changes process conditions of a process for generating the particle group based on the result of the statistical processing.
  • An eighth aspect of the present disclosure is an image processing method, comprising: Binarizing the target image into an object region and a background region, and generating a binary image from the target image using a first trained model that generates a binary image; predicting the outline of the object region in the binary image generated from the target image using a second trained model that predicts the outline of the object region in the binary image; performing dilation processing on the predicted contour to generate a dilated contour image; generating a foreground region image based on the binary image generated from the target image and the dilated contour image; A background pixel identified based on a binary image generated from the target image, a boundary pixel identified based on the expanded contour image, and a foreground pixel identified based on the foreground region image are used. and dividing the target image into object regions using the watershed method.
  • a ninth aspect of the present disclosure is an image processing program, comprising: Binarizing the target image into an object region and a background region, and generating a binary image from the target image using a first trained model that generates a binary image; predicting the outline of the object region in the binary image generated from the target image using a second trained model that predicts the outline of the object region in the binary image; performing dilation processing on the predicted contour to generate a dilated contour image; generating a foreground region image based on the binary image generated from the target image and the dilated contour image; A background pixel identified based on a binary image generated from the target image, a boundary pixel identified based on the expanded contour image, and a foreground pixel identified based on the foreground region image are used. and causing the computer to execute a step of dividing the target image into object regions using the watershed method.
  • FIG. 1 is a diagram showing an example of the system configuration of a process control system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the image processing device.
  • FIG. 3 is a diagram showing a specific example of a process control system.
  • FIG. 4 is a diagram for explaining details of the target image.
  • FIG. 5 is a diagram illustrating an example of the functional configuration of a region dividing section when a general watershed method is used.
  • FIG. 6 is a first diagram illustrating a specific example of processing by the area dividing unit when using the general watershed method.
  • FIG. 7 is a second diagram illustrating a specific example of processing by the area dividing unit when using the general watershed method.
  • FIG. 8 is a diagram illustrating an example of the functional configuration of the area dividing section.
  • FIG. 1 is a diagram showing an example of the system configuration of a process control system.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the image processing device.
  • FIG. 3 is
  • FIG. 9 is a first diagram showing a specific example of processing by the area dividing section.
  • FIG. 10 is a second diagram showing a specific example of processing by the area dividing section.
  • FIG. 11 is a diagram showing an example of the functional configuration of the statistical processing section.
  • FIG. 12 is a flowchart showing the flow of process control processing.
  • FIG. 13 is a flowchart showing the flow of area division processing.
  • FIG. 1 is a diagram showing an example of the system configuration of a process control system.
  • the process control system 100 includes a target process 110, a target image generation process, and an image processing device 130.
  • the target process 110 is a particle group generation process that generates a plurality of particles (particle group).
  • the particle group here includes, for example, a sintered body group produced by a sintering process, a spheroid produced by a culture process, and the like.
  • the particle group generated by the target process 110 is conveyed to the target image generation process 120.
  • the target image generation process 120 photographs the transported particle group under predetermined conditions to create a target image that is a target image to be processed by the image processing device 130, in which a plurality of objects (object group) are densely packed. Generate an image.
  • the particle group is a sintered body group
  • the sintered body group is embedded in resin to form one lump, and the formed one lump is cut.
  • a target image containing a dense group of non-homogeneous objects is generated.
  • the particle body is, for example, a spheroid
  • the target image generation process 120 a culture solution containing three-dimensionally cultured spheroids is photographed through a microscope, so that a non-homogeneous object group is concentrated. Generate a target image.
  • the target image generated by the target image generation process 120 is notified to the image processing device 130.
  • An image processing program is installed in the image processing device 130, and by executing the image processing program, the image processing device 130 functions as a region dividing section 131 and a statistical processing section 132.
  • the region dividing unit 131 divides the target image including the object group into regions, and notifies the statistical processing unit 132 of the divided target image for each object region.
  • the region dividing unit 131 performs region division using a method that combines a method using image analysis and a method using deep learning. Specifically, by combining the watershed method, which is an example of image analysis, and U-Net, which is an example of deep learning, the images used in the watershed method (background region image, foreground region image, boundary region image) are Net, and then performs region division using the watershed method.
  • the region dividing unit 131 of this embodiment can realize highly accurate region division even when the target image is an image in which a non-homogeneous object group is densely packed (details will be described later). .
  • the statistical processing unit 132 analyzes the target image divided into object regions and performs statistical processing (for example, processing to total the number of objects, the size of objects, etc.).
  • the statistical processing unit 132 changes the process conditions in the target process 110 based on the results of the statistical processing.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the image processing device.
  • the image processing device 130 includes a processor 201, a memory 202, an auxiliary storage device 203, an I/F (Interface) device 204, a communication device 205, and a drive device 206. Note that each piece of hardware in the image processing device 130 is interconnected via a bus 207.
  • the processor 201 includes various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (eg, image processing programs, etc.) onto the memory 202 and executes them.
  • programs eg, image processing programs, etc.
  • the memory 202 includes main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and when the processor 201 executes various programs read onto the memory 202, the computer realizes various functions.
  • the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201.
  • the I/F device 204 is a connection device that connects the operating device 210 and display device 220 to the image processing device 130.
  • the operating device 210 is an operating device for an operator to input various instructions to the image processing device 130
  • the display device 220 is a display device for providing a display screen to the operator.
  • the communication device 205 is a communication device for communicating with an external device (not shown) via a network.
  • the drive device 206 is a device for setting the recording medium 230.
  • the recording medium 230 here includes a medium for recording information optically, electrically, or magnetically, such as a CD-ROM, a flexible disk, or a magneto-optical disk. Further, the recording medium 230 may include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory.
  • the various programs to be installed in the auxiliary storage device 203 are installed by, for example, setting the distributed recording medium 230 in the drive device 206 and reading out the various programs recorded on the recording medium 230 by the drive device 206. be done.
  • various programs installed in the auxiliary storage device 203 may be installed by being downloaded from a network via the communication device 205.
  • FIG. 3 is a diagram showing a specific example of a process control system.
  • a specific example in this embodiment will be described for a case where the target process is a sintering process.
  • the target image generation process 320 is executed.
  • the target process is a sintering process
  • a sintered body group collection process a resin filling process, a cutting process, a staining process, and a photographing process are executed.
  • the generated sintered body group 340 is collected.
  • the collected sintered body group 340 is embedded in transparent resin, and a lump 321 is generated.
  • the lump 321 is cut at a plurality of locations, and a plurality of lumps 322 are generated.
  • the cut surfaces of the plurality of masses 322 are dyed, and in the photographing process, the stained cut surfaces are photographed, thereby generating the target image 323.
  • the target process is a sintering process
  • the cut surfaces of the sintered bodies embedded in the resin are dyed and photographed in an exposed state, thereby creating an object group consisting of the cut surfaces of multiple sintered bodies.
  • a target image containing the is generated.
  • FIG. 4 is a diagram for explaining details of the target image.
  • the target image 323 has the following characteristics.
  • a group of objects consisting of cut surfaces of multiple sintered bodies are densely packed.
  • the object group includes objects of various shapes and sizes (for example, object areas 401 to 405, etc.).
  • the interior of each object is not uniform in color (for example, object areas 401 to 405, etc.) due to various unevenness, shading, etc. of the cut surface of the sintered body.
  • Background areas (numerals 411 to 413, etc.), which are areas other than objects, are not uniform in color due to the presence or absence of a sintered body behind them.
  • the region dividing unit 131 combines the watershed method and U-Net, generates an image to be used in the watershed method using U-Net, and then performs region segmentation using the watershed method. Therefore, in explaining the functional configuration of the area dividing section 131, first, ⁇ Functional configuration of the area division part when using the general watershed method, will be explained, followed by -Functional configuration of the area dividing unit 131 according to the present embodiment, which combines the watershed method and U-Net; The characteristics of the area dividing unit 131 according to this embodiment will be clarified by explaining.
  • FIG. 5 is a diagram illustrating an example of the functional configuration of a region dividing section when a general watershed method is used.
  • FIGS. 6 and 7 are first and second diagrams showing specific examples of processing by the area division unit when using the general watershed method.
  • a region dividing unit 500 using a general watershed method includes a threshold processing unit 501, a morphology conversion processing unit 502, a distance conversion processing unit 503, a difference processing unit 504, a labeling processing unit 505, and a watershed method. It has a processing section 506.
  • the threshold processing unit 501 performs threshold processing on the target image (for example, the target image 323 (see FIGS. 3, 4, and 6)) under the adjusted threshold parameter, and blackens pixels that are less than the threshold parameter. Next, a binary image is generated by converting pixels whose color is equal to or greater than a threshold parameter to white. The binary image generated by the threshold processing unit 501 is notified to the morphology conversion processing unit 502.
  • the morphological conversion processing unit 502 performs morphological conversion processing on the binary image generated by the threshold processing unit 501 under the adjusted conversion parameters to convert the background area image (for example, the background area image 511 (Fig. 6)) and identify the background pixels.
  • the background area image (for example, background area image 511 (see FIG. 6)) generated by the morphology conversion processing unit 502 is notified to the distance conversion processing unit 503 and the difference processing unit 504.
  • the distance conversion processing unit 503 converts the pixel value of each pixel other than the background area in the background area image generated by the morphology conversion processing unit 502 into a pixel according to the distance from the background pixel based on the adjusted conversion parameter. Convert to value. Thereby, the distance conversion processing unit 503 generates a distance image (for example, the distance image 512 (see FIG. 6)).
  • the distance conversion processing unit 503 identifies pixels whose value is equal to or greater than the adjusted threshold parameter in the distance image (for example, the distance image 512 (see FIG. 6)) as foreground pixels. Furthermore, the distance conversion processing unit 503 generates a foreground area image (for example, the foreground area image 513 (see FIG. 6)) in which the identified foreground pixels are white. The foreground area image (for example, foreground area image 513 (see FIG. 6)) generated by the distance conversion processing unit 503 is notified to the difference processing unit 504.
  • the difference processing unit 504 uses a background area image (for example, background area image 511 (see FIG. 6)) generated by the morphology conversion processing unit 502 and a foreground area image (for example, the foreground area image) generated by the distance conversion processing unit 503. image 513 (see FIG. 6)). Thereby, the difference processing unit 504 generates a boundary area image (eg, boundary area image 514 (see FIG. 7)) and identifies boundary pixels.
  • a background area image for example, background area image 511 (see FIG. 6)
  • a foreground area image for example, the foreground area image generated by the distance conversion processing unit 503. image 513 (see FIG. 6)
  • the difference processing unit 504 generates a boundary area image (eg, boundary area image 514 (see FIG. 7)) and identifies boundary pixels.
  • the labeling processing unit 505 - Background pixels identified based on a background area image (for example, background area image 511 (see FIG. 6)); - Foreground pixels identified based on a foreground region image (for example, foreground region image 513 (see FIG. 6)); - Boundary pixels identified based on a boundary area image (for example, boundary area image 514 (see FIG. 7));
  • a marker image for example, marker image 521 (see FIG. 7)
  • the marker image (for example, the marker image 521 (see FIG. 7)) generated by the labeling processing unit 505 is notified to the watershed method processing unit 506.
  • the watershed method processing unit 506 acquires a target image (for example, the target image 323 (see FIGS. 3, 4, and 6)) and a marker image (for example, the marker image 521 (see FIG. 7)), and uses the watershed method to , divide the target image into object regions. As a result, the watershed method processing unit 506 generates and outputs a region divided image (for example, a region divided image 522 (see FIG. 7) that is color-coded so that the regions of each object can be identified). Alternatively, the watershed method processing unit 506 generates and outputs a region segmented image (for example, a region segmented image 523 (see FIG. 7) that is color-coded so that the outline of each object can be seen).
  • a target image for example, the target image 323 (see FIGS. 3, 4, and 6)
  • a marker image for example, the marker image 521 (see FIG. 7)
  • threshold processing section 501 As described above, it is necessary to appropriately adjust the threshold parameters or transformation parameters in the threshold processing section 501, morphology transformation processing section 502, and distance transformation processing section 503 of the region division section 500.
  • the target image 323 an image with a dense group of non-homogeneous objects
  • an object area that should originally be divided into one object area 402 may be divided into two object areas. can occur.
  • object area 403' in FIG. 7 a situation may occur in which an object area that should originally be divided into three object areas 403 to 405 is divided into one object area.
  • FIG. 8 is a diagram illustrating an example of the functional configuration of the area dividing section.
  • FIGS. 9 and 10 are first and second diagrams showing specific examples of processing by the area dividing unit.
  • the region dividing unit 131 includes a U-Net mask processing unit 801, a U-Net contour prediction unit 802, an expanded contour image generation unit 803, a difference processing unit 804, a labeling processing unit 505, and a watershed method. It has a processing section 506.
  • the U-Net mask processing unit 801 is an example of a binary image generation unit.
  • the U-Net mask processing unit 801 uses a trained deep learning model (first trained model) that performs mask processing on the input image (predicts the object and background and generates a binary image). example), which has a deep learning model for the target image.
  • the U-Net mask processing unit 801 has a network structure of U-Net, and in this embodiment, ⁇ Input image: An image containing a group of objects made up of cut surfaces of multiple sintered bodies by photographing the cut surfaces of a sintered body embedded in resin in a dyed and exposed state; ⁇ Correct image: An image in which the input image is processed so that the object group is white and the background is black, It has a trained deep learning model (that is, a trained U-Net) that has undergone transfer learning using training data including . Note that the trained deep learning model can be generated by performing transfer learning on an existing trained deep learning model.
  • ⁇ Input image photographic image obtained by photographing a car
  • ⁇ Correct image In the input image, the image where the car is white and the background is black
  • a trained U-Net can be generated.
  • the U-Net mask processing unit 801 By inputting a target image (for example, the target image 323 (see FIGS. 3, 4, and 9)), the U-Net mask processing unit 801 generates a binary image (for example, the binary image 811 (see FIG. 9)). )). Thereby, the U-Net mask processing unit 801 identifies background pixels.
  • a target image for example, the target image 323 (see FIGS. 3, 4, and 9)
  • a binary image for example, the binary image 811 (see FIG. 9)
  • the binary image generated by the U-Net mask processing unit 801 (for example, the binary image 811 (see FIG. 9)) is notified to the U-Net contour prediction unit 802 and the difference processing unit 804.
  • the U-Net contour prediction unit 802 is an example of a prediction unit.
  • the U-Net contour prediction unit 802 has a trained deep learning model (an example of a second trained model) that predicts a contour from an input binary image.
  • the U-Net contour prediction unit 802 has a network structure of U-Net, and in this embodiment, ⁇ Input image: An image in which objects are colored white and the background is colored black, ⁇ Correct image: An image in which the outline of each object in the object group is made white, and objects other than the outline and the background are made black, It has a trained deep learning model (that is, a trained U-Net) trained using training data including the following.
  • the U-Net contour prediction unit 802 predicts a contour and outputs a contour image. Note that the contour image output by the U-Net contour prediction unit 802 is notified to the dilated contour image generation unit 803.
  • the dilated contour image generation unit 803 expands the contour in the contour image output by the U-Net contour prediction unit 802 to create a dilated contour image (for example, dilated contour image 812 (see FIG. 9). )). Thereby, the dilated contour image generation unit 803 identifies boundary pixels.
  • the dilated contour image generated by the dilated contour image generation unit 803 (for example, the dilated contour image 812 (see FIG. 9)) is notified to the difference processing unit 804.
  • the difference processing unit 804 is an example of a foreground area image generation unit.
  • the difference processing unit 804 generates a binary image (for example, a binary image 811 (see FIG. 9)) generated by the U-Net mask processing unit 801 and an expanded contour image generated by the expanded contour image generation unit 803. (For example, the dilated contour image 812 (see FIG. 9)).
  • the difference processing unit 804 generates a foreground area image (for example, the foreground area image 813 (see FIG. 9)) and identifies foreground pixels.
  • the labeling processing unit 505 - Background pixels identified based on a binary image (for example, binary image 811 (see FIG. 9)); - Boundary pixels identified based on the dilated contour image (for example, dilated contour image 812 (see FIG. 9)); Foreground pixels identified based on a foreground region image (for example, foreground region image 813 (see FIG. 9)); By labeling each, a marker image (for example, marker image 821 (see FIG. 10)) is generated. The marker image (for example, marker image 821 (see FIG. 10)) generated by the labeling processing unit 505 is notified to the watershed method processing unit 506.
  • a marker image for example, marker image 821 (see FIG. 10)
  • the watershed method processing unit 506 acquires a target image (for example, the target image 323 (see FIGS. 3, 4, and 9)) and a marker image (for example, the marker image 821 (see FIG. 10)), and uses the watershed method to , divide the target image into object regions. As a result, the watershed method processing unit 506 generates and outputs a region divided image (for example, a region divided image 822 (see FIG. 10) that is color-coded so that the regions of each object can be identified). Alternatively, the watershed method processing unit 506 generates and outputs a region segmented image (for example, a region segmented image 823 (see FIG. 10) colored so that the outline of each object can be seen).
  • a target image for example, the target image 323 (see FIGS. 3, 4, and 9)
  • a marker image for example, the marker image 821 (see FIG. 10)
  • region division processing by the region division section 131 according to this embodiment which combines the watershed method and U-Net
  • - In the area division process by the area division unit 500, various parameters needed to be adjusted in order to generate a background area image, a foreground area image, and a boundary area image for specifying background pixels, foreground pixels, and boundary pixels.
  • region division processing by the region division unit 131 according to the present embodiment since a trained deep learning model is used, adjustment of various parameters is not necessary.
  • the contour line can be predicted with high accuracy.
  • the non-uniform colors inside the object are removed, so unlike when predicting the contour line directly from the target image, this is due to the influence of the non-uniform colors inside the object. This is because the contour line can be predicted without being affected.
  • the region dividing unit 131 can realize highly accurate region division even when the target image is an image in which a non-homogeneous object group is densely packed.
  • FIG. 11 is a diagram showing an example of the functional configuration of the statistical processing section.
  • the statistical processing unit 132 includes an object extraction unit 1101, an analysis unit 1102, an aggregation unit 1103, and a condition change unit 1104.
  • the object extracting unit 1101 obtains a region divided image (for example, the region divided image 822 (see FIG. 10) or the region divided image 823 (see FIGS. 10 and 11)) from the region dividing unit 131.
  • the object extraction unit 1101 extracts an image 1121 or the like in object units based on the obtained region-divided image (for example, the region-divided image 822 (see FIG. 10) or the region-divided image 823 (see FIGS. 10 and 11)). generate.
  • the analysis unit 1102 analyzes the object-based image 1121 generated by the object extraction unit 1101, and identifies, for example, the type and size of the object.
  • the aggregation unit 1103 aggregates the types, sizes, etc. of objects identified by the analysis unit 1102, and outputs the aggregation results.
  • the condition changing unit 1104 changes the process conditions for the sintered body based on the tally results output by the tallying unit 1103, and outputs the changed process conditions.
  • FIG. 12 is a flowchart showing the flow of process control processing.
  • step S1201 the sintering process 310 is executed to generate a sintered body group 340.
  • step S1202 the target image generation process 320 is executed to generate a target image 323 that includes a non-homogeneous object group.
  • step S1203 the image processing device 130 performs region division processing to divide the target image 323 into object regions. Note that details of the area division process will be described later.
  • step S1204 the image processing device 130 analyzes the region segmented image 822 or the region segmented image 823 generated by performing the region segmentation process, performs statistical processing, and outputs a total result.
  • step S1205 the image processing device 130 changes the process conditions based on the tally result, and outputs the changed process conditions.
  • step S1206 the sintering process 310 is executed under the changed process conditions to generate a sintered body group 340.
  • FIG. 13 is a flowchart showing the flow of area division processing.
  • step S1301 the image processing device 130 acquires the target image 323.
  • step S1302 the image processing device 130 generates a binary image 811 from the target image 323 using a trained deep learning model whose network structure is U-Net, and identifies background pixels.
  • step S1303 the image processing device 130 uses a trained deep learning model whose network structure is U-Net to predict a contour from the binary image and generate a contour image.
  • step S1304 the image processing device 130 performs dilation processing on the contour image to generate a dilated contour image 812 to identify boundary pixels.
  • step S1305 the image processing device 130 generates a foreground region image 813 based on the difference between the binary image 811 and the dilated contour image 812, and identifies foreground pixels.
  • step S1306 the image processing device 130 uses the identified background pixels, boundary pixels, and foreground pixels to divide the target image 323 into object regions using the watershed method.
  • a deep learning model U-Net
  • - Perform dilation processing on the predicted contour to generate a dilated contour image.
  • the target image is divided into object regions using the watershed method.
  • a contour can be predicted with high accuracy using less learning data compared to a case where a contour is directly predicted from a target image.
  • the network structure of the deep learning model is not limited to U-Net.
  • any other deep learning model can be applied as long as it has a convolutional layer and has a network structure that can input an image and output an image.
  • a deep learning model that can output the outline of each object is preferable.
  • the particle group generated by the target process 110 is not limited to the sintered body group, but may be any other particle group.
  • other arbitrary particle groups include spheroids.
  • the region dividing unit 131 outputs the region divided image 822 or the region divided image 823, but the image outputted by the region dividing unit 131 is the region divided image 822 or It is not limited to the divided image 823, and may be another image.
  • the statistical processing unit 132 outputs a tally result in which the type of each object and the size of each object are tallied.
  • the items to be included are not limited to these.
  • Process control system 130 Image processing device 131: Area division unit 132: Statistical processing unit 323: Target image 505: Labeling processing unit 506: Watershed method processing unit 801: U-Net mask processing unit 802: U-Net contour line Prediction unit 803: Dilated contour image generation unit 804: Difference processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

均質でないオブジェクト群の画像を領域分割する際の分割精度を向上させる。画像処理装置は、第１の学習済みモデルを用いて、対象画像から２値画像を生成する２値画像生成部と、第２の学習済みモデルを用いて、前記対象画像から生成された２値画像において、オブジェクト領域の輪郭線を予測する予測部と、前記予測した輪郭線に対して膨張処理を行い、膨張輪郭線画像を生成する膨張輪郭線画像生成部と、前記対象画像から生成された２値画像と前記膨張輪郭線画像とに基づいて、前景領域画像を生成する前景領域画像生成部と、前記対象画像から生成された２値画像に基づいて特定される背景画素と、前記膨張輪郭線画像に基づいて特定される境界画素と、前記前景領域画像に基づいて特定される前景画素とを用いて、分水嶺法により前記対象画像をオブジェクト領域ごとに分割する領域分割部とを有する。

Description

画像処理装置、画像処理方法及び画像処理プログラム
　本開示は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
　対象画像に含まれるオブジェクトの領域を特定し、特定したオブジェクトの領域に応じて対象画像を分割する領域分割方法として、例えば、分水嶺法等の画像解析を用いる方法や、Ｒ－ＣＮＮ、Ｓｅｌｅｃｔｉｖｅ－Ｓｅａｒｃｈ法等の深層学習を用いる方法等が挙げられる。
特開２０２１－１２０８１５号公報
　一方で、均質でない複数のオブジェクト（オブジェクト群）が密集した画像（例えば、内部に様々な凹凸や濃淡が含まれ、外形や大きさも異なる粒子体群を撮影することで得られる画像）を対象画像とした場合、高精度な領域分割を実現することが困難となる。
　例えば、上記画像解析を用いる方法の場合、複数のオブジェクトのいずれにも適したパラメータを見出すことが必要となる。また、上記深層学習を用いる方法の場合、様々な態様のオブジェクトを含む膨大な数の画像を学習用データとして用意する必要がある。
　本開示は、均質でないオブジェクト群の画像を領域分割する際の分割精度を向上させることを目的としている。
　本開示の第１の態様による画像処理装置は、
　対象画像をオブジェクト領域と背景領域とに２値化し、２値画像を生成する第１の学習済みモデルを用いて、対象画像から２値画像を生成する２値画像生成部と、
　２値画像においてオブジェクト領域の輪郭線を予測する第２の学習済みモデルを用いて、前記対象画像から生成された２値画像において、オブジェクト領域の輪郭線を予測する予測部と、
　前記予測した輪郭線に対して膨張処理を行い、膨張輪郭線画像を生成する膨張輪郭線画像生成部と、
　前記対象画像から生成された２値画像と前記膨張輪郭線画像とに基づいて、前景領域画像を生成する前景領域画像生成部と、
　前記対象画像から生成された２値画像に基づいて特定される背景画素と、前記膨張輪郭線画像に基づいて特定される境界画素と、前記前景領域画像に基づいて特定される前景画素とを用いて、分水嶺法により前記対象画像をオブジェクト領域ごとに分割する領域分割部とを有する。
　本開示の第２の態様は、第１の態様に記載の画像処理装置であって、
　前記２値画像生成部は、前記第１の学習済みモデルとして、学習済みのＵ－Ｎｅｔを用いて、前記対象画像から前記２値画像を生成する。
　本開示の第３の態様は、第２の態様に記載の画像処理装置であって、
　前記予測部は、前記第２の学習済みモデルとして、学習済みのＵ－Ｎｅｔを用いて、前記対象画像から生成された２値画像から輪郭線画像を生成する。
　本開示の第４の態様は、第３の態様に記載の画像処理装置であって、
　前記前景領域画像生成部は、前記対象画像から生成された２値画像と、前記膨張輪郭線画像との差分を算出することで、前記前景領域画像を生成する。
　本開示の第５の態様は、第１の態様に記載の画像処理装置であって、
　前記対象画像は、所定の条件のもとで粒子体群を撮影した画像である。
　本開示の第６の態様は、第５の態様に記載の画像処理装置であって、
　前記対象画像がオブジェクト領域ごとに分割された画像を解析し、統計処理する統計処理部を有する。
　本開示の第７の態様は、第６の態様に記載の画像処理装置であって、
　前記統計処理部は、統計処理の結果に基づいて、前記粒子体群を生成するプロセスのプロセス条件を変更する。
　本開示の第８の態様は、画像処理方法であって、
　対象画像をオブジェクト領域と背景領域とに２値化し、２値画像を生成する第１の学習済みモデルを用いて、対象画像から２値画像を生成する工程と、
　２値画像においてオブジェクト領域の輪郭線を予測する第２の学習済みモデルを用いて、前記対象画像から生成された２値画像において、オブジェクト領域の輪郭線を予測する工程と、
　前記予測した輪郭線に対して膨張処理を行い、膨張輪郭線画像を生成する工程と、
　前記対象画像から生成された２値画像と前記膨張輪郭線画像とに基づいて、前景領域画像を生成する工程と、
　前記対象画像から生成された２値画像に基づいて特定される背景画素と、前記膨張輪郭線画像に基づいて特定される境界画素と、前記前景領域画像に基づいて特定される前景画素とを用いて、分水嶺法により前記対象画像をオブジェクト領域ごとに分割する工程とをコンピュータが実行する。
　本開示の第９の態様は、画像処理プログラムであって、
　対象画像をオブジェクト領域と背景領域とに２値化し、２値画像を生成する第１の学習済みモデルを用いて、対象画像から２値画像を生成する工程と、
　２値画像においてオブジェクト領域の輪郭線を予測する第２の学習済みモデルを用いて、前記対象画像から生成された２値画像において、オブジェクト領域の輪郭線を予測する工程と、
　前記予測した輪郭線に対して膨張処理を行い、膨張輪郭線画像を生成する工程と、
　前記対象画像から生成された２値画像と前記膨張輪郭線画像とに基づいて、前景領域画像を生成する工程と、
　前記対象画像から生成された２値画像に基づいて特定される背景画素と、前記膨張輪郭線画像に基づいて特定される境界画素と、前記前景領域画像に基づいて特定される前景画素とを用いて、分水嶺法により前記対象画像をオブジェクト領域ごとに分割する工程とをコンピュータに実行させる。
　本開示によれば、均質でないオブジェクト群の画像を領域分割する際の分割精度を向上させることができる。
図１は、プロセス制御システムのシステム構成の一例を示す図である。 図２は、画像処理装置のハードウェア構成の一例を示す図である。 図３は、プロセス制御システムの具体例を示す図である。 図４は、対象画像の詳細を説明するための図である。 図５は、一般的な分水嶺法を用いた場合の領域分割部の機能構成の一例を示す図である。 図６は、一般的な分水嶺法を用いた場合の領域分割部による処理の具体例を示す第１の図である。 図７は、一般的な分水嶺法を用いた場合の領域分割部による処理の具体例を示す第２の図である。 図８は、領域分割部の機能構成の一例を示す図である。 図９は、領域分割部による処理の具体例を示す第１の図である。 図１０は、領域分割部による処理の具体例を示す第２の図である。 図１１は、統計処理部の機能構成の一例を示す図である。 図１２は、プロセス制御処理の流れを示すフローチャートである。 図１３は、領域分割処理の流れを示すフローチャートである。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜プロセス制御システムのシステム構成＞
　はじめに、第１の実施形態に係る画像処理装置を備えるプロセス制御システム全体のシステム構成について説明する。図１は、プロセス制御システムのシステム構成の一例を示す図である。
　図１に示すように、プロセス制御システム１００は、対象プロセス１１０と、対象画像生成プロセスと、画像処理装置１３０とを備える。
　対象プロセス１１０は、複数の粒子体（粒子体群）を生成するプロセスである、粒子体群生成プロセスである。ここでいう粒子体群には、例えば、焼結プロセスにより生成された焼結体群や、培養プロセスにより生成されたスフェロイド等が含まれる。
　なお、対象プロセス１１０により生成された粒子体群は、対象画像生成プロセス１２０に搬送される。
　対象画像生成プロセス１２０は、搬送された粒子体群を、所定の条件のもとで撮影することで、画像処理装置１３０の処理対象となる対象画像として、複数のオブジェクト（オブジェクト群）が密集した画像を生成する。
　粒子体群が、例えば、焼結体群であった場合、対象画像生成プロセス１２０では、焼結体群を樹脂に埋め込むことで１つの塊りを形成し、形成した１つの塊りを切断した切断面を撮影することで、均質でないオブジェクト群が密集した対象画像を生成する。
　また、粒子体が、例えば、スフェロイドであった場合、対象画像生成プロセス１２０では、３次元培養されたスフェロイドが含まれる培養液を、顕微鏡を介して撮影することで、均質でないオブジェクト群が密集した対象画像を生成する。
　なお、対象画像生成プロセス１２０により生成された対象画像は、画像処理装置１３０に通知される。
　画像処理装置１３０には、画像処理プログラムがインストールされており、当該画像処理プログラムが実行されることで、画像処理装置１３０は、領域分割部１３１、統計処理部１３２として機能する。
　領域分割部１３１は、オブジェクト群が含まれる対象画像を領域分割し、オブジェクト領域ごとに分割された対象画像を統計処理部１３２に通知する。なお、本実施形態において、領域分割部１３１は、画像解析を用いる方法と深層学習を用いる方法とを組み合わせた方法により領域分割を行う。具体的には、画像解析の一例である分水嶺法と、深層学習の一例であるＵ－Ｎｅｔとを組み合わせ、分水嶺法に用いる画像（背景領域画像、前景領域画像、境界領域画像）を、Ｕ－Ｎｅｔを用いて生成したうえで、分水嶺法により領域分割を行う。
　これにより、本実施形態の領域分割部１３１によれば、均質でないオブジェクト群が密集した画像を対象画像とした場合であっても、高精度な領域分割を実現することができる（詳細は後述）。
　統計処理部１３２は、オブジェクト領域ごとに分割された対象画像を解析し、統計処理（例えば、オブジェクトの数、オブジェクトの大きさ等を集計する処理）を行う。
　また、統計処理部１３２は、統計処理の結果に基づいて、対象プロセス１１０におけるプロセス条件を変更する。
　＜画像処理装置のハードウェア構成＞
　次に、画像処理装置１３０のハードウェア構成について説明する。図２は、画像処理装置のハードウェア構成の一例を示す図である。
　図２に示すように、画像処理装置１３０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、画像処理装置１３０の各ハードウェアは、バス２０７を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、画像処理プログラム等）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
　Ｉ／Ｆ装置２０４は、操作装置２１０及び表示装置２２０と、画像処理装置１３０とを接続する接続デバイスである。なお、操作装置２１０は、画像処理装置１３０に対して操作者が各種指示を入力するための操作デバイスであり、表示装置２２０は、操作者に表示画面を提供するための表示デバイスである。通信装置２０５は、ネットワークを介して不図示の外部装置と通信するための通信デバイスである。
　ドライブ装置２０６は記録媒体２３０をセットするためのデバイスである。ここでいう記録媒体２３０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２３０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２３０がドライブ装置２０６にセットされ、該記録媒体２３０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
　＜プロセス制御システムの具体例＞
　次に、対象プロセスが焼結プロセスである場合のプロセス制御システム１００の具体例について説明する。図３は、プロセス制御システムの具体例を示す図である。以降、本実施形態における具体例の説明は、対象プロセスが焼結プロセスである場合について行う。
　図３に示すように、焼結プロセス３１０が実行され、焼結体群３４０が生成されると、対象画像生成プロセス３２０が実行される。
　図３に示すように、対象プロセスが焼結プロセスの場合、対象画像生成プロセス３２０では、焼結体群収集処理、樹脂埋め処理、切断処理、染色処理、撮影処理が実行される。
　焼結体群収集処理では、生成された焼結体群３４０が収集される。樹脂埋め処理では、収集された焼結体群３４０が透明の樹脂に埋め込まれ、塊り３２１が生成される。
　切断処理では、塊り３２１が複数箇所で切断され、複数の塊り３２２が生成される。染色処理では、複数の塊り３２２の切断面が染色され、撮影処理では、染色された切断面が撮影されることで、対象画像３２３が生成される。
　このように、対象プロセスが焼結プロセスの場合、樹脂に埋め込まれた焼結体の切断面が染色され露出された状態で撮影されることで、複数の焼結体の切断面からなるオブジェクト群が含まれる対象画像が生成される。
　＜対象画像の詳細＞
　次に、対象画像生成プロセス３２０により生成された対象画像３２３の詳細について説明する。図４は、対象画像の詳細を説明するための図である。
　図４に示すように、対象画像３２３は、以下のような特徴を有する。
・複数の焼結体の切断面からなるオブジェクト群が密集している。
・当該オブジェクト群には、様々な形状及び大きさのオブジェクトが含まれる（例えば、オブジェクト領域４０１～４０５等）。
・各オブジェクトの内部は、焼結体の切断面の様々な凹凸や濃淡等に起因して、色が均一でない（例えば、オブジェクト領域４０１～４０５等）。
・オブジェクト以外の領域である背景領域（符号４１１～４１３等）は、背後の焼結体の有無に起因して、色が均一ではない。
　＜領域分割部の機能構成＞
　次に、対象画像３２３をオブジェクト領域ごとに分割する領域分割部１３１の機能構成について説明する。上述したように、領域分割部１３１は、分水嶺法とＵ－Ｎｅｔとを組み合わせ、分水嶺法に用いる画像をＵ－Ｎｅｔを用いて生成したうえで、分水嶺法により領域分割を行う。そこで、以下、領域分割部１３１の機能構成を説明するにあたっては、はじめに、
・一般的な分水嶺法を用いた場合の領域分割部の機能構成、
について説明し、続いて、
・分水嶺法とＵ－Ｎｅｔとを組み合わせた本実施形態に係る領域分割部１３１の機能構成、
を説明することで、本実施形態に係る領域分割部１３１の特徴を明確にする。
　（１）一般的な分水嶺法を用いた場合の領域分割部の機能構成
　はじめに、一般的な分水嶺法を用いた場合の領域分割部の機能構成について、図６及び図７を参照しながら、図５を用いて説明する。図５は、一般的な分水嶺法を用いた場合の領域分割部の機能構成の一例を示す図である。また、図６、図７は、一般的な分水嶺法を用いた場合の領域分割部による処理の具体例を示す第１及び第２の図である。
　図５に示すように、一般的な分水嶺法を用いた領域分割部５００は、閾値処理部５０１、モルフォロジ変換処理部５０２、距離変換処理部５０３、差分処理部５０４、ラベリング処理部５０５、分水嶺法処理部５０６を有する。
　閾値処理部５０１は、対象画像（例えば、対象画像３２３（図３、図４、図６参照））に対して、調整した閾値パラメータのもとで閾値処理を行い、閾値パラメータ未満の画素を黒色に、閾値パラメータ以上の画素を白色に変換することで、２値画像を生成する。閾値処理部５０１により生成された２値画像は、モルフォロジ変換処理部５０２に通知される。
　モルフォロジ変換処理部５０２は、閾値処理部５０１により生成された２値画像に対して、調整した変換パラメータのもとでモルフォロジ変換処理を行うことで、背景領域画像（例えば、背景領域画像５１１（図６参照））を生成し、背景画素を特定する。モルフォロジ変換処理部５０２により生成された背景領域画像（例えば、背景領域画像５１１（図６参照））は、距離変換処理部５０３及び差分処理部５０４に通知される。
　距離変換処理部５０３は、モルフォロジ変換処理部５０２により生成された背景領域画像において、背景領域以外の各画素の画素値を、調整した変換パラメータのもとで、背景画素からの距離に応じた画素値に変換する。これにより、距離変換処理部５０３は、距離画像（例えば、距離画像５１２（図６参照））を生成する。
　また、距離変換処理部５０３は、距離画像（例えば、距離画像５１２（図６参照））において、調整した閾値パラメータ以上となる画素を、前景画素として特定する。更に、距離変換処理部５０３は、特定した前景画素を白色とする前景領域画像（例えば、前景領域画像５１３（図６参照））を生成する。距離変換処理部５０３により生成された前景領域画像（例えば、前景領域画像５１３（図６参照））は、差分処理部５０４に通知される。
　差分処理部５０４は、モルフォロジ変換処理部５０２により生成された背景領域画像（例えば、背景領域画像５１１（図６参照））と、距離変換処理部５０３により生成された前景領域画像（例えば、前景領域画像５１３（図６参照））との差分を算出する。これにより、差分処理部５０４は、境界領域画像（例えば、境界領域画像５１４（図７参照））を生成し、境界画素を特定する。
　ラベリング処理部５０５は、
・背景領域画像（例えば、背景領域画像５１１（図６参照））に基づいて特定された背景画素、
・前景領域画像（例えば、前景領域画像５１３（図６参照））に基づいて特定された前景画素、
・境界領域画像（例えば、境界領域画像５１４（図７参照））に基づいて特定された境界画素、
それぞれにラベリングを行うことで、マーカ画像（例えば、マーカ画像５２１（図７参照））を生成する。ラベリング処理部５０５により生成されたマーカ画像（例えば、マーカ画像５２１（図７参照））は、分水嶺法処理部５０６に通知される。
　分水嶺法処理部５０６は、対象画像（例えば、対象画像３２３（図３、図４、図６参照））とマーカ画像（例えば、マーカ画像５２１（図７参照））とを取得し、分水嶺法により、対象画像をオブジェクト領域ごとに分割する。これにより、分水嶺法処理部５０６は、領域分割画像（例えば、それぞれのオブジェクトの領域がわかるように色分けされた領域分割画像５２２（図７参照））を生成して出力する。あるいは、分水嶺法処理部５０６は、領域分割画像（例えば、それぞれのオブジェクトの輪郭がわかるように色分けされた領域分割画像５２３（図７参照））を生成して出力する。
　ここで、一般的な分水嶺法を用いた領域分割部５００による領域分割処理の場合、以下のような問題がある。
　上述したように、領域分割部５００の閾値処理部５０１、モルフォロジ変換処理部５０２、距離変換処理部５０３では、閾値パラメータまたは変換パラメータを適切に調整する必要がある。一方で、対象画像３２３（均質でないオブジェクト群が密集した画像）の場合、複数のオブジェクトのいずれにも適した閾値パラメータまたは変換パラメータを見出すことは容易ではない。
　このため、例えば、図７のオブジェクト領域４０２＿１、４０２＿２に示すように、本来１つのオブジェクト領域４０２（図４参照）として分割されるべきオブジェクト領域が、２つのオブジェクト領域として分割されてしまうといった事態が生じ得る。
　あるいは、例えば、図７のオブジェクト領域４０３'に示すように、本来３つのオブジェクト領域４０３～４０５として分割されるべきオブジェクト領域が、１つのオブジェクト領域として分割されてしまうといった事態が生じ得る。
　つまり、均質でないオブジェクト群が密集した画像を対象画像とした場合、一般的な分水嶺法では、高精度な領域分割を実現することが困難となる。
　（２）領域分割部の機能構成
　次に、分水嶺法とＵ－Ｎｅｔとを組み合わせた本実施形態に係る領域分割部１３１の機能構成について、図９、図１０を参照しながら図８を用いて説明する。図８は、領域分割部の機能構成の一例を示す図である。また、図９、図１０は、領域分割部による処理の具体例を示す第１及び第２の図である。
　図８に示すように、領域分割部１３１は、Ｕ－Ｎｅｔマスク処理部８０１、Ｕ－Ｎｅｔ輪郭線予測部８０２、膨張輪郭線画像生成部８０３、差分処理部８０４、ラベリング処理部５０５、分水嶺法処理部５０６を有する。
　Ｕ－Ｎｅｔマスク処理部８０１は２値画像生成部の一例である。Ｕ－Ｎｅｔマスク処理部８０１は、入力された画像に対してマスク処理を行う（オブジェクトと背景とを予測し、２値画像を生成する）学習済みの深層学習モデル（第１の学習済みモデルの一例）であって、対象画像用の深層学習モデルを有する。具体的には、Ｕ－Ｎｅｔマスク処理部８０１は、ネットワーク構造がＵ－Ｎｅｔであり、本実施形態では、
・入力画像：樹脂に埋め込まれた焼結体の切断面が染色され露出された状態で撮影されることで、複数の焼結体の切断面からなるオブジェクト群が含まれる画像、
・正解画像：入力画像において、オブジェクト群を白色、背景を黒色に加工した画像、
を含む学習用データを用いて転移学習された学習済みの深層学習モデル（つまり、学習済みのＵ－Ｎｅｔ）を有する。なお、当該学習済みの深層学習モデルは、既存の学習済みの深層学習モデルを転移学習させることで生成することができる。例えば、
・入力画像：車を撮影することで得られた写真画像、
・正解画像：入力画像において、車を白色、背景を黒色とした画像、
を学習用データとして学習された既存の学習済みの深層学習モデルを、更に、対象画像用に転移学習させることで、対象画像用に転移学習された学習済みの深層学習モデル（つまり、転移学習された学習済みのＵ－Ｎｅｔ）を生成することができる。既存の学習済みの深層学習モデルを転移学習に用いることで、新たに必要な学習用データの数を削減することができるとともに、学習にかかる時間を削減することができる。
　対象画像（例えば、対象画像３２３（図３、図４、図９参照））が入力されることで、Ｕ－Ｎｅｔマスク処理部８０１は、２値画像（例えば、２値画像８１１（図９参照））を生成する。これにより、Ｕ－Ｎｅｔマスク処理部８０１は、背景画素を特定する。
　なお、Ｕ－Ｎｅｔマスク処理部８０１により生成された２値画像（例えば、２値画像８１１（図９参照））は、Ｕ－Ｎｅｔ輪郭線予測部８０２及び差分処理部８０４に通知される。
　Ｕ－Ｎｅｔ輪郭線予測部８０２は予測部の一例である。Ｕ－Ｎｅｔ輪郭線予測部８０２は、入力された２値画像から輪郭線を予測する学習済みの深層学習モデル（第２の学習済みモデルの一例）を有する。具体的には、Ｕ－Ｎｅｔ輪郭線予測部８０２は、ネットワーク構造がＵ－Ｎｅｔであり、本実施形態では、
・入力画像：オブジェクト群を白色、背景を黒色に加工した画像、
・正解画像：オブジェクト群の各オブジェクトの輪郭線を白色、輪郭線以外のオブジェクト及び背景を黒色に加工した画像、
を含む学習用データを用いて学習された学習済みの深層学習モデル（つまり、学習済みのＵ－Ｎｅｔ）を有する。
　２値画像（例えば、２値画像８１１（図８参照））が入力されることで、Ｕ－Ｎｅｔ輪郭線予測部８０２は、輪郭線を予測し、輪郭線画像を出力する。なお、Ｕ－Ｎｅｔ輪郭線予測部８０２により出力された輪郭線画像は、膨張輪郭線画像生成部８０３に通知される。
　膨張輪郭線画像生成部８０３は、Ｕ－Ｎｅｔ輪郭線予測部８０２により出力された輪郭線画像において、輪郭線を膨張させることで、膨張輪郭線画像（例えば、膨張輪郭線画像８１２（図９参照））を生成する。これにより、膨張輪郭線画像生成部８０３は、境界画素を特定する。
　なお、膨張輪郭線画像生成部８０３により生成された膨張輪郭線画像（例えば、膨張輪郭線画像８１２（図９参照））は、差分処理部８０４に通知される。
　差分処理部８０４は前景領域画像生成部の一例である。差分処理部８０４は、Ｕ－Ｎｅｔマスク処理部８０１により生成された２値画像（例えば、２値画像８１１（図９参照））と、膨張輪郭線画像生成部８０３により生成された膨張輪郭線画像（例えば、膨張輪郭線画像８１２（図９参照））との差分を算出する。これにより、差分処理部８０４は、前景領域画像（例えば、前景領域画像８１３（図９参照））を生成し、前景画素を特定する。
　ラベリング処理部５０５は、
・２値画像（例えば、２値画像８１１（図９参照））に基づいて特定された背景画素、
・膨張輪郭線画像（例えば、膨張輪郭線画像８１２（図９参照））に基づいて特定された境界画素、
・前景領域画像（例えば、前景領域画像８１３（図９参照））に基づいて特定された前景画素、
それぞれにラベリングを行うことで、マーカ画像（例えば、マーカ画像８２１（図１０参照））を生成する。ラベリング処理部５０５により生成されたマーカ画像（例えば、マーカ画像８２１（図１０参照））は、分水嶺法処理部５０６に通知される。
　分水嶺法処理部５０６は、対象画像（例えば、対象画像３２３（図３、図４、図９参照））とマーカ画像（例えば、マーカ画像８２１（図１０参照））とを取得し、分水嶺法により、対象画像をオブジェクト領域ごとに分割する。これにより、分水嶺法処理部５０６は、領域分割画像（例えば、それぞれのオブジェクトの領域がわかるように色分けされた領域分割画像８２２（図１０参照））を生成して出力する。あるいは、分水嶺法処理部５０６は、領域分割画像（例えば、それぞれのオブジェクトの輪郭がわかるように色付けされた領域分割画像８２３（図１０参照））を生成して出力する。
　ここで、分水嶺法とＵ－Ｎｅｔとを組み合わせた本実施形態に係る領域分割部１３１による領域分割処理の場合、以下のような利点がある。
・領域分割部５００による領域分割処理では、背景画素、前景画素、境界画素を特定するための背景領域画像、前景領域画像、境界領域画像を生成するにあたり、各種パラメータの調整が必要であった。これに対して、本実施形態に係る領域分割部１３１による領域分割処理の場合、学習済みの深層学習モデルを用いるため、各種パラメータの調整が不要である。
・境界画素を特定するための輪郭線画像を出力するにあたり、対象画像から直接的に輪郭線を予測する代わりに、対象画像からオブジェクト領域と背景領域とを予測し、２値画像を生成したうえで輪郭線を予測し、輪郭線画像を出力する。これにより、本実施形態に係る領域分割部１３１の場合、輪郭線を高精度に予測することができる。これは、２値画像の場合、オブジェクトの内部の不均一な色が削除されているため、対象画像から直接的に輪郭線を予測する場合とは異なり、オブジェクトの内部の不均一な色の影響を受けることなく輪郭線を予測することができるからである。また、対象画像から、オブジェクト領域と背景領域を予測し２値画像を生成する際も、対象画像から輪郭線を予測する場合と比較して、オブジェクトの内部の不均一な色の影響を受けることが少なくて済むからである。つまり、２種類の学習済みの深層学習モデルを組み合わせて、２段階で輪郭線を予測する構成とすることで、均質でないオブジェクト群の影響を低減できるため、結果的に、より少ない学習用データで、輪郭線を高精度に予測することができる。
　この結果、本実施形態に係る領域分割部１３１によれば、均質でないオブジェクト群が密集した画像を対象画像とした場合であっても、高精度な領域分割を実現することができる。
　＜統計処理部の機能構成＞
　次に、統計処理部１３２の機能構成について説明する。図１１は、統計処理部の機能構成の一例を示す図である。図１１に示すように、統計処理部１３２は、オブジェクト抽出部１１０１、解析部１１０２、集計部１１０３、条件変更部１１０４を有する。
　オブジェクト抽出部１１０１は、領域分割部１３１より、領域分割画像（例えば、領域分割画像８２２（図１０参照）または領域分割画像８２３（図１０、図１１参照））を取得する。また、オブジェクト抽出部１１０１は、取得した領域分割画像（例えば、領域分割画像８２２（図１０参照）または領域分割画像８２３（図１０、図１１参照））に基づいて、オブジェクト単位の画像１１２１等を生成する。
　解析部１１０２は、オブジェクト抽出部１１０１により生成されたオブジェクト単位の画像１１２１等を解析し、例えば、オブジェクトの種類、大きさ等を特定する。
　集計部１１０３は、解析部１１０２により特定されたオブジェクトの種類、大きさ等を集計し、集計結果を出力する。
　条件変更部１１０４は、集計部１１０３により出力された集計結果に基づいて、焼結体のプロセス条件を変更し、変更後のプロセス条件を出力する。
　＜プロセス制御処理の流れ＞
　次に、プロセス制御システム１００によるプロセス制御処理の流れについて説明する。図１２は、プロセス制御処理の流れを示すフローチャートである。
　ステップＳ１２０１において、焼結プロセス３１０が実行されることで、焼結体群３４０が生成される。
　ステップＳ１２０２において、対象画像生成プロセス３２０が実行されることで、均質でないオブジェクト群が含まれる対象画像３２３が生成される。
　ステップＳ１２０３において、画像処理装置１３０は、対象画像３２３をオブジェクト領域ごとに分割する領域分割処理を行う。なお、領域分割処理の詳細は、後述する。
　ステップＳ１２０４において、画像処理装置１３０は、領域分割処理が行われることで生成した領域分割画像８２２または領域分割画像８２３を解析し、統計処理を行うことで集計結果を出力する。
　ステップＳ１２０５において、画像処理装置１３０は、集計結果に基づいて、プロセス条件を変更し、変更後のプロセス条件を出力する。
　ステップＳ１２０６において、焼結プロセス３１０が、変更後のプロセス条件のもとで実行されることで、焼結体群３４０が生成される。
　＜領域分割処理の流れ＞
　次に、領域分割処理（ステップＳ１２０３）の詳細について説明する。図１３は、領域分割処理の流れを示すフローチャートである。
　ステップＳ１３０１において、画像処理装置１３０は、対象画像３２３を取得する。
　ステップＳ１３０２において、画像処理装置１３０は、ネットワーク構造がＵ－Ｎｅｔである、学習済みの深層学習モデルを用いて、対象画像３２３から２値画像８１１を生成し、背景画素を特定する。
　ステップＳ１３０３において、画像処理装置１３０は、ネットワーク構造がＵ－Ｎｅｔである、学習済みの深層学習モデルを用いて、２値画像から輪郭線を予測し、輪郭線画像を生成する。
　ステップＳ１３０４において、画像処理装置１３０は、輪郭線画像に対して膨張処理を行い、膨張輪郭線画像８１２を生成することで、境界画素を特定する。
　ステップＳ１３０５において、画像処理装置１３０は、２値画像８１１と膨張輪郭線画像８１２との差分により前景領域画像８１３を生成し、前景画素を特定する。
　ステップＳ１３０６において、画像処理装置１３０は、特定した背景画素、境界画素、前景画素を用いて、分水嶺法により対象画像３２３をオブジェクト領域ごとに分割する。
　＜まとめ＞
　以上の説明から明らかなように、第１の実施形態に係る画像処理装置１３０は、
・対象画像をオブジェクト領域と背景領域とに２値化し、２値画像を生成する深層学習モデル（ネットワーク構造＝Ｕ－Ｎｅｔ）を用いて、対象画像から２値画像を生成する。
・２値画像においてオブジェクト領域の輪郭線を予測する深層学習モデル（ネットワーク構造＝Ｕ－Ｎｅｔ）を用いて、対象画像から生成された２値画像において、オブジェクト領域の輪郭線を予測する。
・予測した輪郭線に対して膨張処理を行い、膨張輪郭線画像を生成する。
・対象画像から生成された２値画像と、膨張輪郭線画像との差分から、前景領域画像を生成する。
・対象画像から生成された２値画像に基づいて特定される背景画素と、膨張輪郭線画像に基づいて特定される境界画素と、前景領域画像に基づいて特定される前景画素とを用いて、分水嶺法により対象画像をオブジェクト領域ごとに分割する。
　これにより、第１の実施形態によれば、背景画素、前景画素、境界画素を特定するための背景領域画像、前景領域画像、境界領域画像を生成するにあたり、各種パラメータの調整が不要となる。また、第１の実施形態によれば、対象画像から直接的に輪郭線を予測する場合と比較して、より少ない学習用データで、輪郭線を高精度に予測することができる。
　この結果、第１の実施形態によれば、均質でないオブジェクト群が含まれる画像を領域分割する際の分割精度を向上させることができる。
　［第２の実施形態］
　上記第１の実施形態では、深層学習モデルのネットワーク構造として、Ｕ－Ｎｅｔを用いる場合について説明した。しかしながら、深層学習モデルのネットワーク構造は、Ｕ－Ｎｅｔに限定されない。例えば、畳み込み層を有し、画像を入力することで、画像を出力可能なネットワーク構造であれば、他の任意の深層学習モデルが適用可能である。ただし、オブジェクト領域の輪郭線の予測をより適切に行うことができるよう、個々のオブジェクトの輪郭を出力可能な深層学習モデルであることが好ましい。
　また、上記第１の実施形態では、具体例として、粒子体群が焼結体群である場合について説明した。しかしながら、対象プロセス１１０により生成される粒子体群は、焼結体群に限定されず、他の任意の粒子体群であってもよい。例えば、他の任意の粒子体群には、スフェロイドが含まれる。
　また、上記第１の実施形態では、領域分割部１３１が、領域分割画像８２２または領域分割画像８２３を出力する場合について説明したが、領域分割部１３１が出力する画像は、領域分割画像８２２または領域分割画像８２３に限定されず、他の画像であってもよい。
　また、上記第１の実施形態では、統計処理部１３２において出力される集計結果として、各オブジェクトの種類、各オブジェクトの大きさを集計した集計結果を出力する場合について説明したが、集計結果として出力する項目はこれらに限定されない。
　また、上記第１の実施形態では、集計結果に基づいてプロセス条件を変更し、変更後のプロセス条件を出力する場合について説明したが、統計処理部１３２が対象プロセス１１０に対して出力する項目はこれらに限定されない。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　本出願は、２０２２年６月６日に出願された日本国特許出願第２０２２－０９１５５６号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
　１００　　　　　：プロセス制御システム
　１３０　　　　　：画像処理装置
　１３１　　　　　：領域分割部
　１３２　　　　　：統計処理部
　３２３　　　　　：対象画像
　５０５　　　　　：ラベリング処理部
　５０６　　　　　：分水嶺法処理部
　８０１　　　　　：Ｕ－Ｎｅｔマスク処理部
　８０２　　　　　：Ｕ－Ｎｅｔ輪郭線予測部
　８０３　　　　　：膨張輪郭線画像生成部
　８０４　　　　　：差分処理部

Claims (9)

  1. 　対象画像をオブジェクト領域と背景領域とに２値化し、２値画像を生成する第１の学習済みモデルを用いて、対象画像から２値画像を生成する２値画像生成部と、
    　２値画像においてオブジェクト領域の輪郭線を予測する第２の学習済みモデルを用いて、前記対象画像から生成された２値画像において、オブジェクト領域の輪郭線を予測する予測部と、
    　前記予測した輪郭線に対して膨張処理を行い、膨張輪郭線画像を生成する膨張輪郭線画像生成部と、
    　前記対象画像から生成された２値画像と前記膨張輪郭線画像とに基づいて、前景領域画像を生成する前景領域画像生成部と、
    　前記対象画像から生成された２値画像に基づいて特定される背景画素と、前記膨張輪郭線画像に基づいて特定される境界画素と、前記前景領域画像に基づいて特定される前景画素とを用いて、分水嶺法により前記対象画像をオブジェクト領域ごとに分割する領域分割部と
    　を有する画像処理装置。
  2. 　前記２値画像生成部は、前記第１の学習済みモデルとして、学習済みのＵ－Ｎｅｔを用いて、前記対象画像から前記２値画像を生成する、請求項１に記載の画像処理装置。
  3. 　前記予測部は、前記第２の学習済みモデルとして、学習済みのＵ－Ｎｅｔを用いて、前記対象画像から生成された２値画像から輪郭線画像を生成する、請求項２に記載の画像処理装置。
  4. 　前記前景領域画像生成部は、前記対象画像から生成された２値画像と、前記膨張輪郭線画像との差分を算出することで、前記前景領域画像を生成する、請求項３に記載の画像処理装置。
  5. 　前記対象画像は、所定の条件のもとで粒子体群を撮影した画像である、請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記対象画像がオブジェクト領域ごとに分割された画像を解析し、統計処理する統計処理部を有する、請求項５に記載の画像処理装置。
  7. 　前記統計処理部は、統計処理の結果に基づいて、前記粒子体群を生成するプロセスのプロセス条件を変更する、請求項６に記載の画像処理装置。
  8. 　対象画像をオブジェクト領域と背景領域とに２値化し、２値画像を生成する第１の学習済みモデルを用いて、対象画像から２値画像を生成する工程と、
    　２値画像においてオブジェクト領域の輪郭線を予測する第２の学習済みモデルを用いて、前記対象画像から生成された２値画像において、オブジェクト領域の輪郭線を予測する工程と、
    　前記予測した輪郭線に対して膨張処理を行い、膨張輪郭線画像を生成する工程と、
    　前記対象画像から生成された２値画像と前記膨張輪郭線画像とに基づいて、前景領域画像を生成する工程と、
    　前記対象画像から生成された２値画像に基づいて特定される背景画素と、前記膨張輪郭線画像に基づいて特定される境界画素と、前記前景領域画像に基づいて特定される前景画素とを用いて、分水嶺法により前記対象画像をオブジェクト領域ごとに分割する工程と
    　をコンピュータが実行する画像処理方法。
  9. 　対象画像をオブジェクト領域と背景領域とに２値化し、２値画像を生成する第１の学習済みモデルを用いて、対象画像から２値画像を生成する工程と、
    　２値画像においてオブジェクト領域の輪郭線を予測する第２の学習済みモデルを用いて、前記対象画像から生成された２値画像において、オブジェクト領域の輪郭線を予測する工程と、
    　前記予測した輪郭線に対して膨張処理を行い、膨張輪郭線画像を生成する工程と、
    　前記対象画像から生成された２値画像と前記膨張輪郭線画像とに基づいて、前景領域画像を生成する工程と、
    　前記対象画像から生成された２値画像に基づいて特定される背景画素と、前記膨張輪郭線画像に基づいて特定される境界画素と、前記前景領域画像に基づいて特定される前景画素とを用いて、分水嶺法により前記対象画像をオブジェクト領域ごとに分割する工程と
    　をコンピュータに実行させるための画像処理プログラム。
PCT/JP2023/019936 2022-06-06 2023-05-29 画像処理装置、画像処理方法及び画像処理プログラム WO2023238726A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-091556 2022-06-06
JP2022091556 2022-06-06

Publications (1)

Publication Number Publication Date
WO2023238726A1 true WO2023238726A1 (ja) 2023-12-14

Family

ID=89118212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/019936 WO2023238726A1 (ja) 2022-06-06 2023-05-29 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2023238726A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116391A (ja) * 2017-01-17 2018-07-26 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
KR20200095873A (ko) * 2019-02-01 2020-08-11 한국전자통신연구원 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템
US20210192715A1 (en) * 2019-05-01 2021-06-24 Inspect Technologies Ltd Automated grains inspection
US11288535B1 (en) * 2021-05-12 2022-03-29 Zhejiang University Method and system for identifying field boundary
CN114494946A (zh) * 2021-12-30 2022-05-13 青岛浩海网络科技股份有限公司 一种用于森林防火监控中的防太阳误报方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116391A (ja) * 2017-01-17 2018-07-26 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
KR20200095873A (ko) * 2019-02-01 2020-08-11 한국전자통신연구원 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템
US20210192715A1 (en) * 2019-05-01 2021-06-24 Inspect Technologies Ltd Automated grains inspection
US11288535B1 (en) * 2021-05-12 2022-03-29 Zhejiang University Method and system for identifying field boundary
CN114494946A (zh) * 2021-12-30 2022-05-13 青岛浩海网络科技股份有限公司 一种用于森林防火监控中的防太阳误报方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "[Python] Watershed algorithm and object segmentation with OpenCV", CODEGRAFFITI, 26 March 2020 (2020-03-26), pages 1 - 22, XP093114707, Retrieved from the Internet <URL: https://code-graffiti.com/opencv-watershed-algorithm-in-python> [retrieved on 20231221] *
IGARASHI, RIKI; KOIZUMI, NORIHIRO; NISHIYAMA, YU; TOMITA, KYOHEI; SHIGENARI, YUKA; SHOJI, SUNAO: "1A1-B09 Matching axial images of magnetic resonance imaging and transrectal ultrasound based on deep learning", THE JAPANESE SOCIETY OF MECHANICAL ENGINEERS, JAPAN SOCIETY OF MECHANICAL ENGINEERS; ROBOTICS AND MECHATRONICS DIVISION, JP, 1 January 2019 (2019-01-01) - 8 June 2019 (2019-06-08), JP , pages 141 - 141-B09-4, XP009551216, ISSN: 2424-3124, DOI: 10.1299/jsmermd.2019.1A1-B09 *
WATANABE, HIDENORI: "Field heat map based on the perspective of an expert in growth diagnosis", IEICE TECHNICAL REPORT, SP, IEICE, JP, vol. 119, no. 441 (SP2019-115), 3 March 2020 (2020-03-03), JP, pages 379 - 384, XP009551213 *

Similar Documents

Publication Publication Date Title
CN110176054B (zh) 用于训练神经网络模型的合成图像的生成
EP3699819A1 (en) Apparatus and method for training classification model and apparatus for performing classification by using classification model
CN108765371B (zh) 一种病理切片中非常规细胞的分割方法
US9244607B2 (en) System and method for image processing using multi-touch gestures
EP3699813A1 (en) Apparatus and method for training classification model and apparatus for classifying with classification model
JP2010518486A (ja) 顕微鏡検査における細胞分析システムおよび方法
CN110570352A (zh) 图像标注方法、装置、系统及细胞标注方法
WO2023050651A1 (zh) 图像语义分割方法、装置、设备及存储介质
US11954830B2 (en) High dynamic range support for legacy applications
CN112258610B (zh) 图像标注方法、装置、存储介质及电子设备
CN113392968A (zh) 针对神经网络的迭代式小样本精细化的微训练
US9367731B2 (en) Depth gradient based tracking
CN114359269A (zh) 基于神经网络的虚拟食品盒缺陷生成方法及系统
US11954799B2 (en) Computer-implemented method for generating a 3-dimensional wireframe model of an object comprising a plurality of parts
CN114723636A (zh) 基于多特征融合的模型生成方法、装置、设备及存储介质
US20170011552A1 (en) 3D Model Enhancement
CN115294483A (zh) 输电线路复杂场景的小目标识别方法及系统
Aguilar-González et al. An FPGA 2D-convolution unit based on the CAPH language
CN115270184A (zh) 视频脱敏、车辆的视频脱敏方法、车载处理系统
US20220036106A1 (en) Method and apparatus for data calculation in neural network model, and image processing method and apparatus
CN113822975B (zh) 用于对图像进行有效采样的技术
Krenmayr et al. DilatedToothSegNet: Tooth Segmentation Network on 3D Dental Meshes Through Increasing Receptive Vision
WO2023238726A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2015158737A (ja) 画像処理装置及び画像処理方法
JP2013061876A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23819706

Country of ref document: EP

Kind code of ref document: A1