WO2025204752A1 - 画像処理装置、構造物の検出方法及び構造物検出プログラム - Google Patents

画像処理装置、構造物の検出方法及び構造物検出プログラム

Info

Publication number
WO2025204752A1
WO2025204752A1 PCT/JP2025/008450 JP2025008450W WO2025204752A1 WO 2025204752 A1 WO2025204752 A1 WO 2025204752A1 JP 2025008450 W JP2025008450 W JP 2025008450W WO 2025204752 A1 WO2025204752 A1 WO 2025204752A1
Authority
WO
WIPO (PCT)
Prior art keywords
structures
image data
image
distribution
extraction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/008450
Other languages
English (en)
French (fr)
Inventor
慎太郎 熊井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NHK Spring Co Ltd
Original Assignee
NHK Spring Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NHK Spring Co Ltd filed Critical NHK Spring Co Ltd
Publication of WO2025204752A1 publication Critical patent/WO2025204752A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models

Definitions

  • the present invention relates to an image processing device.
  • the present invention relates to an image processing device that divides and recognizes areas representing each structure in an image in which irregular structures are densely packed.
  • the present invention relates to a method for detecting irregular structures contained in an image.
  • the present invention relates to a program for detecting irregular structures contained in an image.
  • Image recognition technology is now used for a variety of purposes, and is one of the technological fields where new technology is being actively developed.
  • Known image processing methods for recognizing structures in image data include adaptive binarization and Otsu's binarization. However, these binarization methods have difficulty separating and recognizing multiple structures contained in image data when there is no difference in the pixel values of each structure.
  • Patent Document 1 describes an image processing method that estimates continuous grain boundaries from an image in which the grain boundaries are unclear and disconnected, by using a first image processing step in which, for an image of a sample surface, a set of data strings of brightness values on a line in at least one direction along the image surface is automatically determined using a reaction-diffusion equation whose solution state changes over time, and the set is binarized with a directional element based on a threshold parameter; and a second image processing step in which, by performing Euclidean distance mapping and watershed processing on the image obtained by the first image processing step, a first tessellation image is generated that shows ridges, vertices, or contour lines of the terrain when the boundaries between grains are considered to be valleys, and this first tessellation image is again subjected to Euclidean distance mapping and watershed processing to generate a second tessellation image that shows the boundaries between grains as
  • image processing using distance transformation and watershed algorithms also requires that the shape of the part to be separated between multiple structures be constricted, and it is difficult to uniformly recognize multiple structures when they are distributed in different sizes. As such, it has been difficult to separate and recognize each structure in image data that contains multiple structures of different sizes and shapes.
  • One object of one embodiment of the present invention is to provide an image processing device that divides and recognizes areas representing each structure in an image in which irregular structures are densely packed. Alternatively, one object of one embodiment of the present invention is to provide a method that divides and detects areas representing each structure in an image in which irregular structures are densely packed. Alternatively, one object of one embodiment of the present invention is to provide a program that divides and detects areas representing each structure in an image in which irregular structures are densely packed.
  • An image processing device comprises an extraction unit that binarizes image data of a test object and extracts the shape of a structure; a characteristic value distribution extraction unit that extracts the distribution of characteristic values of the structure from the image data of the test object; and a separation unit that separates the structure from the binarized image data based on a watershed algorithm.
  • the separation unit logically combines the binarized image data and the distribution of characteristic values of the structure to generate a logically combined image, and the separation unit separates the structure using the logically combined image based on the watershed algorithm.
  • a structure detection method uses an image processing device equipped with an extraction unit and a separation unit, in which the extraction unit binarizes image data of the test object to extract the shape of the structure, the characteristic value distribution extraction unit extracts the distribution of characteristic values of the structure from the image data of the test object, the separation unit logically combines the binarized image data and the distribution of characteristic values of the structure to generate a logically combined image, and the separation unit uses the logically combined image based on a watershed algorithm to separate the structure from the binarized image data.
  • the separation unit may set a length threshold for separating structures based on a range of structure lengths determined from the known particle size distribution of the structures.
  • a structure detection program causes a computer to binarize image data of a test object and extract the shape of the structure, causes the computer to extract the distribution of characteristic values of the structure from the image data of the test object, causes the computer to logically combine the binarized image data and the distribution of characteristic values of the structure to generate a logically combined image, and causes the computer to separate the structure from the binarized image data using the logically combined image based on a watershed algorithm.
  • the computer may separate the first portion and the second portion as different structures.
  • One embodiment of the present invention provides an image processing device that divides and recognizes areas representing each structure in an image in which irregular structures are densely packed. Alternatively, one embodiment of the present invention provides a method for dividing and detecting areas representing each structure in an image in which irregular structures are densely packed. Alternatively, one embodiment of the present invention provides a program that divides and detects areas representing each structure in an image in which irregular structures are densely packed.
  • FIG. 1 is a block diagram showing the configuration of an image processing apparatus 100 according to an embodiment of the present invention.
  • FIG. 1 is a flow diagram of a structure detection method according to an embodiment of the present invention.
  • FIG. 1 is a flow diagram of a structure detection method according to an embodiment of the present invention.
  • FIG. 1 is a flow diagram of a structure detection method according to an embodiment of the present invention.
  • FIG. 1 is a flow diagram of a structure detection method according to an embodiment of the present invention.
  • FIG. 1 is a flow diagram of a structure detection method according to an embodiment of the present invention.
  • FIG. 1 is a flow diagram of a structure detection method according to an embodiment of the present invention.
  • 1 is a depth image of a corrosion pit on the surface of a steel material according to an embodiment of the present invention.
  • FIG. 1 is a diagram illustrating binarized image data according to an embodiment of the present invention.
  • FIG. 1 shows a group of corrosion pit objects identified by one embodiment of the present invention.
  • FIG. 10 is a diagram showing an object of a corrosion pit obtained by binarizing image data of a depth image of a corrosion pit on a steel surface in an embodiment of the present invention.
  • FIG. 10B is a diagram showing a distance transformation of one corrosion pit object of FIG. 10A according to one embodiment of the present invention.
  • 10B is a depth image of a corrosion pit extracted from FIG. 8 corresponding to a corrosion pit in FIG. 10A according to one embodiment of the present invention.
  • FIG. 10 is a logically synthesized image generated by logically multiplying distance-transformed image data and the distribution of characteristic values of corrosion pits according to an embodiment of the present invention.
  • FIG. 10 is a diagram showing clear foreground regions extracted from a normalized logically combined image according to an embodiment of the present invention.
  • FIG. 10 is a diagram showing the application of the watershed algorithm of one embodiment of the present invention to divide the corrosion pit structures and identify each as a different corrosion pit.
  • FIG. 10 shows the results of applying the watershed algorithm using only distance-transformed data.
  • [Image processing device] 1 is a block diagram showing an image processing apparatus 100 according to an embodiment of the present invention.
  • the image processing apparatus 100 includes, for example, a control device 110, an input device 120, an output device 130, a storage device 140, a communication device 150, and a power supply device 160.
  • the image processing apparatus 100 further includes, for example, an extraction unit 111 and a separation unit 113.
  • the extraction unit 111 further includes a characteristic value distribution extraction unit 115.
  • the separation unit 113 further includes a logic synthesis unit 117.
  • Figure 1 shows a configuration in which the control device 110 includes an extraction unit 111 and a separation unit 113, but the extraction unit 111 and separation unit 113 may not be included in the control device 110 and may be provided alongside the control device 110.
  • the extraction unit 111 is configured with a program or module for extracting the shape of a structure from the image data of the test object.
  • the extraction unit 111 further includes a characteristic value distribution extraction unit 115.
  • the characteristic value distribution extraction unit 115 is configured with a program or module for extracting the distribution of characteristic values of a structure from the image data of the test object.
  • the extraction unit 111 also includes a program or module for binarizing the image data of the test object and extracting the shape of the structure. While FIG. 1 shows an example in which the characteristic value distribution extraction unit 115 is included in the extraction unit 111, the characteristic value distribution extraction unit 115 may also be a program or module independent of the extraction unit 111.
  • the program or module that constitutes the extraction unit 111 is stored in the storage device 140 and executed by the CPU.
  • the extraction unit 111 binarizes the luminance values in the image data of the test object using a predetermined value (hereinafter also referred to as the first luminance value) as a reference. More specifically, the extraction unit 111 converts the luminance values of parts in the image data that have a luminance equal to or greater than the first luminance value (or greater than the first luminance value) to 1, and converts the luminance values of parts that have a luminance less than the first luminance value (or less than the first luminance value) to 0. Through this processing, the extraction unit 111 can identify parts with a luminance value of 1 as structures.
  • the separation unit 113 is configured with a program or module for separating structures from the image data binarized by the extraction unit 111.
  • the extraction unit 111 further includes a logic synthesis unit 117.
  • the program or module that constitutes the separation unit 113 is stored in the storage device 140 and executed by the CPU.
  • the separation unit 113 separates the structures identified by the extraction unit 111 into structures.
  • the separation unit 113 separates the structures from the binarized image data based on a watershed algorithm. When separating structures from the binarized image data based on the watershed algorithm, the separation unit 113 generates a gradation (brightness distribution) toward the interior of the structure depending on the distance from the background, which has a brightness value of 0.
  • the logical synthesis unit 117 synthesizes the gradation (distribution of brightness) directed toward the interior of the structure generated by the separation unit 113 with the distribution of characteristic values of the structure extracted by the characteristic value distribution extraction unit 115 to generate a logical synthesis image.
  • the characteristic value distribution extraction unit 115 is configured with a program or module for synthesizing the gradation (distribution of brightness) directed toward the interior of the structure with the distribution of characteristic values of the structure to generate a logical synthesis image.
  • the characteristic value distribution extraction unit 115 synthesizes the gradation (distribution of brightness) directed toward the interior of the structure with the distribution of characteristic values of the structure to generate a logical product image or a logical sum image.
  • the characteristic value distribution extraction unit 115 may compare the logical product image and the logical sum image, and select the logical synthesis image with the larger difference between the maximum and minimum brightness values as the logical synthesis image to be used in the following processing.
  • the separation unit 113 converts the brightness values of parts of the generated logically combined image that are below a predetermined brightness threshold to 0. As a result, the separation unit 113 extracts only the gradation parts of the logically combined image that are equal to or greater than the predetermined brightness threshold.
  • the separation unit 113 sets the part with the highest brightness among the extracted gradation parts of the logically combined image as the center of the structure. For example, because a center is set for each of the first and second parts of the structure, the separation unit 113 can identify the center of the first part of the structure and the center of the second part as centers of different structures. Furthermore, the separation unit 113 can identify a structure that includes the center of the first part and a structure that includes the center of the second part as different structures.
  • the separation unit 113 when it identifies that there is a first portion in the shape of a structure and a second portion that intersects with the first portion, it can separate the first portion and the second portion as different structures.
  • the output device 130 includes a display device 131 that displays various images generated by the image processing device 100.
  • the display device 131 can display, for example, image data captured by a camera or the like, mask data, cross-sectional areas of structures that make up the test object, binarized image data, etc.
  • the display device 131 can be, for example, a liquid crystal display or an organic EL display, but is not limited to these.
  • the output device 130 may also include a printer that prints images displayed by the display device 131.
  • the storage device 140 is a device that stores the operating system (OS) and control programs or modules that make up the control device 110, the programs or modules that make up the extraction unit 111, and the programs or modules that make up the separation unit 113.
  • the storage device 140 is composed of, for example, a well-known main storage device such as random access memory (RAM), and well-known auxiliary storage devices such as read-only memory (ROM), a hard disk, or a solid-state drive (SSD) or memory card.
  • the auxiliary storage device may be located outside the image processing device 100, on a server or network drive that can communicate via the communication device 150.
  • the communication device 150 is a known wired or wireless communication device controllable by the control device 110.
  • the communication device 150 can be connected to communication networks such as a local area network (LAN), a wide area network (WAN), and the Internet.
  • the communication device 150 may be a communication device conforming to wireless communication standards such as Wi-Fi (registered trademark) (a communication means using the IEEE 802.11 standard) or Bluetooth (registered trademark).
  • the communication device 150 may perform data communication with a server or network drive located outside the image processing device 100.
  • the communication device 150 may include serial buses such as a universal serial bus (USB), PCI Express, and serial ATA (SATA), and parallel buses such as a small computer system interface (SCSI) and peripheral component interconnect (PCI).
  • USB universal serial bus
  • SATA serial ATA
  • PCI small computer system interface
  • PCI peripheral component interconnect
  • the power supply device 160 is a device that supplies external power to each device in the image processing device 100, and is not particularly limited.
  • FIGS. 2 to 7 are flow diagrams of a structure detection method according to one embodiment of the present invention.
  • the extraction unit 111 reads image data of the test object (S110).
  • the image data of the test object may be read via the input device 120, or the extraction unit 111 may read image data stored in the storage device 140.
  • the extraction unit 111 may also read image data stored on a server or network drive via a network connected to the communication device 150.
  • the characteristic value distribution extraction unit 115 converts the extracted structure brightness values or structure depth values into 256 gradations, and generates structure brightness value distribution data or structure depth distribution data that positionally corresponds to the image data of the test object (S123).
  • the characteristic value distribution extraction unit 115 also stores the generated structure brightness value distribution data or structure depth distribution data that positionally corresponds to the image data of the test object in the storage device 140 (S125).
  • the extraction unit 111 converts the brightness values of parts in the image data of the SEM image that have a brightness equal to or greater than the first brightness value (or greater than the first brightness value) to 1 (S133), and converts the brightness values of parts that have a brightness less than the first brightness value (or equal to or less than the first brightness value) to 0 (S135).
  • the extraction unit 111 combines the parts set in this way and generates image data in which the image data of the test object has been binarized (S137).
  • the extraction unit 111 removes noise from the binarized image data (S139).
  • the extraction unit 111 may remove noise from the binarized image data of the test object using a morphological gradient or smoothing filter processing (such as an averaging filter, Gaussian filter, or median filter).
  • the extraction unit 111 identifies a group of objects in the binarized image data from which noise has been removed (S140).
  • the extraction unit 111 identifies areas with a brightness value of 0 in the binarized image data from which noise has been removed as a clear background and extracts the boundaries of the structures (S141).
  • portions with a brightness value of 1 can be identified as a group of structure objects (S143).
  • the first brightness value may be a brightness value set in advance based on observation of the image data of the test object, or may be a brightness value set by the user for the image data of the actual test object that the user has confirmed on the display device 131 and that is to be processed by the extraction unit 111.
  • the average value of the brightness of the pixel of interest and the brightness of its surrounding pixels may be set as the first brightness value (adaptive binarization).
  • the separation unit 113 generates a logically synthesized image for the group of objects identified by the extraction unit 111 (S150). Specifically, the separation unit 113 selects one object from the group of objects (S151), generates a gradation (brightness distribution) directed toward the interior of the structure according to its distance from the background, which has a brightness value of 0, and performs distance transformation on the structure contained in the selected object (S153). The separation unit 113 sets the brightest part of the generated gradation as the center of the structure, and obtains distance-transformed image data (S154).
  • the separation unit 113 reads the distribution of the characteristic values of the structures stored in the storage device 140 (S155).
  • the separation unit 113 logically combines the distance-transformed image data and the distribution of the characteristic values of the read structures to generate a logically combined image (S157).
  • logical product or logical sum can be used for the logical combination.
  • the separation unit 113 may generate a logically combined image by calculating the logical product of the distance-transformed image data and the distribution of the characteristic values of the structures, or may generate a logically combined image by calculating the logical sum of the distance-transformed image data and the distribution of the characteristic values of the structures.
  • the separation unit 113 may calculate the logical product and the logical sum, and output the logically combined image that has the greater effect on separating the structures.
  • the Hadamard product may be used as the logical product.
  • the weighted sum may be used as the logical sum.
  • the separation unit 113 normalizes the generated logically combined image (S159).
  • a program for executing the structure detection method described above can be provided.
  • the program can be provided as a recording medium storing the program. This will be described with reference to FIGS. 2 to 7.
  • the program causes the extraction unit 111 to extract the distribution of characteristic values of structures from the image data of the test object that has been read (S120). Specifically, the program causes the characteristic value distribution extraction unit 115 to extract characteristic values of structures from the image data of the test object (S121). For example, the program causes the characteristic value distribution extraction unit 115 to extract luminance values of structures from the image data of the test object. Alternatively, the program causes the characteristic value distribution extraction unit 115 to extract luminance values of structures from the image data of the test object. In one embodiment, the program may cause the characteristic value distribution extraction unit 115 to read data on the characteristics of the test object that positionally correspond to the image data of the test object, and extract characteristic values such as the depth of the structure from the characteristic data.
  • the program causes the extraction unit 111 to binarize the image data of the test object that has been read in and extract the shape of the structure (S130). Specifically, the program causes the extraction unit 111 to binarize the image data of the test object using a first brightness value as a reference for each pixel that makes up the image data of the test object (S131). More specifically, the program causes the extraction unit 111 to binarize the brightness values in the image data of the test object using a predetermined value (hereinafter also referred to as the first brightness value) as a reference.
  • a predetermined value hereinafter also referred to as the first brightness value
  • the program causes the extraction unit 111 to identify a group of objects in the binarized image data from which noise has been removed (S140).
  • the program causes the extraction unit 111 to identify areas with a brightness value of 0 as a clear background in the binarized image data from which noise has been removed, and to extract the boundaries of the structures (S141).
  • the program causes the extraction unit 111 to identify portions with a brightness value of 1 as a group of structure objects as a result of extracting the boundaries of the structures (S143).
  • the first brightness value may be a brightness value set in advance based on observation of the image data of the test object, or may be a brightness value set by the user for the image data of the actual test object to be processed by the extraction unit 111, which the user confirmed on the display device 131.
  • the program may set the average value of the brightness of the pixel of interest and the brightness of its surrounding pixels as the first brightness value (adaptive binarization).
  • This program causes the separation unit 113 to generate a logically synthesized image for the group of objects identified by the extraction unit 111 (S150). Specifically, this program causes the separation unit 113 to select one object from the group of objects (S151), generate a gradation (brightness distribution) directed toward the interior of the structure according to the distance from the background, which has a brightness value of 0, and perform distance transformation on the structure included in the selected object (S153). This program causes the separation unit 113 to set the brightest part of the generated gradient to the center of the structure and acquire distance-transformed image data (S154).
  • the program causes the separation unit 113 to read the distribution of characteristic values of the structures stored in the storage device 140 (S155).
  • the program causes the separation unit 113 to logically combine the distance-transformed image data and the distribution of characteristic values of the read structures to generate a logically combined image (S157).
  • logical product or logical sum can be used as the logical combination.
  • the program may cause the separation unit 113 to calculate the logical product of the distance-transformed image data and the distribution of characteristic values of the structures to generate a logically combined image, or may cause the separation unit 113 to calculate the logical sum of the distance-transformed image data and the distribution of characteristic values of the structures to generate a logically combined image.
  • the program may cause the separation unit 113 to calculate the logical product and the logical sum, and output the logically combined image that has the greater effect on separating the structures.
  • the Hadamard product may be used as the logical product.
  • the weighted sum may be used as the logical sum.
  • the program causes the separation unit 113 to normalize the generated logically combined image (S159).
  • the program causes the separation unit 113 to separate structures based on the normalized logically composited image (S160). Specifically, the program causes the separation unit 113 to extract clear foreground regions from the normalized logically composited image (S161). In one embodiment, the threshold for extracting clear foreground regions can be set to 0.6 to 0.8. The program also causes the separation unit 113 to extract unknown regions from the normalized logically composited image (S163). As a result, the program causes the separation unit 113 to determine certain foreground regions and assign labels to each of the determined regions (S165).
  • the program then applies a watershed algorithm to the separation unit 113 to divide the labeled regions into structures containing a first center and structures containing a second center, and identifies each as a different structure (S167).
  • This program causes the separation unit 113 to perform steps S151 to S167 for all objects included in the object group, and separates and identifies the structures for all objects (S169).
  • a recording medium storing the structure detection program described above can be provided.
  • Examples of recording media for storing the structure detection program include, but are not limited to, known auxiliary storage devices such as read-only memory (ROM), a hard disk, a solid-state drive (SSD), a memory card, a USB memory, a CD-ROM, and a Blu-ray Disc (registered trademark).
  • Figure 8 is a depth image of corrosion pits on the surface of a steel material.
  • the characteristic value distribution extraction unit 115 reads the depth image of the corrosion pits on the surface of the steel material in Figure 8, extracts the depth of the structure from the depth distribution of the depth image of the corrosion pits on the steel material surface, converts the extracted depth of the structure to 256 levels, and generates depth distribution data of the structure that corresponds in position to the depth image of the corrosion pits on the steel material surface.
  • Figure 10A is a diagram showing an object of one structure obtained by binarizing the depth distribution of a depth image of a corrosion pit on the surface of a steel material.
  • Figure 10B shows an image obtained by distance transforming the object of one structure in Figure 10A by the separation unit 113
  • Figure 10C is a depth image of one corrosion pit extracted from Figure 8 corresponding to one corrosion pit in Figure 10A.
  • Figure 10D is a logically synthesized image generated by performing a logical product of the depth distribution obtained by distance transforming the separation unit 113 and the depth distribution of the structure.
  • microscopes other than depth images that are capable of observing structures, such as scanning electron microscopes (SEM), transmission electron microscopes (TEM), scanning transmission electron microscopes (STEM), and atomic force microscopes (AFM).
  • SEM scanning electron microscopes
  • TEM transmission electron microscopes
  • STEM scanning transmission electron microscopes
  • AFM atomic force microscopes
  • characteristic data such as X-ray intensity from X-rays or X-ray computed tomography (CT), depth measured by an atomic force microscope (AFM), element concentrations detected by energy dispersive X-ray spectroscopy (EDS), X-ray fluorescence analysis (XRF), and electron probe microanalyzers (EPMA), echo intensity from ultrasonic imaging devices (SAT) or ultrasonic microscopes (SAM), and magnetic resonance imaging (MRI).
  • CT X-ray intensity from X-rays or X-ray computed tomography
  • AFM atomic force microscope
  • EDS energy dispersive X-ray spectroscopy
  • XRF X-ray fluorescence analysis
  • EPMA electron probe microanalyzers
  • SAT ultrasonic imaging devices
  • SAM ultrasonic microscopes
  • MRI magnetic resonance imaging
  • the image processing device, structure detection method, and structure detection program of the above-described embodiments can be applied to various types of image analysis (shape measurement, scanning electron microscopy, element concentration mapping, CT, X-ray), and can be widely applied to image processing in fields such as metals, medicine, and biology.
  • Image processing device 110 Control device, 111 Extraction unit, 113 Separation unit, 115 Characteristic value distribution extraction unit, 117 Logic synthesis unit, 120 Input device, 130 Output device, 131 Display device, 140 Storage device, 150 Communication device, 160 Power supply device

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

不定形の構造物が密集した画像において、各構造物を示す領域を分割して認識する画像処理装置、不定形の構造物が密集した画像において、各構造物を示す領域を分割して検出方法又は不定形の構造物が密集した画像において、各構造物を示す領域を分割して検出するプログラムを提供する。本発明の一実施形態に係る画像処理装置は、被験物の画像データを二値化して、構造体の形状を抽出する抽出部と、ウォーターシェッドアルゴリズムに基づいて、二値化された画像データから構造体を分離する分離部と、を備える。

Description

画像処理装置、構造物の検出方法及び構造物検出プログラム
　本発明は、画像処理装置に関する。特に、本発明は、不定形の構造物が密集した画像において、各構造物を示す領域を分割して認識する画像処理装置に関する。または、本発明は、画像に含まれる不定形の構造物の検出方法に関する。または、本発明は、画像に含まれる不定形の構造物を検出するプログラムに関する。
　画像認識技術は、様々な用途に用いられるようになり、新たな技術の開発が盛んに行われている技術分野の１つである。画像データにおいて構造物を認識する場合の画像処理の方法として、例えば、適応的二値化や大津の二値化が知られている。しかし、これらの二値化の手法は、画像データに含まれる複数の構造物の画素値に差異がない場合には、それぞれの構造物を分離して認識することは困難である。
　近年では、深層学習に基づく画像処理により、画像データに含まれる複数の構造物を認識させる方法についても盛んに検討されている。画像データに含まれる複数の構造物を認識させる場合、例えば、深層学習の手法の一つであるインスタンスセグメンテーションでは、二つ以上の構造物が重なった領域を認識させることは可能であるが、不定形の構造物を認識させるのは難しい。また、セマンティックセグメンテーションは、不定形の構造物を認識させることは可能であるが、二つ以上の構造物が重なった領域を認識させるのは難しい。さらに、深層学習に基づく画像処理においては、認識の高い精度を得るためには教師データの質と数が課題となる。
　上述した画像の二値化を利用した画像処理方法として、ウォーターシェッド（Watershed）アルゴリズムを使った画像の領域分割の手法も知られている。例えば、特許文献１には、試料の表面を撮影した画像について、時間的に解の状態が変化する反応拡散方程式を用いて、画像面に沿った少なくとも一の方向の一ライン上にある輝度値のデータ列の集合を自動判定すると共に、前記集合における閾値パラメータに基づく方向要素を持たせた二値化を行う第１の画像処理と、前記第１の画像処理により得られた画像に、ユークリッド距離マップ及びウォーターシェッドの処理を施すことにより、グレイン間の境界線を谷筋とした場合の、尾根筋、頂点、または、地形の等高線を示す、第１のテッセレーション画像を生成し、この第１のテッセレーション画像に、再度、ユークリッド距離マップ及びウォーターシェッドの処理を施すことにより、尾根筋、頂点、または、地形の等高線から推定される谷筋としての、グレイン間の境界線を示す、第２のテッセレーション画像を生成する第２の画像処理とを含む画像処理方法により、グレイン境界が不鮮明で途切れている画像から、連なったグレイン境界を推定することが記載されている。
　しかし、距離変換及びウォーターシェッドアルゴリズムを用いる画像処理も、複数の構造体間の切り離したい部分の形状がくびれている必要があり、複数の構造体が異なるサイズで分布している場合、一律に認識させることは困難である。このように、サイズや形状が不均一な複数の構造体を含む画像データにおいて、それぞれの構造体を分離して認識させるのは、困難であった。
特開２０２１－１４９２２２号公報
　本発明の一実施形態は、不定形の構造物が密集した画像において、各構造物を示す領域を分割して認識する画像処理装置を提供することを目的の一つとする。または、本発明の一実施形態は、不定形の構造物が密集した画像において、各構造物を示す領域を分割して検出する方法を提供することを目的の一つとする。または、本発明の一実施形態は、不定形の構造物が密集した画像において、各構造物を示す領域を分割して検出するプログラムを提供することを目的の一つとする。
　本発明の一実施形態に係る画像処理装置は、被験物の画像データを二値化して、構造体の形状を抽出する抽出部と、前記被験物の画像データから前記構造体の特性値の分布を抽出する特性値分布抽出部と、ウォーターシェッドアルゴリズムに基づいて、二値化された画像データから構造体を分離する分離部と、を備え、分離部は、二値化された画像データと構造体の特性値の分布を論理合成して、論理合成画像を生成し、分離部は、ウォーターシェッドアルゴリズムに基づいて、論理合成画像を用いて前記構造体を分離する。
　分離部が、構造体の既知の粒度分布から決定された構造体の長さの範囲に基づいて、構造体を分離する長さの閾値を設定してもよい。
　分離部が、構造体の形状の第１の部分と、第１の部分と交差する第２の部分とがあると識別した場合に、第１の部分と前記第２の部分とを、異なる構造体として分離してもよい。
　本発明の一実施形態に係る構造物の検出方法は、抽出部と、分離部と、を備える画像処理装置を用い、抽出部が、被験物の画像データを二値化して、構造体の形状を抽出し、特性値分布抽出部は、被験物の画像データから構造体の特性値の分布を抽出し、分離部は、二値化された画像データと構造体の特性値の分布を論理合成して、論理合成画像を生成し、分離部が、ウォーターシェッドアルゴリズムに基づいて、論理合成画像を用いて、二値化された画像データから構造体を分離する。
　分離部が、構造体の既知の粒度分布から決定された構造体の長さの範囲に基づいて、構造体を分離する長さの閾値を設定してもよい。
　分離部が、構造体の形状の第１の部分と、第１の部分と交差する第２の部分とがあると識別した場合に、第１の部分と第２の部分とを、異なる構造体として分離してもよい。
　本発明の一実施形態に係る構造物検出プログラムは、コンピュータに、被験物の画像データを二値化させて、構造体の形状を抽出させ、コンピュータに、被験物の画像データから構造体の特性値の分布を抽出させ、コンピュータに、二値化された画像データと構造体の特性値の分布を論理合成させて、論理合成画像を生成させ、コンピュータに、ウォーターシェッドアルゴリズムに基づいて、論理合成画像を用いて、二値化された画像データから構造体を分離させる。
　コンピュータに、構造体の既知の粒度分布から決定された構造体の長さの範囲に基づいて、構造体を分離する長さの閾値を設定させてもよい。
　コンピュータが、構造体の形状の第１の部分と、第１の部分と交差する第２の部分とがあると識別した場合に、コンピュータに、第１の部分と前記第２の部分とを、異なる構造体として分離させてもよい。
　本発明の一実施形態は、不定形の構造物が密集した画像において、各構造物を示す領域を分割して認識する画像処理装置を提供する。または、本発明の一実施形態は、不定形の構造物が密集した画像において、各構造物を示す領域を分割して検出する方法を提供する。または、本発明の一実施形態は、不定形の構造物が密集した画像において、各構造物を示す領域を分割して検出するプログラムを提供する。
本発明の一実施形態に係る画像処理装置１００を示すブロック構成図である。 本発明の一実施形態に係る構造物の検出方法のフロー図である。 本発明の一実施形態に係る構造物の検出方法のフロー図である。 本発明の一実施形態に係る構造物の検出方法のフロー図である。 本発明の一実施形態に係る構造物の検出方法のフロー図である。 本発明の一実施形態に係る構造物の検出方法のフロー図である。 本発明の一実施形態に係る構造物の検出方法のフロー図である。 本発明の一実施例の鋼材表面における腐食ピットの深度画像である。 本発明の一実施例の二値化された画像データである。 本発明の一実施例により識別された腐食ピットのオブジェクト群を示す図である。 本発明の一実施例の鋼材表面における腐食ピットの深度画像の画像データを二値化した１つの腐食ピットのオブジェクトを示す図である。 本発明の一実施例の図１０Ａの１つの腐食ピットのオブジェクトについて距離変換した図である。 本発明の一実施例の図１０Ａの１つの腐食ピットに対応する図８から抽出した１つの腐食ピットの深度画像である。 本発明の一実施例の距離変換した画像データと腐食ピットの特性値の分布との論理積により生成した論理合成画像である。 本発明の一実施例の正規化した論理合成画像について、明確な前景の領域を抽出した図である。 本発明の一実施例のウォーターシェッドアルゴリズムを適用して、腐食ピットの構造体を分割し、それぞれ異なる腐食ピットとして識別した図である。 距離変換したデータのみを用いてウォーターシェッドアルゴリズムを適用した結果を示す図である。
　以下、本発明の一実施形態について、図面を参照しながら説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。
［画像処理装置］
　図１は、本発明の一実施形態に係る画像処理装置１００を示すブロック構成図である。画像処理装置１００は、例えば、制御装置１１０、入力装置１２０、出力装置１３０、記憶装置１４０、通信装置１５０及び電源装置１６０を備える。また、一実施形態において、画像処理装置１００は、例えば、抽出部１１１及び分離部１１３をさらに備える。本実施形態において、抽出部１１１は、特性値分布抽出部１１５をさらに備える。また、分離部１１３は、論理合成部１１７をさらに備える。
　制御装置１１０は、画像処理装置１００を制御するための公知の中央処理装置（ＣＰＵ）、オペレーティングシステム（ＯＳ）及び制御プログラム又はモジュールで構成される。または、制御装置１１０は、ＯＳと制御プログラム又はモジュールを含む１つのプログラムとして提供されてもよい。制御装置１１０を構成する制御プログラム又はモジュールは、記憶装置１４０に格納されてＣＰＵで実行される。
　図１においては、一実施形態として、制御装置１１０が、抽出部１１１及び分離部１１３を備える構成を示すが、抽出部１１１及び分離部１１３は、制御装置１１０に包含されずに、制御装置１１０と併設されていてもよい。
　抽出部１１１は、被験物の画像データから構造体の形状を抽出するためのプログラム又はモジュールで構成される。また、本実施形態において、抽出部１１１は、特性値分布抽出部１１５をさらに備える。特性値分布抽出部１１５は、被験物の画像データをから構造体の特性値の分布を抽出するためのプログラム又はモジュールで構成される。また、抽出部１１１は、被験物の画像データを二値化して、構造体の形状を抽出するためのプログラム又はモジュールを含む。図１においては特性値分布抽出部１１５が抽出部１１１に含まれる例を示したが、特性値分布抽出部１１５は抽出部１１１から独立したプログラム又はモジュールであってもよい。
　抽出部１１１を構成するプログラム又はモジュールは、記憶装置１４０に格納されてＣＰＵで実行される。一実施形態において、抽出部１１１は、被験物の画像データにおいて、所定値（以下、第１の輝度値とも称する）を基準として、輝度値を二値化する。より具体的には、画像データにおいて第１の輝度値以上（又は第１の輝度値より大きい）の輝度を有する部分の輝度値を１に変換し、第１の輝度値未満（又は第１の輝度値以下）の輝度を有する部分の輝度値を０に変換する。このような処理により、抽出部１１１は、輝度値１を有する部分を構造体として識別することができる。なお、第１の輝度値は、被験物の観察から事前に設定された輝度値であってもよく、ユーザが表示装置１３１により確認した抽出部１１１が処理する実際の被験物の画像データについて、ユーザが設定した輝度値であってもよい。一実施形態において、注目画素の輝度とその周囲の画素の輝度との平均値を第１の輝度値として設定してもよい（適応的二値化）。
　特性値分布抽出部１１５を構成するプログラム又はモジュールは、記憶装置１４０に格納されてＣＰＵで実行される。一実施形態において、特性値分布抽出部１１５が抽出する構造体の特性値としては、被験物の画像データにおける構造体の輝度値、及び被験物の構造体の深さを例示することができるが、これらに限定されるものではない。より具体的には、特性値分布抽出部１１５は、紫外（ＵＶ）域、可視（ＶＩＳ）域、近赤外（ＮＩＲ）域、赤外（ＩＲ）域、又はＴＨｚ（テラヘルツ）域のスペクトル領域の輝度値を含む画像データを用いることができる。例えば、カメラや光学顕微鏡の輝度値、及びレントゲンやＸ線コンピュータ断層撮影（ＣＴ）のＸ線強度、走査型電子顕微鏡（ＳＥＭ）や透過型電子顕微鏡（ＴＥＭ）の電子線強度を用いることができる。また、特性値分布抽出部１１５は、構造体の特性値として、原子間力顕微鏡（ＡＦＭ）により測定される深さ、エネルギー分散型Ｘ線分光法（ＥＤＳ）、蛍光Ｘ線分析（ＸＲＦ）、及び電子プローブマイクロアナライザー（ＥＰＭＡ）によって検出される元素濃度、超音波映像装置（ＳＡＴ）や超音波顕微鏡（ＳＡＭ）のエコー強度、及び磁気共鳴画像（ＭＲＩ）等の特性データを用いることもできる。構造体の特性値が被験物の画像データにおける構造体の輝度値である場合、特性値分布抽出部１１５は、被験物の画像データから構造体の輝度値の分布を抽出して、記憶装置１４０に格納する。または、構造体の特性値が被験物の構造体の深さ等である場合は、特性値分布抽出部１１５は、上述した方法により取得した被験物特性データを、記憶装置１４０に格納する。
　分離部１１３は、抽出部１１１により二値化された画像データから構造体を分離するためのプログラム又はモジュールで構成される。また、本実施形態において、抽出部１１１は、論理合成部１１７をさらに備える。分離部１１３を構成するプログラム又はモジュールは、記憶装置１４０に格納されてＣＰＵで実行される。一実施形態において、分離部１１３は、抽出部１１１により識別された構造体について、構造体に分離する。一実施形態において、分離部１１３は、ウォーターシェッドアルゴリズムに基づいて、二値化された画像データから構造体を分離する。ウォーターシェッドアルゴリズムに基づいて、二値化された画像データから構造体を分離する場合、分離部１１３は、輝度値０を有する背景からの距離に応じて、構造体の内部に向かったグラデーション（輝度の分布）を生成する。
　本実施形態においては、分離部１１３が生成した構造体の内部に向かったグラデーション（輝度の分布）と、特性値分布抽出部１１５が抽出した構造体の特性値の分布とを、論理合成部１１７が合成し、論理合成画像を生成する。特性値分布抽出部１１５は、構造体の内部に向かったグラデーション（輝度の分布）と、構造体の特性値の分布とを合成して論理合成画像を生成するためのプログラム又はモジュールで構成される。特性値分布抽出部１１５は、構造体の内部に向かったグラデーション（輝度の分布）と、構造体の特性値の分布とを合成して、論理積画像又は論理和画像を生成する。一実施形態において、特性値分布抽出部１１５は、論理積画像と論理和画像を比較して、論理合成画像における輝度値の最大値と最小値との差が大きい方を以下の処理に用いる論理合成画像として選択してもよい。
　分離部１１３は、生成された論理合成画像について、所定の輝度の閾値未満の部分の輝度値を０に変換する。これにより、分離部１１３は、論理合成画像のグラデーションの内、所定の輝度の閾値以上のグラデーション部分のみを抽出する。分離部１１３は、抽出された論理合成画像のグラデーション部分のうち、最も輝度が高い部分を構造体の中心に設定する。例えば、構造体の第１の部分と第２の部分のそれぞれに中心が設定されるため、分離部１１３は、構造体の第１の部分の中心と第２の部分の中心をそれぞれ異なる構造体の中心として識別することができる。さらに、分離部１１３は、第１の部分の中心を含む構造体と、第２の部分の中心を含む構造体を、それぞれ異なる構造体として識別することができる。
　構造体の形状に基づいて、二値化された画像データから構造体を分離する場合、分離部１１３は、二値化された構造体の輪郭を検出する。構造体が線状の構造を有する場合は、長さ方向と幅方向を有する。分離部１１３は、二値化された構造体において、幅方向が短くなる位置を２つの粒子の境界（分離点）として検出し、２つの構造体を識別してもよい。
　また、構造体には粒度分布があり、この粒度分布から、構造体は長さの範囲を有する。一実施形態において、分離部１１３は、構造体の既知の粒度分布から決定された構造体の長さの範囲に基づいて、構造体を分離する長さの閾値を設定してもよい。
　また、例えば、交差する２つの方向それぞれに長さ方向を有する２つの部分がある場合、これらの部分は、互いに異なる構造体である。一実施形態において、分離部１１３は、構造体の形状の第１の部分と、第１の部分と交差する第２の部分とがあると識別した場合に、第１の部分と前記第２の部分とを、異なる構造体として分離することができる。
　入力装置１２０は、画像処理装置１００を操作するための装置であり、キーボード、マウス及び表示装置（例えば、液晶ディスプレイや有機ＥＬディスプレイ）に配置されたタッチパネル等の公知の入力装置を用いることができる。一実施形態において、入力装置１２０は、上述したＳＥＭ像を取得するための走査型電子顕微鏡を含んでもよい。または、入力装置１２０は、ＳＥＭ像の画像データを格納したメディアを接続可能なＣＤドライブ、ＤＶＤドライブ、メモリーカードリーダ等のドライブやリーダを含んでもよい。
　出力装置１３０は、画像処理装置１００により生成される各種画像を表示する表示装置１３１を含む。表示装置１３１は、例えば、カメラ等で撮像された画像データ、マスクデータ、被験物を構成する構造体の断面領域、二値化された画像データ等を表示することができる。表示装置１３１として、例えば、液晶ディスプレイや有機ＥＬディスプレイ等を用いることができるが、これらに限定されるものではない。また、出力装置１３０は、表示装置１３１が表示した画像を印刷するプリンタを含んでもよい。
　記憶装置１４０は、制御装置１１０を構成するオペレーティングシステム（ＯＳ）及び制御プログラム又はモジュール、抽出部１１１を構成するプログラム又はモジュール及び分離部１１３を構成するプログラム又はモジュールを格納する装置である。記憶装置１４０は、例えば、ランダムアクセスメモリ（ＲＡＭ）等の公知の主記憶装置と、リードオンリーメモリ（ＲＯＭ）、ハードディスク、又はソリッドステートドライブ（ＳＳＤ）及びメモリーカード等の公知の補助記憶装置とにより構成される。なお、補助記憶装置は、画像処理装置１００の外部に配置され、通信装置１５０を介して通信可能なサーバやネットワークドライブに配置されてもよい。
　通信装置１５０は、制御装置１１０により制御可能な公知の有線又は無線の通信装置である。通信装置１５０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネット等の通信ネットワークに接続することができる。通信装置１５０は、例えば、Ｗｉ－Ｆｉ（登録商標）（ＩＥＥＥ　８０２．１１規格を使用する通信手段）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信規格に適合した通信装置であってもよい。通信装置１５０は、画像処理装置１００の外部に配置されたサーバやネットワークドラブとのデータ通信を行ってもよい。一実施形態において、通信装置１５０は、ユニバーサル・シリアル・バス（ＵＳＢ）、ＰＣＩ　Ｅｘｐｒｅｓｓ及びシリアルＡＴＡ（ＳＡＴＡ）等のシリアルバス、及びスモールコンピュータシステムインタフェース（ＳＣＳＩ）及びペリフェラル　コンポーネント　インターコネクト（ＰＣＩ）等のパラレルバスを含んでもよい。
　電源装置１６０は、画像処理装置１００の各装置に外部からの電力を供給する装置であって、特に限定されない。
［構造物検出方法］
　上述した本発明に係る画像処理装置１００を用いた構造物の検出方法について説明する。
　図２～図７は、本発明の一実施形態に係る構造物の検出方法のフロー図である。抽出部１１１は、被験物の画像データを読み込む（Ｓ１１０）。被験物の画像データは、入力装置１２０を介して読み込まれてもよく、記憶装置１４０に格納された画像データを抽出部１１１が読み込んでもよい。また、通信装置１５０に接続するネットワークを介して、サーバやネットワークドライブに格納された画像データを抽出部１１１が読み込んでもよい。
　特性値分布抽出部１１５は、抽出部１１１が読み込んだ被験物の画像データから構造体の特性値の分布を抽出する（Ｓ１２０）。具体的には、特性値分布抽出部１１５は、被験物の画像データから構造体の特性値を抽出する（Ｓ１２１）。例えば、特性値分布抽出部１１５は、被験物の画像データから構造体の輝度値を抽出する。または、一実施形態において、特性値分布抽出部１１５は、被験物の画像データと位置的に対応する被験物の特性データを読み込んで、特性データから構造体の深さ等の特性値を抽出してもよい。
　特性値分布抽出部１１５は、抽出した構造体の輝度値又は構造体の深さの値を２５６階調に変換し、被験物の画像データと位置的に対応する構造体の輝度値の分布データ又は構造体の深さの分布データを生成する（Ｓ１２３）。また、特性値分布抽出部１１５は、生成した被験物の画像データと位置的に対応する構造体の輝度値の分布データ又は構造体の深さの分布データを記憶装置１４０に格納する（Ｓ１２５）。
　抽出部１１１は、読み込んだ被験物の画像データを二値化して、構造体の形状を抽出する（Ｓ１３０）。具体的には、抽出部１１１は、被験物の画像データを構成する画素ごとに、第１の輝度値を基準として、被験物の画像データを二値化する（Ｓ１３１）。より具体的には、抽出部１１１は、被験物の画像データにおいて、所定値（以下、第１の輝度値とも称する）を基準として、輝度値を二値化する。より具体的には、ＳＥＭ像の画像データにおいて第１の輝度値以上（又は第１の輝度値より大きい）の輝度を有する部分の輝度値を１に変換し（Ｓ１３３）、第１の輝度値未満（又は第１の輝度値以下）の輝度を有する部分の輝度値を０に変換する（Ｓ１３５）。このようにして設定された部分を合成し、抽出部１１１は、被験物の画像データを二値化した画像データを生成する（Ｓ１３７）。
　二値化した画像データにおいて構造体の境界を抽出するために、抽出部１１１は、二値化した画像データからノイズを除去する（Ｓ１３９）。例えば、モルフォロジー勾配、又は平滑化フィルタ処理（平均化フィルタ、ガウシアンフィルタ若しくはメディアンフィルタ等）を用いて、抽出部１１１は、被験物の画像データを二値化した画像データからノイズを除去してもよい。
　抽出部１１１は、ノイズを除去した二値化した画像データにおいて、オブジェクト群を識別する（Ｓ１４０）。抽出部１１１は、ノイズを除去した二値化した画像データにおいて、輝度値が０である領域を明確な背景として識別し、構造体の境界を抽出する（Ｓ１４１）。抽出部１１１が構造体の境界を抽出した結果、輝度値１を有する部分を構造体のオブジェクト群として識別することができる（Ｓ１４３）。なお、第１の輝度値は、被験物の画像データの観察から事前に設定された輝度値であってもよく、ユーザが表示装置１３１により確認した抽出部１１１が処理する実際の被験物の画像データについて、ユーザが設定した輝度値であってもよい。一実施形態において、注目画素の輝度とその周囲の画素の輝度との平均値を第１の輝度値として設定してもよい（適応的二値化）。
　分離部１１３は、抽出部１１１により識別されたオブジェクト群について、論理合成画像を生成する（Ｓ１５０）。具体的には、分離部１１３は、オブジェクト群から１つのオブジェクトを選択し（Ｓ１５１）、輝度値０を有する背景からの距離に応じて、構造体の内部に向かったグラデーション（輝度の分布）を生成し、選択した１つのオブジェクトに含まれる構造体を距離変換する（Ｓ１５３）。分離部１１３は、生成されたグラデーションの最も輝度が高い部分を構造体の中心に設定し、距離変換した画像データを得る（Ｓ１５４）。
　分離部１１３は、記憶装置１４０に格納された構造体の特性値の分布を読み込む（Ｓ１５５）。分離部１１３は、距離変換した画像データと、読み込んだ構造体の特性値の分布とを論理合成して、論理合成画像を生成する（Ｓ１５７）。本実施形態において、論理合成として、論理積又は論理和を用いることができる。分離部１１３は、距離変換した画像データと構造体の特性値の分布との論理積を求めて、論理合成画像を生成してもよく、距離変換した画像データと構造体の特性値の分布との論理和を求めて、論理合成画像を生成してもよい。または、分離部１１３は、論理積と論理和を求めて、構造体の分離に対する効果が大きい方の論理合成画像を出力するようにしてもよい。一実施形態において、論理積としてアダマール積を用いてもよい。また、一実施形態において、論理和として、加重和を用いてもよい。分離部１１３は、生成した論理合成画像を正規化する（Ｓ１５９）。
　分離部１１３は、正規化した論理合成画像に基づいて、構造体を分離する（Ｓ１６０）。具体的には、分離部１１３は、正規化した論理合成画像について、明確な前景の領域を抽出する（Ｓ１６１）。一実施形態において、明確な前景の領域を抽出する際の閾値として０．６～０．８を設定することができる。また、分離部１１３は、正規化した論理合成画像について、未知の領域を抽出する（Ｓ１６３）。この結果、分離部１１３は、確実な前景の領域を決定して、決定された各領域に対してラベルを付与する（Ｓ１６５）。分離部１１３は、ウォーターシェッドアルゴリズムを適用して、ラベルを付与した領域について、第１の中心を含む構造体の構造体と、第２の中心を含む構造体の構造体とを分割し、それぞれ異なる構造体として識別する（Ｓ１６７）。分離部１１３は、オブジェクト群に含まれる全てのオブジェクトについて、Ｓ１５１～Ｓ１６７の工程の処理を実施し、全てのオブジェクトについて、構造体を分離して識別する（Ｓ１６９）。
［構造物検出プログラム］
　本発明の一実施形態において、上述した構造物の検出方法を実行するためのプログラムを提供することができる。または、一実施形態において、プログラムを格納した記録媒体として提供することもできる。図２～図７を参照して説明する。
　本プログラムは、抽出部１１１に、被験物の画像データを読み込ませる（Ｓ１１０）。本プログラムは、入力装置１２０を介して被験物の画像データを読み込ませてもよく、記憶装置１４０に格納された画像データを抽出部１１１に読み込ませてもよい。また、本プログラムは、通信装置１５０に接続するネットワークを介して、サーバやネットワークドライブに格納された画像データを抽出部１１１に読み込ませてもよい。
　本プログラムは、抽出部１１１に、読み込んだ被験物の画像データから構造体の特性値の分布を抽出させる（Ｓ１２０）。具体的には、本プログラムは、特性値分布抽出部１１５に、被験物の画像データから構造体の特性値を抽出させる（Ｓ１２１）。例えば、本プログラムは、特性値分布抽出部１１５に、被験物の画像データから構造体の輝度値を抽出させる。または、本プログラムは、特性値分布抽出部１１５に、被験物の画像データから構造体の輝度値を抽出させる。一実施形態において、本プログラムは、特性値分布抽出部１１５に、被験物の画像データと位置的に対応する被験物の特性のデータを読み込ませて、特性データから構造体の深さ等の特性値を抽出させてもよい。
　本プログラムは、特性値分布抽出部１１５に、抽出させた構造体の輝度値又は構造体の深さの値を２５６階調に変換させ、被験物の画像データと位置的に対応する構造体の輝度値の分布データ又は構造体の深さの分布データを生成させる（Ｓ１２３）。また、本プログラムは、特性値分布抽出部１１５に、生成させた被験物の画像データと位置的に対応する構造体の輝度値の分布データ又は構造体の深さの分布データを記憶装置１４０に格納させる（Ｓ１２５）。
　本プログラムは、抽出部１１１に、読み込ませた被験物の画像データを二値化させて、構造体の形状を抽出させる（Ｓ１３０）。具体的には、本プログラムは、抽出部１１１に、被験物の画像データを構成する画素ごとに、第１の輝度値を基準として、被験物の画像データを二値化させる（Ｓ１３１）。より具体的には、本プログラムは、抽出部１１１に、被験物の画像データにおいて、所定値（以下、第１の輝度値とも称する）を基準として、輝度値を二値化させる。より具体的には、本プログラムは、ＳＥＭ像の画像データにおいて第１の輝度値以上（又は第１の輝度値より大きい）の輝度を有する部分の輝度値を１に変換させ（Ｓ１３３）、第１の輝度値未満（又は第１の輝度値以下）の輝度を有する部分の輝度値を０に変換させる（Ｓ１３５）。本プログラムは、このようにして設定された部分を合成させ、抽出部１１１に、被験物の画像データを二値化させた画像データを生成させる（Ｓ１３７）。
　二値化した画像データにおいて構造体の境界を抽出するために、本プログラムは、抽出部１１１に、二値化させた画像データからノイズを除去させる（Ｓ１３９）。例えば、本プログラムは、モルフォロジー勾配、又は平滑化フィルタ処理（平均化フィルタ、ガウシアンフィルタ若しくはメディアンフィルタ等）を用いて、抽出部１１１に、被験物の画像データを二値化させた画像データからノイズを除去させてもよい。
　本プログラムは、抽出部１１１に、ノイズを除去させた二値化した画像データにおいて、オブジェクト群を識別させる（Ｓ１４０）。本プログラムは、抽出部１１１に、ノイズを除去させた二値化した画像データにおいて、輝度値が０である領域を明確な背景として識別させ、構造体の境界を抽出させる（Ｓ１４１）。本プログラムは、抽出部１１１に構造体の境界を抽出させた結果、輝度値１を有する部分を構造体のオブジェクト群として識別させることができる（Ｓ１４３）。なお、第１の輝度値は、被験物の画像データの観察から事前に設定された輝度値であってもよく、ユーザが表示装置１３１により確認した抽出部１１１が処理する実際の被験物の画像データについて、ユーザが設定した輝度値であってもよい。一実施形態において、本プログラムは、注目画素の輝度とその周囲の画素の輝度との平均値を第１の輝度値として設定してもよい（適応的二値化）。
　本プログラムは、分離部１１３に、抽出部１１１により識別させたオブジェクト群について、論理合成画像を生成させる（Ｓ１５０）。具体的には、本プログラムは、分離部１１３に、オブジェクト群から１つのオブジェクトを選択させ（Ｓ１５１）、輝度値０を有する背景からの距離に応じて、構造体の内部に向かったグラデーション（輝度の分布）を生成させ、選択させた１つのオブジェクトに含まれる構造体を距離変換させる（Ｓ１５３）。本プログラムは、分離部１１３に、生成させたグラデーションの最も輝度が高い部分を構造体の中心に設定させ、距離変換させた画像データを取得させる（Ｓ１５４）。
　本プログラムは、分離部１１３に、記憶装置１４０に格納させた構造体の特性値の分布を読み込ませる（Ｓ１５５）。本プログラムは、分離部１１３に、距離変換させた画像データと、読み込ませた構造体の特性値の分布とを論理合成させて、論理合成画像を生成させる（Ｓ１５７）。本実施形態において、論理合成として、論理積又は論理和を用いることができる。本プログラムは、分離部１１３に、距離変換させた画像データと構造体の特性値の分布との論理積を求めさせて、論理合成画像を生成させてもよく、距離変換させた画像データと構造体の特性値の分布との論理和を求めさせて、論理合成画像を生成させてもよい。または、本プログラムは、分離部１１３に、論理積と論理和を求めさせて、構造体の分離に対する効果が大きい方の論理合成画像を出力させるようにしてもよい。一実施形態において、論理積としてアダマール積を用いてもよい。また、一実施形態において、論理和として、加重和を用いてもよい。本プログラムは、分離部１１３に、生成さえた論理合成画像を正規化させる（Ｓ１５９）。
　本プログラムは、分離部１１３に、正規化させた論理合成画像に基づいて、構造体を分離させる（Ｓ１６０）。具体的には、本プログラムは、分離部１１３に、正規化させた論理合成画像について、明確な前景の領域を抽出させる（Ｓ１６１）。一実施形態において、明確な前景の領域を抽出する際の閾値として０．６～０．８を設定することができる。また、本プログラムは、分離部１１３に、正規化した論理合成画像について、未知の領域を抽出させる（Ｓ１６３）。この結果、本プログラムは、分離部１１３に、確実な前景の領域を決定させて、決定させた各領域に対してラベルを付与させる（Ｓ１６５）。本プログラムは、分離部１１３に、ウォーターシェッドアルゴリズムを適用させて、ラベルを付与させた領域について、第１の中心を含む構造体と、第２の中心を含む構造体とを分割させ、それぞれ異なる構造体として識別させる（Ｓ１６７）。本プログラムは、分離部１１３に、オブジェクト群に含まれる全てのオブジェクトについて、Ｓ１５１～Ｓ１６７の工程の処理を実施させ、全てのオブジェクトについて、構造体を分離させて識別させる（Ｓ１６９）。
［構造物検出プログラムを格納した記録媒体］
　本発明の一実施形態において、上述した構造物のプログラムを格納した記録媒体を提供することができる。構造物検出プログラムを格納する記録媒体としては、リードオンリーメモリ（ＲＯＭ）、ハードディスク、又はソリッドステートドライブ（ＳＳＤ）及びメモリーカード、ＵＳＢメモリ、ＣＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標）等の公知の補助記憶装置を例示することができるが、これらに限定されるものではない。
　一実施形態において、構造物検出プログラムを格納したサーバから、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネット等の通信ネットワークを介して、利用者が操作可能な端末に接続した、又は接続可能な上記の記録媒体（例えば、記憶装置１４０）に構造物検出プログラムを送信、又はダウンロードすることにより、構造物検出プログラムを格納し、本実施形態に係る記録媒体を提供することもできる。
　上述した実施形態の画像処理装置１００を用いて構造物を検出した例を以下に示す。図８は、鋼材表面における腐食ピットの深度画像である。特性値分布抽出部１１５は、図８の鋼材表面における腐食ピットの深度画像を読み込み、鋼材表面における腐食ピットの深度画像の深度分布から構造体の深度を抽出し、抽出した構造体の深度を２５６階調に変換し、鋼材表面における腐食ピットの深度画像と位置的に対応する構造体の深度の分布データを生成した。
　また、抽出部１１１は、図８の鋼材表面における腐食ピットの深度画像を読み込み、鋼材表面における腐食ピットの深度画像の深度分布を二値化して、構造体の形状を抽出した。図９Ａは、二値化された深度分布である。分離部１１３は、図９Ｂに示すように、構造体のオブジェクト群を識別した。
　図１０Ａ～図１１Ｃを参照する。図１０Ａは、鋼材表面における腐食ピットの深度画像の深度分布を二値化した１つの構造体のオブジェクトを示す図である。図１０Ｂは、図１０Ａの１つの構造体のオブジェクトについて、分離部１１３が距離変換した図を示し、図１０Ｃは、図１０Ａの１つの腐食ピットに対応する図８から抽出した１つの腐食ピットの深度画像である。また、図１０Ｄは、分離部１１３が距離変換した深度分布と構造体の深度の分布との論理積により生成した論理合成画像である。
　図１１Ａは、分離部１１３が正規化した論理合成画像について、明確な前景の領域を抽出した図である。図１１Ｂは、分離部１１３がウォーターシェッドアルゴリズムを適用して、構造体を分割し、それぞれ異なる構造体として識別した図である。一方、図１１Ｃは、分離部１１３が距離変換したデータのみを用いてウォーターシェッドアルゴリズムを適用した結果を示す図である。図１１Ｂと図１１Ｃを比較すると、構造物検出方法を用いることにより、構造物の分割精度がさらに向上することを示された。
　上述の実施形態及び実施例においては深度画像を用いる場合について説明した。深度画像以外であっても、構造物の観察が可能である走査電子顕微鏡（ＳＥＭ）、透過電子顕微鏡（ＴＥＭ）、走査透過電子顕微鏡（ＳＴＥＭ）、原子間力顕微鏡（ＡＦＭ）等の顕微鏡を用いることも可能である。また、被験物に応じて、レントゲンやＸ線コンピュータ断層撮影（ＣＴ）のＸ線強度、原子間力顕微鏡（ＡＦＭ）により測定される深さ、エネルギー分散型Ｘ線分光法（ＥＤＳ）、蛍光Ｘ線分析（ＸＲＦ）、及び電子プローブマイクロアナライザー（ＥＰＭＡ）によって検出される元素濃度、超音波映像装置（ＳＡＴ）や超音波顕微鏡（ＳＡＭ）のエコー強度、及び磁気共鳴画像（ＭＲＩ）等の特性データを用いることもできる。
　以上、本発明の一実施形態について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、本実施形態の画像処理装置、構造物検出方法及び構造物検出プログラムを基にして、当業者が適宜構成要素の追加、削除若しくは設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。
　上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。
　上述した実施形態の画像処理装置、構造物検出方法及び構造物検出プログラムは、各種画像分析（形状測定、走査電顕、元素濃度マッピング、CT、レントゲン）に適用することができ、金属、医療、バイオ等の分野での画像処理に広く適用することができる。
１００　画像処理装置、１１０　制御装置、１１１　抽出部、１１３　分離部、１１５　特性値分布抽出部、１１７　論理合成部、１２０　入力装置、１３０　出力装置、１３１　表示装置、１４０　記憶装置、１５０　通信装置、１６０　電源装置
 

Claims (9)

  1. 　被験物の画像データを二値化して、構造体の形状を抽出する抽出部と、
    　前記被験物の画像データから前記構造体の特性値の分布を抽出する特性値分布抽出部と、
    　ウォーターシェッドアルゴリズムに基づいて、二値化された前記画像データから前記構造体を分離する分離部と、を備え、
    　前記分離部は、前記二値化された前記画像データと前記構造体の特性値の分布を論理合成して、論理合成画像を生成し、
    　前記分離部は、前記ウォーターシェッドアルゴリズムに基づいて、前記論理合成画像を用いて前記構造体を分離する、画像処理装置。
  2. 　前記分離部は、前記構造体の既知の粒度分布から決定された前記構造体の長さの範囲に基づいて、前記構造体を分離する長さの閾値を設定する、請求項１に記載の画像処理装置。
  3. 　前記分離部は、前記構造体の形状の第１の部分と、前記第１の部分と交差する第２の部分とがあると識別した場合に、前記第１の部分と前記第２の部分とを、異なる構造体として分離する、請求項１に記載の画像処理装置。
  4. 　抽出部と、特性値分布抽出部と、分離部と、を備える画像処理装置を用い、
    　前記抽出部が、被験物の画像データを二値化して、構造体の形状を抽出し、
    　前記特性値分布抽出部は、前記被験物の画像データから前記構造体の特性値の分布を抽出し、
    　前記分離部は、前記二値化された前記画像データと前記構造体の特性値の分布を論理合成して、論理合成画像を生成し、
    　前記分離部が、ウォーターシェッドアルゴリズムに基づいて、前記論理合成画像を用いて、二値化された前記画像データから前記構造体を分離する、構造物の検出方法。
  5. 　前記分離部は、前記構造体の既知の粒度分布から決定された前記構造体の長さの範囲に基づいて、前記構造体を分離する長さの閾値を設定する、請求項４に記載の構造物の検出方法。
  6. 　前記分離部は、前記構造体の形状の第１の部分と、前記第１の部分と交差する第２の部分とがあると識別した場合に、前記第１の部分と前記第２の部分とを、異なる構造体として分離する、請求項４に記載の構造物の検出方法。
  7. 　コンピュータに、被験物の画像データを二値化させて、構造体の形状を抽出させ、
    　前記コンピュータに、前記被験物の画像データから前記構造体の特性値の分布を抽出させ、
    　前記コンピュータに、前記二値化された前記画像データと前記構造体の特性値の分布を論理合成させて、論理合成画像を生成させ、
    　前記コンピュータに、ウォーターシェッドアルゴリズムに基づいて、前記論理合成画像を用いて、二値化された前記画像データから前記構造体を分離させる、構造物検出プログラム。
  8. 　前記コンピュータに、前記構造体の既知の粒度分布から決定された前記構造体の長さの範囲に基づいて、前記構造体を分離する長さの閾値を設定させる、請求項７に記載の構造物検出プログラム。
  9. 　前記コンピュータが、前記構造体の形状の第１の部分と、前記第１の部分と交差する第２の部分とがあると識別した場合に、前記コンピュータに、前記第１の部分と前記第２の部分とを、異なる構造体として分離させる、請求項７に記載の構造物検出プログラム。
     
PCT/JP2025/008450 2024-03-28 2025-03-07 画像処理装置、構造物の検出方法及び構造物検出プログラム Pending WO2025204752A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-053422 2024-03-28
JP2024053422 2024-03-28

Publications (1)

Publication Number Publication Date
WO2025204752A1 true WO2025204752A1 (ja) 2025-10-02

Family

ID=97215944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/008450 Pending WO2025204752A1 (ja) 2024-03-28 2025-03-07 画像処理装置、構造物の検出方法及び構造物検出プログラム

Country Status (1)

Country Link
WO (1) WO2025204752A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116391A (ja) * 2017-01-17 2018-07-26 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
KR20200003497A (ko) * 2018-07-02 2020-01-10 조혜진 입자 분석 장치
JP2020047190A (ja) * 2018-09-21 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
CN114269463A (zh) * 2018-10-19 2022-04-01 斯莱戈理工学院 用于控制乳化过程的系统
JP2023008293A (ja) * 2021-07-05 2023-01-19 株式会社神戸製鋼所 領域境界線検出装置、該方法および該プログラムならびに領域分割処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018116391A (ja) * 2017-01-17 2018-07-26 みずほ情報総研株式会社 画像処理システム、画像処理方法及び画像処理プログラム
KR20200003497A (ko) * 2018-07-02 2020-01-10 조혜진 입자 분석 장치
JP2020047190A (ja) * 2018-09-21 2020-03-26 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
CN114269463A (zh) * 2018-10-19 2022-04-01 斯莱戈理工学院 用于控制乳化过程的系统
JP2023008293A (ja) * 2021-07-05 2023-01-19 株式会社神戸製鋼所 領域境界線検出装置、該方法および該プログラムならびに領域分割処理装置

Similar Documents

Publication Publication Date Title
US20230419485A1 (en) Autonomous diagnosis of a disorder in a patient from image analysis
Lu et al. Histogram-based automatic thresholding for bruise detection of apples by structured-illumination reflectance imaging
EP3640837A1 (en) System for co-registration of medical images using a classifier
US20180096191A1 (en) Method and system for automated brain tumor diagnosis using image classification
US20090252429A1 (en) System and method for displaying results of an image processing system that has multiple results to allow selection for subsequent image processing
Kurt et al. A novel automatic suspicious mass regions identification using Havrda & Charvat entropy and Otsu's N thresholding
US11887355B2 (en) System and method for analysis of microscopic image data and for generating an annotated data set for classifier training
WO2013049153A2 (en) Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US20180082104A1 (en) Classification of cellular images and videos
WO2021198238A1 (en) Method for finding image regions that significantly influence classification in a tool for pathology classification in a medical image
Abd Khalid et al. MRI brain tumor segmentation: A forthright image processing approach
CN105321178B (zh) 一种基于稀疏主成分分析的图像分割的方法及装置
JP3852125B2 (ja) ２次元多階調画像におけるパタン検出方法及び装置
JP2004054347A (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
Mohaimin et al. Automated method for the detection and segmentation of drusen in colour fundus image for the diagnosis of age‐related macular degeneration
Okuboyejo et al. CLAHE inspired segmentation of dermoscopic images using mixture of methods
Liu et al. A novel method for accurate extraction of liver capsule and auxiliary diagnosis of liver cirrhosis based on high-frequency ultrasound images
WO2025204752A1 (ja) 画像処理装置、構造物の検出方法及び構造物検出プログラム
Tavakoli et al. Segmentation of the pulmonary nodule and the attached vessels in the CT scan of the chest using morphological features and topological skeleton of the nodule
CN109872298A (zh) 一种中医舌苔腐腻识别方法
Abbas et al. Skin lesion border detection based on optimal statistical model using optimized colour channel
US20260024219A1 (en) Apparatus for detecting carbide particle in steel material, method for detecting carbide particle in steel material, and program for detecting carbide particle in steel material
CN110363056A (zh) 动力学视频图像中的精子识别方法
CN108292432A (zh) 用于确定宏拓扑、毫拓扑、微拓扑和纳米拓扑中的至少一个的评估系统和方法
Jatti Segmentation of microscopic bone images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25778502

Country of ref document: EP

Kind code of ref document: A1