WO2019009007A1 - 機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システム - Google Patents

機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システム Download PDF

Info

Publication number
WO2019009007A1
WO2019009007A1 PCT/JP2018/021866 JP2018021866W WO2019009007A1 WO 2019009007 A1 WO2019009007 A1 WO 2019009007A1 JP 2018021866 W JP2018021866 W JP 2018021866W WO 2019009007 A1 WO2019009007 A1 WO 2019009007A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
machine learning
learning data
extraction target
input image
Prior art date
Application number
PCT/JP2018/021866
Other languages
English (en)
French (fr)
Inventor
與那覇 誠
正志 藏之下
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019527595A priority Critical patent/JP6744494B2/ja
Publication of WO2019009007A1 publication Critical patent/WO2019009007A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • the present invention relates to a machine learning data generation method, a machine learning data generation program, a machine learning data generation system, a server apparatus, an image processing method, an image processing program, and an image processing system, and more particularly to machine learning data generation technology.
  • the machine can automatically detect the crack in the concrete wall based on an image obtained by imaging the concrete wall using an imaging device.
  • a machine learning device that performs learning about the detection target using a plurality of sample images is used.
  • the detection target is detected using machine learning data obtained as learning results using a machine learning device.
  • Patent Document 1 describes a quality determination apparatus that determines the quality of an appearance of an inspection object whose quality item is unknown.
  • the quality determination device described in Patent Document 1 creates a plurality of learning images by changing the illumination condition for one target in the learning step.
  • the quality determination device described in Patent Document 1 applies the same illumination conditions as in the learning step to image an object to generate an inspection image, and defects such as a target flaw and a dent, Defects such as painting unevenness are detected.
  • Patent Document 2 describes an image recognition apparatus that automatically generates discrimination rules by giving a plurality of learning samples.
  • the image recognition device described in Patent Document 2 generates a plurality of learning sample images by giving variation within the range of the image group of learning samples to the original learning sample image.
  • an extraction target in an image obtained by imaging a detection target is faithfully extracted.
  • extraction objects having continuity such as cracks in a concrete wall
  • non-continuous extraction objects in the image there may be cases where it is desired to grow non-continuous extraction objects in the image and extract them as continuous extraction objects.
  • a discontinuous crack may be grown and extracted as a continuous crack in the imaging image of the concrete wall.
  • Patent Document 1 and the invention described in Patent Document 2 do not pay attention to the above-described problems, and the invention described in Patent Document 1 and the invention described in Patent Document 2 have the above-described problems. It does not have the configuration to solve it.
  • Patent Document 1 is for determining the presence or absence of a scratch, a dent, and the like, and does not realize learning for growing an extraction target having continuity.
  • Patent Document 2 is learning of a discrimination rule for classifying an input image, and does not realize learning for growing an extraction target having continuity.
  • the present invention has been made in view of such circumstances, and provides a machine learning data generation method, a machine learning data generation program, a machine learning data generation system, a server apparatus, and a computer program that realize learning for growing an extraction object having continuity.
  • An object of the present invention is to provide a processing method, an image processing program, and an image processing system.
  • an input image acquisition step of acquiring an input image including an extraction target having continuity and a first image processing of extracting an extraction target from the input image are applied to the input image
  • a method of generating machine learning data comprising:
  • the first aspect it is possible to acquire first machine learning data that expands the area of the extraction target as a conversion relationship from the first image to the second image.
  • a machine learning system using the conversion relationship from the first image to the second image can be configured.
  • the extraction target having continuity can be grasped as a pixel group in which two or more pixels are continuous in one or more arbitrary directions.
  • the area of the extraction target includes the length of the line when the extraction target is a line. That is, the concept of expanding the area to be extracted includes the concept of extending the length of a line.
  • the extraction target may be a line and / or a surface.
  • a line is a pixel group in which two or more pixels are continuous in any one direction. Any one direction may change continuously or may change discontinuously.
  • a plane is a pixel group in which two or more pixels are continuous in two or more arbitrary directions.
  • a third aspect includes the third image generation step of applying the first machine learning data to the second image to generate a third image in the machine learning data generation method of the first aspect or the second aspect,
  • the learning data storage step may be configured to store the conversion relationship from the first image to the third image as second machine learning data.
  • the conversion relationship from the first image to the third image is generated and stored as second machine learning data. This makes it possible to extract an extraction target with a wider area.
  • the first image generation step applies a first threshold value to the gradation of the input image to obtain the input image Is generated to generate a first quantized image
  • the second image generation step applies a second threshold less than the first threshold to the gray level of the input image to quantize the second It may be configured to generate a computerized image.
  • the fourth aspect it is possible to generate the first machine learning data using the first image and the second image, which are quantized images having different gradations to be extracted.
  • Gradation may include concepts such as density and pixel value.
  • the quantization process includes a binarization process of converting an image represented using multiple gradations into a binarized image using one arbitrary threshold.
  • the quantized image includes a binarized image.
  • the first threshold and the second threshold are numerical values from 0 percent to 100 percent where the gradation value 0 is 0 percent and the maximum gradation is 100 percent. It is good also as composition represented using.
  • any gradation value from the gradation value 0 to the maximum gradation value can be set as the first threshold and the second threshold.
  • the first image generation step may be configured to extract an extraction target having the number of pixels equal to or more than a predetermined minimum number of pixels.
  • the first image generation step it is possible to exclude pixel groups less than the minimum number of pixels from extraction targets. Thereby, the noise component can be removed from the first image.
  • the second image generation step extracts an extraction target having a pixel number equal to or more than a predetermined minimum pixel number. It is good also as composition.
  • the second image generation step it is possible to exclude a pixel group less than the minimum number of pixels from extraction targets. Thereby, the noise component can be removed from the second image.
  • the input image acquisition step acquires, as an input image, an image obtained by imaging an arbitrary surface of an imaging target.
  • the image generation step and the second image generation step may be configured to extract a defect on an arbitrary surface of an imaging target as an extraction target.
  • the eighth aspect it is possible to grow and extract a defect in any surface of the imaging target.
  • An example of any surface to be imaged is the wall of a building.
  • Examples of defects on any surface of the imaging object include cracks and holes in the wall of a building.
  • a machine learning data generation program applies a computer to an input image, and an input image acquisition unit for acquiring an input image including an extraction target having continuity, and a first image processing for extracting an extraction target from the input image.
  • a first image generation unit that generates a first image in which an extraction target is extracted from an input image, and a second image process that extracts an extraction target from the input image on the input image;
  • Second image generation means for generating a second image having two images and having a larger area to be extracted than the first image, and machine learning data for storing the conversion relationship from the first image to the second image as machine learning data It is a machine learning data generation program to function as storage means.
  • the same matters as the matters specified in the second to eighth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the machine learning data generation method can be grasped as the component of the machine learning data generating program carrying the processing or function corresponding to this.
  • a ninth aspect is a machine learning data generation device having at least one or more processors and at least one or more memories, the processor acquires an input image including an extraction target having continuity, and an input image Subjecting the input image to a first image process for extracting an extraction object from the input image, generating a first image from which the extraction object is extracted from the input image, and subjecting the input image to a second image process for extracting an extraction object from the input image; A second image in which the extraction target is extracted from the input image, and the area of the extraction target is larger than the first image, and the memory learns the conversion relationship from the first image to the second image by machine learning It can be grasped as a machine learning data generation device stored as data.
  • the machine learning data generation system applies an input image acquisition unit that acquires an input image including an extraction target having continuity, and first image processing that extracts an extraction target from the input image to the input image, A first image generation unit that generates a first image from which an extraction target is extracted from an image, and a second image processing that extracts an extraction target from an input image to the input image, and a second from which the extraction target is extracted from the input image A second image generation unit that generates a second image that is an image and has a larger extraction target area than the first image, and a machine learning data storage that stores the conversion relationship from the first image to the second image as machine learning data
  • a machine learning data generation system comprising:
  • the same matters as the matters specified in the second to eighth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the machine learning data generation method can be grasped as a component of the machine learning data generating system carrying the processing or function corresponding thereto.
  • the server device and a client device communicably connected to the server device via a network the server device including an input image acquisition unit
  • the configuration may include one image generation unit, a second image generation unit, and a machine learning data storage unit.
  • a machine learning data generation system including a server device communicably connected via a network and a client device, the server device extracts the conversion relationship from the first image to the second image. It is possible to obtain first machine learning data that expands the area of the object.
  • the client device may be configured to include a transmission unit that transmits an input image to the server device.
  • the client device can transmit the input image to the server device.
  • the server apparatus is a server apparatus included in a machine learning data generation system in which the server apparatus and the client apparatus are communicably connected via a network, and the input includes an extraction target having continuity.
  • An input image acquisition unit that acquires an image
  • a first image generation unit that performs on the input image a first image processing that extracts an extraction target from the input image, and generates a first image in which the extraction target is extracted from the input image;
  • a second image is applied to the input image to extract an extraction target from the input image, and the second image is the second image from which the extraction target is extracted from the input image, and the area of the extraction target is larger than the first image
  • the server device includes a second image generation unit, and a machine learning data storage unit that stores the conversion relationship from the first image to the second image as machine learning data.
  • the same matters as the matters specified in the second to eighth aspects can be combined as appropriate.
  • the component carrying the process or function specified in the machine learning data generation method can be grasped as a component of the server apparatus carrying the process or function corresponding thereto.
  • An image processing method includes a machine learning data generation step of generating machine learning data using an image including an extraction target having continuity, and machine learning data generated in the machine learning data generation step. And an image processing step of performing image processing on the processing target image, wherein the machine learning data generation step includes an input image acquisition step of acquiring an input image including an extraction target having continuity, and an extraction target from the input image A first image processing step of extracting the first image processing to the input image, and a first image generating step of generating a first image from which the extraction target is extracted from the input image; and a second image processing of extracting the extraction target from the input image A second image generation step of generating a second image in which the extraction target is extracted from the input image and the area of the extraction target is larger than the first image; And machine learning data storage step of storing a conversion relation to the image as the first machine learning data, an image processing method comprising.
  • the fourteenth aspect it is possible to acquire first machine learning data for expanding the area of the extraction target as a conversion relationship from the first image to the second image. This enables image processing using the first machine learning data.
  • the same matters as the matters specified in the second to eighth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the machine learning data generation method can be grasped as the component of the image processing method carrying the processing or function corresponding thereto.
  • the machine learning data generation step includes a third image generation step of applying the first machine learning data to the second image to generate a third image
  • the machine learning data storage step stores the conversion relationship from the first image to the third image as second machine learning data
  • the image processing step performs image processing on the first image using the second machine learning data. It is good also as composition given.
  • the conversion relationship from the first image to the third image is generated and stored as second machine learning data. This makes it possible to perform image processing for extracting an extraction target with a wider area.
  • the image processing step may perform image processing on the second image using the first machine learning data.
  • the sixteenth aspect it is possible to perform image processing using the first machine learning data repeatedly, and to perform image processing for extracting an extraction target having a wider area.
  • An image processing program provides a computer with machine learning data generation means for generating machine learning data using an image including an extraction target having continuity, and machine learning data generated by the machine learning data generation means.
  • An image processing program that causes an image processing unit to perform image processing on an image to be processed using the image processing unit, the computer acquires an input image including an extraction target having continuity, and an input image First image processing for extracting an extraction target from the input image, first image generation means for generating a first image from which an extraction target is extracted from the input image, and second image processing for extracting an extraction target from the input image It is a second image applied to an input image and an extraction target extracted from the input image, and a second image having a larger extraction target area than the first image is generated.
  • the image processing program to function as a.
  • the same matters as the matters specified in the second to eighth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the machine learning data generation method can be grasped as a component of the image processing program carrying the processing or function corresponding thereto.
  • a seventeenth aspect is an image processing apparatus having at least one or more processors and at least one or more memories, wherein machine learning data is generated using an image including extraction objects having continuity.
  • An image processing apparatus that performs image processing on a processing target image using machine learning data, and the processor acquires an input image including an extraction target having continuity, and extracts an extraction target from the input image.
  • One image processing is applied to the input image, a first image in which the extraction target is extracted from the input image is generated, second image processing is performed on the input image to extract the extraction target from the input image, and the extraction target is extracted from the input image
  • a second image having a larger area to be extracted than the first image, and the memory stores the conversion relationship from the first image to the second image as first machine learning data It may grasped as an image processing location.
  • An eighteenth aspect is the image processing program according to the seventeenth aspect, wherein the machine learning data generation means comprises third image generation means for applying the first machine learning data to the second image to generate a third image,
  • the machine learning data storage means stores the conversion relationship from the first image to the third image as the second machine learning data, and the image processing means performs the image processing on the first image using the second machine learning data. It is good also as composition given.
  • An eighteenth aspect is the image processing device according to the seventeenth aspect, wherein the processor applies the first machine learning data to the second image to generate a third image, and the memory is configured to convert the first image to the third image.
  • the conversion relationship may be stored as second machine learning data, and the processor may perform image processing on the first image using the second machine learning data.
  • the image processing means may perform the image processing on the second image using the first machine learning data.
  • the processor may perform the image processing on the second image using the first machine learning data.
  • the image processing system includes a machine learning data generation unit that generates machine learning data using an image including an extraction target having continuity, and machine learning data generated using the machine learning data generation unit. And an image processing unit that performs image processing on the processing target image, and the machine learning data generation unit acquires an input image acquisition unit that acquires an input image including an extraction target having continuity, and an input image A first image generation unit that applies a first image processing for extracting an extraction target to the input image and generates a first image from which the extraction target is extracted from the input image; and a second image processing for extracting the extraction target from the input image A second image generation unit that generates a second image that is applied to the input image and in which the extraction target is extracted from the input image and the area of the extraction target is larger than the first image; Change to image And machine learning data storage unit for storing the relationship as the first machine learning data, an image processing system having a.
  • the same matters as the matters specified in the second to eighth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the machine learning data generation method can be grasped as a component of the image processing system carrying the processing or function corresponding thereto.
  • the machine learning data generation unit includes a third image generation unit that applies the first machine learning data to the second image to generate a third image.
  • the machine learning data storage unit stores the conversion relationship from the first image to the third image as second machine learning data, and the image processing unit performs image processing on the first image using the second machine learning data. It is good also as composition given.
  • the image processing unit may perform the image processing on the second image using the first machine learning data.
  • a server apparatus is a server apparatus included in an image processing system in which a server apparatus and a client apparatus are communicably connected via a network, and uses an image including an extraction target having continuity.
  • a machine learning data generation unit that generates machine learning data, and an image processing unit that performs image processing on a processing target image using the machine learning data generated using the machine learning data generation unit;
  • the machine learning data generation unit subjects the input image to an input image acquisition unit that acquires an input image including an extraction target having continuity, and first image processing that extracts an extraction target from the input image, and the extraction target is an input image
  • a first image generation unit for generating an extracted first image and a second image processing for extracting an extraction target from the input image are applied to the input image, and an extraction target is extracted from the input image
  • a second image generation unit that generates a second image that is two images and has a larger extraction target area than the first image, and a machine that stores the conversion relationship from the first image to the second image as first machine learning data And a learning data storage unit.
  • the same matters as the matters specified in the second to eighth aspects can be combined as appropriate.
  • the component carrying the process or function specified in the machine learning data generation method can be grasped as a component of the server apparatus carrying the process or function corresponding thereto.
  • a twenty-fourth aspect is the server device according to the twenty-third aspect, wherein the machine learning data generation unit includes a third image generation unit that applies the first machine learning data to the second image to generate a third image,
  • the learning data storage unit stores the conversion relationship from the first image to the third image as second machine learning data, and the image processing unit performs image processing on the first image using the second machine learning data. It is good also as composition.
  • the image processing unit may perform the image processing on the second image using the first machine learning data.
  • first machine learning data that expands the area of the extraction target as a conversion relationship from the first image to the second image.
  • a machine learning system or a machine learning system using the conversion relationship from the first image to the second image can be configured.
  • image processing using the first machine learning data is possible.
  • FIG. 1 is an explanatory view of an image processing method according to the first embodiment.
  • FIG. 2 is a conceptual diagram of machine learning data acquisition.
  • FIG. 3 is an explanatory view showing an example of an image obtained by using the image processing method according to the first embodiment.
  • FIG. 4 is an explanatory view showing a schematic configuration of the image processing method according to the first embodiment.
  • FIG. 5 is a block diagram showing a configuration example of an image processing system for realizing the image processing method according to the first embodiment.
  • FIG. 6 is a flowchart showing the procedure of the image processing method according to the first embodiment.
  • FIG. 7 is a block diagram showing a configuration example of machine learning data generation means in the case where different index values are used for two types of different parameters.
  • FIG. 8 is an explanatory view of morphological transformation.
  • FIG. 9 is a block diagram showing an application example to a client server type network system.
  • FIG. 10 is a flowchart showing the procedure of the image processing method according to the second embodiment.
  • FIG. 1 is an explanatory view of an image processing method according to the first embodiment.
  • the image processing method according to the present embodiment extracts an extraction target from an image including an extraction target having continuity.
  • crack detection of a concrete wall is illustrated.
  • a crack is an example of extraction object which has continuity.
  • Crack detection is an example of extraction of an extraction target.
  • the image 10 shown in FIG. 1 is an image obtained by imaging a concrete wall using an imaging device not shown in FIG.
  • the imaging device is shown in FIG.
  • the imaging device may apply an electronic camera capable of capturing a color image.
  • CCD is an abbreviation of Charge-Coupled Device and refers to a charge coupled device.
  • the color CCD linear image sensor is an image sensor in which light receiving elements provided with color filters of R, G and B colors are linearly arranged.
  • the above R represents red.
  • G above represents green.
  • B above represents blue.
  • CMOS is an abbreviation of Complementary Metal Oxide Semiconductor, and refers to a complementary metal oxide semiconductor.
  • the binarized image 20 shown in FIG. 1 is subjected to binarization processing by applying a first predetermined threshold value to the gradation value of the pixels constituting the image 10, and the crack 14 of the concrete wall 12 is generated. It is an image showing the detection result which detected.
  • the cracks 14 of the concrete wall 12 represented in the image 10 are substantially faithfully reproduced.
  • a plurality of pixels denoted by reference numeral 22 in the binarized image 20 are a pixel group corresponding to the crack 14 in the image 10.
  • the binarized image 30 includes a pixel group 32 in which pixel groups 22 in the binarized image 20 are grown and connected using a certain rule.
  • An example of hardware applied to a machine learning technique is a computer.
  • Examples of computer configurations include configurations provided with one or more processors and one or more memories.
  • the machine learning method prepares sets of about 10,000 to about 100,000 sets of correct images, learns the conversion relationship of the sets of correct images, and stores them as machine learning data. Then, processing of an image including an extraction target is performed using machine learning data.
  • the machine learning device holding the machine learning data may store the set of correct images as machine learning data, or may store an algorithm representing the conversion relationship of the set of correct images as machine learning data.
  • the present embodiment exemplifies a mode of storing a set of correct images as machine learning data.
  • FIG. 2 is a conceptual diagram of machine learning data acquisition.
  • a detector that can obtain different detection results according to parameters is used.
  • the detector is set to two different thresholds.
  • the detector performs a binarization process on the original image using two different thresholds.
  • a detector here is synonymous with the image processing apparatus which performs a binarization process.
  • Two binarized images generated from the original image are set as a set of correct images.
  • a set of correct images is acquired as learning data.
  • the illustration of the detector is omitted in FIG.
  • An example of a detector is illustrated in FIG. 7 with reference 302 or 304.
  • the original image 40 shown in FIG. 2 is an image obtained by imaging a concrete wall using an imaging device, similarly to the image 10 shown in FIG.
  • the thin line is an example of the extraction target from which different detection results are obtained according to the parameters.
  • the first image 50 shown in FIG. 2 is a binarized image of the original image 40 when the probability threshold is set to 30 percent and the minimum area is set to 100 pixels.
  • the second image 60 is a binarized image of the original image 40 when the probability threshold is set to 10 percent and the minimum area is set to 100 pixels.
  • the thin lines 54 of the first image 50 correspond to the cracks 44 of the original image 40.
  • thin lines 64 with the second image 60 correspond to the cracks 44 of the original image 40.
  • the first image 50 is an image in which the thin lines 54 corresponding to the cracks in the concrete wall are not connected as compared to the thin lines 64 of the second image.
  • the learning is performed to convert the first image 50 in which the thin line 54 is not connected to the second image 60 in which the thin line 64 is connected.
  • a set of correct images of the first image 50 and the second image 60 is acquired as machine learning data.
  • the probability threshold is a threshold to be applied to the tone value of the pixels constituting the original image.
  • the probability threshold value is a threshold value of the gradation value represented by a ratio to the maximum gradation value when the gradation value 0 is 0 percent and the maximum gradation value is 100 percent.
  • a first image 50 is obtained from the original image 40. If the probability threshold is set to 10 percent and the minimum area is set to 100 pixels, a second image 60 is obtained from the original image 40.
  • pixels having a gradation value of 30% or more of the maximum gradation value are assigned 1 of digital data represented using 0 and 1 .
  • pixels having tone values less than 30 percent of the maximum tone value are assigned 0 of digital data represented using 0 and 1.
  • the probability threshold is set to 10%, which will be described later.
  • the minimum area is a parameter used to eliminate noise when the original image 40 is binarized.
  • the minimum area represents the minimum number of pixels to be extracted as a line or plane.
  • the minimum area is set to 100 pixels, if the number of continuous pixels in any one direction is 100 pixels or more, it is extracted as a line.
  • the minimum area is set to 100 pixels, if the number of continuous pixels in any one direction is less than 100 pixels, it is not extracted as a line.
  • the minimum area represents the number of continuous pixels in a plurality of arbitrary directions in a pixel group to be extracted as a plane.
  • the minimum area for generating the first image 50 and the minimum area for generating the second image are the same.
  • the minimum area for generating the first image 50, and the second area The minimum area for generating the image may be different.
  • the probability threshold of 30% is an example of the first threshold.
  • the probability threshold 10% is an example of a second threshold below the first threshold.
  • the first image 50 is an example of a first quantized image.
  • the second image 60 is an example of a second quantized image.
  • One hundred pixels is an example of the number of pixels which is equal to or more than the minimum number of pixels.
  • FIG. 3 is an explanatory view showing an example of an image obtained by using the image processing method according to the first embodiment.
  • a learning device in which the first machine learning data is stored is applied.
  • the first machine learning data is illustrated in FIG.
  • the conversion relationship from the first image 50 to the third image 70 is learned to generate second machine learning data.
  • the second machine learning data is illustrated in FIG.
  • the relationship between the first image 50 and the third image 70 constituting the second machine learning data maintains the relationship of two types of binarized images generated from the original image 40 using two different types of probability threshold values. ing.
  • the second machine learning data is used to generate a fourth image in which the thin-line connection is better than the third image. Illustration of the fourth image is omitted in FIG.
  • the fourth image corresponds to a solid line image 3rd illustrated in FIG. 4 with reference numeral 110.
  • the conversion relationship between the first image 50 and the fourth image shown in FIG. 2 is learned to acquire third machine learning data (not shown).
  • the image denoted by reference numeral 80 in FIG. 3 is a resultant image obtained by repeatedly performing acquisition of machine learning data and image processing eight times.
  • Reference numeral 84 is a thin line in the resultant image 80.
  • FIG. 4 is an explanatory view showing a schematic configuration of the image processing method according to the first embodiment.
  • the image processing method shown in the present embodiment includes a learning image acquisition step, a machine learning data acquisition step, and an image processing step.
  • the learning image acquisition step S1 acquires a set of first correct images used for machine learning.
  • the first image 50 and the second image 60 shown in FIG. 2 can be mentioned.
  • the dotted line image 1st shown in FIG. 4 corresponds to the first image 50 shown in FIG.
  • the solid line image 1st shown in FIG. 4 corresponds to the second image 60 shown in FIG.
  • the first machine learning data acquisition step S10 learns the conversion relationship between the dotted line image 1st and the solid line image 1st, which are a set of first correct images, and acquires the first machine learning data 100.
  • the dotted line image 1st corresponds to the first image 50 shown in FIG.
  • the solid line image 1st corresponds to the second image 60 shown in FIG. 2 and FIG.
  • the learning 1st shown in FIG. 4 represents a first machine learning data acquisition step S10.
  • the first image processing step S12 uses the first machine learning data 100 to execute conversion processing from the solid line image 1st to the solid line image 2nd.
  • the evaluation 1st shown in FIG. 4 represents a first image processing step S12.
  • the solid line image 2nd corresponds to the third image 70 shown in FIG.
  • a third image 70 is generated in which the connection of thin lines is better than that of the second image 60 shown in FIG.
  • the second machine learning data acquisition step S14 shown in FIG. 4 learns the conversion relationship from the dotted line image 1st to the solid line image 2nd, and acquires the second machine learning data 102. That is, in the second machine learning data acquisition step S14, second machine learning data 102 for growing a thin line more than the first machine learning data 100 is acquired.
  • the learning 2nd shown in FIG. 4 represents a second machine learning data acquisition step S14.
  • the second image processing step S16 uses the second machine learning data 102 to perform conversion processing from the solid line image 1st to the solid line image 3rd.
  • the evaluation 2nd shown in FIG. 4 represents a second image processing step S16.
  • the solid-line image 3rd is an image in which the thin-line connection is better as compared to the solid-line image 2nd.
  • the solid line image 3 rd is illustrated with reference numeral 110.
  • the second image processing step S16 is an example of a third image generation step.
  • FIG. 4 illustrates an example in which the machine learning data acquisition process and the image processing process are repeatedly performed eight times.
  • the eighth machine learning data acquisition step S18 learns the conversion relationship from the dotted line image 1st to the solid line image 8th, and acquires eighth machine learning data 104.
  • the solid line image 8 th is illustrated with reference numeral 112.
  • the solid line image 8th is obtained by learning the conversion relationship from the solid line image 1st to the solid line image 7th (not shown) generated in the seventh image processing step (not shown).
  • the eighth image processing step S ⁇ b> 20 generates a solid line image 9 th from the solid line image 1 st using the eighth machine learning data 104.
  • the solid line image 9th shown in FIG. 4 corresponds to the result image 80 shown in FIG.
  • the resulting image 80 shown in FIG. 3 is an image in which most thin lines are connected.
  • this embodiment exemplifies a mode in which acquisition of machine learning data and image processing are repeatedly performed eight times, the number of times of acquisition of machine learning data and image processing can be set arbitrarily. is there.
  • It may include acquisition of machine learning data and a processing number setting step of setting the number of image processing.
  • the number of times setting step the number of times of image processing may be set manually while checking an image resulting from the image processing, or the number of times of image processing may be automatically set.
  • FIG. 5 is a block diagram showing a configuration example of an image processing system for realizing the image processing method according to the first embodiment.
  • the image processing system 202 illustrated in FIG. 5 includes an image data acquisition unit 204, a machine learning data acquisition unit 206, a machine learning data storage unit 208, an image processing unit 210, an image storage unit 212, an output unit 214, and a program storage unit 216. (Non-transitory and computer readable recording medium).
  • the image data acquisition unit 204 acquires image data of an imaging target captured using the imaging device 200.
  • An example of acquisition of image data using the image data acquisition unit 204 includes acquisition of image data representing the original image 40 shown in FIG.
  • the image data acquisition unit 204 performs image processing using the image processing unit 210 and reads out and acquires image data after image processing stored using the image storage unit 212 from the image storage unit 212.
  • image data representing a processing target image subjected to image processing using the image processing unit 210
  • the second image 60 shown in FIG. 3 which is the solid line image 1st shown in FIG. 4 can be mentioned.
  • a mode is also possible in which the first image data acquisition unit for acquiring machine learning data and the second image data acquisition unit for image processing are separately provided.
  • Data communication between the imaging apparatus 200 and the image data acquisition unit 204 may be wire communication, or may be wireless communication.
  • Examples of the image data acquisition unit 204 include a communication interface to which a predetermined standard is applied, a reader of a storage medium, and the like.
  • the image data acquisition unit 204 is an example of an input image acquisition unit and an input image acquisition unit.
  • the machine learning data acquisition unit 206 generates a set of correct images from the image data acquired using the image data acquisition unit 204, and acquires a set of correct images as machine learning data.
  • generation of a set of correct images using the machine learning data acquisition unit 206 generation of a first image 50 and a second image 60 using the original image 40 shown in FIG. 2 can be mentioned.
  • the second machine learning data acquisition step S14 illustrated in FIG. 4 may acquire, as machine learning data, a set of correct answer images including the dotted line image 1st and the solid line image 2nd.
  • the machine learning data acquisition unit 206 illustrated in FIG. 5 includes components whose first image generation unit and first image generation unit are examples.
  • the machine learning data acquisition unit 206 includes components whose second image generation unit and second image generation unit are examples.
  • the machine learning data acquisition unit 206 corresponds to a machine learning data generation unit and a machine learning data generation unit.
  • the machine learning data storage unit 208 illustrated in FIG. 5 stores machine learning data acquired using the machine learning data acquisition unit 206.
  • Examples of machine learning data stored in the machine learning data storage unit 208 include the first machine learning data 100, the second machine learning data 102, and the eighth machine learning data 104 illustrated in FIG.
  • the machine learning data storage unit 208 illustrated in FIG. 5 may be configured as a database that associates and stores parameters used in generating a set of correct images and a set of correct images.
  • the image processing unit 210 can read out the set of correct images from the machine learning data storage unit 208 using the parameter as an index.
  • the image processing unit 210 reads the machine learning data stored in the machine learning data storage unit 208, and the extraction object having continuity with the image data to be processed acquired using the image data acquiring unit 204.
  • Image processing to grow As an example of the image processing using the image processing unit 210, there is a process of growing a thin line, which is a conversion process from the second image 60 to the third image 70 shown in FIG.
  • the image processing unit 210 corresponds to an image processing unit.
  • the machine learning data storage unit 208 corresponds to a machine learning data storage unit.
  • the image storage unit 212 stores the resultant image subjected to the image processing using the image processing unit 210.
  • the image storage unit 212 may apply a storage device externally attached to the image processing system 202.
  • the output unit 214 reads out an image subjected to image processing using the image processing unit 210 from the image storage unit 212 and outputs the image.
  • Examples of the output unit 214 include a display device, a printer, and a data communication interface. That is, examples of output using the output unit 214 include display of an image processing result, printing of an image processing result, and output of data representing the image processing result.
  • the program storage unit 216 stores a machine learning data generation program and an image processing program.
  • the machine learning data acquisition unit 206 can read the machine learning data generation program from the program storage unit 216 and execute the machine learning data generation program.
  • the image processing unit 210 can read the image processing program from the program storage unit 216 and execute the image processing program.
  • a mode is also possible in which the machine learning data generation program storage unit storing the machine learning data generation program and the image processing program storage unit storing the image processing program are separately provided.
  • the various processing units shown in FIG. 5 may be expressed as processing units using English notation.
  • the processor may be expressed as processor using English notation.
  • the processing unit referred to herein includes a substantial processing unit that executes some kind of processing even if it is a component that does not use the name of the processing unit.
  • processors execute specific programs such as CPU that is a general-purpose processor that executes programs and functions as various processing units, PLD that is a processor that can change the circuit configuration after manufacturing an FPGA, etc., and ASIC, etc.
  • CPU that is a general-purpose processor that executes programs and functions as various processing units
  • PLD that is a processor that can change the circuit configuration after manufacturing an FPGA, etc.
  • ASIC etc.
  • a dedicated electric circuit which is a processor having a circuit configuration designed specifically for the purpose.
  • a program is synonymous with software.
  • FPGA is an abbreviation of Field Programmable Gate Array.
  • PLD is an abbreviation of Programmable Logic Device.
  • ASIC is an abbreviation of Application Specific Integrated Circuit.
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same or different types.
  • one processing unit may be configured by a plurality of FPGAs or a combination of a CPU and an FPGA.
  • a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by computers such as clients and servers; There is a form in which this processor functions as a plurality of processing units.
  • the various processing units are configured using one or more of the various processors as a hardware structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit combining circuit elements such as semiconductor elements.
  • SoC System On Chip in English, which is system-on-chip.
  • IC is an abbreviation of the English notation Integrated Circuit for integrated circuit. Electrical circuits are sometimes expressed as circuitry using English notation.
  • the image data acquisition unit 204, the machine learning data acquisition unit 206, and the machine learning data storage unit 208 in the image processing system 202 illustrated in FIG. 5 may be components of a machine learning data generation system.
  • the machine learning data storage unit 208 may be external to the machine learning data generation system.
  • the image processing system 202 illustrated in FIG. 5 can be configured using a computer and a program executed using the computer. That is, the functions of the image processing system 202 shown in FIG. 5 include a computer, an image data acquisition unit 204, a machine learning data acquisition unit 206, a machine learning data storage unit 208, an image processing unit 210, an image storage unit 212, and an output. This can be realized using an image processing program that causes the unit 214 to function.
  • the image data acquisition unit 204, the machine learning data acquisition unit 206, and the machine learning data storage unit 208 are configured using a computer and a program executed using the computer. It is also good. That is, the function of generating machine learning data in the image processing system 202 shown in FIG. 5 is machine learning data that causes a computer to function as the image data acquisition unit 204, machine learning data acquisition unit 206, and machine learning data storage unit 208. It can be realized using a generation program.
  • FIG. 6 is a flowchart showing the procedure of the image processing method according to the first embodiment.
  • original image data representing an original image is acquired using the image data acquisition unit 204 shown in FIG.
  • the original image is an example of the input image.
  • the original image acquisition step S100 is an example of the input image acquisition step.
  • the process proceeds to the parameter setting step S102.
  • the parameter setting step S102 using the machine learning data acquisition unit 206 shown in FIG. 5, two different types of parameters to be applied when generating a set of correct images from the original image data are set.
  • Examples of two different parameters include a probability threshold of 30 percent and a probability threshold of 10 percent.
  • the probability threshold value and the minimum area are set as parameters. However, when the probability threshold values are different, the minimum area may be set to the same value.
  • the process proceeds to the first image generation step S104.
  • the first image generation step S104 one of the parameters is applied to the original image using the machine learning data acquisition unit 206 shown in FIG. 5 to generate one of the correct images forming the set of correct images.
  • the process proceeds to the second image generation step S106.
  • the second image generation step S106 using the machine learning data acquisition unit 206 shown in FIG. 5, the other parameter is applied to the original image to generate the other correct image forming the set of correct images.
  • machine learning data storage step S108 a set of correct images composed of the first image generated in the first image generation step S104 and the second image generated in the second image generation step S106 is used as machine learning data. It is stored in the machine learning data storage unit 208 shown in FIG.
  • the first image is the first image 50 shown in FIG.
  • the second image is the second image 60 shown in FIG.
  • the first image whose reference numeral is omitted shows the first image 50 shown in FIG.
  • the second image without the reference numeral shows the second image 60 shown in FIG.
  • the first image generation step S104 and the second image generation step S106 are examples of components of the machine learning data generation step.
  • the process proceeds to the image processing step S110.
  • image processing step S110 image processing for expanding the area of the extraction target is executed using the machine learning data stored in the machine learning data storage step S108.
  • the image processing step S110 is performed using the image processing unit 210 of FIG.
  • the relearning execution determination step S112 it is determined whether relearning is to be performed.
  • the relearning execution condition is a case where a plurality of times of learning execution is set, and is a case where an image of a result of image processing using machine learning data already stored is generated.
  • the number of times of learning execution is set, the case where the number of times of learning is not set may be included. If the number of times of learning is not set, it may be determined manually whether or not relearning is necessary.
  • the determination is No. In the case of the No determination, the procedure of the machine learning data generation method is ended. On the other hand, if the relearning execution condition is satisfied in the relearning execution determination step S112, the determination is Yes. In the case of a Yes determination, the process proceeds to an image processing result reading step S114.
  • the image resulting from the image processing is read out from the image storage unit 212 shown in FIG.
  • An example of the image resulting from the image processing is the third image 70 shown in FIG. 3, which is the solid line image 2nd shown in FIG.
  • machine learning data regeneration step S116 the first image generated in the first image generation step S104 and the image resulting from the image processing read out in machine learning data regeneration step S116 are generated as a set of correct images Do.
  • the process proceeds to the machine learning data storage step S108.
  • the machine learning data storage step S108 in the machine learning data regeneration step S116, a set of correct images generated as new machine learning data is stored in the machine learning data storage unit 208 shown in FIG.
  • the machine learning data regeneration step S116 is performed using the machine learning data acquisition unit 206 shown in FIG.
  • the machine learning data acquisition unit 206 includes components that take a third image generation unit and a third image generation unit as an example.
  • the new machine learning data may be used to update the already stored machine learning data, or the new machine learning data may be stored separately from the already stored machine learning data.
  • the first image and the second image generated using the original image are a set of correct images which are first machine learning data.
  • the image generated in the machine learning data regeneration step S116 and the first image are a set of correct images which are second machine learning data. In this way, it is possible to configure a machine learning data generation method capable of updating machine learning data using an image resulting from image processing using machine learning data.
  • machine image data is repeatedly generated using an image resulting from the image processing.
  • Machine learning data generation and image processing are repeatedly executed. As a result, an image as a result of further growing the extraction target is obtained.
  • the aspect which makes the line of a binarized image extraction object was illustrated.
  • the extraction target is not limited to the line, and a surface may be the extraction target. Also, lines and faces may be extracted. That is, the extraction target can be at least one of a line and a surface.
  • the index for setting the parameter is a tone value
  • two different types of probability threshold values are applied as two different parameters for the tone value to generate a set of correct images.
  • the parameters may be set for different indicators.
  • the first image 50 is generated by applying the probability threshold of 30% to the original image 40 shown in FIG. 2, and the second image is generated by applying the probability threshold of 10% to the original image 40
  • the parameters of the example for generating the image 60 are shown.
  • a probability threshold value is applied as a first parameter to generate a first image
  • an area is applied as a second parameter to generate a second image
  • the first image and the second image are correct
  • the example acquired as a set of images is shown.
  • the first image here indicates one of the images constituting the set of correct images.
  • the second image points to the other image that makes up the set of correct images.
  • the numerical values described in Table 2 above are examples, and the numerical values of each parameter are determined such that the conversion relationship from the first image to the second image is a conversion relationship that expands the area of the extraction target.
  • the concept of area in Table 2 above includes the concept of length.
  • FIG. 7 is a block diagram showing a configuration example of machine learning data generation means in the case where different indexes are used for two different types of parameters.
  • the machine learning data acquisition unit 300 illustrated in FIG. 7 includes a first detector 302 and a second detector 304.
  • the machine learning data acquisition unit 300 illustrated in FIG. 7 may be a component of the machine learning data acquisition unit 206 illustrated in FIG.
  • the first detector 302 has a probability threshold of 30 percent and the second detector 304 has an area threshold of 10 pixels.
  • An original image 310 is converted into a first image using a first detector 302.
  • the first image in FIG. 7 is illustrated with reference numeral 312 for convenience.
  • the second image in FIG. 7 is illustrated with reference numeral 314 for convenience.
  • the original image 310 is converted to a second image.
  • the first detector 302 is set to an area threshold value 0 pixel
  • the second detector is set to a probability threshold value 0%.
  • first parameter one of two different types of parameters is used as a first parameter, and the other parameter is used as a second parameter.
  • An image obtained by performing image processing using the first parameter is used as a first image, and a second image obtained by performing image processing using the second parameter.
  • the conversion relationship from the first image to the second image is a conversion relationship that expands the area of the extraction target.
  • FIG. 8 is an explanatory view of morphological transformation.
  • the morphological transformation shown in FIG. 8 is an expansion process for applying the structured image 402 to the original image 400 to obtain a resultant image 404.
  • One of the two different structured images is taken as a first structured image and the other as a second structured image. It is assumed that the image resulting from the dilation processing using the second structured image expands the area of the extraction target in comparison with the image resulting from the dilation processing using the first structured image.
  • the first structured image may not be dilated.
  • the two different parameters are not limited to the parameters exemplified here.
  • the conversion relationship from the first image processed by using the first parameter to the second image processed by using the second parameter may be an expansion of the area to be extracted.
  • Another example of the extraction target is a hole in a concrete wall. Holes in concrete walls are two-dimensional damage in concrete walls. The cracks in the concrete wall are one-dimensional damage in the concrete wall. A crack in a concrete wall is an example of a defect in any surface of an imaging target.
  • Examples of objects to be extracted other than damage to concrete walls include damage to rebars and damage to metal structures such as metal walls. Cracks, holes, and rust are examples of damage to metal structures. Cracks, holes, and rust in metal structures are other examples of defects in any surface of the imaging object.
  • extraction target examples include blood vessels and nerves in a captured image of an animal acquired using an endoscopic device.
  • Other examples of the extraction target include roads and rivers in satellite images captured using an imaging device mounted on a artificial satellite.
  • Other examples of the extraction target include a scene in which a part is shielded using a shielding material such as a blind.
  • the extraction target may be a component having continuity, and the imaging target and the components in the imaging target are not limited to the descriptions in the present embodiment.
  • FIG. 9 is a block diagram showing an application example to a client server type network system.
  • the image processing system 500 shown in FIG. 9 includes a server device 502 and one or more client devices.
  • FIG. 9 illustrates a first client device 504, a second client device 506, and a third client device 508 as client devices.
  • the server device 502 is communicably connected to the first client device 504, the second client device 506, and the third client device 508 via the network 510.
  • the network 510 can apply any communication network such as a public communication network and a local area network.
  • the local area network may be expressed as LAN, which is an abbreviation of English language Local Area Network.
  • Data communication between the server apparatus 502 and the network 510 may apply wired data communication or wireless data communication.
  • data communication between the client device and the network 510 may apply wired data communication or wireless data communication.
  • Data communication between the client device and the network 510 may apply the same format as data communication between the server apparatus 502 and the network 510, or may apply different format.
  • the client device is a generic name of the first client device 504, the second client device 506, and the third client device 508 shown in FIG.
  • the term client device may refer to any one of the first client device 504, the second client device 506, and the third client device 508.
  • the server apparatus 502 shown in FIG. 9 is configured using one or more computers.
  • the server apparatus 502 can apply hardware that implements the functions of the image processing system 202 illustrated in FIG. 5.
  • an example including the functional block for acquiring the machine learning data shown in FIG. 5 and the functional block for executing the image processing can be mentioned.
  • the server device 502 may include a storage device in which a database for realizing the function of the machine learning data storage unit 208 illustrated in FIG. 5 is stored.
  • the server device 502 may include a storage device that implements the function of the image storage unit 212 illustrated in FIG. 5.
  • the storage device may be built in the server device 502 shown in FIG. 9, or the storage device may be externally attached to the server device 502.
  • the server device 502 includes a communication interface.
  • the server device 502 is connected to the network 510 using a communication interface.
  • the server device 502 includes a program storage unit.
  • the client device includes an image data transmission unit that transmits image data to the server device 502.
  • the client device comprises a communication interface.
  • the client device is connected to the network 510 using a communication interface.
  • FIG. 9 illustrates a computer as an example of the client device, the client device may apply a portable terminal device.
  • FIG. 10 is a flowchart showing the procedure of the image processing method according to the second embodiment.
  • the image processing method according to the second embodiment repeatedly uses machine learning data composed of the first image generated in the first image generation step S104 and the second image generated in the second image generation step S106. Execute image processing to expand the area of the extraction target.
  • the process proceeds to a relearning execution determination step S112.
  • the processing in the relearning execution determination step S112 is the same as the relearning execution determination step S112 shown in FIG. 6, and the description thereof is omitted here.
  • the determination is No. If the determination is No, the procedure of the image processing method is ended. On the other hand, if the relearning execution condition is satisfied in the relearning execution determination step S112, the determination is Yes. In the case of a Yes determination, the process proceeds to an image processing result reading step S114.
  • the processing in the image processing result reading step S114 is the same as the image processing result reading step S114 shown in FIG. Here, the description of the image processing result reading step S114 is omitted. After the image processing result reading step S114, the process proceeds to the image processing step S110.
  • image processing is performed using the first machine learning data on an image resulting from the previous image processing. That is, the first machine learning data is repeatedly used, and image processing is performed on the resultant image obtained in the image processing step S110.
  • the image processing step S110, the relearning execution determination step S112, and the image processing result reading step S114 are repeatedly executed until the determination is No in the relearning execution determination step S112.
  • Binarization processing is an example of quantization processing.
  • the quantization process performed on an image having three or more gradation numbers using one predetermined threshold corresponds to a binarization process.

Abstract

連続性がある抽出対象を成長させる学習を実現する機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システムを提供する。連続性を有する抽出対象(44)を含む入力画像(40)を取得し、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象(54)が抽出された第一画像(50)を生成し、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象(64)が抽出された第二画像(60)であり、第一画像よりも抽出対象の面積が大きい第二画像を生成し、第一画像から第二画像への変換関係を機械学習データとして記憶する。

Description

機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システム
 本発明は機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システムに係り、特に機械学習データ生成技術に関する。
 人に代わって、特定の部位を機械に検出させたいことがある。例えば、検出対象がコンクリート壁のひび割れの場合、撮像装置を用いてコンクリート壁を撮像して得られた画像に基づき、コンクリート壁のひび割れを機械に自動検出させることが可能である。
 機械を用いた検出対象の自動検出では、複数のサンプル画像を用いて検出対象についての学習を行う機械学習器が用いられる。機械学習器を用いた学習結果として得られる機械学習データを利用して検出対象の検出が行われる。
 特許文献1は、良品であるか不良品であるかが未知の検査対象について、外観の良否を判定する良否判定装置が記載されている。特許文献1に記載の良否判定装置は、学習ステップにおいて、一つの対象について照明条件を変えて複数の学習画像を作成している。
 特許文献1に記載の良否判定装置は、検査ステップにおいて、学習ステップと同じ照明条件を適用して対象を撮像して検査用画像を生成して、対象の傷、及び打痕等の欠陥、並びに塗装むら等の欠陥を検出している。
 特許文献2は、複数の学習サンプルを与えて判別ルールを自動作成させる画像認識装置が記載されている。特許文献2に記載の画像認識装置は、元になる学習サンプル画像に対して学習サンプルの画像グループの範囲内の変動を与えて、複数の学習サンプル画像を生成している。
特開2017-49974号公報 特開平7-21367号公報
 機械を用いた自動検出では、検出対象を撮像した画像における抽出対象を忠実に抽出する。一方、コンクリート壁のひび割れなどの連続性がある抽出対象を抽出する場合、画像において非連続の抽出対象を成長させて、連続した抽出対象として抽出したい場合があり得る。コンクリート壁のひび割れの例では、コンクリート壁の撮像画像において非連続のひび割れを成長させて、連続したひび割れとして抽出した場合があり得る。
 しかしながら、コンクリート壁のひび割れが繋がっているように、連続性のある抽出対象を成長させて抽出することは困難である。このような抽出対象の抽出には機械学習の手法が用いられるが、正解の組が大量に必要となる。大量の正解の組は人手を用いて作成しなければならず、多大な手間、及び長期の作成期間を要する。
 特許文献1に記載の発明、及び特許文献2に記載の発明は、上記した課題に着目するものではなく、特許文献1に記載の発明、及び特許文献2に記載の発明は、上記した課題を解決するための構成を備えていない。
 また、特許文献1に記載の発明は、傷、及び打痕などの有無を判定するものであり、連続性がある抽出対象を成長させる学習を実現するものではない。更に、特許文献2に記載の発明は、入力画像を分類する判別ルールの学習であり、連続性がある抽出対象を成長させる学習を実現するものではない。
 本発明はこのような事情に鑑みてなされたもので、連続性がある抽出対象を成長させる学習を実現する機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システムを提供することを目的とする。
 上記目的を達成するために、次の発明態様を提供する。
 第1態様に係る機械学習データ生成方法は、連続性を有する抽出対象を含む入力画像を取得する入力画像取得工程と、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成する第一画像生成工程と、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成工程と、第一画像から第二画像への変換関係を機械学習データとして記憶する機械学習データ記憶工程と、を含む機械学習データ生成方法である。
 第1態様によれば、第一画像から第二画像への変換関係として抽出対象の面積を拡張させる第一機械学習データの取得が可能である。これにより、第一画像から第二画像への変換関係を用いた機械学習システムを構成し得る。
 連続性を有する抽出対象とは、二以上の画素が一以上の任意の方向へ連続する画素群として把握され得る。
 抽出対象の面積は、抽出対象が線の場合の線の長さが含まれる。すなわち、抽出対象の面積を拡張させるという概念は、線の長さを延長するという概念が含まれる。
 第2態様は、第1態様の機械学習データ生成方法において、抽出対象は、線、及び面の少なくともいずれか一方である構成としてもよい。
 第2態様によれば、線、及び面の少なくともいずれか一方を成長させる機械学習データの生成が可能である。
 線は、任意の一方向について二以上の画素が連続する画素群である。任意の一方向は、連続的に変化してもよいし、不連続に変化してもよい。面は、二以上の任意の方向について、二以上の画素が連続する画素群である。
 第3態様は、第1態様又は第2態様の機械学習データ生成方法において、第二画像に対して第一機械学習データを適用して第三画像を生成する第三画像生成工程を含み、機械学習データ記憶工程は、第一画像から第三画像への変換関係を第二機械学習データとして記憶する構成としてもよい。
 第3態様によれば、第一画像から第三画像への変換関係を第二機械学習データとして生成し、記憶する。これにより、面積をより広く拡張させた抽出対象の抽出が可能となる。
 第4態様は、第1態様から第3態様のいずれか一態様の機械学習データ生成方法において、第一画像生成工程は、入力画像の階調に対して第一閾値を適用して、入力画像を量子化した第一量子化画像を生成し、第二画像生成工程は、入力画像の階調に対して第一閾値未満の第二閾値を適用して、入力画像を量子化した第二量子化画像を生成する構成としてもよい。
 第4態様によれば、抽出される階調が異なる量子化画像である、第一画像、及び第二画像を用いて、第一機械学習データを生成することが可能である。
 階調は、濃度、及び画素値などの概念が含まれ得る。
 量子化処理は、一つの任意の閾値を用いて多階調を用いて表された画像を二値化画像へ変換する二値化処理が含まれる。量子化画像は二値化画像が含まれる。
 第5態様は、第4態様の機械学習データ生成方法において、第一閾値、及び第二閾値は、階調値0を0パーセントとし最大階調を100パーセントとする0パーセントから100パーセントまでの数値を用いて表される構成としてもよい。
 第5態様によれば、階調値0から最大階調値までの任意の階調値を第一閾値、及び第二閾値として設定し得る。
 第6態様は、第4態様又は第5態様の機械学習データ生成方法において、第一画像生成工程は、予め定められた最小画素数以上の画素数を有する抽出対象を抽出する構成としてもよい。
 第6態様によれば、第一画像生成工程において、最小画素数未満の画素群を抽出対象から除外することが可能である。これにより、第一画像からノイズ成分の除去が可能である。
 第7態様は、第4態様から第6態様のいずれか一態様の機械学習データ生成方法において、第二画像生成工程は、予め定められた最小画素数以上の画素数を有する抽出対象を抽出する構成としてもよい。
 第7態様によれば、第二画像生成工程において、最小画素数未満の画素群を抽出対象から除外することが可能である。これにより、第二画像からノイズ成分の除去が可能である。
 第8態様は、第1態様から第7態様のいずれか一態様の機械学習データ生成方法において、入力画像取得工程は、撮像対象の任意の面を撮像した画像を入力画像として取得し、第一画像生成工程、及び第二画像生成工程は、撮像対象の任意の面における欠陥を抽出対象として抽出する構成としてもよい。
 第8態様によれば、撮像対象の任意の面における欠陥を成長させて抽出することが可能である。
 撮像対象の任意の面の一例として、建築物の壁が挙げられる。撮像対象の任意の面の欠陥の一例として、建築物の壁のひび、及び穴などが挙げられる。
 第9態様に係る機械学習データ生成プログラムは、コンピュータを、連続性を有する抽出対象を含む入力画像を取得する入力画像取得手段、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成する第一画像生成手段、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成手段、及び第一画像から第二画像への変換関係を機械学習データとして記憶する機械学習データ記憶手段として機能させる機械学習データ生成プログラムである。
 第9態様によれば、第1態様と同様の作用効果を得ることが可能である。
 第9態様において、第2態様から第8態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、機械学習データ生成方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う機械学習データ生成プログラムの構成要素として把握することができる。
 第9態様は、少なくとも一つ以上のプロセッサと、少なくとも一つ以上のメモリとを有する機械学習データ生成装置であって、プロセッサは、連続性を有する抽出対象を含む入力画像を取得し、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成し、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成し、メモリは、第一画像から第二画像への変換関係を機械学習データとして記憶する機械学習データ生成装置として把握し得る。
 第10態様に係る機械学習データ生成システムは、連続性を有する抽出対象を含む入力画像を取得する入力画像取得部と、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成する第一画像生成部と、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成部と、第一画像から第二画像への変換関係を機械学習データとして記憶する機械学習データ記憶部と、を備えた機械学習データ生成システムである。
 第10態様によれば、第1態様と同様の作用効果を得ることが可能である。
 第10態様において、第2態様から第8態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、機械学習データ生成方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う機械学習データ生成システムの構成要素として把握することができる。
 第11態様は、第10態様の機械学習データ生成システムにおいて、サーバ装置と、ネットワークを介してサーバ装置と通信可能に接続されるクライアント装置と、を備え、サーバ装置は、入力画像取得部、第一画像生成部、第二画像生成部、及び機械学習データ記憶部を備えた構成としてもよい。
 第11態様によれば、ネットワークを介して通信可能に接続されたサーバ装置、及びクライアント装置を備えた機械学習データ生成システムにおいて、サーバ装置は、第一画像から第二画像への変換関係として抽出対象の面積を拡張させる第一機械学習データの取得が可能である。
 第12態様は、第11態様の機械学習データ生成システムにおいて、クライアント装置は、サーバ装置へ入力画像を送信する送信部を備えた構成としてもよい。
 第12態様によれば、クライアント装置は、サーバ装置へ入力画像を送信することが可能である。
 第13態様に係るサーバ装置は、ネットワークを介してサーバ装置とクライアント装置とが通信可能に接続される機械学習データ生成システムに具備されるサーバ装置であって、連続性を有する抽出対象を含む入力画像を取得する入力画像取得部と、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成する第一画像生成部と、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成部と、第一画像から第二画像への変換関係を機械学習データとして記憶する機械学習データ記憶部と、を備えたサーバ装置である。
 第13態様によれば、第1態様と同様の作用効果を得ることが可能である。
 第13態様において、第2態様から第8態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、機械学習データ生成方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うサーバ装置の構成要素として把握することができる。
 第14態様に係る画像処理方法は、連続性を有する抽出対象を含む画像を用いて機械学習データを生成する機械学習データ生成工程と、機械学習データ生成工程において生成された機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理工程と、を含み、機械学習データ生成工程は、連続性を有する抽出対象を含む入力画像を取得する入力画像取得工程と、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成する第一画像生成工程と、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成工程と、第一画像から第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶工程と、を含む画像処理方法である。
 第14態様によれば、第一画像から第二画像への変換関係として抽出対象の面積を拡張させる第一機械学習データの取得が可能である。これにより、第一機械学習データを用いた画像処理が可能である。
 第14態様において、第2態様から第8態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、機械学習データ生成方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。
 第15態様は、第14態様の画像処理方法において、機械学習データ生成工程は、第二画像に対して第一機械学習データを適用して第三画像を生成する第三画像生成工程を含み、機械学習データ記憶工程は、第一画像から第三画像への変換関係を第二機械学習データとして記憶し、画像処理工程は、第二機械学習データを用いて第一画像に対して画像処理を施す構成としてもよい。
 第15態様によれば、第一画像から第三画像への変換関係を第二機械学習データとして生成し、記憶する。これにより、面積をより広く拡張させた抽出対象を抽出する画像処理が可能となる。
 第16態様は、第14態様の画像処理方法において、画像処理工程は、第一機械学習データを用いて第二画像に対して画像処理を施す構成としてもよい。
 第16態様によれば、第一機械学習データを用いた画像処理を繰り返し実行して、面積をより広く拡張させた抽出対象を抽出する画像処理が可能となる。
 第17態様に係る画像処理プログラムは、コンピュータを、連続性を有する抽出対象を含む画像を用いて機械学習データを生成する機械学習データ生成手段、及び機械学習データ生成手段において生成された機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理手段として機能させる画像処理プログラムであって、コンピュータを、連続性を有する抽出対象を含む入力画像を取得する入力画像取得手段、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成する第一画像生成手段、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成手段、及び第一画像から第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶手段、として機能させる画像処理プログラムである。
 第17態様によれば、第14態様と同様の作用効果を得ることが可能である。
 第17態様において、第2態様から第8態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、機械学習データ生成方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理プログラムの構成要素として把握することができる。
 第17態様は、少なくとも一つ以上のプロセッサと、少なくとも一つ以上のメモリとを有する画像処理置であり、連続性を有する抽出対象を含む画像を用いて機械学習データを生成し、生成された機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理装置であって、プロセッサは、連続性を有する抽出対象を含む入力画像を取得し、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成し、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成し、メモリは、第一画像から第二画像への変換関係を第一機械学習データとして記憶する画像処理置として把握し得る。
 第18態様は、第17態様の画像処理プログラムにおいて、機械学習データ生成手段は、第二画像に対して第一機械学習データを適用して第三画像を生成する第三画像生成手段を備え、機械学習データ記憶手段は、第一画像から第三画像への変換関係を第二機械学習データとして記憶し、画像処理手段は、第二機械学習データを用いて第一画像に対して画像処理を施す構成としてもよい。
 第18態様によれば、第15態様と同様の作用効果を得ることが可能である。
 第18態様は、第17態様の画像処理装置において、プロセッサは、第二画像に対して第一機械学習データを適用して第三画像を生成し、メモリは、第一画像から第三画像への変換関係を第二機械学習データとして記憶し、プロセッサは、第二機械学習データを用いて第一画像に対して画像処理を施す構成としてもよい。
 第19態様は、第17態様の画像処理プログラムにおいて、画像処理手段は、第一機械学習データを用いて第二画像に対して画像処理を施す構成としてもよい。
 第19態様によれば、第16態様と同様の作用効果を得ることが可能である。
 第19態様は、第17態様の画像処理装置において、プロセッサは、第一機械学習データを用いて第二画像に対して画像処理を施す構成としてもよい。
 第20態様に係る画像処理システムは、連続性を有する抽出対象を含む画像を用いて機械学習データを生成する機械学習データ生成部と、機械学習データ生成部を用いて生成された機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理部と、を備え、機械学習データ生成部は、連続性を有する抽出対象を含む入力画像を取得する入力画像取得部と、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成する第一画像生成部と、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成部と、第一画像から第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶部と、を備えた画像処理システムである。
 第20態様によれば、第14態様と同様の作用効果を得ることが可能である。
 第20態様において、第2態様から第8態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、機械学習データ生成方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理システムの構成要素として把握することができる。
 第21態様は、第20態様の画像処理システムにおいて、機械学習データ生成部は、第二画像に対して第一機械学習データを適用して第三画像を生成する第三画像生成部を備え、機械学習データ記憶部は、第一画像から第三画像への変換関係を第二機械学習データとして記憶し、画像処理部は、第二機械学習データを用いて第一画像に対して画像処理を施す構成としてもよい。
 第21態様によれば、第15態様と同様の作用効果を得ることが可能である。
 第22態様は、第20態様の画像処理システムにおいて、画像処理部は、第一機械学習データを用いて第二画像に対して画像処理を施す構成としてもよい。
 第22態様によれば、第16態様と同様の作用効果を得ることが可能である。
 第23態様に係るサーバ装置は、ネットワークを介してサーバ装置とクライアント装置とが通信可能に接続される画像処理システムに具備されるサーバ装置であって、連続性を有する抽出対象を含む画像を用いて機械学習データを生成する機械学習データ生成部と、機械学習データ生成部を用いて生成された機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理部と、を備え、機械学習データ生成部は、連続性を有する抽出対象を含む入力画像を取得する入力画像取得部と、入力画像から抽出対象を抽出する第一画像処理を入力画像に施し、入力画像から抽出対象が抽出された第一画像を生成する第一画像生成部と、入力画像から抽出対象を抽出する第二画像処理を入力画像に施し、入力画像から抽出対象が抽出された第二画像であり、第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成部と、第一画像から第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶部と、を備えたサーバ装置である。
 第23態様によれば、第14態様と同様の作用効果を得ることが可能である。
 第23態様において、第2態様から第8態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、機械学習データ生成方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うサーバ装置の構成要素として把握することができる。
 第24態様は、第23態様のサーバ装置において、機械学習データ生成部は、第二画像に対して第一機械学習データを適用して第三画像を生成する第三画像生成部を備え、機械学習データ記憶部は、第一画像から第三画像への変換関係を第二機械学習データとして記憶し、画像処理部は、第二機械学習データを用いて第一画像に対して画像処理を施す構成としてもよい。
 第24態様によれば、第15態様と同様の作用効果を得ることが可能である。
 第25態様は、第23態様のサーバ装置において、画像処理部は、第一機械学習データを用いて第二画像に対して画像処理を施す構成としてもよい。
 第25態様によれば、第16態様と同様の作用効果を得ることが可能である。
 本発明によれば、第一画像から第二画像への変換関係として抽出対象の面積を拡張させる第一機械学習データの取得が可能である。これにより、第一画像から第二画像への変換関係を用いた機械学習システム、又は機械学習システムを構成し得る。また、第一機械学習データを用いた画像処理が可能である。
図1は第一実施形態に係る画像処理方法の説明図である。 図2は機械学習データ取得の概念図である。 図3は第一実施形態に係る画像処理方法を用いて得られた画像の一例を示す説明図である。 図4は第一実施形態に係る画像処理方法の概略構成を示す説明図である。 図5は第一実施形態に係る画像処理方法を実現する画像処理システムの構成例を示すブロック図である。 図6は第一実施形態に係る画像処理方法の手順の流れを示すフローチャートである。 図7は二種類の異なるパラメータに異なる指標値が用いられる場合の機械学習データ生成手段の構成例を示すブロック図である。 図8はモルフォロジー変換の説明図である。 図9はクライアントサーバ型ネットワークシステムへの適用例を示すブロック図である。 図10は第二実施形態に係る画像処理方法の手順の流れを示すフローチャートである。
 以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
 [第一実施形態に係る画像処理方法の説明]
 <概要>
 図1は第一実施形態に係る画像処理方法の説明図である。本実施形態に係る画像処理方法は、連続性を有する抽出対象を含む画像から抽出対象を抽出する。本実施形態ではコンクリート壁のひび割れ検出を例示する。ひび割れは、連続性を有する抽出対象の一例である。ひび割れ検出は抽出対象の抽出の一例である。
 図1に示した画像10は、図1に図示しない撮像装置を用いてコンクリート壁を撮像して得られた画像である。撮像装置は符号200を付して図5に図示する。撮像装置は、カラー画像の撮像が可能な電子カメラを適用してもよい。
 電子カメラに具備される撮像デバイスの例として、カラーCCDリニアイメージセンサが挙げられる。CCDは、Charge-Coupled Deviceの省略語であり、電荷結合素子を指す。
 カラーCCDリニアイメージセンサはR、G、及びB各色のカラーフィルタを備えた受光素子が直線状に配列したイメージセンサである。上記のRは赤を表す。上記のGは緑を表す。上記のBは青を表す。
 カラーCCDリニアイメージセンサに代えて、カラーCMOSリニアイメージセンサを用いることもできる。CMOSは、Complementary Metal Oxide Semiconductorの省略語であり、相補型金属酸化膜半導体を指す。
 図1に示した二値化画像20は、画像10を構成する画素の階調値に対して、予め定められた第一閾値を適用して二値化処理を施し、コンクリート壁12のひび割れ14を検出した検出結果を表す画像である。二値化画像20は、画像10に表されたコンクリート壁12のひび割れ14が概ね忠実に再現されている。二値化画像20において符号22を付した複数の画素は、画像10におけるひび割れ14に相当する画素群である。
 一方、ユーザは、二値化画像20において、画像10のひび割れ14が繋がったような検出結果を取得したい場合がある。二値化画像30は、二値化画像20における画素群22を一定の規則を用いて成長させて繋げた画素群32が含まれている。
 画像10を用いて二値化画像30を生成するには、機械学習の手法を適用して実現することが可能である。機械学習の手法に適用されるハードウェアの例として、コンピュータが挙げられる。コンピュータの構成例として、一つ以上のプロセッサ、及び一つ以上のメモリを備える構成が挙げられる。
 機械学習の手法は、一万組から十万組程度の正解画像の組を準備しておき、正解画像の組の変換関係を学習し、機械学習データとして記憶しておく。そして、機械学習データを利用して、抽出対象を含む画像の処理を実行する。機械学習データを保持する機械学習器は、正解画像の組を機械学習データとして記憶してもよいし、正解画像の組の変換関係を表すアルゴリズムを機械学習データとして記憶してもよい。本実施形態では、正解画像の組を機械学習データとして記憶する態様を例示する。
 <機械学習データの取得>
 図2は機械学習データ取得の概念図である。機械学習データの取得には、パラメータに応じて相違する検出結果が得られる検出器を用いる。検出器は二つの異なる閾値が設定される。検出器は、二つの異なる閾値を用いて元画像に対して二値化処理を実行する。ここでいう検出器は、二値化処理を実行する画像処理装置と同義である。
 元画像から生成された二つの二値化画像を正解画像の組とする。正解画像の組を学習データとして取得する。図2では、検出器の図示を省略する。検出器の一例を、符号302、又は符号304を付して図7に図示する。
 以下に、確率閾値を用いて細線を検出する例について説明する。図2に示した元画像40は、図1に示した画像10と同様に、撮像装置を用いてコンクリートの壁を撮像した画像である。細線とは、パラメータに応じて相違する検出結果が得られる抽出対象の一例である。
 図2に示した第一画像50は、確率閾値を30パーセントと設定し、かつ、最小面積を100ピクセルと設定した場合の元画像40の二値化画像である。第二画像60は、確率閾値を10パーセントと設定し、かつ、最小面積を100ピクセルと設定した場合の元画像40の二値化画像である。
 第一画像50の細線54は元画像40のひび割れ44に対応している。同様に、第二画像60との細線64は元画像40のひび割れ44に対応している。第一画像50は、コンクリート壁のひび割れに対応する細線54が、第二画像の細線64と比較して繋がっていない画像である。
 細線54が繋がっていない第一画像50から、細線64が繋がった第二画像60へ変換する学習を実施する。機械学習データとして、第一画像50と第二画像60との正解画像の組を取得する。
 確率閾値は、元画像を構成する画素の階調値に適用される閾値である。確率閾値は、階調値0を0パーセントとし、最大階調値を100パーセントとした場合の最大階調値に対する比率で表された階調値の閾値である。
 確率閾値を30パーセントと設定し、最小面積を100ピクセルと設定した場合、元画像40から第一画像50が得られる。確率閾値を10パーセントと設定し、最小面積を100ピクセルと設定した場合、元画像40から第二画像60が得られる。
 確率閾値を30パーセントと設定した場合、元画像40において、最大階調値の30パーセント以上の階調値を有する画素は、0、及び1を用いて表されるデジタルデータの1が付される。
 また、元画像40において、最大階調値の30パーセント未満の階調値を有する画素は、0、及び1を用いて表されるデジタルデータの0が付される。後述する、確率閾値を10パーセントと設定した場合も同様である。
 最小面積は、元画像40に対して二値化処理を施した際のノイズを削除するために用いたパラメータである。最小面積は、線、又は面として抽出する最小の画素数を表している。最小面積を100ピクセルと設定した場合、任意の一方向について連続する画素数が100ピクセル以上の場合は線として抽出する。一方、最小面積を100ピクセルと設定した場合、任意の一方向について連続する画素数が100ピクセル未満の場合は線として抽出しない。
 抽出対象が面の場合、最小面積は、面として抽出する画素群における、複数の任意の方向について連続する画素数を表す。本実施形態では、第一画像50を生成する際の最小面積と、第二画像を生成する際の最小面積とを同一としたが、第一画像50を生成する際の最小面積と、第二画像を生成する際の最小面積とを異ならせてもよい。
 確率閾値30パーセントは第一閾値の一例である。確率閾値10パーセントは第一閾値未満の第二閾値の一例である。第一画像50は第一量子化画像の一例である。第二画像60は第二量子化画像の一例である。100ピクセルは最小画素数以上の画素数の一例である。
 <画像処理方法の手順>
 図2に示した第一画像50から第二画像60への変換関係を用いて、第二画像60よりも更に細線の繋がりがよい第三画像を生成する。第三画像は符号70を付して図3に図示する。細線は符号74を付して図3に図示する。
 図3は第一実施形態に係る画像処理方法を用いて得られた画像の一例を示す説明図である。図3に示した第三画像70を生成する際に、第一機械学習データが記憶された学習器を適用する。第一機械学習データは図4に符号100を付して図示する。
 図3に示した第三画像70が得られた後に、第一画像50から第三画像70への変換関係を学習して第二機械学習データを生成する。第二機械学習データは図4に符号102を付して図示する。第二機械学習データを構成する第一画像50と第三画像70との関係は、異なる二種類の確率閾値を用いて元画像40から生成された二種類の二値化画像という関係が維持されている。
 第二機械学習データを用いて第三画像よりも更に細線の繋がりがよい第四画像を生成する。図3では第四画像の図示は省略する。第四画像は、図4に符号110を付して図示した実線画像3rdに相当する。第四画像が得られた後に、図2に示した第一画像50と第四画像との変換関係を学習して、図示しない第3機械学習データを取得する。
 このようにして、機械学習データの取得、及び画像処理を繰り返し、抽出対象の細線を成長させて、細線の繋がりのよい結果画像を取得することが可能である。図3に符号80を付した画像は、機械学習データの取得、及び画像処理を繰り返し八回実行して得られた結果画像である。符号84は結果画像80における細線である。
 図4は第一実施形態に係る画像処理方法の概略構成を示す説明図である。本実施形態に示す画像処理方法は、学習画像取得工程、機械学習データ取得工程、及び画像処理工程を含んで構成される。
 学習画像取得工程S1は、機械学習に用いられる第一の正解画像の組を取得する。第一の正解画像の組の例として、図2に示した第一画像50、及び第二画像60が挙げられる。図4に示した点線画像1stは、図2に示した第一画像50に相当する。図4に示した実線画像1stは、図2に示した第二画像60に相当する。
 第一機械学習データ取得工程S10は、第一の正解画像の組である点線画像1stと実線画像1stとの変換関係を学習し、第一機械学習データ100を取得する。点線画像1stは図2に示した第一画像50に相当する。実線画像1stは図2、及び図3に示した第二画像60に相当する。図4に示した学習1stは、第1機械学習データ取得工程S10を表す。
 第一画像処理工程S12は、第一機械学習データ100を用いて、実線画像1stから実線画像2ndへの変換処理を実行する。図4に示した評価1stは、第一画像処理工程S12を表す。実線画像2ndは、図3に示した第三画像70に相当する。図4に示した第一画像処理工程S12において、図3に示した第二画像60と比較して細線の繋がりがより良好な第三画像70が生成される。
 図4に示した第二機械学習データ取得工程S14は、点線画像1stから実線画像2ndへの変換関係を学習し、第二機械学習データ102を取得する。すなわち、第二機械学習データ取得工程S14において、第一機械学習データ100と比較して細線をより成長させる第二機械学習データ102を取得する。図4に示した学習2ndは、第二機械学習データ取得工程S14を表す。
 第二画像処理工程S16は、第二機械学習データ102を用いて、実線画像1stから実線画像3rdへの変換処理を実行する。図4に示した評価2ndは、第二画像処理工程S16を表す。実線画像3rdは、実線画像2ndと比較して細線の繋がりがより良好な画像である。図4では、実線画像3rdは符号110を付して図示する。第二画像処理工程S16は第三画像生成工程の一例である。
 図4に示すように、機械学習データ取得工程、及び画像処理工程を複数回に渡って繰り返し実行すると、細線の繋がりがより良好な画像の生成が可能である。図4では、機械学習データ取得工程、及び画像処理工程を八回に渡って繰り返し実行する例を示す。
 第八機械学習データ取得工程S18は、点線画像1stから実線画像8thへの変換関係を学習し、第八機械学習データ104を取得する。図4では、実線画像8thは符号112を付して図示する。
 実線画像8thは、実線画像1stから図示しない第七画像処理工程において生成された、図示しない実線画像7thへの変換関係を学習して取得される。
 第八画像処理工程S20は、第八機械学習データ104を用いて、実線画像1stから実線画像9thを生成する。図4に示した実線画像9thは、図3に示した結果画像80に相当する。図3に示した結果画像80は、ほとんどの細線が繋げられた画像である。
 本実施形態では、八回に渡って機械学習データの取得、及び画像処理を繰り返して実行する態様を例示したが、機械学習データの取得、及び画像処理の回数は任意に設定することが可能である。
 機械学習データの取得、及び画像処理の回数を設定する処理回数設定工程を備えてもよい。処理回数設定工程は、画像処理の結果画像を確認しながら手動により、画像処理の回数を設定してもよいし、画像処理の回数を自動的に設定してもよい。
 <画像処理方法を実現する画像処理システムの説明>
 図5は第一実施形態に係る画像処理方法を実現する画像処理システムの構成例を示すブロック図である。図5に示した画像処理システム202は、画像データ取得部204、機械学習データ取得部206、機械学習データ記憶部208、画像処理部210、画像記憶部212、出力部214、及びプログラム記憶部216(非一時的かつコンピュータで読み取り可能な記録媒体)を備えている。
 画像データ取得部204は、撮像装置200を用いて撮像された撮像対象の画像データを取得する。画像データ取得部204を用いた画像データの取得の例として、図2に示した元画像40を表す画像データの取得が挙げられる。
 画像データ取得部204は、画像処理部210を用いて画像処理が施され、画像記憶部212を用いて記憶される画像処理後の画像データを、画像記憶部212から読み出して取得する。画像処理部210を用いて画像処理が施される処理対象画像を表す画像データの例として、図4に示した実線画像1stである、図3に示した第二画像60が挙げられる。
 機械学習データ取得用の第一画像データ取得部と、画像処理用の第二画像データ取得部とを別々に備える態様も可能である。
 撮像装置200と画像データ取得部204との間のデータ通信は、有線方式のデータ通信を適用してもよいし、無線形式のデータ通信を適用してもよい。画像データ取得部204の例として、予め定められた規格が適用される通信インターフェース、及び記憶媒体の読取装置などが挙げられる。画像データ取得部204は入力画像取得手段、及び入力画像取得部の一例である。
 機械学習データ取得部206は、画像データ取得部204を用いて取得された画像データから正解画像の組を生成し、正解画像の組を機械学習データとして取得する。機械学習データ取得部206を用いた正解画像の組の生成の例として、図2に示した元画像40を用いた第一画像50、及び第二画像60の生成が挙げられる。
 また、機械学習データ取得部206を用いた正解画像の組の生成の他の例として、図4に示した第一機械学習データ100を用いた実線画像2ndの生成が挙げられる。なお、実線画像2ndと正解画像の組を構成する点線画像1stは既に生成されている。
 図4に示した第二機械学習データ取得工程S14は、点線画像1stと実線画像2ndとを含む正解画像の組を機械学習データとして取得し得る。
 図5に示した機械学習データ取得部206は、第一画像生成手段、及び第一画像生成部を一例とする構成要素が含まれる。機械学習データ取得部206は、第二画像生成手段、及び第二画像生成部を一例とする構成要素が含まれる。機械学習データ取得部206は機械学習データ生成手段、及び機械学習データ生成部に相当する。
 図5に示した機械学習データ記憶部208は、機械学習データ取得部206を用いて取得された機械学習データを記憶する。機械学習データ記憶部208へ記憶される機械学習データの例として、図4に示した第一機械学習データ100、第二機械学習データ102、及び第八機械学習データ104が挙げられる。
 図5に示した機械学習データ記憶部208は、正解画像の組を生成する際に使用されたパラメータと正解画像の組とを関連付けして記憶するデータベースとして構成してもよい。画像処理部210は、パラメータをインデックスとして、機械学習データ記憶部208から正解画像の組の読み出しが可能である。
 画像処理部210は、機械学習データ記憶部208に記憶されている機械学習データを読み出し、画像データ取得部204を用いて取得された処理対象の画像データに対して、連続性を有する抽出対象物を成長させる画像処理を施す。画像処理部210を用いた画像処理の例として、図3に示した第二画像60から第三画像70への変換処理である、細線を成長させる処理が挙げられる。画像処理部210は画像処理手段に相当する。機械学習データ記憶部208は機械学習データ記憶手段に相当する。
 画像記憶部212は、画像処理部210を用いて画像処理が施された結果画像を記憶する。画像記憶部212は、画像処理システム202に外付けされる記憶装置を適用してもよい。
 出力部214は、画像処理部210を用いて画像処理が施された画像を、画像記憶部212から読み出して出力する。出力部214の例として、ディスプレイ装置、プリンタ、及びデータ通信インターフェースなどが挙げられる。すなわち、出力部214を用いた出力の例として、画像処理結果の表示、画像処理結果の印刷、及び画像処理結果を表すデータの出力が挙げられる。
 プログラム記憶部216は、機械学習データ生成プログラム、及び画像処理プログラムが記憶される。機械学習データ取得部206は、プログラム記憶部216から機械学習データ生成プログラムを読み出して、機械学習データ生成プログラムを実行し得る。画像処理部210は、プログラム記憶部216から画像処理プログラムを読み出して、画像処理プログラムを実行し得る。
 機械学習データ生成プログラムを記憶する機械学習データ生成プログラム記憶部と、画像処理プログラムを記憶する画像処理プログラム記憶部とを別々に備える態様も可能である。
 図5に示した各種処理部は、英語表記を用いてprocessing unitと表現されることがある。プロセッサは、英語表記を用いてprocessorと表現されることがある。ここでいう処理部には、処理部の名称が使用されていない構成要素であっても、何らかの処理を実行する実質的な処理部が含まれる。
 各種のプロセッサには、プログラムを実行して各種処理部として機能する汎用的なプロセッサであるCPU、FPGAなどの製造後に回路構成を変更可能なプロセッサであるPLD、及びASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。
 なお、FPGAは、Field Programmable Gate Arrayの省略語である。PLDは、Programmable Logic Deviceの省略語である。ASICは、Application Specific Integrated Circuitの省略語である。
 一つの処理部は、これら各種のプロセッサのうちの一つで構成されていてもよいし、同種又は異種の二つ以上のプロセッサで構成されてもよい。例えば、一つの処理部は、複数のFPGA、或いは、CPUとFPGAとの組み合わせによって構成されてもよい。また、複数の処理部を一つのプロセッサで構成してもよい。
 複数の処理部を一つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、一つ以上のCPUとソフトウェアとの組み合わせで一つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。
 第二に、SoCなどに代表されるように、複数の処理部を含むシステム全体の機能を一つのICチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
 なお、SoCは、システムオンチップの英語表記System On Chipの省略語である。ICは、集積回路を表す英語表記Integrated Circuitの省略語である。電気回路は英語表記を用いてcircuitryと表現されることがある。
 <機械学習データ生成システムへの適用例>
 図5に示した画像処理システム202における画像データ取得部204、機械学習データ取得部206、及び機械学習データ記憶部208は、機械学習データ生成システムの構成要素とし得る。機械学習データ記憶部208は、機械学習データ生成システムに外付けされ得る。
 <画像処理プログラムへの適用例>
 図5に示した画像処理システム202は、コンピュータ、及びコンピュータを用いて実行されるプログラムを用いて構成し得る。すなわち、図5に示した画像処理システム202の機能は、コンピュータを、画像データ取得部204、機械学習データ取得部206、機械学習データ記憶部208、画像処理部210、画像記憶部212、及び出力部214として機能させる画像処理プログラムを用いて実現可能である。
 <機械学習データ生成プログラムへの適用例>
 図5に示した画像処理システム202のうち、画像データ取得部204、機械学習データ取得部206、機械学習データ記憶部208は、コンピュータ、及びコンピュータを用いて実行されるプログラムを用いて構成してもよい。すなわち、図5に示した画像処理システム202における機械学習データを生成する機能は、コンピュータを、画像データ取得部204、機械学習データ取得部206、及び機械学習データ記憶部208として機能させる機械学習データ生成プログラムを用いて実現可能である。
 <画像処理方法の手順>
 図6は第一実施形態に係る画像処理方法の手順の流れを示すフローチャートである。元画像取得工程S100では、図5に示した画像データ取得部204を用いて、元画像を表す元画像データを取得する。元画像は入力画像の一例である。元画像取得工程S100は、入力画像取得工程の一例である。
 図6に示した元画像取得工程S100において、元画像データを取得した後に、パラメータ設定工程S102へ進む。パラメータ設定工程S102では、図5に示した機械学習データ取得部206を用いて、元画像データから正解画像の組を生成する際に適用される二種類の異なるパラメータを設定する。
 二種類の異なるパラメータの例として、確率閾値30パーセント、及び確率閾値10パーセントが挙げられる。本実施形態では、確率閾値、及び最小面積をパラメータとして設定しているが、確率閾値が異なる場合は、最小面積は同一の値を設定してもよい。
 図6に示したパラメータ設定工程S102において、パラメータが設定された後に、第一画像生成工程S104へ進む。第一画像生成工程S104では、図5に示した機械学習データ取得部206を用いて、元画像に対して一方のパラメータを適用して正解画像の組を構成する一方の正解画像を生成する。
 図6に示した第一画像生成工程S104において、第一画像が生成された後に、第二画像生成工程S106へ進む。第二画像生成工程S106では、図5に示した機械学習データ取得部206を用いて、元画像に対して他方のパラメータを適用して正解画像の組を構成する他方の正解画像を生成する。
 第二画像生成工程S106において、第二画像が生成された後に、機械学習データ記憶工程S108へ進む。機械学習データ記憶工程S108では、第一画像生成工程S104において生成された第一画像、及び第二画像生成工程S106において生成された第二画像から構成される正解画像の組を機械学習データとして、図5に示した機械学習データ記憶部208へ記憶する。
 第一画像は、図2に示した第一画像50である。第二画像は、図2に示した第二画像60である。以下、符号を省略した第一画像は図2に示した第一画像50を示す。符号を省略した第二画像は図2に示した第二画像60を示す。
 第一画像生成工程S104、及び第二画像生成工程S106は、機械学習データ生成工程の構成要素の一例である。
 図6に示した機械学習データ記憶工程S108において機械学習データが記憶された後に、画像処理工程S110へ進む。画像処理工程S110では、機械学習データ記憶工程S108において記憶された機械学習データを用いて、抽出対象の面積を拡張させる画像処理が実行される。画像処理工程S110は、図5の画像処理部210を用いて実行される。
 図6に示した画像処理工程S110において、画像処理が実行された後に、再学習実行判定工程S112へ進む。再学習実行判定工程S112では、再学習を実行するか否かを判定する。再学習実行条件は、複数回の学習実行が設定される場合であり、かつ、既に記憶されている機械学習データを用いた画像処理の結果画像が生成されている場合である。複数回の学習実行が設定される場合は、学習回数が設定されていない場合が含まれてもよい。学習回数が設定されていない場合は、手動により再学習の要否を判定し得る。
 再学習実行判定工程S112において再学習実行条件を満たしていない場合は、No判定となる。No判定の場合は、機械学習データ生成方法の手順を終了する。一方、再学習実行判定工程S112において再学習実行条件を満たしている場合はYes判定となる。Yes判定の場合は、画像処理結果読出工程S114へ進む。
 画像処理結果読出工程S114では、図5に示した画像記憶部212から画像処理の結果画像を読み出す。画像処理の結果画像の例として、図4に示した実線画像2ndである、図3に示した第三画像70が挙げられる。
 図6に示した画像処理結果読出工程S114において、画像処理の結果画像が読み出された後に、機械学習データ再生成工程S116へ進む。機械学習データ再生成工程S116では、第一画像生成工程S104において生成された第一画像と、機械学習データ再生成工程S116において読み出された画像処理の結果画像とを、正解画像の組として生成する。
 機械学習データ再生成工程S116において、新たな機械学習データである正解画像の組が生成された後に、機械学習データ記憶工程S108へ進む。機械学習データ記憶工程S108では、機械学習データ再生成工程S116において、新たな機械学習データとして生成された正解画像の組が、図5に示した機械学習データ記憶部208へ記憶される。
 機械学習データ再生成工程S116は、図5に示した機械学習データ取得部206を用いて実行される。機械学習データ取得部206は第三画像生成部、及び第三画像生成手段を一例とする構成要素が含まれる。
 新たな機械学習データを用いて、既に記憶されている機械学習データを更新してもよいし、新たな機械学習データを、既に記憶されている機械学習データとは別に記憶してもよい。
 以降、再学習実行判定工程S112においてNo判定となるまで、機械学習データ記憶工程S108から機械学習データ再生成工程S116までの工程が繰り返し実行される。
 <機械学習データ生成方法への適用例>
 図6に示した画像処理方法の元画像取得工程S100から機械学習データ記憶工程S108までの工程、及び再学習実行判定工程S112から機械学習データ再生成工程S116までの工程は、機械学習データ生成方法を構成し得る。
 すなわち、元画像を用いて生成された第一画像、及び第二画像は、第一機械学習データである正解画像の組である。そして、機械学習データ再生成工程S116において生成された画像、及び第一画像は、第二機械学習データである正解画像の組である。このようにして、機械学習データを用いた画像処理の結果画像を用いて機械学習データを更新可能な機械学習データ生成方法を構成し得る。
 [第一実施形態の作用効果]
 第一実施形態に係る画像処理方法、画像処理装置、及び画像処理プログラムによれば、二種類の異なるパラメータを用いて、連続性を有する抽出対象を成長させる機械学習データを元画像から生成する。これにより、機械学習データを用いて、抽出対象を成長させて抽出する画像処理が可能となる。
 また、画像処理の結果画像を用いて機械画像データが繰り返し生成される。機械学習データの生成、及び画像処理を繰り返し実行する。これにより、抽出対象をより成長させた結果画像が得られる。
 本実施形態では、二値化画像の線を抽出対象とする態様を例示した。抽出対象は線に限定されず、面を抽出対象としてもよい。また、線、及び面を抽出対象としてもよい。すなわち、抽出対象は線、及び面の少なくともいずれか一方とすることが可能である。
 [パラメータの変形例]
 上述した第一実施形態では、パラメータを設定する指標を階調値とし、階調値について二種類の異なるパラメータとして二種類の異なる確率閾値を適用して正解画像の組を生成した。パラメータは、異なる指標に対して設定されてもよい。
 以下の表1には、図2に示した元画像40に対して確率閾値30パーセントを適用して第一画像50を生成し、元画像40に対して確率閾値10パーセントを適用して第二画像60を生成する例のパラメータを示す。
Figure JPOXMLDOC01-appb-T000001
 以下の表2には、第一パラメータとして確率閾値を適用して第一画像を生成し、第二パラメータとして面積を適用して第二画像を生成し、第一画像と第二画像とを正解画像の組として取得する例を示す。ここでいう第一画像は正解画像の組を構成する一方の画像を指し示す。同様に第二画像は正解画像の組を構成する他方の画像を指し示す。
Figure JPOXMLDOC01-appb-T000002
 上記の表2に記載の数値は例示であり、第一画像から第二画像への変換関係が抽出対象の面積を拡張させる変換関係となるように、各パラメータの数値は決められる。上記の表2における面積の概念には、長さの概念が含まれる。
 図7は二種類の異なるパラメータに異なる指標が用いられる場合の機械学習データ生成手段の構成例を示すブロック図である。図7に示した機械学習データ取得手段300は、第一検出器302、及び第二検出器304を備えている。図7に示した機械学習データ取得手段300は、図5に示した機械学習データ取得部206の構成要素とし得る。
 例えば、第一検出器302は確率閾値30パーセントが設定され、第二検出器304は面積閾値10ピクセルが設定される。第一検出器302を用いて元画像310は第一画像へ変換される。なお、図7における第一画像は便宜上、符号312を付して図示した。同様に、図7における第二画像は便宜上、符号314を付して図示した。
 また、第二検出器304を用いて元画像310は第二画像へ変換される。なお、表2に示す例では、第一検出器302は面積閾値0ピクセルが設定され、第二検出器は確率閾値0パーセントが設定されている。
 すなわち、二種類の異なるパラメータの一方を第一パラメータとし、他方のパラメータを第二パラメータとする。第一パラメータを用いて画像処理を施して得られた画像を第一画像とし、第二パラメータを用いて画像処理を施して得られた第二画像とする。第一画像から第二画像への変換関係は、抽出対象の面積を拡張させる変換関係となる。
 第一パラメータ、及び第二パラメータの他の例として、モルフォロジー変換処理における二種類の異なる構造化画像が挙げられる。図8はモルフォロジー変換の説明図である。図8に示したモルフォロジー変換は、原画像400に対して、構造化画像402を適用して結果画像404を得る膨張処理である。
 二種類の異なる構造化画像を準備する。二種類の異なる構造化画像の一方を第一構造化画像とし、他方を第二構造化画像とする。第二構造化画像を用いた膨張処理の結果画像は、第一構造化画像を用いた膨張処理の結果画像と比較して、抽出対象の面積を拡張させるものとする。第一構造化画像は膨張処理を行わないものとしてもよい。
 なお、二種類の異なるパラメータはここに例示したパラメータに限定されない。第一パラメータを用いて処理された第一画像から、第二パラメータを用いて処理された第二画像への変換関係が、抽出対象の面積を拡張させるものであればよい。
 [抽出対象の他の例]
 抽出対象の他の例として、コンクリート壁の穴が挙げられる。コンクリート壁の穴は、コンクリート壁における二次元状の損傷である。なお、コンクリート壁のひび割れは、コンクリート壁における一次元状の損傷である。コンクリート壁のひび割れは、撮像対象の任意の面における欠陥の一例である。
 コンクリート壁の損傷以外の抽出対象の例として、鉄筋の損傷、及び金属製の壁など、金属製構造体の損傷が挙げられる。金属製構造体の損傷の例として、ひび割れ、穴、及び錆が挙げられる。金属製構造体のひび割れ、穴、及び錆は、撮像対象の任意の面における欠陥の他の一例である。
 抽出対象の他の例として、内視鏡装置を用いて取得される動物の撮像画像における血管、及び神経が挙げられる。抽出対象の他の例として、人口衛星に搭載された撮像装置を用いて撮像された衛星画像における道路、及び河川などが挙げられる。抽出対象の他の例として、ブラインド等の遮蔽物を用いて一部が遮蔽された景色などが挙げられる。
 すなわち、抽出対象は、撮像装置を用いて撮像された画像において、連続性を有する構成要素であればよく、撮像対象、及び撮像対象における構成要素は、本実施形態の記載に限定されない。
 [クライアントサーバ型ネットワークシステムへの適用例]
 図9はクライアントサーバ型ネットワークシステムへの適用例を示すブロック図である。図9に示した画像処理システム500は、サーバ装置502、及び一つ以上のクライアント装置を備えている。図9には、クライアント装置として、第一クライアント装置504、第二クライアント装置506、及び第三クライアント装置508を例示する。
 サーバ装置502は、ネットワーク510を介して、第一クライアント装置504、第二クライアント装置506、及び第三クライアント装置508と通信可能に接続されている。
 ネットワーク510は、公衆通信網、及びローカルエリアネットワークなど、任意の通信網を適用可能である。ローカルエリアネットワークは、英語表記Local Area Networkの省略語であるLANと表現されることがある。
 サーバ装置502とネットワーク510との間のデータ通信は、有線方式のデータ通信を適用してもよいし、無線形式のデータ通信を適用してもよい。同様に、クライアント装置とネットワーク510との間のデータ通信は、有線方式のデータ通信を適用してもよいし、無線形式のデータ通信を適用してもよい。
 クライアント装置とネットワーク510との間のデータ通信は、サーバ装置502とネットワーク510との間のデータ通信と同じ形式を適用してもよいし、異なる形式を適用してもよい。
 なお、クライアント装置とは、図9に示した第一クライアント装置504、第二クライアント装置506、及び第三クライアント装置508の総称である。クライアント装置という用語は、第一クライアント装置504、第二クライアント装置506、及び第三クライアント装置508の任意のいずれかを表すことがある。
 図9に示したサーバ装置502は、一つ以上のコンピュータを用いて構成される。サーバ装置502は、図5に示した画像処理システム202の機能を実現するハードウェアを適用し得る。サーバ装置502の構成例として、図5に示した機械学習データを取得する機能ブロック、及び画像処理を実行する機能ブロックを備える例が挙げられる。
 サーバ装置502は、図5に示した機械学習データ記憶部208の機能を実現するデータベースが記憶される記憶装置を備えてもよい。サーバ装置502は、図5に示した画像記憶部212の機能を実現する記憶装置を備えてもよい。記憶装置は図9に示したサーバ装置502に内蔵されてもよいし、記憶装置はサーバ装置502に外付けされてもよい。
 サーバ装置502は、通信インターフェースを備える。サーバ装置502は、通信インターフェースを用いてネットワーク510と接続される。サーバ装置502は、プログラム記憶部を備える。
 クライアント装置は、サーバ装置502に対して画像データを送信する画像データ送信部を備える。クライアント装置は、通信インターフェースを備える。クライアント装置は、通信インターフェースを用いてネットワーク510と接続される。図9には、クライアント装置の例として、コンピュータを例示したが、クライアント装置は、携帯型端末装置を適用してもよい。
 [第二実施形態に係る画像処理方法、画像処理装置、及び画像処理プログラムの説明]
 図10は第二実施形態に係る画像処理方法の手順の流れを示すフローチャートである。第二実施形態に係る画像処理方法は、第一画像生成工程S104において生成された第一画像、及び第二画像生成工程S106において生成された第二画像から構成される機械学習データを繰り返し用いて、抽出対象の面積を拡張させる画像処理を実行する。
 以下、主として、図6を用いて説明した第一実施形態に係る画像処理方法との違いについて説明する。画像処理工程S110において画像処理が実行された後に、再学習実行判定工程S112へ進む。再学習実行判定工程S112における処理は、図6に示した再学習実行判定工程S112と同様であり、ここでの説明は省略する。
 再学習実行判定工程S112において再学習実行条件を満たしていない場合はNo判定となる。No判定の場合は、画像処理方法の手順を終了する。一方、再学習実行判定工程S112において再学習実行条件を満たしている場合はYes判定となる。Yes判定の場合は、画像処理結果読出工程S114へ進む。
 画像処理結果読出工程S114における処理は、図6に示した画像処理結果読出工程S114と同様である。ここでは、画像処理結果読出工程S114の説明は省略する。画像処理結果読出工程S114の後に、画像処理工程S110へ進む。
 二度目以降の画像処理工程S110では、一回前の画像処理の結果画像に対して、第一機械学習データを用いて画像処理を実行する。すなわち、第一機械学習データを繰り返し用い、かつ、画像処理工程S110において得られた結果画像に対して、画像処理を施す。
 以下、再学習実行判定工程S112においてNo判定となるまで、画像処理工程S110、再学習実行判定工程S112、及び画像処理結果読出工程S114が繰り返し実行される。
 [第二実施形態の作用効果]
 第二実施形態に係る画像処理方法によれば、二種類の異なるパラメータを用いて、連続性を有する抽出対象を成長させる機械学習データを元画像から生成する。これにより、機械学習データを用いて、抽出対象の面積を拡張させる画像処理が可能である。また、第一画像から第二画像への変換関係である機械学習データを繰り返し用いて、抽出対象の面積をより拡張させる画像処理が可能である。
 [用語について]
 二値化処理は、量子化処理の一例である。予め定められた一つの閾値を用いて、三以上の階調数を有する画像に施される量子化処理は、二値化処理に相当する。
 本明細書における同一という用語は、厳密には相違する態様のうち、同一と概ね同様の作用効果が得られる実質的な同一とみなし得る態様が含まれる。
 [実施形態及び変形例等の組み合わせについて]
 上述の実施形態で説明した構成や変形例で説明した事項は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
 以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
10 画像
12 コンクリート壁
14 ひび割れ
20、30 二値化画像
22、32 画素群
40、310 元画像
44 ひび割れ
50、312 第一画像
54、64、74、84 細線
60、314 第二画像
70 第三画像
80 結果画像
100 第一機械学習データ
102 第二機械学習データ
104 第八機械学習データ
110 実線画像3rd
112 実線画像8th
200 撮像装置
202 画像処理システム
204 画像データ取得部
206 機械学習データ取得部
208 機械学習データ記憶部
210 画像処理部
212 画像記憶部
214 出力部
216 プログラム記憶部
300 機械学習データ取得手段
302 第一検出器
304 第二検出器
400 原画像
402 構造化画像
404 結果画像
500 画像処理システム
502 サーバ装置
504 第一クライアント装置
506 第二クライアント装置
508 第三クライアント装置
510 ネットワーク
S1からS20 画像処理方法、機械学習データ生成方法の各工程
S100からS116 画像処理方法、機械学習データ生成方法の各工程

Claims (27)

  1.  連続性を有する抽出対象を含む入力画像を取得する入力画像取得工程と、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成工程と、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成工程と、
     前記第一画像から前記第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶工程と、
     を含む機械学習データ生成方法。
  2.  前記抽出対象は、線、及び面の少なくともいずれか一方である請求項1に記載の機械学習データ生成方法。
  3.  前記第二画像に対して前記第一機械学習データを適用して第三画像を生成する第三画像生成工程を含み、
     前記機械学習データ記憶工程は、前記第一画像から前記第三画像への変換関係を第二機械学習データとして記憶する請求項1又は2に記載の機械学習データ生成方法。
  4.  前記第一画像生成工程は、前記入力画像の階調に対して第一閾値を適用して、前記入力画像を量子化した第一量子化画像を生成し、
     前記第二画像生成工程は、前記入力画像の階調に対して前記第一閾値未満の第二閾値を適用して、前記入力画像を量子化した第二量子化画像を生成する請求項1から3のいずれか一項に記載の機械学習データ生成方法。
  5.  前記第一閾値、及び前記第二閾値は、階調値0を0パーセントとし最大階調を100パーセントとする0パーセントから100パーセントまでの数値を用いて表される請求項4に記載の機械学習データ生成方法。
  6.  前記第一画像生成工程は、予め定められた最小画素数以上の画素数を有する抽出対象を抽出する請求項4又は5に記載の機械学習データ生成方法。
  7.  前記第二画像生成工程は、予め定められた最小画素数以上の画素数を有する抽出対象を抽出する請求項4から6のいずれか一項に記載の機械学習データ生成方法。
  8.  前記入力画像取得工程は、撮像対象の任意の面を撮像した画像を入力画像として取得し、
     前記第一画像生成工程、及び前記第二画像生成工程は、前記撮像対象の任意の面における欠陥を前記抽出対象として抽出する請求項1から7のいずれか一項に記載の機械学習データ生成方法。
  9.  コンピュータを、
     連続性を有する抽出対象を含む入力画像を取得する入力画像取得手段、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成手段、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成手段、及び
     前記第一画像から前記第二画像への変換関係を機械学習データとして記憶する機械学習データ記憶手段として機能させる機械学習データ生成プログラム。
  10.  連続性を有する抽出対象を含む入力画像を取得する入力画像取得部と、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成部と、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成部と、
     前記第一画像から前記第二画像への変換関係を機械学習データとして記憶する機械学習データ記憶部と、
     を備えた機械学習データ生成システム。
  11.  サーバ装置と、
     ネットワークを介して前記サーバ装置と通信可能に接続されるクライアント装置と、
     を備え、
     前記サーバ装置は、前記入力画像取得部、前記第一画像生成部、前記第二画像生成部、及び前記機械学習データ記憶部を備えた請求項10に記載の機械学習データ生成システム。
  12.  前記クライアント装置は、前記サーバ装置へ前記入力画像を送信する送信部を備えた請求項11に記載の機械学習データ生成システム。
  13.  ネットワークを介してサーバ装置とクライアント装置とが通信可能に接続される機械学習データ生成システムに具備されるサーバ装置であって、
     連続性を有する抽出対象を含む入力画像を取得する入力画像取得部と、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成部と、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成部と、
     前記第一画像から前記第二画像への変換関係を機械学習データとして記憶する機械学習データ記憶部と、
     を備えたサーバ装置。
  14.  連続性を有する抽出対象を含む入力画像を取得する入力画像取得工程と、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成工程と、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成工程と、
     前記第一画像から前記第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶工程と、
     前記第一機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理工程と、
     を含む画像処理方法。
  15.  前記第二画像に対して前記第一機械学習データを適用して第三画像を生成する第三画像生成工程を含み、
     前記機械学習データ記憶工程は、前記第一画像から前記第三画像への変換関係を第二機械学習データとして記憶し、
     前記画像処理工程は、前記第二機械学習データを用いて前記第一画像に対して画像処理を施す請求項14に記載の画像処理方法。
  16.  前記画像処理工程は、前記第一機械学習データを用いて前記第二画像に対して画像処理を施す請求項14に記載の画像処理方法。
  17.  コンピュータを、
     連続性を有する抽出対象を含む入力画像を取得する入力画像取得手段、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成手段、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成手段、
     前記第一画像から前記第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶手段、及び
     前記第一機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理手段として機能させる画像処理プログラム。
  18.  前記第二画像に対して前記第一機械学習データを適用して第三画像を生成する第三画像生成手段として機能させ、
     前記機械学習データ記憶手段は、前記第一画像から前記第三画像への変換関係を第二機械学習データとして記憶し、
     前記画像処理手段は、前記第二機械学習データを用いて前記第一画像に対して画像処理を施す請求項17に記載の画像処理プログラム。
  19.  前記画像処理手段は、前記第一機械学習データを用いて前記第二画像に対して画像処理を施す請求項17に記載の画像処理プログラム。
  20.  連続性を有する抽出対象を含む画像を用いて機械学習データを生成する機械学習データ生成部と、
     前記機械学習データ生成部を用いて生成された機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理部と、
     を備え、
     前記機械学習データ生成部は、
     連続性を有する抽出対象を含む入力画像を取得する入力画像取得部と、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成部と、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成部と、
     前記第一画像から前記第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶部と、
     を備えた画像処理システム。
  21.  前記機械学習データ生成部は、前記第二画像に対して前記第一機械学習データを適用して第三画像を生成する第三画像生成部を備え、
     前記機械学習データ記憶部は、前記第一画像から前記第三画像への変換関係を第二機械学習データとして記憶し、
     前記画像処理部は、前記第二機械学習データを用いて前記第一画像に対して画像処理を施す請求項20に記載の画像処理システム。
  22.  前記画像処理部は、前記第一機械学習データを用いて前記第二画像に対して画像処理を施す請求項20に記載の画像処理システム。
  23.  ネットワークを介してサーバ装置とクライアント装置とが通信可能に接続される画像処理システムに具備されるサーバ装置であって、
     連続性を有する抽出対象を含む画像を用いて機械学習データを生成する機械学習データ生成部と、
     前記機械学習データ生成部を用いて生成された機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理部と、
     を備え、
     前記機械学習データ生成部は、
     連続性を有する抽出対象を含む入力画像を取得する入力画像取得部と、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成部と、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成部と、
     前記第一画像から前記第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶部と、
     を備えたサーバ装置。
  24.  前記機械学習データ生成部は、前記第二画像に対して前記第一機械学習データを適用して第三画像を生成する第三画像生成部を備え、
     前記機械学習データ記憶部は、前記第一画像から前記第三画像への変換関係を第二機械学習データとして記憶し、
     前記画像処理部は、前記第二機械学習データを用いて前記第一画像に対して画像処理を施す請求項23に記載のサーバ装置。
  25.  前記画像処理部は、前記第一機械学習データを用いて前記第二画像に対して画像処理を施す請求項23に記載のサーバ装置。
  26.  非一時的かつコンピュータ読取可能な記録媒体であって、コンピュータによって読み取られた場合に、コンピュータを、
     連続性を有する抽出対象を含む入力画像を取得する入力画像取得手段、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成手段、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成手段、及び
     前記第一画像から前記第二画像への変換関係を機械学習データとして記憶する機械学習データ記憶手段として機能させる機会学習データ生成プログラムが記録された記録媒体。
  27.  非一時的かつコンピュータで読み取り可能な記録媒体であって、コンピュータによって読み取られた場合に、コンピュータを、
     連続性を有する抽出対象を含む入力画像を取得する入力画像取得手段、
     前記入力画像から抽出対象を抽出する第一画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第一画像を生成する第一画像生成手段、
     前記入力画像から抽出対象を抽出する第二画像処理を前記入力画像に施し、前記入力画像から前記抽出対象が抽出された第二画像であり、前記第一画像よりも抽出対象の面積が大きい第二画像を生成する第二画像生成手段、
     前記第一画像から前記第二画像への変換関係を第一機械学習データとして記憶する機械学習データ記憶手段、及び
     前記第一機械学習データを用いて、処理対象画像に対して画像処理を施す画像処理手段として機能させる画像処置プログラムが記録された記録媒体。
PCT/JP2018/021866 2017-07-06 2018-06-07 機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システム WO2019009007A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019527595A JP6744494B2 (ja) 2017-07-06 2018-06-07 機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-132816 2017-07-06
JP2017132816 2017-07-06

Publications (1)

Publication Number Publication Date
WO2019009007A1 true WO2019009007A1 (ja) 2019-01-10

Family

ID=64950943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021866 WO2019009007A1 (ja) 2017-07-06 2018-06-07 機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システム

Country Status (2)

Country Link
JP (1) JP6744494B2 (ja)
WO (1) WO2019009007A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021518961A (ja) * 2019-02-02 2021-08-05 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. 画像生成方法および装置、電子機器並びに記憶媒体
JP6926352B1 (ja) * 2020-06-30 2021-08-25 中国科学院地質與地球物理研究所Institute Of Geology And Geophysics,Chinese Academy Of Sciences 岩石破砕によって展開する岩石の割れ目ネットワークのトポロジー構造を描写する方法
JP7227522B1 (ja) 2021-09-14 2023-02-22 ダイキン工業株式会社 ひび割れ検査システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102458A (ja) * 2005-10-04 2007-04-19 Yamaguchi Univ 画像処理による注目部分を自動描出する方法及びそのための装置並びにプログラムを記録した記録媒体
JP2011179874A (ja) * 2010-02-26 2011-09-15 East Nippon Expressway Co Ltd 舗装路面のクラックの抽出と損傷レベルの評価方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102458A (ja) * 2005-10-04 2007-04-19 Yamaguchi Univ 画像処理による注目部分を自動描出する方法及びそのための装置並びにプログラムを記録した記録媒体
JP2011179874A (ja) * 2010-02-26 2011-09-15 East Nippon Expressway Co Ltd 舗装路面のクラックの抽出と損傷レベルの評価方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021518961A (ja) * 2019-02-02 2021-08-05 深▲せん▼市商▲湯▼科技有限公司Shenzhen Sensetime Technology Co., Ltd. 画像生成方法および装置、電子機器並びに記憶媒体
US11410344B2 (en) 2019-02-02 2022-08-09 Shenzhen Sensetime Technology Co., Ltd. Method for image generation, electronic device, and storage medium
JP6926352B1 (ja) * 2020-06-30 2021-08-25 中国科学院地質與地球物理研究所Institute Of Geology And Geophysics,Chinese Academy Of Sciences 岩石破砕によって展開する岩石の割れ目ネットワークのトポロジー構造を描写する方法
JP2022013627A (ja) * 2020-06-30 2022-01-18 中国科学院地質與地球物理研究所 岩石破砕によって展開する岩石の割れ目ネットワークのトポロジー構造を描写する方法
JP7227522B1 (ja) 2021-09-14 2023-02-22 ダイキン工業株式会社 ひび割れ検査システム
WO2023042730A1 (ja) * 2021-09-14 2023-03-23 ダイキン工業株式会社 ひび割れ検査システム
JP2023042161A (ja) * 2021-09-14 2023-03-27 ダイキン工業株式会社 ひび割れ検査システム

Also Published As

Publication number Publication date
JPWO2019009007A1 (ja) 2020-04-16
JP6744494B2 (ja) 2020-08-19

Similar Documents

Publication Publication Date Title
CN108052980B (zh) 基于图像的空气质量等级检测方法
CN113095438B (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
JP6744494B2 (ja) 機械学習データ生成方法、機械学習データ生成プログラム、機械学習データ生成システム、サーバ装置、画像処理方法、画像処理プログラム、及び画像処理システム
Ayub et al. An improved image steganography technique using edge based data hiding in DCT domain
Ravikumar et al. Digital image processing-a quick review
Kaur et al. A method for binary image thinning using gradient and watershed algorithm
KR102177247B1 (ko) 조작 이미지 판별 장치 및 방법
JPH041866A (ja) 画像処理方法およびその装置
Zohaib et al. Image enhancement by using histogram equalization technique in Matlab
CN114972334B (zh) 一种管材瑕疵检测方法、装置、介质
Hanumantharaju et al. A particle swarm optimization method for tuning the parameters of multiscale retinex based color image enhancement
Saleem et al. Survey on color image enhancement techniques using spatial filtering
Kumari et al. Image fusion techniques based on pyramid decomposition
Baraiya et al. An introduction of image fusion techniques
Sun et al. No-reference image quality assessment through sift intensity
WO2003063082A1 (fr) Appareil de recherche concernant une image animee
Mu et al. Study of wood defects detection based on image processing
Choudhary et al. A novel approach for edge detection for blurry images by using digital image processing
Jiang Region Enhancement Methods of Color Blurred Image Based on Visual Communication
Agarwal et al. Image Compression Techniques Comparative Analysis using SVD-WDR and SVD-WDR with Principal Component Analysis
Singh Role of Statistical Parameter in Digital Image Enhancement
Singaravelan et al. Combined global-local specialized feature descriptor for content based image retrieval under noisy query
Singh et al. Deep Image Contrast Enhancement Technique for Low-Light Images
Li IMAGE FUSION: A NOVEL APPROACH
CN109977734B (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18827486

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019527595

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18827486

Country of ref document: EP

Kind code of ref document: A1