WO2019111355A1 - 学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラム - Google Patents

学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラム Download PDF

Info

Publication number
WO2019111355A1
WO2019111355A1 PCT/JP2017/043842 JP2017043842W WO2019111355A1 WO 2019111355 A1 WO2019111355 A1 WO 2019111355A1 JP 2017043842 W JP2017043842 W JP 2017043842W WO 2019111355 A1 WO2019111355 A1 WO 2019111355A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning model
image
sample
nonspecific binding
pathological
Prior art date
Application number
PCT/JP2017/043842
Other languages
English (en)
French (fr)
Inventor
金子　善興
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/043842 priority Critical patent/WO2019111355A1/ja
Publication of WO2019111355A1 publication Critical patent/WO2019111355A1/ja
Priority to US16/892,700 priority patent/US11327024B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
    • G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
    • G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/251—Colorimeters; Construction thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to a learning model creating method, an image processing method, a learning model creating apparatus, an image processing apparatus, a learning model creating program, and an image processing program, which are used to determine whether a pathological sample is positive or negative.
  • the pathological sample of the patient to be inspected is prepared by excising the specimen from the patient and performing the steps of excision, fixation, embedding, slicing, staining and encapsulation on the excised specimen. Then, conventionally, there has been proposed a technique for determining whether a pathological sample is positive or negative based on a pathological sample image obtained by imaging the pathological sample (see, for example, Patent Document 1).
  • the present invention has been made in view of the above, and a learning model creating method, an image processing method, a learning model creating apparatus, an image processing apparatus, and a learning method capable of accurately determining positive or negative of a pathological sample. It aims at providing a model creation program and an image processing program.
  • the learning model creation method acts on a reagent that develops a color in a nonspecific binding region in which the endogenous protein is present with respect to the tissue containing the endogenous protein.
  • a first learning model creation step of creating a first learning model by learning the non-specific binding region acts on a reagent that develops a color in a nonspecific binding region in which the endogenous protein is present with respect to the tissue containing the endogenous protein.
  • the endogenous protein is an endogenous peroxidase
  • the nonspecific binding sample causes the tissue to react directly with diaminobenzidine to cause the endogenous It is characterized in that it is a tissue sample in which the diaminobenzidine is developed by the endogenous peroxidase only in the nonspecific binding region where the peroxidase is present.
  • the endogenous protein is an endogenous alkaline phosphatase
  • the nonspecific binding sample causes Fast Red to directly act on the tissue to cause the endogenous It is characterized in that it is a tissue sample in which the first red is colored by the endogenous alkaline phosphatase only in the nonspecific binding region where the alkaline phosphatase is present.
  • the endogenous protein is endogenous biotin
  • the nonspecific binding sample causes avidin bound to peroxidase to act on the tissue.
  • the endogenous protein is endogenous biotin
  • the nonspecific binding sample binds avidin and a biotinylated peroxidase to the tissue.
  • the avidin-biotin complex is allowed to act, and diaminobenzidine is allowed to act in the state where the avidin-biotin complex is bound to the endogenous biotin so that the peroxidase only in the nonspecific binding region where the endogenous biotin is present It is characterized in that it is a tissue sample in which the diaminobenzidine is colored.
  • the first learning model creation step estimates a dye amount of the reagent based on the non-specific binding sample image; A pigment amount image calculating procedure for calculating a pigment amount image representing a coloring state of the reagent based on the pigment amount of the reagent, and the pigment amount image as the first learning data, and the first learning data And a learning model creating procedure for creating the first learning model by causing the learning device to learn the non-specific binding region based on the learning model.
  • Second learning model creation in which a teacher image is used as second learning data and the learning device learns at least one of the positive area and the negative area based on the second learning data to create a second learning model And providing a step.
  • a third image acquisition step of acquiring a pathological sample image representing a pathological sample to be inspected and the first learning data generated by the above-described learning model generation method An extraction step of extracting the non-specific binding region in the pathological sample image and a display step of displaying the non-specific binding region in the pathological sample image on a display unit so as to be distinguishable from other regions. It is characterized by having.
  • the learning model creation device is a nonspecific binding sample representing nonspecific binding sample prepared by acting on a tissue containing an endogenous protein a reagent that develops color in the nonspecific binding region where the endogenous protein is present.
  • a second image acquiring unit for acquiring a teacher image in which at least one of a positive area and a negative area of a pathological sample is marked in advance;
  • An extraction unit that extracts the nonspecific binding region in the teacher image using a learning model, a masking processing unit that excludes the nonspecific binding region from the teacher image, and the nonspecific binding region are excluded
  • a second learning model creating unit that creates the second learning model by using the teacher image as second learning data and learning at least one of the positive area and the negative area based on the second learning data; And the like.
  • an image processing apparatus includes: a third image acquisition unit for acquiring a pathological sample image representing a pathological sample to be inspected; and the first learning data generated by the above-described learning model generation apparatus
  • An extraction unit for extracting the nonspecific binding region in the pathological specimen image using the display control unit, and a display control unit for displaying the nonspecific binding region in the pathological specimen image so as to be distinguishable from other regions. And the like.
  • an image processing apparatus includes a third image acquisition unit for acquiring a pathological sample image representing a pathological sample to be inspected, and the first learning model generated by the above-described learning model generation apparatus.
  • An extraction unit for extracting the nonspecific binding region in the pathological specimen image, a masking processing unit for excluding the nonspecific binding region from the pathological specimen image, and the nonspecific binding region are excluded using And a determination unit that determines whether the pathological sample is positive or negative based on the pathological sample image.
  • an image processing apparatus includes a third image acquisition unit for acquiring a pathological sample image representing a pathological sample to be inspected, and the second learning model generated by the above-described learning model generation apparatus. And a determination unit that determines whether the pathological sample is positive or negative from the pathological sample image.
  • a learning model creation program is characterized by causing a computer to execute the above-described learning model creation method.
  • An image processing program according to the present invention is characterized by causing a computer to execute the image processing method described above.
  • the learning model creating method the image processing method, the learning model creating apparatus, the image processing apparatus, the learning model creating program, and the image processing program according to the present invention, it is possible to accurately determine positive or negative of a pathological sample.
  • the effect is
  • FIG. 1 is a block diagram showing an image processing system according to the first embodiment.
  • FIG. 2A is a diagram for explaining a method of producing a pathological sample.
  • FIG. 2B is a diagram for explaining a method of producing a pathological sample.
  • FIG. 3 is a diagram schematically showing the configuration of the imaging unit.
  • FIG. 4 is a diagram showing an example of spectral sensitivity characteristics of the RGB camera.
  • FIG. 5 is a diagram showing an example of the spectral characteristic of the first filter.
  • FIG. 6 is a diagram showing an example of the spectral characteristic of the second filter.
  • FIG. 7 is a diagram for explaining a method for producing a nonspecific binding sample.
  • FIG. 8 is a flowchart showing a learning model creation method.
  • FIG. 8 is a flowchart showing a learning model creation method.
  • FIG. 9 is a flowchart showing an image processing method.
  • FIG. 10 is a diagram showing a modified example 1-1 of the first embodiment.
  • FIG. 11 is a diagram for explaining a method of producing a pathological sample according to the second embodiment.
  • FIG. 12 is a diagram for explaining a method of producing a nonspecific binding sample according to the second embodiment.
  • FIG. 13 is a diagram showing a modified example 2-1 of the second embodiment.
  • FIG. 14 is a view showing a modified example 2-1 of the second embodiment.
  • FIG. 15 is a diagram for explaining a method of producing a pathological sample according to the third embodiment.
  • FIG. 16 is a block diagram showing an image processing apparatus according to the fourth embodiment.
  • FIG. 17 is a flowchart showing an image processing method according to the fourth embodiment.
  • FIG. 18 is a block diagram showing an image processing apparatus according to the fifth embodiment.
  • FIG. 19 is a flowchart showing a learning model creation method according to the fifth embodiment.
  • FIG. 20 is a flowchart showing an image processing method according to the fifth embodiment.
  • FIG. 21 is a block diagram showing an image processing apparatus according to the sixth embodiment.
  • FIG. 22 is a flowchart showing a learning model creation method according to the sixth embodiment.
  • FIG. 1 is a block diagram showing an image processing system 1 according to the first embodiment.
  • the image processing system 1 is a system that images a pathological sample to be inspected which has been subjected to staining, and processes a pathological sample image by the imaging.
  • the image processing system 1 includes an imaging device 2, a database 3, and an image processing device 4.
  • the imaging device 2, the database 3, and the image processing device 4 are communicably connected to each other via a network, although the specific illustration is omitted.
  • the network may be, for example, the Internet, a local area network (LAN), or a virtual private network (VPN), regardless of whether it is wired or wireless.
  • LAN local area network
  • VPN virtual private network
  • FIG. 2A and FIG. 2B are diagrams for explaining the method of producing the pathological sample Sp1.
  • the pathological specimen Sp1 is stained by the staining method shown in FIGS. 2A and 2B.
  • the staining method shown in FIGS. 2A and 2B is a polymer method which is one of the staining methods for immunostaining.
  • the worker causes the primary antibody A1 to act on the tissue LT, and binds the primary antibody A1 to the antigen A0 in the tissue LT. After this, the worker cleans the tissue LT. As a result, the primary antibody A1 not bound to the antigen A0 is removed from the tissue LT.
  • FIG. 2A the primary antibody A1 to act on the tissue LT, and binds the primary antibody A1 to the antigen A0 in the tissue LT.
  • the worker cleans the tissue LT.
  • the primary antibody A1 not bound to the antigen A0 is removed from the tissue LT.
  • the worker causes the tissue LT to react with the dextran polymer Po in which the secondary antibody A2 and a large amount of the enzyme En are bound, and the primary antibody A1 is subjected to the secondary antibody A2 ( Dextran polymer Po) is bound.
  • peroxidase for example, horseradish peroxidase (HRP)
  • HRP horseradish peroxidase
  • the worker cleans the tissue LT.
  • the secondary antibody A2 (dextran polymer Po) not bound to the primary antibody A1 is removed from the tissue LT.
  • DAB 3-Diaminobenzidine: diaminobenzidine
  • a pathological specimen Sp1 can be produced in which the position of the antigen A0 can be confirmed by the color development position of DAB.
  • the imaging device 2 is a device that acquires a sample image of the sample Sp (see FIG. 3) such as the pathological sample Sp1 described above.
  • the imaging device 2 is configured as a device that acquires a sample image of a multiband image.
  • the imaging device 2 includes an imaging unit 21, an apparatus main body 22, an input unit 23, and a display unit 24.
  • FIG. 3 is a diagram schematically showing the configuration of the imaging unit 21.
  • the imaging unit 21 is a unit that acquires a sample image, and includes a stage 211, an illumination unit 212, an imaging optical system 213, an RGB camera 214, and a filter unit 215, as shown in FIG.
  • the stage 211 is a portion on which the sample Sp is placed, and is configured to be able to change the observation position of the sample Sp by moving under the control of the apparatus main body 22.
  • the illumination unit 212 emits illumination light to the sample Sp placed on the stage 211 under the control of the apparatus main body 22.
  • the imaging optical system 213 irradiates the sample Sp and forms an image of the transmitted light transmitted through the sample Sp on the RGB camera 214.
  • FIG. 4 is a diagram showing an example of spectral sensitivity characteristics of the RGB camera 214.
  • the RGB camera 214 includes an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and images transmission light transmitted through the sample Sp under control of the apparatus main body 22.
  • the RGB camera 214 has, for example, spectral sensitivity characteristics of each of R (red), G (green), and B (blue) bands shown in FIG.
  • FIG. 5 is a diagram showing an example of the spectral characteristic of the first filter 217.
  • FIG. 6 is a view showing an example of the spectral characteristic of the second filter 218.
  • the filter unit 215 is disposed on the optical path from the imaging optical system 213 to the RGB camera 214, and limits the wavelength band of the light imaged on the RGB camera 214 to a predetermined range.
  • the filter unit 215 is provided on the filter wheel 216 which can be rotated under the control of the apparatus main body 22 and the filter wheel 216, and the transmission wavelength band of each band of R, G, B And the first and second filters 217 and 218 having different spectral characteristics (for example, the spectral characteristics of FIGS. 5 and 6).
  • the imaging unit 21 acquires a sample image (multiband image) of the sample Sp as described below, under the control of the apparatus main body 22.
  • the imaging unit 21 positions the first filter 217 on the optical path from the illumination unit 212 to the RGB camera 214, and emits illumination light from the illumination unit 212 to the sample Sp.
  • the RGB camera 214 transmits the sample Sp, and images the transmitted light through the first filter 217 and the imaging optical system 213 (first imaging).
  • the imaging unit 21 positions the second filter 218 on the optical path from the illumination unit 212 to the RGB camera 214, and performs the second imaging in the same manner as the first imaging. Thereby, images of three different bands are acquired in the first and second imagings, and a sample image of six bands in total is acquired.
  • the number of filters provided in the filter unit 215 is not limited to two, and three or more filters may be provided to acquire images of more bands.
  • the imaging unit 21 may be configured to omit the filter unit 215 and obtain only the RGB image by the RGB camera 214.
  • a liquid crystal tunable filter or an acousto-optic tunable filter that can change spectral characteristics may be adopted.
  • a sample image multi-band image
  • a monochrome camera may be adopted.
  • the apparatus main body 22 is configured by, for example, a PC (personal computer) or the like, and centrally controls the operation of the imaging unit 21.
  • the device body 22 includes an image acquisition unit 221, a control unit 222, a storage unit 223, and a communication unit 224.
  • the image acquisition unit 221 is configured by an interface that takes in a sample image (image data) output from the imaging unit 21.
  • the control unit 222 is configured by a CPU (Central Processing Unit) or the like.
  • the control unit 222 controls operations of the image acquisition unit 221 and the imaging unit 21 based on an input signal input from the input unit 23 and a program or data stored in the storage unit 223 to control a specimen image. get.
  • the control unit 222 outputs a display signal to the display unit 24 and causes the display unit 24 to display various screens.
  • the storage unit 223 is information such as a ROM (Read Only Memory) such as a flash memory capable of updating and recording, various IC memories such as a RAM (Random Access Memory), a hard disk connected with a built-in or data communication terminal, or a CD-ROM.
  • a storage device and a write / read device for writing information to the information storage device, etc., store a program executed by the control unit 222 and a specimen image and the like acquired via the image acquisition unit 221.
  • the communication unit 224 is an interface that performs communication control with the database 3 and the image processing apparatus 4.
  • the input unit 23 includes, for example, various input devices such as a keyboard, a mouse, a touch panel, and various switches, and receives an input operation by the user. Then, the input unit 23 outputs a signal corresponding to the input operation to the control unit 222.
  • the display unit 24 is realized by a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display, and displays various screens based on display signals input from the control unit 222. Do.
  • the database 3 is provided, for example, on a known server device in a hospital or a sample preparation company, or on a cloud, and records a plurality of nonspecific binding sample images shown below.
  • FIG. 7 is a diagram for explaining a method of producing the nonspecific binding sample Sp2.
  • the nonspecific binding sample image is a sample image of the nonspecific binding sample Sp2 produced by the production method of FIG. 7 and is a sample image obtained by the imaging device 2.
  • the pathological sample Sp1 it is possible to determine whether it is the position of the antigen A0 or the position of the nonspecific binding region (the position where an endogenous protein (endogenous peroxidase) is present) from the color development position of DAB. difficult. Therefore, in order to separate the position of the antigen A0 from the position of the nonspecific binding region, the nonspecific binding sample Sp2 is used. Specifically, the worker causes DAB to directly act on the tissue LT as shown in FIG. As a result, nonspecific binding sample Sp2 in which DAB is made to color by the endogenous peroxidase is produced only in the nonspecific binding region where endogenous peroxidase which is endogenous protein Ep is present.
  • the image processing device 4 acquires a pathological specimen image of the pathological specimen Sp1 from the imaging device 2 and processes the pathological specimen image.
  • the image processing apparatus 4 includes an apparatus main body 41, an input unit 42, and a display unit 43, as shown in FIG.
  • the apparatus body 41 is configured of, for example, a PC (personal computer) or the like.
  • the device body 41 includes a communication unit 411, a first learning model creation unit 412, an extraction unit 413, a display control unit 414, a control unit 415, and a storage unit 416.
  • the communication unit 411 is an interface that performs communication control with the database 3 and the imaging device 2 and has a function as first and third image acquisition units according to the present invention.
  • the first learning model creating unit 412 sets a plurality of nonspecific binding sample images acquired from the database 3 via the communication unit 411 as first learning data, and determines nonspecific binding regions based on the first learning data. Learn and create a first learning model.
  • machine learning such as linear discrimination or deep learning can be exemplified.
  • the first learning model creation unit 412 stores the first learning model in the storage unit 416.
  • the communication unit 411 and the first learning model creating unit 412 described above constitute a learning model creating apparatus 5 (FIG. 1) according to the present invention.
  • the extraction unit 413 extracts a nonspecific binding region in a pathological specimen image acquired from the imaging device 2 via the communication unit 411 using the first learning model stored in the storage unit 416.
  • the display control unit 414 causes the display unit 43 to display the nonspecific binding area extracted by the extraction unit 413 so as to be distinguishable from other areas in the pathological specimen image.
  • the control unit 415 is configured by a CPU or the like, and controls the overall operation of the image processing apparatus 4 based on an input signal input from the input unit 42 and programs and data stored in the storage unit 416.
  • the storage unit 416 includes various IC memories such as ROMs and RAMs such as flash memories capable of updating and recording, hard disks connected with built-in or data communication terminals, information storage devices such as CD-ROMs, and information on the information storage devices.
  • IC memories such as ROMs and RAMs such as flash memories capable of updating and recording, hard disks connected with built-in or data communication terminals, information storage devices such as CD-ROMs, and information on the information storage devices.
  • a first learning program that is configured by a writing and reading device or the like and that a program (including a learning model creation program and an image processing program according to the present invention) executed by the control unit 415 and the first learning model creation unit 412 Memorize models etc.
  • the input unit 42 includes, for example, various input devices such as a keyboard, a mouse, a touch panel, and various switches, and receives an input operation by the user. Then, the input unit 42 outputs a signal corresponding to the input operation to the control unit 415.
  • the display unit 43 is realized by a display device such as an LCD, an EL display, or a CRT display, and displays various screens based on display signals input from the control unit 415.
  • FIG. 8 is a flowchart showing a learning model creation method.
  • the communication unit 411 acquires a plurality of nonspecific binding specimen images recorded in the database 3 under the control of the control unit 415 (step S1A: first image acquisition step).
  • the first learning model creating unit 412 learns non-specific binding regions in a plurality of non-specific binding sample images under control of the control unit 415 to create a first learning model (step S1B: first learning model creation step).
  • step S1B first learning model creation step.
  • the first learning model creation unit 412 stores the first learning model in the storage unit 416.
  • FIG. 9 is a flowchart showing an image processing method.
  • the communication unit 411 acquires a pathological specimen image from the imaging device 2 under the control of the control unit 415 (step S2A: third image acquisition step).
  • the extraction unit 413 extracts a nonspecific binding region in a pathological specimen image using the first learning model stored in the storage unit 416 under the control of the control unit 415 (step S2B: Extraction step).
  • the display control unit 414 causes the display unit 43 to display the nonspecific binding area extracted in step S2B distinguishably from other areas in the pathological specimen image (step S2C: Display step). Then, while confirming the pathological specimen image (nonspecific binding region and other regions are displayed in a distinguishable manner) displayed on the display unit 43, the doctor determines positive or negative of the pathological specimen Sp1.
  • the image processing apparatus 4 is a nonspecific binding in which a tissue LT containing an endogenous protein Ep is reacted with a reagent (DAB) that develops a color in a nonspecific binding region where the endogenous protein Ep is present.
  • a nonspecific binding sample image representing the sample Sp2 is obtained.
  • the image processing device 4 uses the non-specific binding sample image as first learning data, and based on the first learning data, learns a non-specific binding region to create a first learning model.
  • the image processing device 4 acquires a pathological specimen image representing a pathological specimen Sp1 to be inspected, and extracts a nonspecific binding region in the pathological specimen image using the first learning data.
  • the image processing device 4 causes the display unit 43 to display the nonspecific binding region in the pathological specimen image so as to be distinguishable from other regions. Therefore, if the doctor confirms the pathological specimen image displayed on the display unit 43 (in which the nonspecific binding region and the other region are distinguishably displayed), the portion stained by the specific binding (the position of the antigen A0) ) Can only be diagnosed. That is, the doctor can accurately determine whether the pathological sample Sp1 is positive or negative.
  • FIG. 10 is a diagram showing a modified example 1-1 of the first embodiment.
  • the polymer method (FIGS. 2A and 2B) is adopted as a method of producing the pathological sample Sp1.
  • the present invention is not limited to this, and the PAP method shown in FIG. 10 may be adopted.
  • the worker causes the primary antibody A1 to act on the tissue LT, and binds the primary antibody A1 to the antigen A0 in the tissue LT. After this, the worker cleans the tissue LT. As a result, the primary antibody A1 not bound to the antigen A0 is removed from the tissue LT.
  • the worker causes the secondary antibody A2 to act on the tissue LT to bind the secondary antibody A2 to the primary antibody A1. After this, the worker cleans the tissue LT. As a result, the secondary antibody A2 not bound to the primary antibody A1 is removed from the tissue LT.
  • the worker causes peroxidase anti-peroxidase antibody complex Co to act on the tissue LT to bind the peroxidase anti-peroxidase antibody complex Co to the secondary antibody A2. After this, the worker cleans the tissue LT. As a result, the peroxidase anti-peroxidase antibody complex Co not bound to the secondary antibody A2 is removed from the tissue LT. Finally, the worker causes DAB to act on the tissue LT.
  • the enzyme (peroxidase) En contained in the peroxidase anti-peroxidase antibody complex Co reacts with DAB, and the DAB develops color.
  • the pathological sample Sp1 is produced by the above steps. Even when the pathological sample Sp1 is produced by the PAP method, the method for producing the nonspecific binding sample Sp2 can adopt the same method as that of the first embodiment described above.
  • alkaline phosphatase is used in place of peroxidase as the enzyme En when producing the pathological specimen Sp1 (FIG. 2A, FIG. 2B, FIG. 10).
  • DAB fast red, new fuchsin, or , BCIP / NBT (5-Bromo-4-Chloro-3-Indoxyl phosphate / Nitro blue tetrazolium chloride) and the like.
  • the second embodiment will be described.
  • the same components and steps as those in the first embodiment described above are denoted by the same reference numerals, and the detailed description thereof is omitted or simplified.
  • the second embodiment is different from the above-described first embodiment only in the method of producing the pathological sample Sp1 and the nonspecific binding sample Sp2.
  • methods for producing the pathological sample Sp1 and the nonspecific binding sample Sp2 according to the second embodiment will be described in order.
  • FIG. 11 is a diagram for explaining a method of producing a pathological sample Sp1 according to the second embodiment.
  • the pathological specimen Sp1 is stained by the staining method shown in FIG.
  • the staining method shown in FIG. 11 is the ABC (avidin-biotin complex) method, which is one of the staining methods for immunostaining.
  • the worker causes the biotinylated antibody A3 to act on the tissue LT, and binds the biotinylated antibody A3 to the antigen A0 in the tissue LT. After this, the worker cleans the tissue LT. As a result, the biotinylated antibody A3 not bound to the antigen A0 is removed from the tissue LT.
  • the worker predetermines avidin Ab having a plurality of reactive groups and an enzyme (veroxidase) En biotinylated at a plurality of positions in advance for the tissue LT.
  • the avidin-biotin complex ABC mixed in proportions is allowed to act.
  • the avidin Ab contained in the avidin-biotin complex ABC is bound to the biotin Bi of the biotinylated antibody A3.
  • the worker cleans the tissue LT.
  • avidin-biotin complex ABC (avidin Ab) which is not bound to the biotinylated antibody A3 (biotin Bi) is removed from the tissue LT.
  • the worker causes DAB to act on the tissue LT.
  • the enzyme (peroxidase) En contained in the avidin-biotin complex ABC reacts with DAB, and the DAB develops color.
  • the pathological sample Sp1 is produced by the above steps.
  • FIG. 12 is a diagram for explaining a method of producing the nonspecific binding sample Sp2 according to the second embodiment.
  • tissue LTs that contain endogenous biotin as an endogenous protein.
  • the avidin-Ab contained in the avidin-biotin complex ABC was bound to the endogenous biotin, and DAB reacted with the enzyme (peroxidase) En contained in the avidin-biotin complex ABC to develop color.
  • Nonspecific binding regions may be generated.
  • a nonspecific binding sample Sp2 is prepared as described below. Specifically, as shown in FIG. 12, a worker causes an avidin Ab to which an enzyme (peroxidase) En is bound to act on tissue LT to bind the avidin Ab to endogenous biotin which is an endogenous protein Ep. . After this, the worker cleans the tissue LT.
  • an enzyme peroxidase
  • an avidin Ab not bound to endogenous biotin, which is an endogenous protein Ep is removed from the tissue LT. Then, the worker causes DAB to act on the tissue LT. As a result, a nonspecific binding sample Sp2 is produced in which DAB is colored by an enzyme (peroxidase) En bound to an avidin Ab only in a nonspecific binding region where endogenous biotin which is endogenous protein Ep is present.
  • FIG. 13 and 14 are diagrams showing a modified example 2-1 of the second embodiment.
  • the nonspecific binding specimen Sp2 may be prepared.
  • a worker causes avidin-biotin complex ABC to act on tissue LT to cause endogenous biotin which is endogenous protein Ep to be avidin-biotin complex ABC.
  • the worker cleans the tissue LT.
  • avidin-biotin complex ABC (avidin Ab) which is not bound to endogenous biotin which is endogenous protein Ep is removed from the tissue LT.
  • the third embodiment will be described.
  • the same components and steps as those in the first embodiment described above are denoted by the same reference numerals, and the detailed description thereof is omitted or simplified.
  • the third embodiment is different from the above-described first embodiment only in the method of producing the pathological sample Sp1 and the nonspecific binding sample Sp2.
  • methods for producing the pathological sample Sp1 and the nonspecific binding sample Sp2 according to the third embodiment will be described in order.
  • FIG. 15 is a diagram for explaining a method of producing a pathological sample Sp1 according to the third embodiment.
  • the pathological specimen Sp1 is stained by the staining method shown in FIG.
  • the staining method shown in FIG. 15 is the LSAB (Labeled Streptavidin biotinylated antibody) method, which is one of the staining methods for immunostaining.
  • the worker causes the primary antibody A1 to act on the tissue LT, and causes the primary antibody A1 to bind to the antigen A0 in the tissue LT. After this, the worker cleans the tissue LT. As a result, the primary antibody A1 not bound to the antigen A0 is removed from the tissue LT.
  • the worker causes the biotinylated secondary antibody A2 to act on the tissue LT to bind the secondary antibody A2 to the primary antibody A1. After this, the worker cleans the tissue LT. As a result, the secondary antibody A2 not bound to the primary antibody A1 is removed from the tissue LT.
  • the operator causes enzyme-labeled streptavidin Sa to act on the tissue LT to bind the enzyme-labeled streptavidin Sa to biotin Bi in the secondary antibody A2.
  • a peroxidase is employed as the enzyme En in the enzyme-labeled streptavidin Sa. After this, the worker cleans the tissue LT.
  • the enzyme-labeled streptavidin Sa not bound to the secondary antibody A2 (biotin Bi) is removed from the tissue LT.
  • the worker causes DAB to act on the tissue LT.
  • the enzyme (peroxidase) En in the enzyme-labeled streptavidin Sa reacts with DAB, and the DAB develops a color.
  • the pathological sample Sp1 is produced by the above steps.
  • a nonspecific binding sample Sp2 is prepared as described below. Specifically, the worker causes enzyme LT to act on the tissue LT to bind the enzyme-labeled streptavidin Sa to endogenous biotin which is the endogenous protein Ep. Then, the worker causes DAB to act on the tissue LT. As a result, a nonspecific binding sample Sp2 is produced in which DAB is colored by the enzyme (peroxidase) En in the enzyme-labeled streptavidin Sa only in the nonspecific binding region where endogenous biotin which is endogenous protein Ep is present.
  • FIG. 16 is a block diagram showing an image processing apparatus 4A according to the fourth embodiment.
  • the function of the display control unit 414 is omitted from the image processing device 4 (device main body 41) as compared with the first embodiment described above, and the masking processing unit 417 and the determination
  • the image processing apparatus 4A apparatus main body 41A to which the function of the unit 418 is added is employed.
  • the masking processing unit 417 removes the nonspecific binding area extracted by the extracting unit 413 from the pathological specimen image acquired from the imaging device 2 via the communication unit 411.
  • the determination unit 418 compares the pixel value for each pixel in the image area remaining without being removed with a predetermined threshold based on the pathological specimen image from which the nonspecific binding area has been removed by the masking processing unit 417. By doing this, it is determined whether the pathological sample Sp1 is positive or negative.
  • FIG. 17 is a flowchart showing an image processing method according to the fourth embodiment.
  • step S2C is omitted from the image processing method (FIG. 9) described in the first embodiment described above, and steps S2D and S2E are performed. The point added is different. Therefore, steps S2D and S2E will be described below.
  • Step S2D (masking process step) is performed after step S2B. Specifically, in step S2D, the masking processing unit 417 removes the nonspecific binding region extracted in step S2B from the pathological specimen image acquired in step S2A under the control of the control unit 415. After step S2D, under the control of the control unit 415, the determination unit 418 determines, for each pixel in the image area remaining without being removed, based on the pathological specimen image from which the nonspecific binding area has been removed in step S2D. By comparing the value with a predetermined threshold value, it is determined whether the pathological sample Sp1 is positive or negative (step S2E: determination step).
  • the image processing apparatus 4A acquires a pathological specimen image representing a pathological specimen Sp1 to be inspected, and uses the first learning data to detect a nonspecific binding region in the pathological specimen image. Extract.
  • the image processing device 4A removes the nonspecific binding area from the pathological sample image.
  • the image processing apparatus 4A compares the pixel value of each pixel in the field image area remaining without being removed with the threshold value, based on the pathological sample image from which the nonspecific binding area has been removed, to obtain the pathological sample. Determine whether Sp1 is positive or negative. Therefore, positive or negative of the pathological sample Sp1 can be accurately determined without the influence of the nonspecific binding region in comparison with the threshold value.
  • FIG. 18 is a block diagram showing an image processing apparatus 4B according to the fifth embodiment.
  • the function of the display control unit 414 is omitted from the image processing apparatus 4 (device main body 41) as compared with the first embodiment described above, and instead of the extraction unit 413.
  • An image processing apparatus 4B apparatus main body 41B to which the functions of the extraction processing unit 417B, the determination unit 418B, and the second learning model generation unit 419 are added is adopted.
  • the database 3 records a plurality of teacher images shown below.
  • the teacher image is an image (hereinafter referred to as an original image) representing a tissue sample stained by the same staining method as the pathological sample Sp1 (in the fifth embodiment, the staining method shown in FIG. 2A and FIG. 2B).
  • the teacher image is an image in which a positive region and a negative region are separately labeled (marked), for example, by a pathologist on the original image.
  • the extraction unit 413B uses the first learning model stored in the storage unit 416 to extract the nonspecific binding region in the teacher image acquired from the database 3 via the communication unit 411. That is, the communication unit 411 has a function as a second image acquisition unit according to the present invention.
  • the masking processing unit 417B removes the nonspecific binding area extracted by the extracting unit 413B from the teacher image acquired from the database 3 through the communication unit 411.
  • the second learning model generation unit 419 sets the teacher image from which the nonspecific binding region has been removed by the masking processing unit 417B as the second learning data, and learns the positive region and the negative region based on the second learning data.
  • the second learning model creating unit 419 stores the second learning model in the storage unit 416.
  • Configure The determination unit 418B determines the positive or negative of the pathological sample Sp1 from the pathological sample image acquired from the imaging device 2 via the communication unit 411 using the second learning model stored in the storage unit 416.
  • FIG. 19 is a flowchart showing a learning model creation method according to the fifth embodiment.
  • the storage unit 416 already stores the first learning model created by the learning model creating method described in the first embodiment.
  • the communication unit 411 acquires a plurality of teacher images recorded in the database 3 under the control of the control unit 415 (step S3A: second image acquisition step).
  • the extraction unit 413B extracts the nonspecific binding region in the teacher image acquired in step S3A using the first learning model stored in the storage unit 416 under the control of the control unit 415. (Step S3B: extraction step).
  • step S3B the masking processing unit 417B removes the nonspecific binding region extracted in step S3B from the teacher image acquired in step S3A under the control of the control unit 415 (step S3C: masking processing step) ).
  • step S3C masking processing step
  • the second learning model creating unit 419 learns, under the control of the control unit 415, positive regions and negative regions in the plurality of teacher images from which the nonspecific binding regions have been removed in step S3C. 2. Create two learning models (step S3D: second learning model creation step). Then, the second learning model creating unit 419 stores the second learning model in the storage unit 416.
  • FIG. 20 is a flowchart showing an image processing method according to the fifth embodiment.
  • steps S2B and S2C are omitted from the image processing method (FIG. 9) described in the first embodiment described above, and step S2F is performed. The point added is different. Thus, step S2F will be described below.
  • Step S2F (determination step) is performed after step S2A. Specifically, in step S2F, determination unit 418B uses the second learning data stored in storage unit 416 under control of control unit 415 to obtain a pathological specimen Sp1 from the pathological specimen image acquired in step S2A. Determine the positive or negative of
  • the image processing apparatus 4B acquires a teacher image in which the positive area and the negative area of the pathological sample are marked in advance. Further, the image processing apparatus 4B extracts the nonspecific binding region in the teacher image using the first learning model, and excludes the nonspecific binding region from the teacher image. Furthermore, the image processing device 4B takes the teacher image from which the nonspecific binding region is excluded as the second learning data, and based on the second learning data, learns the positive region and the negative region to obtain the second learning model. create.
  • the image processing apparatus 4B determines positive or negative of the pathological sample Sp1 from the pathological sample image representing the pathological sample Sp1 to be inspected using the second learning model. Therefore, by using the second learning model excluding the influence of the nonspecific binding region, it is possible to accurately determine whether the pathological sample Sp1 is positive or negative.
  • FIG. 21 is a block diagram showing an image processing apparatus 4C according to the sixth embodiment.
  • the first learning model creation having a function different from that of the first learning model creation unit 412 in the image processing apparatus 4 as compared to the first embodiment described above
  • An image processing apparatus 4C apparatus main body 41C on which the unit 412C is mounted is adopted.
  • the function of the first learning model creation unit 412C will be described below after describing an example of a method of estimating the dye amount at a point on the nonspecific binding sample Sp2 from the nonspecific binding sample image (multiband image).
  • the nonspecific binding specimen Sp2 is made nonspecific by causing DAB to directly act on the tissue LT to develop DAB (hereinafter referred to as DAB dye).
  • DAB dye DAB
  • the binding region is visualized, and hematoxylin is allowed to act to visualize the negative region (negative cells) of the tissue LT with H (hematoxylin) dye.
  • H hematoxylin
  • a multiband image (nonspecific binding sample image) having pixel values of 16 bands at each point on the nonspecific binding sample Sp2 is obtained.
  • the dye is originally three-dimensionally distributed in the nonspecific binding sample Sp2, it can not be captured as a three-dimensional image as it is in a normal transmission observation system, and the dye passes through the nonspecific binding sample Sp2.
  • the illumination light is observed as a two-dimensional image projected on the imaging device of the camera. Therefore, each point here means a point on the nonspecific binding sample Sp2 corresponding to each pixel of the projected imaging device.
  • ⁇ is the wavelength
  • f (b, ⁇ ) is the spectral transmittance of the b-th band pass filter
  • s ( ⁇ ) is the spectral sensitivity characteristic of the camera
  • e ( ⁇ ) is the spectral emission characteristic of illumination
  • n (b) represents the observation noise in band b.
  • b is a serial number for identifying a band, which is an integer value satisfying 1 ⁇ b ⁇ 16 here.
  • G (x) corresponds to B corresponding to the pixel value g (x, b) at point x. It is a matrix of row 1 column.
  • T (x) is a matrix of D rows and 1 column corresponding to t (x, ⁇ )
  • F is a matrix of B rows and D columns corresponding to f (b, ⁇ ).
  • S is a diagonal matrix of D rows and D columns, and diagonal elements correspond to s ( ⁇ ).
  • E is a diagonal matrix of D rows and D columns, and diagonal elements correspond to e ( ⁇ ).
  • N is a matrix of B rows and 1 column corresponding to n (b).
  • Equation (2) since the equations relating to a plurality of bands are aggregated using a matrix, variable b representing a band is not described. Also, the integral with respect to wavelength ⁇ is replaced by the product of matrices.
  • a matrix H defined by the following equation (3) is introduced. This matrix H is also called a system matrix.
  • equation (2) is replaced with the following equation (4).
  • the spectral transmittance at each point on the nonspecific binding sample Sp2 is estimated from the multiband image (nonspecific binding sample image) obtained by imaging.
  • the estimated value of spectral transmittance (hereinafter referred to as spectral transmittance data) T ⁇ (x) can be calculated by the following equation (5). Note that T ⁇ indicates that a symbol " ⁇ (hat)" indicating an estimated value is attached above T.
  • W is expressed by the following equation (6), and is also referred to as a "winner estimation matrix” or a "estimation operator used for the winner estimation".
  • R SS is a matrix of D rows and D columns, and represents an autocorrelation matrix of spectral transmittances of the nonspecific binding sample Sp2.
  • R NN is a matrix of B rows and B columns, and represents an autocorrelation matrix of camera noise used for imaging. Note that, for an arbitrary matrix X, the matrix X T represents a transposed matrix of the matrix X, and the matrix X -1 represents an inverse matrix of the matrix X.
  • the matrices F, S, and E that constitute the system matrix H that is, the spectral transmittance of the band pass filter, the spectral sensitivity characteristic of the camera, and the spectral radiation characteristic of the illumination, the matrix R SS, and the matrix R NN are acquired in advance Keep it.
  • the point (hereinafter referred to as a sample point) on the nonspecific binding sample Sp2 corresponding to the spectral transmittance data T ⁇ (x) is determined.
  • Estimate the pigment amount there are three types of dyes to be estimated: H dye, DAB dye, and dye of unstained red blood cell body (hereinafter referred to as R dye).
  • H dye H dye
  • DAB dye dye of unstained red blood cell body
  • R dye dye of unstained red blood cell body
  • Equation (7) k ( ⁇ ) represents a material-specific value determined depending on the wavelength, and d represents the thickness of the material.
  • the left side of the equation (7) means the spectral transmittance t ( ⁇ )
  • the equation (7) is replaced with the following equation (8).
  • spectral absorbance a ( ⁇ ) is represented by the following formula (9).
  • equation (8) is replaced with the following equation (10).
  • k H ( ⁇ ), k DAB ( ⁇ ), and k R ( ⁇ ) represent k ( ⁇ ) corresponding to H dye, DAB dye, and R dye, respectively. It is a dye spectrum (hereinafter referred to as a reference dye spectrum) of each dye staining the bound sample Sp2. Also, d H , d DAB , and d R are the virtual thicknesses of H dye, DAB dye, and R dye at each sample point corresponding to each pixel position of the multiband image (nonspecific binding sample image) Represent.
  • the concept of thickness is not accurate, but it is compared with the case where the nonspecific binding sample Sp2 is stained with a single dye It provides an indication of the relative dye amount which indicates how much dye is present. That is, it can be said that d H , d DAB and d R respectively represent the pigment amounts of the H dye, the DAB dye and the R dye.
  • k H ( ⁇ ), k DAB ( ⁇ ), and k R ( ⁇ ) are prepared in advance as nonspecific binding specimens Sp2 individually stained with H dye, DAB dye, and R dye, respectively.
  • the spectral transmittance can be easily determined from Lambert-Veil's law by measuring with a spectroscope.
  • equation (9) is replaced with equation (12) below.
  • the estimated spectral transmittance at the wavelength ⁇ of the spectral transmittance data T ⁇ (x) estimated using the equation (5) is t ⁇ (x, ⁇ )
  • the estimated spectral absorbance is a ⁇ (x, ⁇ )
  • equation (12) is replaced with the following equation (13).
  • t ⁇ shows that the symbol " ⁇ " is attached above t
  • a ⁇ shows that the symbol " ⁇ " is attached above a.
  • equation (13) Since the unknown variables in the equation (13) are three of d H , d DAB , and d R , these can be solved if the equation (13) is simultaneously established for at least three different wavelengths ⁇ . In order to further improve the accuracy, the equation (13) may be simultaneously established for four or more different wavelengths ⁇ to perform multiple regression analysis. For example, when equation (13) is simultaneously established for three wavelengths ⁇ 1 , ⁇ 2 , ⁇ 3 , it can be expressed in matrix as equation (14) below.
  • equation (14) is replaced with the following equation (15).
  • a ⁇ (x) is a matrix of D rows and 1 column corresponding to a ⁇ (x, ⁇ )
  • K corresponds to k ( ⁇ )
  • d (x) is a matrix of 3 rows and 1 columns corresponding to d H , d DAB , and d R at a point x.
  • a ⁇ shows that the symbol " ⁇ " is attached above A.
  • the least squares method is a method of determining d (x) so as to minimize the sum of squares of errors in a simple regression equation, and can be calculated by the following equation (16).
  • d ⁇ (x) is the estimated pigment amount.
  • the first learning model creating unit 412C includes a spectral transmittance estimating unit 4121, a dye amount estimating unit 4122, a dye amount image calculating unit 4123, and a learning model creating unit 4124.
  • the spectral transmittance estimation unit 4121 estimates the spectral transmittance of each pixel from the nonspecific binding sample image acquired from the database 3 via the communication unit 411 by, for example, Wiener estimation (equations (1) to (6)).
  • the dye amount estimating unit 4122 uses, for example, the spectral transmittance estimated by the spectral transmittance estimating unit 4121 according to Lambert-Beer's law (equations (7) to (16)) for each pixel of the reagent (DAB).
  • the pigment amount (pigment amount of DAB dye) is estimated.
  • the pigment amount image calculation unit 4123 calculates a pigment amount image (an image showing a color development state of a reagent (DAB)) in which the pigment amount of the DAB dye for each pixel estimated by the pigment amount estimation unit 4122 is used as each pixel value. Do.
  • the learning model generation unit 4124 sets the plurality of pigment amount images calculated by the pigment amount image calculation unit 4123 as first learning data, and learns a non-specific binding region based on the first learning data, thereby performing the first learning data. Create a learning model for Here, as the learning, machine learning such as linear discrimination or deep learning can be exemplified. Then, the learning model creation unit 4124 stores the first learning model in the storage unit 416.
  • FIG. 22 is a flowchart showing an image processing method according to the sixth embodiment.
  • steps S1C to S1F are performed instead of step S1B with respect to the learning model creation method (FIG. 8) described in the first embodiment.
  • the point adopted is different. Therefore, steps S1C to S1F will be described below.
  • Step S1C is performed after step S1A. Specifically, in step S1C, the spectral transmittance estimation unit 4121 estimates the spectral transmittance of each pixel from the nonspecific binding sample image acquired in step S1A under the control of the control unit 415. After step S1C, the dye amount estimating unit 4122 controls the dye amount of each reagent (DAB dye) of the reagent (DAB) using the spectral transmittance estimated in step S1C under the control of the control unit 415. Estimate (Step S1D: dye amount estimation procedure).
  • DAB dye dye amount estimation procedure
  • the dye amount image calculation unit 4123 calculates a dye amount image in which the dye amount of the DAB dye for each pixel estimated in step S1D is each pixel value under the control of the control unit 415 (step S1E). : Pigment amount image calculation procedure).
  • the above steps S1A and S1C to S1E are performed on a plurality of different nonspecific binding sample images. That is, by executing steps S1A and S1C to S1E on a plurality of different nonspecific binding sample images, a plurality of dye amount images are calculated.
  • step S1E the learning model creation unit 4124 learns a non-specific binding region (DAB dye) in the plurality of dye amount images calculated in step S1E under the control of the control unit 415 and performs a first learning model.
  • DAB dye non-specific binding region
  • the image processing apparatus 4C estimates the pigment amount for each pixel of the reagent (DAB) based on the nonspecific binding sample image. Further, the image processing device 4C calculates a dye amount image representing a color development state of the reagent (DAB) based on the dye amount of the reagent (DAB) for each pixel. Then, the image processing device 4C sets the pigment amount image as the first learning data, and learns the nonspecific binding region based on the first learning data to create a first learning model.
  • the pigment amount image is an image that accurately represents the pigment amount for each pixel of the reagent (DAB), in other words, the non-binding region. Therefore, by using the pigment amount image as the first learning data, it is possible to learn the nonspecific binding region with high accuracy. Therefore, by using the first learning model created by the learning, it is possible to more accurately determine whether the pathological sample Sp1 is positive or negative.
  • the present invention should not be limited only by the above-described first to sixth embodiments.
  • the learning model creation devices 5 and 5B are incorporated into the image processing devices 4 and 4A to 4C.
  • the present invention is not limited to this, and the learning model creating devices 5 and 5B may be configured as devices separate from the image processing devices 4 and 4A to 4C.
  • the configurations described in the first to sixth embodiments and the modified examples 1-1, 1-2, 2-1, 2-1, 2-3-1 may be combined as appropriate. That is, in the fourth to sixth embodiments described above, the second and third embodiments and the modified examples 1-1, 1-2, 2 and 1 and 2 described above are used as a method for producing the pathological sample Sp1 and the nonspecific binding sample Sp2. The manufacturing method described in -2 and 3-1 may be adopted. In the fourth and fifth embodiments described above, the first learning model creating unit 412C described in the sixth embodiment may be employed instead of the first learning model creating unit 412.
  • the second learning model is created by learning the positive area and the negative area based on the teacher image from which the nonspecific binding area is excluded
  • the present invention is not limited to this.
  • the second learning model may be created by learning the positive area and the negative area based on the teacher image in which the nonspecific binding area is not excluded.
  • step S2F non-specific binding regions are excluded from the pathological specimen image using the first learning model.
  • the positive or negative of the pathological sample Sp1 is determined from the pathological sample image from which the nonspecific binding region has been excluded.
  • the spectral transmittance estimation unit 4121 and the dye amount estimation unit 4122 estimate the spectral transmittance and the pigment amount for each pixel in the nonspecific binding sample image, but the present invention is not limited thereto.
  • the spectral transmittance and the pigment amount may be estimated for each region (region including a plurality of pixels) in the nonspecific binding sample image.
  • the dye amount estimation unit 4122 estimates the dye amount using the spectral transmittance, but the present invention is not limited to this, and a look-up table or regression analysis is directly performed from the pixel value of each pixel in the nonspecific binding sample image.
  • the dye amount for each pixel of the reagent may be estimated using the dye amount estimation matrix obtained in the above.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Hematology (AREA)
  • Biomedical Technology (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Microbiology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Plasma & Fusion (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

学習モデル作成装置５は、内因性タンパク質を含む組織に対して当該内因性タンパク質が存在する非特異結合領域で発色する試薬を作用させた非特異結合標本の非特異結合標本画像を取得する第１の画像取得部４１１と、非特異結合標本画像を第１の学習データとして非特異結合領域を学習して第１の学習モデルを作成する第１の学習モデル作成部４１２とを備える。

Description

学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラム
　本発明は、病理標本の陽性や陰性を判定するために用いられる学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラムに関する。
　被検査対象である患者の病理標本は、当該患者から検体を摘出し、当該摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入の工程を行うことにより作製される。
　そして、従来、当該病理標本を撮像した病理標本画像に基づいて、当該病理標本の陽性や陰性を判定する技術が提案されている（例えば、特許文献１参照）。
特開２０１５－３８４６７号公報
　ところで、内因性タンパク質（例えば、ペルオキシダーゼ等）を含んでいる組織が多く存在する。このため、病理標本には、染色の際、試薬が当該内因性タンパク質と反応し発色した非特異結合領域が生成されている場合がある。
　しかしながら、特許文献１に記載の技術では、当該非特異結合領域を考慮しておらず、抗原の位置ではなく内因性タンパク質が存在する位置である当該非特異結合領域も例えば陽性領域としてカウントしている。すなわち、特許文献１に記載の技術では、病理標本の陽性や陰性を精度良く判定することが難しい、という問題がある。
　本発明は、上記に鑑みてなされたものであって、病理標本の陽性や陰性を精度良く判定することが可能となる学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る学習モデル作成方法は、内因性タンパク質を含む組織に対して当該内因性タンパク質が存在する非特異結合領域で発色する試薬を作用させた非特異結合標本を表す非特異結合標本画像を取得する第１の画像取得ステップと、前記非特異結合標本画像を第１の学習データとし、当該第１の学習データに基づいて学習器に前記非特異結合領域を学習させて第１の学習モデルを作成する第１の学習モデル作成ステップとを備えることを特徴とする。
　また、本発明に係る学習モデル作成方法では、上記発明において、前記内因性タンパク質は、内因性ペルオキシダーゼであり、前記非特異結合標本は、前記組織に対してジアミノベンジジンを直接作用させて前記内因性ペルオキシダーゼが存在する前記非特異結合領域でのみ当該内因性ペルオキシダーゼにより当該ジアミノベンジジンを発色させた組織標本であることを特徴とする。
　また、本発明に係る学習モデル作成方法では、上記発明において、前記内因性タンパク質は、内因性アルカリフォスファターゼであり、前記非特異結合標本は、前記組織に対してファーストレッドを直接作用させて前記内因性アルカリフォスファターゼが存在する前記非特異結合領域でのみ当該内因性アルカリフォスファターゼにより当該ファーストレッドを発色させた組織標本であることを特徴とする。
　また、本発明に係る学習モデル作成方法では、上記発明において、前記内因性タンパク質は、内因性ビオチンであり、前記非特異結合標本は、前記組織に対してペルオキシダーゼが結合したアビジンを作用させるとともに、前記内因性ビオチンに当該アビジンが結合した状態でジアミノベンジジンを作用させて当該内因性ビオチンが存在する前記非特異結合領域でのみ当該ペルオキシダーゼにより当該ジアミノベンジジンを発色させた組織標本であることを特徴とする。
　また、本発明に係る学習モデル作成方法では、上記発明において、前記内因性タンパク質は、内因性ビオチンであり、前記非特異結合標本は、前記組織に対してアビジンとビオチン化されたペルオキシダーゼとを結合させたアビジン・ビオチン複合体を作用させるとともに、前記内因性ビオチンに当該アビジン・ビオチン複合体が結合した状態でジアミノベンジジンを作用させて当該内因性ビオチンが存在する前記非特異結合領域でのみ当該ペルオキシダーゼにより当該ジアミノベンジジンを発色させた組織標本であることを特徴とする。
　また、本発明に係る学習モデル作成方法では、上記発明において、前記第１の学習モデル作成ステップは、前記非特異結合標本画像に基づいて、前記試薬の色素量を推定する色素量推定手順と、前記試薬の色素量に基づいて、前記試薬の発色状態を表した色素量画像を算出する色素量画像算出手順と、前記色素量画像を前記第１の学習データとし、当該第１の学習データに基づいて前記学習器に前記非特異結合領域を学習させて前記第１の学習モデルを作成する学習モデル作成手順とを備えることを特徴とする。
　また、本発明に係る学習モデル作成方法では、上記発明において、病理標本の陽性領域及び陰性領域の少なくとも一方が事前にマークされた教師画像を取得する第２の画像取得ステップと、前記第１の学習モデルを用いて、前記教師画像内の前記非特異結合領域を抽出する抽出ステップと、前記教師画像内から前記非特異結合領域を除外するマスキング処理ステップと、前記非特異結合領域を除外した前記教師画像を第２の学習データとし、当該第２の学習データに基づいて学習器に前記陽性領域及び前記陰性領域の少なくとも一方を学習させて第２の学習モデルを作成する第２の学習モデル作成ステップとを備えることを特徴とする。
　また、本発明に係る画像処理方法は、被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得ステップと、上述した学習モデル作成方法で作成された前記第１の学習データを用いて、前記病理標本画像内の前記非特異結合領域を抽出する抽出ステップと、前記病理標本画像内の前記非特異結合領域を他の領域と識別可能に表示部に表示する表示ステップとを備えることを特徴とする。
　また、本発明に係る画像処理方法は、被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得ステップと、上述した学習モデル作成方法で作成された前記第１の学習モデルを用いて、前記病理標本画像内の前記非特異結合領域を抽出する抽出ステップと、前記病理標本画像内から前記非特異結合領域を除外するマスキング処理ステップと、前記非特異結合領域を除外した前記病理標本画像に基づいて、前記病理標本の陽性または陰性を判定する判定ステップとを備えることを特徴とする。
　また、本発明に係る画像処理方法は、被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得ステップと、上述した学習モデル作成方法で作成された前記第２の学習モデルを用いて、前記病理標本画像から前記病理標本の陽性または陰性を判定する判定ステップとを備えることを特徴とする。
　また、本発明に係る学習モデル作成装置は、内因性タンパク質を含む組織に対して当該内因性タンパク質が存在する非特異結合領域で発色する試薬を作用させた非特異結合標本を表す非特異結合標本画像を取得する第１の画像取得部と、前記非特異結合標本画像を第１の学習データとして前記非特異結合領域を学習して第１の学習モデルを作成する第１の学習モデル作成部とを備えることを特徴とする。
　また、本発明に係る学習モデル作成装置では、上記発明において、病理標本の陽性領域及び陰性領域の少なくとも一方が事前にマークされた教師画像を取得する第２の画像取得部と、前記第１の学習モデルを用いて、前記教師画像内の前記非特異結合領域を抽出する抽出部と、前記教師画像内から前記非特異結合領域を除外するマスキング処理部と、前記非特異結合領域が除外された前記教師画像を第２の学習データとし、当該第２の学習データに基づいて前記陽性領域及び前記陰性領域の少なくとも一方を学習して第２の学習モデルを作成する第２の学習モデル作成部とを備えることを特徴とする。
　また、本発明に係る画像処理装置は、被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得部と、上述した学習モデル作成装置で作成された前記第１の学習データを用いて、前記病理標本画像内の前記非特異結合領域を抽出する抽出部と、前記病理標本画像内の前記非特異結合領域を他の領域と識別可能に表示部に表示させる表示制御部とを備えることを特徴とする。
　また、本発明に係る画像処理装置は、被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得部と、上述した学習モデル作成装置で作成された前記第１の学習モデルを用いて、前記病理標本画像内の前記非特異結合領域を抽出する抽出部と、前記病理標本画像内から前記非特異結合領域を除外するマスキング処理部と、前記非特異結合領域が除外された前記病理標本画像に基づいて、前記病理標本の陽性または陰性を判定する判定部とを備えることを特徴とする。
　また、本発明に係る画像処理装置は、被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得部と、上述した学習モデル作成装置で作成された前記第２の学習モデルを用いて、前記病理標本画像から前記病理標本の陽性または陰性を判定する判定部とを備えることを特徴とする。
　また、本発明に係る学習モデル作成プログラムは、上述した学習モデル作成方法をコンピュータに実行させることを特徴とする。
　また、本発明に係る画像処理プログラムは、上述した画像処理方法をコンピュータに実行させることを特徴とする。
　本発明に係る学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラムによれば、病理標本の陽性や陰性を精度良く判定することが可能となる、という効果を奏する。
図１は、本実施の形態１に係る画像処理システムを示すブロック図である。 図２Ａは、病理標本の作製方法を説明する図である。 図２Ｂは、病理標本の作製方法を説明する図である。 図３は、撮像部の構成を模式的に示す図である。 図４は、ＲＧＢカメラの分光感度特性の一例を示す図である。 図５は、第１フィルタの分光特性の一例を示す図である。 図６は、第２フィルタの分光特性の一例を示す図である。 図７は、非特異結合標本の作製方法を説明する図である。 図８は、学習モデル作成方法を示すフローチャートである。 図９は、画像処理方法を示すフローチャートである。 図１０は、本実施の形態１の変形例１－１を示す図である。 図１１は、本実施の形態２に係る病理標本の作製方法を説明する図である。 図１２は、本実施の形態２に係る非特異結合標本の作製方法を説明する図である。 図１３は、本実施の形態２の変形例２－１を示す図である。 図１４は、本実施の形態２の変形例２－１を示す図である。 図１５は、本実施の形態３に係る病理標本の作製方法を説明する図である。 図１６は、本実施の形態４に係る画像処理装置を示すブロック図である。 図１７は、本実施の形態４に係る画像処理方法を示すフローチャートである。 図１８は、本実施の形態５に係る画像処理装置を示すブロック図である。 図１９は、本実施の形態５に係る学習モデル作成方法を示すフローチャートである。 図２０は、本実施の形態５に係る画像処理方法を示すフローチャートである。 図２１は、本実施の形態６に係る画像処理装置を示すブロック図である。 図２２は、本実施の形態６に係る学習モデル作成方法を示すフローチャートである。
　以下に、図面を参照して、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
（実施の形態１）
　〔画像処理システムの概略構成〕
　図１は、本実施の形態１に係る画像処理システム１を示すブロック図である。
　画像処理システム１は、染色が施された被検査対象の病理標本を撮像し、当該撮像による病理標本画像を処理するシステムである。この画像処理システム１は、図１に示すように、撮像装置２と、データベース３と、画像処理装置４とを備える。
　これら撮像装置２、データベース３、及び画像処理装置４は、具体的な図示は省略したが、ネットワークを介して相互に通信可能に接続されている。当該ネットワークとしては、有線または無線を問わず、インターネット、ＬＡＮ（Local Area Network）、またはＶＰＮ（Virtual Private Network）等を例示することができる。
　図２Ａ及び図２Ｂは、病理標本Ｓｐ１の作製方法を説明する図である。
　ここで、本実施の形態１では、病理標本Ｓｐ１には、図２Ａ及び図２Ｂに示す染色方法により染色が施されている。なお、図２Ａ及び図２Ｂに示す染色方法は、免疫染色の染色方法の一つであるポリマー法である。
　具体的に、作業者は、図２Ａに示すように、組織ＬＴに対して一次抗体Ａ１を作用させ、当該組織ＬＴの中にある抗原Ａ０に当該一次抗体Ａ１を結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、抗原Ａ０に結合していない一次抗体Ａ１は、組織ＬＴから除去される。
　次に、作業者は、図２Ｂに示すように、当該組織ＬＴに対して二次抗体Ａ２と大量の酵素Ｅｎとが結合したデキストランポリマーＰｏを作用させ、一次抗体Ａ１に当該二次抗体Ａ２（デキストランポリマーＰｏ）を結合させる。ここで、本実施の形態１では、酵素Ｅｎとして、ペルオキシダーゼ（例えば、西洋わさびペルオキシダーゼ（horseradish peroxidase：ＨＲＰ）を採用している。この後、作業者は、当該組織ＬＴを洗浄する。その結果、一次抗体Ａ１に結合していない二次抗体Ａ２（デキストランポリマーＰｏ）は、組織ＬＴから除去される。
　最後に、作業者は、当該組織ＬＴに対してＤＡＢ（3,3-Diaminobenzidine：ジアミノベンジジン）を作用させる。その結果、デキストランポリマーＰｏに結合している酵素ＥｎとＤＡＢとが反応して、当該ＤＡＢが発色する。
　以上の工程により、ＤＡＢの発色位置により抗原Ａ０の位置を確認することができる病理標本Ｓｐ１が作製される。
　〔撮像装置の構成〕
　撮像装置２は、上述した病理標本Ｓｐ１等の標本Ｓｐ（図３参照）の標本画像を取得する装置である。ここで、本実施の形態１では、撮像装置２は、マルチバンド画像の標本画像を取得する装置として構成されている。この撮像装置２は、図１に示すように、撮像部２１と、装置本体２２と、入力部２３と、表示部２４とを備える。
　図３は、撮像部２１の構成を模式的に示す図である。
　撮像部２１は、標本画像を取得する部分であり、図３に示すように、ステージ２１１と、照明部２１２と、結像光学系２１３と、ＲＧＢカメラ２１４と、フィルタ部２１５とを備える。
　ステージ２１１は、標本Ｓｐが載置される部分であり、装置本体２２による制御の下、移動することで標本Ｓｐの観察箇所を変更可能に構成されている。
　照明部２１２は、装置本体２２による制御の下、ステージ２１１上に載置された標本Ｓｐに照明光を照射する。
　結像光学系２１３は、標本Ｓｐに照射され、当該標本Ｓｐを透過した透過光をＲＧＢカメラ２１４に結像する。
　図４は、ＲＧＢカメラ２１４の分光感度特性の一例を示す図である。
　ＲＧＢカメラ２１４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、装置本体２２による制御の下、標本Ｓｐを透過した透過光を撮像する。このＲＧＢカメラ２１４は、例えば、図４に示すＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有する。
　図５は、第１フィルタ２１７の分光特性の一例を示す図である。図６は、第２フィルタ２１８の分光特性の一例を示す図である。
　フィルタ部２１５は、結像光学系２１３からＲＧＢカメラ２１４に至る光路上に配設され、ＲＧＢカメラ２１４に結像する光の波長帯域を所定範囲に制限する。このフィルタ部２１５は、図３に示すように、装置本体２２による制御の下、回転可能とするフィルタホイール２１６と、当該フィルタホイール２１６に設けられ、Ｒ，Ｇ，Ｂの各バンドの透過波長帯域を２分するように、それぞれ異なる分光特性（例えば、図５，図６の分光特性）を有する第１，第２フィルタ２１７，２１８とを備える。
　そして、撮像部２１は、装置本体２２による制御の下、以下に示すように、標本Ｓｐの標本画像（マルチバンド画像）を取得する。
　先ず、撮像部２１は、照明部２１２からＲＧＢカメラ２１４に至る光路上に第１フィルタ２１７を位置付けるとともに、照明部２１２から標本Ｓｐに照明光を照射する。そして、ＲＧＢカメラ２１４は、標本Ｓｐを透過し、第１フィルタ２１７及び結像光学系２１３を介した透過光を撮像する（第１の撮像）。
　次に、撮像部２１は、照明部２１２からＲＧＢカメラ２１４に至る光路上に第２フィルタ２１８を位置付け、第１の撮像と同様にして第２の撮像を行う。
　これにより、第１，第２の撮像でそれぞれ異なる３バンドの画像を取得し、合計で６バンドの標本画像を取得する。
　なお、フィルタ部２１５に設けるフィルタの数は、２枚に限らず、３枚以上のフィルタを設けて、さらに多くのバンドの画像を取得しても構わない。また、撮像部２１は、フィルタ部２１５を省略して、ＲＧＢカメラ２１４によりＲＧＢ画像のみを取得するように構成しても構わない。さらに、フィルタ部２１５の代わりに、分光特性を変えることができる液晶チューナブルフィルタや音響光学チューナブルフィルタを採用しても構わない。また、分光特性の異なる複数の光を切り替えて標本Ｓｐに照射することで、標本画像（マルチバンド画像）を取得しても構わない。さらに、ＲＧＢカメラ２１４の代わりに、モノクロカメラを採用しても構わない。
　装置本体２２は、例えば、ＰＣ（パーソナルコンピュータ）等で構成され、撮像部２１の動作を統括的に制御する。この装置本体２２は、図１に示すように、画像取得部２２１と、制御部２２２と、記憶部２２３と、通信部２２４とを備える。
　画像取得部２２１は、撮像部２１から出力された標本画像（画像データ）を取り込むインターフェースによって構成される。
　制御部２２２は、ＣＰＵ（Central Processing Unit）等で構成されている。この制御部２２２は、入力部２３から入力される入力信号、及び記憶部２２３に格納されているプログラムやデータ等に基づいて、画像取得部２２１や撮像部２１の動作を制御して標本画像を取得する。また、制御部２２２は、表示部２４に表示信号を出力し、当該表示部２４に各種画面を表示させる。
　記憶部２２３は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、若しくはＣＤ－ＲＯＭ等の情報記憶装置及び当該情報記憶装置に対する情報の書込読取装置等によって構成され、制御部２２２が実行するプログラムや画像取得部２２１を介して取得された標本画像等を記憶する。
　通信部２２４は、データベース３や画像処理装置４との間で通信制御を行うインターフェースである。
　入力部２３は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成され、ユーザによる入力操作を受け付ける。そして、入力部２３は、当該入力操作に応じた信号を制御部２２２に出力する。
　表示部２４は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現され、制御部２２２から入力される表示信号を基に各種画面を表示する。
　〔データベースの構成〕
　データベース３は、例えば病院や標本作製会社内の既知のサーバ装置、あるいはクラウド上に設けられ、以下に示す非特異結合標本画像を複数、記録する。
　図７は、非特異結合標本Ｓｐ２の作製方法を説明する図である。
　非特異結合標本画像は、図７の作製方法により作製された非特異結合標本Ｓｐ２の標本画像であって、撮像装置２にて取得された標本画像である。
　ところで、内因性タンパク質として内因性ペルオキシダーゼを含んでいる組織ＬＴが多く存在する。このため、病理標本Ｓｐ１には、ＤＡＢが当該内因性ペルオキシダーゼと反応し発色した非特異結合領域が生成されている場合がある。すなわち、病理標本Ｓｐ１において、ＤＡＢの発色位置からは、抗原Ａ０の位置であるか、非特異結合領域の位置（内因性タンパク質（内因性ペルオキシダーゼ）が存在する位置）であるかを判別することが難しい。そこで、抗原Ａ０の位置と非特異結合領域の位置とを切り分けるために、非特異結合標本Ｓｐ２を用いる。
　具体的に、作業者は、図７に示すように、組織ＬＴに対してＤＡＢを直接作用させる。これにより、内因性タンパク質Ｅｐである内因性ペルオキシダーゼが存在する非特異結合領域でのみ当該内因性ペルオキシダーゼによりＤＡＢを発色させた非特異結合標本Ｓｐ２が作製される。
　〔画像処理装置の構成〕
　画像処理装置４は、撮像装置２から病理標本Ｓｐ１の病理標本画像を取得し、当該病理標本画像を処理する。この画像処理装置４は、図１に示すように、装置本体４１と、入力部４２と、表示部４３とを備える。
　装置本体４１は、例えば、ＰＣ（パーソナルコンピュータ）等で構成されている。この装置本体４１は、図１に示すように、通信部４１１と、第１の学習モデル作成部４１２と、抽出部４１３と、表示制御部４１４と、制御部４１５と、記憶部４１６とを備える。
　通信部４１１は、データベース３や撮像装置２との間で通信制御を行うインターフェースであり、本発明に係る第１，第３の画像取得部としての機能を有する。
　第１の学習モデル作成部４１２は、通信部４１１を介してデータベース３から取得した複数の非特異結合標本画像を第１の学習データとし、当該第１の学習データに基づいて非特異結合領域を学習して第１の学習モデルを作成する。ここで、当該学習としては、線形判別や深層学習等の機械学習を例示することができる。そして、第１の学習モデル作成部４１２は、当該第１の学習モデルを記憶部４１６に記憶する。
　以上説明した通信部４１１及び第１の学習モデル作成部４１２は、本発明に係る学習モデル作成装置５（図１）を構成する。
　抽出部４１３は、記憶部４１６に記憶された第１の学習モデルを用いて、通信部４１１を介して撮像装置２から取得した病理標本画像内の非特異結合領域を抽出する。
　表示制御部４１４は、抽出部４１３にて抽出された非特異結合領域を病理標本画像内の他の領域と識別可能に表示部４３に表示させる。
　制御部４１５は、ＣＰＵ等で構成され、入力部４２から入力される入力信号、及び記憶部４１６に格納されているプログラムやデータ等に基づいて、画像処理装置４全体の動作を制御する。
　記憶部４１６は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭ等の各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、若しくはＣＤ－ＲＯＭ等の情報記憶装置及び当該情報記憶装置に対する情報の書込読取装置等によって構成され、制御部４１５が実行するプログラム（本発明に係る学習モデル作成プログラム及び画像処理プログラムを含む）や第１の学習モデル作成部４１２にて作成された第１の学習モデル等を記憶する。
　入力部４２は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成され、ユーザによる入力操作を受け付ける。そして、入力部４２は、当該入力操作に応じた信号を制御部４１５に出力する。
　表示部４３は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現され、制御部４１５から入力される表示信号を基に各種画面を表示する。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４の動作について、学習モデル作成方法及び画像処理方法を順に説明する。
　図８は、学習モデル作成方法を示すフローチャートである。
　先ず、通信部４１１は、制御部４１５による制御の下、データベース３に記録された複数の非特異結合標本画像を取得する（ステップＳ１Ａ：第１の画像取得ステップ）。
　ステップＳ１Ａの後、第１の学習モデル作成部４１２は、制御部４１５による制御の下、複数の非特異結合標本画像内の非特異結合領域を学習して第１の学習モデルを作成する（ステップＳ１Ｂ：第１の学習モデル作成ステップ）。そして、第１の学習モデル作成部４１２は、当該第１の学習モデルを記憶部４１６に記憶する。
　図９は、画像処理方法を示すフローチャートである。
　先ず、通信部４１１は、制御部４１５による制御の下、撮像装置２から病理標本画像を取得する（ステップＳ２Ａ：第３の画像取得ステップ）。
　ステップＳ２Ａの後、抽出部４１３は、制御部４１５による制御の下、記憶部４１６に記憶された第１の学習モデルを用いて、病理標本画像内の非特異結合領域を抽出する（ステップＳ２Ｂ：抽出ステップ）。
　ステップＳ２Ｂの後、表示制御部４１４は、制御部４１５による制御の下、ステップＳ２Ｂで抽出された非特異結合領域を病理標本画像内の他の領域と識別可能に表示部４３に表示させる（ステップＳ２Ｃ：表示ステップ）。
　そして、医師は、表示部４３に表示された病理標本画像（非特異結合領域と他の領域とが識別可能に表示）を確認しながら、病理標本Ｓｐ１の陽性または陰性を判定する。
　以上説明した実施の形態１によれば、以下の効果を奏する。
　本実施の形態１に係る画像処理装置４は、内因性タンパク質Ｅｐを含む組織ＬＴに対して当該内因性タンパク質Ｅｐが存在する非特異結合領域で発色する試薬（ＤＡＢ）を作用させた非特異結合標本Ｓｐ２を表す非特異結合標本画像を取得する。また、画像処理装置４は、当該非特異結合標本画像を第１の学習データとし、当該第１の学習データに基づいて非特異結合領域を学習して第１の学習モデルを作成する。さらに、画像処理装置４は、被検査対象となる病理標本Ｓｐ１を表す病理標本画像を取得し、第１の学習データを用いて、当該病理標本画像内の非特異結合領域を抽出する。そして、画像処理装置４は、病理標本画像内の非特異結合領域を他の領域と識別可能に表示部４３に表示させる。
　したがって、医師は、表示部４３に表示された病理標本画像（非特異結合領域と他の領域とが識別可能に表示）を確認すれば、特異的な結合によって染色された部分（抗原Ａ０の位置）のみを診断対象とすることができる。すなわち、医師は、病理標本Ｓｐ１の陽性または陰性を精度良く判定することができる。
（実施の形態１の変形例１－１）
　図１０は、本実施の形態１の変形例１－１を示す図である。
　上述した実施の形態１では、病理標本Ｓｐ１の作製方法として、ポリマー法（図２Ａ，図２Ｂ）を採用していたが、これに限らず、図１０に示したＰＡＰ法を採用してもよい。
　具体的に、作業者は、組織ＬＴに対して一次抗体Ａ１を作用させ、当該組織ＬＴの中にある抗原Ａ０に当該一次抗体Ａ１を結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、抗原Ａ０に結合していない一次抗体Ａ１は、組織ＬＴから除去される。
　次に、作業者は、当該組織ＬＴに対して二次抗体Ａ２を作用させ、一次抗体Ａ１に当該二次抗体Ａ２を結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、一次抗体Ａ１に結合していない二次抗体Ａ２は、組織ＬＴから除去される。
　次に、作業者は、当該組織ＬＴに対してペルオキシダーゼ抗ペルオキシダーゼ抗体複合物Ｃｏを作用させ、二次抗体Ａ２にペルオキシダーゼ抗ペルオキシダーゼ抗体複合物Ｃｏを結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、二次抗体Ａ２に結合していないペルオキシダーゼ抗ペルオキシダーゼ抗体複合物Ｃｏは、組織ＬＴから除去される。
　最後に、作業者は、当該組織ＬＴに対してＤＡＢを作用させる。その結果、ペルオキシダーゼ抗ペルオキシダーゼ抗体複合物Ｃｏに含まれる酵素（ペルオキシダーゼ）ＥｎとＤＡＢとが反応して、当該ＤＡＢが発色する。
　以上の工程により、病理標本Ｓｐ１が作製される。
　なお、ＰＡＰ法により病理標本Ｓｐ１を作製した場合であっても、非特異結合標本Ｓｐ２の作製方法は、上述した実施の形態１と同様の方法を採用することができる。
（実施の形態１の変形例１－２）
　上述した実施の形態１及び変形例１－１において、病理標本Ｓｐ１及び非特異結合標本Ｓｐ２を作製する際（図２Ａ，図２Ｂ，図７，図１０）に、ＤＡＢの代わりにアミノエチルカルバゾール（3-Amino-9-ethylcarbazole：ＡＥＣ）等を使用しても構わない。
　また、上述した実施の形態１及び変形例１－１では、内因性タンパク質Ｅｐとして内因性ペルオキシダーゼを想定していたが、これに限らず、内因性タンパク質Ｅｐとして内因性アルカリフォスファターゼを想定しても構わない。この場合には、病理標本Ｓｐ１を作製する際（図２Ａ，図２Ｂ，図１０）に、酵素Ｅｎとしてペルオキシダーゼの代わりにアルカリフォスファターゼを使用する。また、病理標本Ｓｐ１及び非特異結合標本Ｓｐ２を作製する際（図２Ａ，図２Ｂ，図７，図１０）に、ＤＡＢの代わりに、ファーストレッド（Fast red）やニューフクシン（New fuchsin）、または、BCIP/NBT(5-Bromo-4-Chloro-3-Indoxyl phosphate/Nitro blue tetrazolium chloride)等を使用する。
（実施の形態２）
　次に、本実施の形態２について説明する。
　以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　本実施の形態２では、上述した実施の形態１に対して、病理標本Ｓｐ１及び非特異結合標本Ｓｐ２の作製方法が異なるのみである。
　以下、本実施の形態２に係る病理標本Ｓｐ１及び非特異結合標本Ｓｐ２の作製方法について順に説明する。
　〔病理標本の作製方法〕
　図１１は、本実施の形態２に係る病理標本Ｓｐ１の作製方法を説明する図である。
　本実施の形態２では、病理標本Ｓｐ１には、図１１に示す染色方法により染色が施されている。なお、図１１に示す染色方法は、免疫染色の染色方法の一つであるＡＢＣ（avidin-biotin complex）法である。
　具体的に、作業者は、図１１の左側に示すように、組織ＬＴに対してビオチン化抗体Ａ３を作用させ、当該組織ＬＴの中にある抗原Ａ０に当該ビオチン化抗体Ａ３を結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、抗原Ａ０に結合していないビオチン化抗体Ａ３は、組織ＬＴから除去される。
　次に、作業者は、図１１の中央に示すように、当該組織ＬＴに対して、複数の反応基を持つアビジンＡｂと複数ヵ所でビオチン化された酵素（ベルオキシダーゼ）Ｅｎとを予め適当な割合で混合したアビジン・ビオチン複合体ＡＢＣを作用させる。そして、ビオチン化抗体Ａ３のビオチンＢｉにアビジン・ビオチン複合体ＡＢＣに含まれるアビジンＡｂを結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、ビオチン化抗体Ａ３（ビオチンＢｉ）に結合していないアビジン・ビオチン複合体ＡＢＣ（アビジンＡｂ）は、組織ＬＴから除去される。
　最後に、作業者は、当該組織ＬＴに対してＤＡＢを作用させる。その結果、図１１の右側に示すように、アビジン・ビオチン複合体ＡＢＣに含まれる酵素（ペルオキシダーゼ）ＥｎとＤＡＢとが反応して、当該ＤＡＢが発色する。
　以上の工程により、病理標本Ｓｐ１が作製される。
　〔非特異結合標本の作製方法〕
　図１２は、本実施の形態２に係る非特異結合標本Ｓｐ２の作製方法を説明する図である。
　ところで、内因性タンパク質として内因性ビオチンを含んでいる組織ＬＴが多く存在する。このため、病理標本Ｓｐ１には、アビジン・ビオチン複合体ＡＢＣに含まれるアビジンＡｂが当該内因性ビオチンに結合し、ＤＡＢがアビジン・ビオチン複合体ＡＢＣに含まれる酵素（ペルオキシダーゼ）Ｅｎと反応し発色した非特異結合領域が生成されている場合がある。すなわち、病理標本Ｓｐ１において、ＤＡＢの発色位置からは、抗原Ａ０の位置であるか、非特異結合領域の位置（内因性タンパク質（内因性ビオチン）が存在する位置）であるかを判別することが難しい。そこで、抗原Ａ０の位置と非特異結合領域の位置とを切り分けるために、以下に示すように非特異結合標本Ｓｐ２を作製する。
　具体的に、作業者は、図１２に示すように、組織ＬＴに対して酵素（ペルオキシダーゼ）Ｅｎが結合したアビジンＡｂを作用させて内因性タンパク質Ｅｐである内因性ビオチンに当該アビジンＡｂを結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、内因性タンパク質Ｅｐである内因性ビオチンに結合していないアビジンＡｂは、組織ＬＴから除去される。そして、作業者は、当該組織ＬＴに対してＤＡＢを作用させる。これにより、内因性タンパク質Ｅｐである内因性ビオチンが存在する非特異結合領域でのみアビジンＡｂに結合した酵素（ペルオキシダーゼ）ＥｎによりＤＡＢを発色させた非特異結合標本Ｓｐ２が作製される。
　以上説明した本実施の形態２のような病理標本Ｓｐ１及び非特異結合標本Ｓｐ２の作製方法を採用した場合であっても、上述した実施の形態１と同様の効果を奏する。
（実施の形態２の変形例２－１）
　図１３及び図１４は、本実施の形態２の変形例２－１を示す図である。
　上述した実施の形態２において、図１３または図１４に示すように、非特異結合標本Ｓｐ２を作製しても構わない。
　具体的に、作業者は、図１３または図１４に示すように、組織ＬＴに対してアビジン・ビオチン複合体ＡＢＣを作用させて内因性タンパク質Ｅｐである内因性ビオチンに当該アビジン・ビオチン複合体ＡＢＣに含まれるアビジンＡｂを結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、内因性タンパク質Ｅｐである内因性ビオチンに結合していないアビジン・ビオチン複合体ＡＢＣ（アビジンＡｂ）は、組織ＬＴから除去される。そして、作業者は、当該組織ＬＴに対してＤＡＢを作用させる。これにより、内因性タンパク質Ｅｐである内因性ビオチンが存在する非特異結合領域でのみアビジン・ビオチン複合体ＡＢＣに含まれる酵素（ペルオキシダーゼ）ＥｎによりＤＡＢを発色させた非特異結合標本Ｓｐ２が作製される。
　このように非特異結合標本Ｓｐ２を作製した場合には、内因性タンパク質Ｅｐが存在する位置に多量の酵素（ペルオキシダーゼ）Ｅｎを存在させることができるため、非特異結合領域をより感度良く生成することが可能となる。
（実施の形態２の変形例２－２）
　上述した実施の形態２及び変形例２－１において、病理標本Ｓｐ１及び非特異結合標本Ｓｐ２を作製する際（図１１～図１４）に、ＤＡＢの代わりにアミノエチルカルバゾール等を使用しても構わない。
　また、上述した実施の形態２及び変形例２－１において、病理標本Ｓｐ１及び非特異結合標本Ｓｐ２を作製する際（図１１～図１４）において、酵素Ｅｎとしてペルオキシダーゼの代わりにアルカリフォスファターゼを使用し、ＤＡＢの代わりに、ファーストレッドやニューフクシン、またはBCIP/NBT等を使用しても構わない。
（実施の形態３）
　次に、本実施の形態３について説明する。
　以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　本実施の形態３では、上述した実施の形態１に対して、病理標本Ｓｐ１及び非特異結合標本Ｓｐ２の作製方法が異なるのみである。
　以下、本実施の形態３に係る病理標本Ｓｐ１及び非特異結合標本Ｓｐ２の作製方法について順に説明する。
　〔病理標本の作製方法〕
　図１５は、本実施の形態３に係る病理標本Ｓｐ１の作製方法を説明する図である。
　本実施の形態３では、病理標本Ｓｐ１には、図１５に示す染色方法により染色が施されている。なお、図１５に示す染色方法は、免疫染色の染色方法の一つであるＬＳＡＢ（Labeled streptavidin biotinyated antibody）法である。
　具体的に、作業者は、図１５に示すように、組織ＬＴに対して一次抗体Ａ１を作用させ、当該組織ＬＴの中にある抗原Ａ０に当該一次抗体Ａ１を結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、抗原Ａ０に結合していない一次抗体Ａ１は、組織ＬＴから除去される。
　次に、作業者は、当該組織ＬＴに対して、ビオチン化された二次抗体Ａ２を作用させ、一次抗体Ａ１に当該二次抗体Ａ２を結合させる。この後、作業者は、当該組織ＬＴを洗浄する。その結果、一次抗体Ａ１に結合していない二次抗体Ａ２は、組織ＬＴから除去される。
　次に、作業者は、当該組織ＬＴに対して、酵素標識ストレプトアビジンＳａを作用させ、二次抗体Ａ２におけるビオチンＢｉに酵素標識ストレプトアビジンＳａを結合させる。ここで、本実施の形態３では、酵素標識ストレプトアビジンＳａにおける酵素Ｅｎとして、ペルオキシダーゼを採用している。この後、作業者は、当該組織ＬＴを洗浄する。その結果、二次抗体Ａ２（ビオチンＢｉ）に結合していない酵素標識ストレプトアビジンＳａは、組織ＬＴから除去される。
　最後に、作業者は、当該組織ＬＴに対してＤＡＢを作用させる。その結果、酵素標識ストレプトアビジンＳａにおける酵素（ペルオキシダーゼ）ＥｎとＤＡＢとが反応して、当該ＤＡＢが発色する。
　以上の工程により、病理標本Ｓｐ１が作製される。
　〔非特異結合標本の作製方法〕
　ところで、上述した実施の形態２で説明したように、内因性タンパク質として内因性ビオチンを含んでいる組織ＬＴが多く存在する。このため、病理標本Ｓｐ１には、酵素標識ストレプトアビジンＳａが当該内因性ビオチンに結合し、ＤＡＢが酵素標識ストレプトアビジンＳａにおける酵素（ペルオキシダーゼ）Ｅｎと反応し発色した非特異結合領域が生成されている場合がある。すなわち、病理標本Ｓｐ１において、ＤＡＢの発色位置からは、抗原Ａ０の位置であるか、非特異結合領域の位置（内因性タンパク質（内因性ビオチン）が存在する位置）であるかを判別することが難しい。そこで、抗原Ａ０の位置と非特異結合領域の位置とを切り分けるために、以下に示すように非特異結合標本Ｓｐ２を作製する。
　具体的に、作業者は、組織ＬＴに対して酵素標識ストレプトアビジンＳａを作用させて内因性タンパク質Ｅｐである内因性ビオチンに当該酵素標識ストレプトアビジンＳａを結合させる。そして、作業者は、当該組織ＬＴに対してＤＡＢを作用させる。これにより、内因性タンパク質Ｅｐである内因性ビオチンが存在する非特異結合領域でのみ酵素標識ストレプトアビジンＳａにおける酵素（ペルオキシダーゼ）ＥｎによりＤＡＢを発色させた非特異結合標本Ｓｐ２が作製される。
　以上説明した本実施の形態３のような病理標本Ｓｐ１及び非特異結合標本Ｓｐ２の作製方法を採用した場合であっても、上述した実施の形態１と同様の効果を奏する。
（実施の形態３の変形例３－１）
　上述した実施の形態３において、病理標本Ｓｐ１及び非特異結合標本Ｓｐ２を作製する際（図１５）に、ＤＡＢの代わりにアミノエチルカルバゾール等を使用しても構わない。
　また、上述した実施の形態３において、病理標本Ｓｐ１及び非特異結合標本Ｓｐ２を作製する際（図１５）において、酵素Ｅｎとしてペルオキシダーゼの代わりにアルカリフォスファターゼを使用し、ＤＡＢの代わりに、ファーストレッドやニューフクシン、またはBCIP/NBT等を使用しても構わない。
（実施の形態４）
　次に、本実施の形態４について説明する。
　以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　図１６は、本実施の形態４に係る画像処理装置４Ａを示すブロック図である。
　本実施の形態４では、図１６に示すように、上述した実施の形態１に対して、画像処理装置４（装置本体４１）から表示制御部４１４の機能を省略するとともにマスキング処理部４１７及び判定部４１８の機能を追加した画像処理装置４Ａ（装置本体４１Ａ）を採用している。
　〔マスキング処理部及び判定部の機能〕
　マスキング処理部４１７は、通信部４１１を介して撮像装置２から取得した病理標本画像内から、抽出部４１３にて抽出された非特異結合領域を除去する。
　判定部４１８は、マスキング処理部４１７にて非特異結合領域が除去された病理標本画像に基づいて、除去されずに残った画像領域内の画素毎の画素値と予め決められた閾値とを比較することにより、病理標本Ｓｐ１の陽性または陰性を判定する。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４Ａの動作について説明する。
　本実施の形態４に係る画像処理装置４Ａの動作は、上述した実施の形態１で説明した画像処理装置４の動作（学習モデル作成方法及び画像処理方法）に対して、画像処理方法のみが異なる。このため、以下では、本実施の形態４に係る画像処理方法のみを説明する。
　図１７は、本実施の形態４に係る画像処理方法を示すフローチャートである。
　本実施の形態４に係る画像処理方法は、図１７に示すように、上述した実施の形態１で説明した画像処理方法（図９）に対して、ステップＳ２Ｃを省略し、ステップＳ２Ｄ，Ｓ２Ｅを追加した点が異なる。このため、以下では、ステップＳ２Ｄ，Ｓ２Ｅを説明する。
　ステップＳ２Ｄ（マスキング処理ステップ）は、ステップＳ２Ｂの後に実行される。
　具体的に、マスキング処理部４１７は、ステップＳ２Ｄにおいて、制御部４１５による制御の下、ステップＳ２Ａで取得された病理標本画像内から、ステップＳ２Ｂで抽出された非特異結合領域を除去する。
　ステップＳ２Ｄの後、判定部４１８は、制御部４１５による制御の下、ステップＳ２Ｄで非特異結合領域が除去された病理標本画像に基づいて、除去されずに残った画像領域内の画素毎の画素値と予め決められた閾値とを比較することにより、病理標本Ｓｐ１の陽性または陰性を判定する（ステップＳ２Ｅ：判定ステップ）。
　以上説明した本実施の形態４によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　本実施の形態４に係る画像処理装置４Ａは、被検査対象となる病理標本Ｓｐ１を表す病理標本画像を取得し、第１の学習データを用いて、当該病理標本画像内の非特異結合領域を抽出する。また、画像処理装置４Ａは、病理標本画像内から当該非特異結合領域を除去する。そして、画像処理装置４Ａは、非特異結合領域が除去された病理標本画像に基づいて、除去されずに残った場像領域内の画素毎の画素値と閾値とを比較することにより、病理標本Ｓｐ１の陽性または陰性を判定する。
　したがって、閾値との比較に非特異結合領域の影響が出ることがなく、病理標本Ｓｐ１の陽性または陰性を精度良く判定することができる。
（実施の形態５）
　次に、本実施の形態５について説明する。
　以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　図１８は、本実施の形態５に係る画像処理装置４Ｂを示すブロック図である。
　本実施の形態５では、図１８に示すように、上述した実施の形態１に対して、画像処理装置４（装置本体４１）から表示制御部４１４の機能を省略し、抽出部４１３の代わりに抽出部４１３Ｂの機能を採用し、さらに、マスキング処理部４１７Ｂ、判定部４１８Ｂ、及び第２の学習モデル作成部４１９の機能を追加した画像処理装置４Ｂ（装置本体４１Ｂ）を採用している。
　本実施の形態５に係るデータベース３は、以下に示す教師画像を複数、記録する。
　教師画像は、病理標本Ｓｐ１と同一の染色方法（本実施の形態５では、図２Ａ，図２Ｂに示した染色方法）により染色が施された組織標本を表す画像（以下、原画像と記載）を撮像装置２にて取得し、当該原画像を基に作成された画像である。具体的に、教師画像は、原画像に対して、例えば病理医により陽性領域及び陰性領域が別々にラベリング（マーク）された画像である。
　〔抽出部、マスキング処理部、第２の学習モデル作成部、及び判定部の機能〕
　抽出部４１３Ｂは、記憶部４１６に記憶された第１の学習モデルを用いて、通信部４１１を介してデータベース３から取得した教師画像内の非特異結合領域を抽出する。すなわち、通信部４１１は、本発明に係る第２の画像取得部としての機能を有する。
　マスキング処理部４１７Ｂは、通信部４１１を介してデータベース３から取得した教師画像内から、抽出部４１３Ｂにて抽出された非特異結合領域を除去する。
　第２の学習モデル作成部４１９は、マスキング処理部４１７Ｂにて非特異結合領域が除去された教師画像を第２の学習データとし、当該第２の学習データに基づいて陽性領域及び陰性領域を学習して第２の学習モデルを作成する。ここで、当該学習としては、線形判別や深層学習等の機械学習を例示することができる。そして、第２の学習モデル作成部４１９は、当該第２の学習モデルを記憶部４１６に記憶する。
　以上説明した抽出部４１３Ｂ、マスキング処理部４１７Ｂ、及び第２の学習モデル作成部４１９は、通信部４１１及び第１の学習モデル作成部４１２とともに、本発明に係る学習モデル作成装置５Ｂ（図１８）を構成する。
　判定部４１８Ｂは、記憶部４１６に記憶された第２の学習モデルを用いて、通信部４１１を介して撮像装置２から取得した病理標本画像から病理標本Ｓｐ１の陽性または陰性を判定する。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４Ｂの動作について、学習モデル作成方法及び画像処理方法を順に説明する。
　図１９は、本実施の形態５に係る学習モデル作成方法を示すフローチャートである。
　なお、記憶部４１６には、上述した実施の形態１で説明した学習モデル作成方法により作成された第１の学習モデルが既に記憶されている。
　先ず、通信部４１１は、制御部４１５による制御の下、データベース３に記録された複数の教師画像を取得する（ステップＳ３Ａ：第２の画像取得ステップ）。
　ステップＳ３Ａの後、抽出部４１３Ｂは、制御部４１５による制御の下、記憶部４１６に記憶された第１の学習モデルを用いて、ステップＳ３Ａで取得された教師画像内の非特異結合領域を抽出する（ステップＳ３Ｂ：抽出ステップ）。
　ステップＳ３Ｂの後、マスキング処理部４１７Ｂは、制御部４１５による制御の下、ステップＳ３Ａで取得された教師画像内から、ステップＳ３Ｂで抽出された非特異結合領域を除去する（ステップＳ３Ｃ：マスキング処理ステップ）。
　ステップＳ３Ｃの後、第２の学習モデル作成部４１９は、制御部４１５による制御の下、ステップＳ３Ｃで非特異結合領域が除去された複数の教師画像内の陽性領域及び陰性領域を学習して第２の学習モデルを作成する（ステップＳ３Ｄ：第２の学習モデル作成ステップ）。そして、第２の学習モデル作成部４１９は、当該第２の学習モデルを記憶部４１６に記憶する。
　図２０は、本実施の形態５に係る画像処理方法を示すフローチャートである。
　本実施の形態５に係る画像処理方法は、図２０に示すように、上述した実施の形態１で説明した画像処理方法（図９）に対して、ステップＳ２Ｂ，Ｓ２Ｃを省略し、ステップＳ２Ｆを追加した点が異なる。このため、以下では、ステップＳ２Ｆを説明する。
　ステップＳ２Ｆ（判定ステップ）は、ステップＳ２Ａの後に実行される。
　具体的に、判定部４１８Ｂは、ステップＳ２Ｆにおいて、制御部４１５による制御の下、記憶部４１６に記憶された第２の学習データを用いて、ステップＳ２Ａで取得された病理標本画像から病理標本Ｓｐ１の陽性または陰性を判定する。
　以上説明した本実施の形態５によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　本実施の形態５に係る画像処理装置４Ｂは、病理標本の陽性領域及び陰性領域が事前にマークされた教師画像を取得する。また、画像処理装置４Ｂは、第１の学習モデルを用いて、教師画像内の非特異結合領域を抽出し、当該教師画像内から当該非特異結合領域を除外する。さらに、画像処理装置４Ｂは、非特異結合領域が除外された教師画像を第２の学習データとし、当該第２の学習データに基づいて陽性領域及び陰性領域を学習して第２の学習モデルを作成する。そして、画像処理装置４Ｂは、第２の学習モデルを用いて、被検査対象となる病理標本Ｓｐ１を表す病理標本画像から当該病理標本Ｓｐ１の陽性または陰性を判定する。
　したがって、非特異結合領域の影響を除外した第２の学習モデルを用いることで、病理標本Ｓｐ１の陽性または陰性を精度良く判定することができる。
（実施の形態６）
　次に、本実施の形態６について説明する。
　以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　図２１は、本実施の形態６に係る画像処理装置４Ｃを示すブロック図である。
　本実施の形態６では、図２１に示すように、上述した実施の形態１に対して、画像処理装置４において、第１の学習モデル作成部４１２とは異なる機能を有する第１の学習モデル作成部４１２Ｃを搭載した画像処理装置４Ｃ（装置本体４１Ｃ）を採用している。
　以下、非特異結合標本画像（マルチバンド画像）から非特異結合標本Ｓｐ２上の点における色素量の推定方法の一例について説明した後、第１の学習モデル作成部４１２Ｃの機能について説明する。
　〔非特異結合標本上の点における色素量の推定方法の一例〕
　以下では、説明の便宜上、非特異結合標本Ｓｐ２は、上述した実施の形態１で説明したように組織ＬＴに対してＤＡＢを直接作用させてＤＡＢの発色（以下、ＤＡＢ色素と記載）により非特異結合領域を可視化するとともに、ヘマトキシリンを作用させてＨ（ヘマトキシリン）色素により当該組織ＬＴの陰性領域（陰性細胞）を可視化したものとする。
　また、以下では、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式で非特異結合標本Ｓｐ２を撮像した場合を想定する。この場合には、非特異結合標本Ｓｐ２上の各点において１６バンドの画素値を有するマルチバンド画像（非特異結合標本画像）が得られる。なお、色素は、本来、非特異結合標本Ｓｐ２内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、非特異結合標本Ｓｐ２内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する非特異結合標本Ｓｐ２上の点を意味している。
　ここで、撮像により得られたマルチバンド画像（非特異結合標本画像）の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する非特異結合標本Ｓｐ２上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく以下の式（１）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のバンドパスフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した以下の式（２）が用いられる。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）はｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆはｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
　ここで、標記を簡単にするため、以下の式（３）で定義される行列Ｈを導入する。この行列Ｈは、システム行列とも呼ばれる。
Figure JPOXMLDOC01-appb-M000003
　よって、式（２）は、以下の式（４）に置き換えられる。
Figure JPOXMLDOC01-appb-M000004
　次に、ウィナー推定を用いて、撮像により得られたマルチバンド画像（非特異結合標本画像）から非特異結合標本Ｓｐ２上の各点における分光透過率を推定する。分光透過率の推定値（以下、分光透過率データと記載）Ｔ^（ｘ）は、以下の式（５）で計算することができる。なお、Ｔ^は、Ｔの上に推定値を示す記号「^（ハット）」が付いていることを示す。
Figure JPOXMLDOC01-appb-M000005
　式（５）において、Ｗは、以下の式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」とも呼ばれる。
Figure JPOXMLDOC01-appb-M000006
　式（６）において、ＲSSは、Ｄ行Ｄ列の行列であり、非特異結合標本Ｓｐ２の分光透過率の自己相関行列を表す。また、ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。なお、任意の行列Ｘに対し、行列ＸTは行列Ｘの転置行列を表し、行列Ｘ-1は行列Ｘの逆行列を表す。システム行列Ｈを構成する行列Ｆ、Ｓ、Ｅ、すなわち、バンドパスフィルタの分光透過率、カメラの分光感度特性、及び照明の分光放射特性と、行列ＲSSと、行列ＲNNとは予め取得しておく。
　以上のように分光透過率データＴ^（ｘ）を推定した後、当該分光透過率データＴ^（ｘ）を基に対応する非特異結合標本Ｓｐ２上の点（以下、標本点と記載）における色素量を推定する。ここでは、推定の対象とする色素は、Ｈ色素、ＤＡＢ色素、染色されていない赤血球本体の色素（以下、Ｒ色素と記載）の３種類である。
　一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ０（λ）と射出光の強度Ｉ（λ）との間に、以下の式（７）で表されるランベルト・ベールの法則が成り立つことが知られている。
Figure JPOXMLDOC01-appb-M000007
　式（７）において、ｋ（λ）は波長に依存して決める物質固有の値、ｄは物質の厚さをそれぞれ表す。ここで、式（７）の左辺は分光透過率ｔ（λ）を意味しているため、式（７）は、以下の式（８）に置き換えられる。
Figure JPOXMLDOC01-appb-M000008
　また、分光吸光度ａ（λ）は、以下の式（９）で表される。
Figure JPOXMLDOC01-appb-M000009
　よって、式（８）は、以下の式（１０）に置き換えられる。
Figure JPOXMLDOC01-appb-M000010
　非特異結合標本Ｓｐ２がＨ色素、ＤＡＢ色素、及びＲ色素の３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて、以下の式（１１）が成立する。
Figure JPOXMLDOC01-appb-M000011
　式（１１）において、ｋH（λ）、ｋDAB（λ）、及びｋR（λ）は、それぞれＨ色素、ＤＡＢ色素、及びＲ色素に対応するｋ（λ）を表し、例えば、非特異結合標本Ｓｐ２を染色している各色素の色素スペクトル（以下、基準色素スペクトルと記載）である。また、ｄH、ｄDAB、及びｄRは、マルチバンド画像（非特異結合標本画像）の各画素位置に対応する各標本点におけるＨ色素、ＤＡＢ色素、及びＲ色素の仮想的な厚さを表す。本来、色素は、非特異結合標本Ｓｐ２中に分散して存在するため、厚さという概念は正確ではないが、非特異結合標本Ｓｐ２が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄH、ｄDAB、及びｄRは、それぞれＨ色素、ＤＡＢ色素、及びＲ色素の色素量を表していると言える。なお、ｋH（λ）、ｋDAB（λ）、及びｋR（λ）は、Ｈ色素、ＤＡＢ色素、及びＲ色素を用いてそれぞれ個別に染色した非特異結合標本Ｓｐ２を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
　ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は、以下の式（１２）に置き換えられる。
Figure JPOXMLDOC01-appb-M000012
　そして、式（５）を用いて推定された分光透過率データＴ^（ｘ）の波長λにおける推定分光透過率をｔ^（ｘ，λ）、推定分光吸光度をａ^（ｘ，λ）とすると、式（１２）は、以下の式（１３）に置き換えられる。なお、ｔ^は、ｔの上に記号「^」が付いていることを示し、ａ^は、ａの上に記号「^」が付いていることを示す。
Figure JPOXMLDOC01-appb-M000013
　式（１３）において未知変数はｄH、ｄDAB、及びｄRの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ1，λ2，λ3について式（１３）を連立させた場合、以下の式（１４）のように行列表記することができる。
Figure JPOXMLDOC01-appb-M000014
　ここで、式（１４）を以下の式（１５）に置き換える。
Figure JPOXMLDOC01-appb-M000015
　式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ^（ｘ）はａ^（ｘ，λ）に対応するＤ行１列の行列であり、Ｋはｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は点ｘにおけるｄH、ｄDAB、及びｄRに対応する３行１列の行列である。なお、Ａ^は、Ａの上に記号「^」が付いていることを示す。
　そして、式（１５）に従い、最小二乗法を用いて色素量ｄH，ｄDAB，ｄRを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、以下の式（１６）で算出することができる。なお、以下の式（１６）において、ｄ^（ｘ）は、推定された色素量である。
Figure JPOXMLDOC01-appb-M000016
　〔第１の学習モデル作成部の機能〕
　第１の学習モデル作成部４１２Ｃは、図２１に示すように、分光透過率推定部４１２１と、色素量推定部４１２２と、色素量画像算出部４１２３と、学習モデル作成部４１２４とを備える。
　分光透過率推定部４１２１は、例えばウィナー推定（式（１）～（６））により、通信部４１１を介してデータベース３から取得した非特異結合標本画像から各画素の分光透過率を推定する。
　色素量推定部４１２２は、例えばランベルト・ベールの法則（式（７）～（１６））により、分光透過率推定部４１２１にて推定された分光透過率を用いて試薬（ＤＡＢ）の画素毎の色素量（ＤＡＢ色素の色素量）を推定する。
　色素量画像算出部４１２３は、色素量推定部４１２２にて推定された画素毎のＤＡＢ色素の色素量を各画素値とした色素量画像（試薬（ＤＡＢ）の発色状態を表した画像）を算出する。
　学習モデル作成部４１２４は、色素量画像算出部４１２３にて算出された複数の色素量画像を第１の学習データとし、当該第１の学習データに基づいて非特異結合領域を学習して第１の学習モデルを作成する。ここで、当該学習としては、線形判別や深層学習等の機械学習を例示することができる。そして、学習モデル作成部４１２４は、当該第１の学習モデルを記憶部４１６に記憶する。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４Ｃの動作について説明する。
　本実施の形態６に係る画像処理装置４Ｃの動作は、上述した実施の形態１で説明した画像処理装置４の動作（学習モデル作成方法及び画像処理方法）に対して、学習モデル作成方法のみが異なる。このため、以下では、本実施の形態６に係る学習モデル作成方法のみを説明する。
　図２２は、本実施の形態６に係る画像処理方法を示すフローチャートである。
　本実施の形態６に係る画像処理方法は、図２２に示すように、上述した実施の形態１で説明した学習モデル作成方法（図８）に対して、ステップＳ１Ｂの代わりにステップＳ１Ｃ～Ｓ１Ｆを採用した点が異なる。このため、以下では、ステップＳ１Ｃ～Ｓ１Ｆを説明する。
　ステップＳ１Ｃは、ステップＳ１Ａの後に実行される。
　具体的に、分光透過率推定部４１２１は、ステップＳ１Ｃにおいて、制御部４１５による制御の下、ステップＳ１Ａで取得された非特異結合標本画像から各画素の分光透過率を推定する。
　ステップＳ１Ｃの後、色素量推定部４１２２は、制御部４１５による制御の下、ステップＳ１Ｃで推定された分光透過率を用いて試薬（ＤＡＢ）の画素毎の色素量（ＤＡＢ色素の色素量）を推定する（ステップＳ１Ｄ：色素量推定手順）。
　ステップＳ１Ｄの後、色素量画像算出部４１２３は、制御部４１５による制御の下、ステップＳ１Ｄで推定された画素毎のＤＡＢ色素の色素量を各画素値とした色素量画像を算出する（ステップＳ１Ｅ：色素量画像算出手順）。
　以上のステップＳ１Ａ，Ｓ１Ｃ～Ｓ１Ｅは、複数の異なる非特異結合標本画像について実行される。すなわち、複数の異なる非特異結合標本画像についてステップＳ１Ａ，Ｓ１Ｃ～Ｓ１Ｅをそれぞれ実行することにより、複数の色素量画像が算出される。
　ステップＳ１Ｅの後、学習モデル作成部４１２４は、制御部４１５による制御の下、ステップＳ１Ｅで算出された複数の色素量画像内の非特異結合領域（ＤＡＢ色素）を学習して第１の学習モデルを作成する（ステップＳ１Ｆ：学習モデル作成手順）。
　以上説明した本実施の形態６によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　本実施の形態６に係る画像処理装置４Ｃは、非特異結合標本画像に基づいて、試薬（ＤＡＢ）の画素毎の色素量を推定する。また、画像処理装置４Ｃは、画素毎の試薬（ＤＡＢ）の色素量に基づいて、当該試薬（ＤＡＢ）の発色状態を表した色素量画像を算出する。そして、画像処理装置４Ｃは、色素量画像を第１の学習データとし、当該第１の学習データに基づいて非特異結合領域を学習して第１の学習モデルを作成する。
　すなわち、色素量画像は、試薬（ＤＡＢ）の画素毎の色素量、言い換えれば、非結合領域を精度良く表した画像である。このため、色素量画像を第１の学習データとすることで、非特異結合領域を精度良く学習することができる。したがって、当該学習により作成された第１の学習モデルを用いることで、病理標本Ｓｐ１の陽性または陰性をより精度良く判定することができる。
（その他の実施形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１～６によってのみ限定されるべきものではない。
　上述した実施の形態１～６及び変形例１－１，１－２，２－１，２－２，３－１では、学習モデル作成装置５，５Ｂを画像処理装置４，４Ａ～４Ｃに組み込んでいたが、これに限らず、学習モデル作成装置５，５Ｂを画像処理装置４，４Ａ～４Ｃとは別の装置として構成しても構わない。
　上述した実施の形態１～６及び変形例１－１，１－２，２－１，２－２，３－１で説明した構成を適宜、組み合わせても構わない。すなわち、上述した実施の形態４～６において、病理標本Ｓｐ１や非特異結合標本Ｓｐ２の作製方法として、上述した実施の形態２，３及び変形例１－１，１－２，２－１，２－２，３－１で説明した作製方法を採用しても構わない。また、上述した実施の形態４，５において、第１の学習モデル作成部４１２の代わりに上述した実施の形態６で説明した第１の学習モデル作成部４１２Ｃを採用しても構わない。
　上述した実施の形態５では、非特異結合領域が除外された教師画像に基づいて陽性領域及び陰性領域を学習して第２の学習モデルを作成していたが、これに限らない。
　例えば、非特異結合領域が除外されていない教師画像に基づいて陽性領域及び陰性領域を学習して第２の学習モデルを作成しても構わない。この際、ステップＳ２Ｆにおいて、第１の学習モデルを用いて病理標本画像から非特異結合領域を除外する。そして、第２の学習モデルを用いて、非特異結合領域が除外された病理標本画像から病理標本Ｓｐ１の陽性または陰性を判定する。
　上述した実施の形態６では、分光透過率推定部４１２１及び色素量推定部４１２２は、非特異結合標本画像内の画素毎の分光透過率及び色素量をそれぞれ推定していたが、これに限らず、当該非特異結合標本画像内の領域（複数の画素を含む領域）毎の分光透過率及び色素量をそれぞれ推定する構成としても構わない。また、色素量推定部４１２２は、分光透過率を用いて色素量を推定していたが、これに限らず、非特異結合標本画像における各画素の画素値から直接、ルックアップテーブルや、回帰分析で求めた色素量推定行列を用いて、試薬の画素毎の色素量を推定しても構わない。
　１　画像処理システム
　２　撮像装置
　３　データベース
　４，４Ａ～４Ｃ　画像処理装置
　５，５Ｂ　学習モデル作成装置
　２１　撮像部
　２２　装置本体
　２３　入力部
　２４　表示部
　４１，４１Ａ～４１Ｃ　装置本体
　４２　入力部
　４３　表示部
　２１１　ステージ
　２１２　照明部
　２１３　結像光学系
　２１４　ＲＧＢカメラ
　２１５　フィルタ部
　２１６　フィルタホイール
　２１７　第１フィルタ
　２１８　第２フィルタ
　２２１　画像取得部
　２２２　制御部
　２２３　記憶部
　２２４　通信部
　４１１　通信部
　４１２，４１２Ｃ　第１の学習モデル作成部
　４１３，４１３Ｂ　抽出部
　４１４　表示制御部
　４１５　制御部
　４１６　記憶部
　４１７，４１７Ｂ　マスキング処理部
　４１８，４１８Ｂ　判定部
　４１９　第２の学習モデル作成部
　４１２１　分光透過率推定部
　４１２２　色素量推定部
　４１２３　色素量画像算出部
　４１２４　学習モデル作成部
　Ａ０　抗原
　Ａ１　一次抗体
　Ａ２　二次抗体
　Ａ３　ビオチン化抗体
　Ａｂ　アビジン
　ＡＢＣ　アビジン・ビオチン複合体
　Ｂｉ　ビオチン
　Ｃｏ　ペルオキシダーゼ抗ペルオキシダーゼ抗体複合物
　Ｅｎ　酵素
　Ｅｐ　内因性タンパク質
　ＬＴ　組織
　Ｐｏ　デキストランポリマー
　Ｓａ　酵素標識ストレプトアビジン
　Ｓｐ　標本
　Ｓｐ１　病理標本
　Ｓｐ２　非特異結合標本

Claims (17)

  1. 　内因性タンパク質を含む組織に対して当該内因性タンパク質が存在する非特異結合領域で発色する試薬を作用させた非特異結合標本を表す非特異結合標本画像を取得する第１の画像取得ステップと、
    　前記非特異結合標本画像を第１の学習データとし、当該第１の学習データに基づいて学習器に前記非特異結合領域を学習させて第１の学習モデルを作成する第１の学習モデル作成ステップとを備える
    　ことを特徴とする学習モデル作成方法。
  2. 　前記内因性タンパク質は、
    　内因性ペルオキシダーゼであり、
    　前記非特異結合標本は、
    　前記組織に対してジアミノベンジジンを直接作用させて前記内因性ペルオキシダーゼが存在する前記非特異結合領域でのみ当該内因性ペルオキシダーゼにより当該ジアミノベンジジンを発色させた組織標本である
    　ことを特徴とする請求項１に記載の学習モデル作成方法。
  3. 　前記内因性タンパク質は、
    　内因性アルカリフォスファターゼであり、
    　前記非特異結合標本は、
    　前記組織に対してファーストレッドを直接作用させて前記内因性アルカリフォスファターゼが存在する前記非特異結合領域でのみ当該内因性アルカリフォスファターゼにより当該ファーストレッドを発色させた組織標本である
    　ことを特徴とする請求項１に記載の学習モデル作成方法。
  4. 　前記内因性タンパク質は、
    　内因性ビオチンであり、
    　前記非特異結合標本は、
    　前記組織に対してペルオキシダーゼが結合したアビジンを作用させるとともに、前記内因性ビオチンに当該アビジンが結合した状態でジアミノベンジジンを作用させて当該内因性ビオチンが存在する前記非特異結合領域でのみ当該ペルオキシダーゼにより当該ジアミノベンジジンを発色させた組織標本である
    　ことを特徴とする請求項１に記載の学習モデル作成方法。
  5. 　前記内因性タンパク質は、
    　内因性ビオチンであり、
    　前記非特異結合標本は、
    　前記組織に対してアビジンとビオチン化されたペルオキシダーゼとを結合させたアビジン・ビオチン複合体を作用させるとともに、前記内因性ビオチンに当該アビジン・ビオチン複合体が結合した状態でジアミノベンジジンを作用させて当該内因性ビオチンが存在する前記非特異結合領域でのみ当該ペルオキシダーゼにより当該ジアミノベンジジンを発色させた組織標本である
    　ことを特徴とする請求項１に記載の学習モデル作成方法。
  6. 　前記第１の学習モデル作成ステップは、
    　前記非特異結合標本画像に基づいて、前記試薬の色素量を推定する色素量推定手順と、
    　前記試薬の色素量に基づいて、前記試薬の発色状態を表した色素量画像を算出する色素量画像算出手順と、
    　前記色素量画像を前記第１の学習データとし、当該第１の学習データに基づいて前記学習器に前記非特異結合領域を学習させて前記第１の学習モデルを作成する学習モデル作成手順とを備える
    　ことを特徴とする請求項１～５のいずれか一つに記載の学習モデル作成方法。
  7. 　病理標本の陽性領域及び陰性領域の少なくとも一方が事前にマークされた教師画像を取得する第２の画像取得ステップと、
    　前記第１の学習モデルを用いて、前記教師画像内の前記非特異結合領域を抽出する抽出ステップと、
    　前記教師画像内から前記非特異結合領域を除外するマスキング処理ステップと、
    　前記非特異結合領域を除外した前記教師画像を第２の学習データとし、当該第２の学習データに基づいて学習器に前記陽性領域及び前記陰性領域の少なくとも一方を学習させて第２の学習モデルを作成する第２の学習モデル作成ステップとを備える
    　ことを特徴とする請求項１～６のいずれか一つに記載の学習モデル作成方法。
  8. 　被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得ステップと、
    　請求項１～６のいずれか一つに記載の学習モデル作成方法で作成された前記第１の学習データを用いて、前記病理標本画像内の前記非特異結合領域を抽出する抽出ステップと、
    　前記病理標本画像内の前記非特異結合領域を他の領域と識別可能に表示部に表示する表示ステップとを備える
    　ことを特徴とする画像処理方法。
  9. 　被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得ステップと、
    　請求項１～６のいずれか一つに記載の学習モデル作成方法で作成された前記第１の学習モデルを用いて、前記病理標本画像内の前記非特異結合領域を抽出する抽出ステップと、
    　前記病理標本画像内から前記非特異結合領域を除外するマスキング処理ステップと、
    　前記非特異結合領域を除外した前記病理標本画像に基づいて、前記病理標本の陽性または陰性を判定する判定ステップとを備える
    　ことを特徴とする画像処理方法。
  10. 　被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得ステップと、
    　請求項７に記載の学習モデル作成方法で作成された前記第２の学習モデルを用いて、前記病理標本画像から前記病理標本の陽性または陰性を判定する判定ステップとを備える
    　ことを特徴とする画像処理方法。
  11. 　内因性タンパク質を含む組織に対して当該内因性タンパク質が存在する非特異結合領域で発色する試薬を作用させた非特異結合標本を表す非特異結合標本画像を取得する第１の画像取得部と、
    　前記非特異結合標本画像を第１の学習データとして前記非特異結合領域を学習して第１の学習モデルを作成する第１の学習モデル作成部とを備える
    　ことを特徴とする学習モデル作成装置。
  12. 　病理標本の陽性領域及び陰性領域の少なくとも一方が事前にマークされた教師画像を取得する第２の画像取得部と、
    　前記第１の学習モデルを用いて、前記教師画像内の前記非特異結合領域を抽出する抽出部と、
    　前記教師画像内から前記非特異結合領域を除外するマスキング処理部と、
    　前記非特異結合領域が除外された前記教師画像を第２の学習データとし、当該第２の学習データに基づいて前記陽性領域及び前記陰性領域の少なくとも一方を学習して第２の学習モデルを作成する第２の学習モデル作成部とを備える
    　ことを特徴とする請求項１１に記載の学習モデル作成装置。
  13. 　被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得部と、
    　請求項１１に記載の学習モデル作成装置で作成された前記第１の学習データを用いて、前記病理標本画像内の前記非特異結合領域を抽出する抽出部と、
    　前記病理標本画像内の前記非特異結合領域を他の領域と識別可能に表示部に表示させる表示制御部とを備える
    　ことを特徴とする画像処理装置。
  14. 　被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得部と、
    　請求項１１に記載の学習モデル作成装置で作成された前記第１の学習モデルを用いて、前記病理標本画像内の前記非特異結合領域を抽出する抽出部と、
    　前記病理標本画像内から前記非特異結合領域を除外するマスキング処理部と、
    　前記非特異結合領域が除外された前記病理標本画像に基づいて、前記病理標本の陽性または陰性を判定する判定部とを備える
    　ことを特徴とする画像処理装置。
  15. 　被検査対象となる病理標本を表す病理標本画像を取得する第３の画像取得部と、
    　請求項１２に記載の学習モデル作成装置で作成された前記第２の学習モデルを用いて、前記病理標本画像から前記病理標本の陽性または陰性を判定する判定部とを備える
    　ことを特徴とする画像処理装置。
  16. 　請求項１～７のいずれか一つに記載の学習モデル作成方法をコンピュータに実行させる
    　ことを特徴とする学習モデル作成プログラム。
  17. 　請求項８～１０のいずれか一つに記載の画像処理方法をコンピュータに実行させる
    　ことを特徴とする画像処理プログラム。
PCT/JP2017/043842 2017-12-06 2017-12-06 学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラム WO2019111355A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/043842 WO2019111355A1 (ja) 2017-12-06 2017-12-06 学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラム
US16/892,700 US11327024B2 (en) 2017-12-06 2020-06-04 Learning model preparation method, image processing method, learning model preparation device, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/043842 WO2019111355A1 (ja) 2017-12-06 2017-12-06 学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/892,700 Continuation US11327024B2 (en) 2017-12-06 2020-06-04 Learning model preparation method, image processing method, learning model preparation device, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2019111355A1 true WO2019111355A1 (ja) 2019-06-13

Family

ID=66751414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043842 WO2019111355A1 (ja) 2017-12-06 2017-12-06 学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラム

Country Status (2)

Country Link
US (1) US11327024B2 (ja)
WO (1) WO2019111355A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4687736A (en) * 1984-10-31 1987-08-18 The University Of Wales College Of Medicine Detection of biological substances by specific labelling techniques
JPS62502285A (ja) * 1985-03-19 1987-09-03 リー　エレン　フワイ―アン サンプル中の生物学的物質の免疫学的測定法
US5432056A (en) * 1993-11-15 1995-07-11 Ventana Medical Systems, Inc. Bisulfite-based tissue fixative
JPH07280808A (ja) * 1994-04-05 1995-10-27 Teijin Ltd 生体試料の免疫染色方法
JPH08308593A (ja) * 1995-05-16 1996-11-26 Bayer Corp 白血球の内因性ペルオキシダーゼ活性に基く、新鮮並びに時間を置いた全血試料についての白血球分画計数を実施するための改良された方法と試薬組成物
JP2007127505A (ja) * 2005-11-02 2007-05-24 Kagoshima Univ 免疫染色法、及び当該免疫染色法を利用した細胞の評価方法
JP2007527991A (ja) * 2003-07-08 2007-10-04 ダコ デンマーク アクティーゼルスカブ 標準
JP2008051821A (ja) * 1994-05-11 2008-03-06 Trustees Of Boston Univ 生体分子の検出および単離のための光分解性の反応剤ならびにコンジュゲート
JP2008275592A (ja) * 2007-04-03 2008-11-13 Sysmex Corp アルカリホスファターゼ標識検出用試薬キット、免疫測定用試薬キット及び免疫測定方法
US20090305307A1 (en) * 2004-09-10 2009-12-10 Danisco Us Inc. Methods for detecting targets

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5866350A (en) 1985-03-19 1999-02-02 Helen Hwai-An Lee Method for the immunological determination of a biological material in a sample
US5643722A (en) 1994-05-11 1997-07-01 Trustees Of Boston University Methods for the detection and isolation of proteins
EP1978363B1 (en) 2007-04-03 2010-02-24 Sysmex Corporation Immunoassay method, reagent kit for detecting alkaline phosphatase, and reagent kit for immunoassay
US9002077B2 (en) * 2009-08-10 2015-04-07 Cambridge Research & Instrumentation, Inc. Visualization of stained samples
US20180128834A1 (en) * 2013-04-11 2018-05-10 Medite Cancer Diagnostics, Inc. Biological specimen evaluation methods using cytology and immunology
JP6355082B2 (ja) 2013-07-18 2018-07-11 パナソニックＩｐマネジメント株式会社 病理診断支援装置及び病理診断支援方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4687736A (en) * 1984-10-31 1987-08-18 The University Of Wales College Of Medicine Detection of biological substances by specific labelling techniques
JPS62502285A (ja) * 1985-03-19 1987-09-03 リー　エレン　フワイ―アン サンプル中の生物学的物質の免疫学的測定法
US5432056A (en) * 1993-11-15 1995-07-11 Ventana Medical Systems, Inc. Bisulfite-based tissue fixative
JPH07280808A (ja) * 1994-04-05 1995-10-27 Teijin Ltd 生体試料の免疫染色方法
JP2008051821A (ja) * 1994-05-11 2008-03-06 Trustees Of Boston Univ 生体分子の検出および単離のための光分解性の反応剤ならびにコンジュゲート
JPH08308593A (ja) * 1995-05-16 1996-11-26 Bayer Corp 白血球の内因性ペルオキシダーゼ活性に基く、新鮮並びに時間を置いた全血試料についての白血球分画計数を実施するための改良された方法と試薬組成物
JP2007527991A (ja) * 2003-07-08 2007-10-04 ダコ デンマーク アクティーゼルスカブ 標準
US20090305307A1 (en) * 2004-09-10 2009-12-10 Danisco Us Inc. Methods for detecting targets
JP2007127505A (ja) * 2005-11-02 2007-05-24 Kagoshima Univ 免疫染色法、及び当該免疫染色法を利用した細胞の評価方法
JP2008275592A (ja) * 2007-04-03 2008-11-13 Sysmex Corp アルカリホスファターゼ標識検出用試薬キット、免疫測定用試薬キット及び免疫測定方法

Also Published As

Publication number Publication date
US11327024B2 (en) 2022-05-10
US20200292460A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US9002077B2 (en) Visualization of stained samples
JP4376058B2 (ja) 定量的ビデオ顕微鏡法とそれに関連するシステム及びコンピューターソフトウェアプログラム製品
JP6654634B2 (ja) 不均一なバイオマーカー分布を定量的に分析するための方法、システム及び装置
ES2301706T3 (es) Metodo de videomicroscopia cuantitativa y sistema asociado asi como el producto de programa informatico de sofware.
JP7092503B2 (ja) 共発現解析のためのシステム及び方法
US8379962B2 (en) Image classifier training
US20200005459A1 (en) Methods and Systems for Assessing Histological Stains
JP5663873B2 (ja) 乳癌病理画像診断支援システム、乳癌病理画像診断支援方法、乳癌病理画像診断支援プログラム、及び、乳癌病理画像診断支援プログラムを記録した記録媒体
JP4071186B2 (ja) 生物標本内の関心対象を識別するための方法及びシステム
JP4740068B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
AU2003236675A1 (en) Method for quantitative video-microscopy and associated system and computer software program product
JP5738564B2 (ja) 画像処理システム
US20090110273A1 (en) Image Processing Device and Image Processing Program
Ulaganathan et al. A clinicopathological study of various oral cancer diagnostic techniques
JP2009014355A (ja) 画像処理装置および画像処理プログラム
US20090141979A1 (en) Image processing device and recording medium storing image processing program
WO2019111355A1 (ja) 学習モデル作成方法、画像処理方法、学習モデル作成装置、画像処理装置、学習モデル作成プログラム、及び画像処理プログラム
WO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2020075226A1 (ja) 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
Ghosh et al. A generalized framework for stain separation in digital pathology applications
CN117546007A (zh) 信息处理装置、生物样本观察系统及图像生成方法
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
KR20200128857A (ko) 타겟 물질을 검출하는 방법을 실행시키기 위한 프로그램
JP2013092884A (ja) 画像処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933942

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17933942

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP