WO2018128091A1 - 画像解析プログラム及び画像解析方法 - Google Patents

画像解析プログラム及び画像解析方法 Download PDF

Info

Publication number
WO2018128091A1
WO2018128091A1 PCT/JP2017/046063 JP2017046063W WO2018128091A1 WO 2018128091 A1 WO2018128091 A1 WO 2018128091A1 JP 2017046063 W JP2017046063 W JP 2017046063W WO 2018128091 A1 WO2018128091 A1 WO 2018128091A1
Authority
WO
WIPO (PCT)
Prior art keywords
parameter
cell nucleus
image
pathological diagnosis
image analysis
Prior art date
Application number
PCT/JP2017/046063
Other languages
English (en)
French (fr)
Inventor
勇介 三村
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to EP17889901.9A priority Critical patent/EP3567546A1/en
Priority to JP2018560360A priority patent/JPWO2018128091A1/ja
Priority to US16/474,664 priority patent/US20200005014A1/en
Publication of WO2018128091A1 publication Critical patent/WO2018128091A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image analysis program and an image analysis method, and more particularly, to an image analysis program and an image analysis method for extracting a diagnosis target corresponding to a diagnostician from a pathological diagnosis image.
  • Pathological diagnosis is one of medical diagnoses.
  • a pathologist diagnoses a disease from a piece of tissue collected from the human body and tells the clinician whether treatment or surgery is necessary. Then, depending on the patient's condition and the result of the pathological diagnosis, the physician determines the drug treatment policy, and the surgeon determines whether or not to perform the operation.
  • tissue specimen obtained by organ excision or needle biopsy is sliced to a thickness of about several ⁇ m to prepare a tissue specimen, and it is widely observed using an optical microscope.
  • This tissue specimen is made, for example, by dehydrating to fix the collected tissue, making it paraffin-blocked, slicing it into thin slices, and removing the paraffin, but the tissue specimen absorbs and scatters almost all light. Since it is almost colorless and transparent, dyeing with a pigment is generally performed prior to observation.
  • HE staining hematoxylin-eosin staining
  • HE staining hematoxylin-eosin staining
  • eosin staining stains cytoplasm, stroma, various fibers, erythrocytes, and keratinocytes in red to dark red.
  • a pathologist makes a diagnosis based on morphological information and staining information such as changes in the size and shape of cell nuclei and changes in pattern as a tissue in a microscope image of a stained tissue specimen.
  • a setting step that initially sets the contour of an object present in an input image, and a contour that is initially set in the setting step described above Calculating the energy of the contour point located above, and calculating the energy of the point located in the peripheral region when the contour point is moved to the point located in the peripheral region; and the energy calculating step
  • An image processing method is disclosed that includes a step of performing a minimum search for the calculated energy and moving a contour point to the minimum point of the energy.
  • the energy calculation step and the movement step repeat processing based on mutual processing results, while the energy calculation step calculates energy from an input image blurred in the initial stage when calculating energy. Calculate energy and calculate energy from the input image with less blur in stages.
  • learning data acquisition means for acquiring learning data
  • inference means candidate creation means for creating a plurality of inference means candidates based on the learning data
  • the plurality based on the learning data An inference performance evaluation means for evaluating the performance of the inference means candidates, an information validity evaluation means for evaluating the validity of the information presented by each of the plurality of inference means candidates based on the learning data
  • a medical diagnosis support apparatus comprising: an inference means selection means for selecting an inference means from the plurality of inference means candidates based on the performance of the inference means candidates and the validity of information presented by each of the plurality of inference means candidates. It is disclosed.
  • Machine learning is a general technique for extracting a cell nucleus region from an image for pathological diagnosis.
  • it is necessary to teach the machine the cell nucleus region in various pathological diagnosis images as a learning sample. The following problems exist when learning.
  • the first problem is that the criteria for determining cell nuclei differ depending on the purpose of diagnosis. That is, even in the same pathological diagnosis image, what kind of cell nucleus region is extracted and what kind of cell nucleus region is excluded from the extraction target differs depending on the diagnosis purpose. Therefore, if machine learning is performed based on the cell nucleus determined without knowing the purpose of the diagnosis, the accuracy of the machine learning deteriorates.
  • the second problem is that there are variations in cell nucleus judgment criteria by pathologists. That is, the state of a tissue specimen for pathological diagnosis changes depending on the specimen preparation method, staining technique, and the like, and the pathological diagnostic image also changes greatly depending on imaging conditions. For this reason, there is a large variation in criteria for determining cell nuclei in the pathological diagnosis image by the pathologist. Therefore, even if machine learning is performed using pathological diagnosis images of the same tissue specimen, the extraction result of the cell nucleus changes depending on the condition of the tissue specimen and the cell nucleus determination criterion, which causes the machine learning accuracy to deteriorate. .
  • the present invention has been made in view of the above problems, and its main purpose is to appropriately extract a cell nucleus region corresponding to a diagnostician from a pathological diagnosis image while reducing the burden on the diagnostician. Another object is to provide an image analysis program and an image analysis method.
  • One aspect of the present invention includes a first parameter that includes a display unit, an operation unit, and a storage unit, and that is stored in the storage unit, and that determines a cell nucleus determination criterion for each diagnostic purpose, and a cell nucleus determination criterion for each diagnostician And an image analysis program that operates on an apparatus for analyzing a pathological diagnosis image using the second parameter that determines the pathological diagnosis image obtained by capturing a tissue specimen in the apparatus, A first pathological diagnosis image analysis process for extracting a plurality of cell nucleus candidate regions from the pathological diagnosis image using the parameters, and a plurality of cell nucleus candidate regions extracted using the second parameter.
  • a second pathological diagnosis image analysis process for re-extracting one or a plurality of cell nucleus regions; and a first display for displaying the pathological diagnosis image in which the one or more re-extracted cell nucleus regions can be identified on the display unit. Display of Control process, to the execution.
  • One aspect of the present invention includes a first parameter that includes a display unit, an operation unit, and a storage unit, and that is stored in the storage unit, and that determines a cell nucleus determination criterion for each diagnostic purpose, and a cell nucleus determination criterion for each diagnostician And an image analysis method in an apparatus for analyzing an image for pathological diagnosis using a second parameter for determining a pathological diagnosis image obtained by photographing a tissue specimen, and using the first parameter, One or more cell nuclei from the extracted plurality of cell nucleus candidate regions using the first pathological diagnosis image analysis processing for extracting a plurality of candidate cell nucleus regions from the pathological diagnosis image and the second parameter A second pathological diagnosis image analysis process for re-extracting the region; and a first display control process for displaying the pathological diagnosis image in which the re-extracted one or a plurality of cell nucleus regions can be identified on the display unit. And the fruit To.
  • the image analysis program and the image analysis method of the present invention it is possible to appropriately extract the cell nucleus region corresponding to the diagnostician from the pathological diagnosis image while reducing the burden on the diagnostician.
  • a pathological diagnosis image obtained by photographing a tissue specimen is acquired, and a plurality of candidate cell nucleus regions are extracted from a pathological image using a first parameter that defines a determination criterion for a cell nucleus for each diagnostic purpose, One or more cell nuclei are re-extracted from the extracted candidate regions of the plurality of cell nuclei using the second parameter that defines the determination criteria of cell nuclei for each diagnostician, and the re-extracted one or more cell nuclei are displayed on the display unit. This is because the image for pathological diagnosis in which the region can be identified is displayed.
  • FIG. 1 is a schematic diagram illustrating a configuration of an image processing system for pathological diagnosis according to a first embodiment of the present invention. It is a block diagram which shows the structure of the image analysis apparatus for pathological diagnosis based on 1st Example of this invention. It is a block diagram which shows the structure of the image analysis apparatus for pathological diagnosis based on 1st Example of this invention. It is a flowchart figure which shows operation
  • FIG. 14 is a flowchart showing a conventional procedure for analyzing an image for pathological diagnosis.
  • a pathological diagnosis image is input to a device that supports pathological diagnosis (S301)
  • the device analyzes the pathological diagnosis image to extract a cell nucleus region (S302), and extracts the extracted cell nucleus region.
  • the final result is displayed (S303).
  • a device for supporting pathological diagnosis extracts a cell nucleus region from the pathological diagnosis image using a machine learning parameter prepared in advance, and displays it as a final result.
  • this method it is not possible to obtain an extraction result that reflects the difference in the determination criteria for cell nuclei for diagnostic purposes and the variation in the determination criteria for cell nuclei by pathologists.
  • FIG. 15 is a table listing factors that change the color of the pathological diagnosis image.
  • Factors that change the color of the image for pathological diagnosis include factors relating to tissue, factors relating to staining, factors relating to imaging, and the like.
  • Factors related to tissue include cancer type, tissue collection method, cancer status, section thickness, etc., and factors related to staining include staining method, activation conditions, staining time, staining solution, etc.
  • Factors related to brightness include brightness, focus, exposure conditions, microscope specifications, and color correction.
  • FIGS. 16A and 16B are examples of images for pathological diagnosis with different image colors.
  • FIGS. 16A and 16B are images for pathological diagnosis of the same breast cancer, but the images are completely different in color (the color is expressed in black and white in the figure, so that the color is expressed in shades).
  • FIG. 17 is an example of a pathological diagnosis image for explaining the difference in the cell nucleus determination criteria for the purpose of diagnosis.
  • a portion A1 surrounded by a solid line in the figure is a portion that the pathologist determines as a normal cell nucleus.
  • a portion A2 surrounded by a broken line in the figure is a cell membrane portion of the cell. This portion A2 needs to be extracted when observing the cell membrane at the time of diagnosis, but need not be extracted when the cell membrane is not observed.
  • FIG. 18 is another example of an image for pathological diagnosis for explaining the difference in criteria for determining cell nuclei depending on the purpose of diagnosis, and is an image taken focusing on dead cells.
  • the part indicated by the arrow in the figure is a cell nucleus, but since the cell nucleus has begun to rupture, the cell containing this cell nucleus is considered a dead cell.
  • it is necessary to extract this portion but when observing dead cells, it is not necessary to extract.
  • FIG. 19 is an example of a pathological diagnosis image for explaining variations in cell nucleus determination criteria by a pathologist.
  • the part indicated by the arrow in the figure (the part where the color is lightly changed) is divided by the pathologist to determine whether or not to extract it as a cell nucleus.
  • FIGS. 20A and 20B are other examples of pathological diagnosis images for explaining variations in determination criteria of cell nuclei by a pathologist
  • FIG. 20A is an original image
  • FIG. 20B is a cell nucleus superimposed on the original image.
  • a line to be added is added.
  • the cell at the center of the original image in FIG. 20A (the part indicated by the arrow) is divided by a pathologist when the part surrounded by the solid line in FIG. 20B is determined as one cell nucleus, or the part enclosed by the solid line is divided by a broken line. May be determined as two cell nuclei.
  • the cell nucleus region to be extracted from the image for pathological diagnosis differs depending on the diagnosis purpose, and the cell nucleus region to be extracted by the pathologist varies even if the diagnosis purpose is the same.
  • there are many factors that change the color of the pathological diagnosis image If the color of the pathological diagnosis image is different, the appearance of the cells changes greatly. For this reason, in the conventional apparatus for supporting pathological diagnosis, the variation in the extraction result is further increased depending on the diagnosis purpose or the pathologist, and the cell nucleus area to be extracted from the pathological diagnosis image is not extracted or need not be extracted. Or will be extracted.
  • parameters for determining a cell nucleus determination criterion are prepared for each diagnosis purpose by machine learning.
  • machine learning is performed again so as to meet the criteria for each diagnostician such as a pathologist, the burden on the diagnostician increases and learning takes time. Therefore, as shown in FIG.
  • a parameter (second parameter P2 that determines a cell nucleus determination criterion for each diagnosis person) is prepared in advance, which can cope with a change in the determination criterion by the diagnosis person.
  • the first parameter P1 and the second parameter P2 are referred to as a basic parameter and a detailed parameter, respectively. Then, as shown in FIG.
  • a pathological diagnosis image IMG0 obtained by imaging a tissue specimen is acquired by the pathological diagnosis image analysis apparatus AP, and a plurality of candidate cell nucleus regions are obtained from the pathological diagnosis image IMG0 using basic parameters.
  • One or more cell nucleus regions are further extracted from the extracted results using detailed parameters. That is, the re-extraction of the cell nucleus region to cope with the variation in the cell nucleus determination criteria by the diagnostician is performed only on the result of extracting the cell nucleus candidate region from the pathological diagnosis image using the basic parameters. Then, the pathological diagnosis image IMG1 in which the re-extracted cell nucleus region can be identified is displayed. This makes it possible to appropriately extract the cell nucleus region corresponding to the diagnostician from the pathological diagnosis image while reducing the burden on the diagnostician.
  • a pathological diagnosis image analysis apparatus that includes a display unit, an operation unit, and a storage unit, and that analyzes a pathological diagnosis image using basic parameters and detailed parameters stored in the storage unit, Perform the process.
  • a first pathological diagnosis image analysis that acquires a pathological diagnosis image obtained by photographing a tissue specimen and extracts a plurality of candidate cell nucleus regions from the pathological diagnosis image using basic parameters.
  • the second pathological diagnosis image analysis process for re-extracting one or a plurality of cell nucleus regions from the extracted plurality of candidate cell nucleus regions using the processing and detailed parameters, and the one or more cell nucleus regions re-extracted on the display unit
  • a first display control process for displaying a pathological diagnosis image that can be identified is executed.
  • the image analysis apparatus for pathological diagnosis uses the basic parameters to calculate the detailed parameters based on the operation results of the diagnostician for the candidate region of the cell nucleus extracted from the pathological diagnosis image and the sample image of the cell nucleus prepared in advance. You may correct to the value corresponding to a diagnostician.
  • re-learning to cope with variations in the determination of cell nuclei by the diagnostician can be performed using a limited number of learning samples, which reduces the burden on the diagnostician and increases machine learning. Man-hours can be reduced.
  • the pathological diagnosis image analysis apparatus causes the display unit to display one or more candidate areas from among the extracted candidate areas of the plurality of cell nuclei so as to be selectable or additionally recordable.
  • the second display control process, the operation control process for accepting a selection operation or additional operation for the candidate region of the cell nucleus by the operation unit, and the detailed parameters are corrected based on the selection result or additional result for the candidate region of one or more cell nuclei.
  • one or a plurality of cell nucleus regions are re-executed from the extracted plurality of cell nucleus candidate regions using the corrected detailed parameters in the second pathological diagnosis image analysis processing. It may be extracted.
  • the pathological diagnosis image analysis apparatus may include a second display control process for displaying a sample image of one or a plurality of cell nuclei on the display unit so that the sample image can be selected or added before the first pathological diagnosis image analysis process.
  • An operation control process for accepting a selection operation or additional write operation for the sample image by the operation unit, a parameter correction process for correcting a detailed parameter and storing it in the storage unit based on the selection result or the additional write result for the sample image,
  • the one or more cell nucleus regions may be re-extracted from the extracted candidate regions of the plurality of cell nuclei using the corrected detailed parameters.
  • FIG. 2 is a schematic diagram illustrating the configuration of the image processing system for pathological diagnosis of the present embodiment
  • FIGS. 3A and 3B are block diagrams illustrating the configuration of the image analysis apparatus for pathological diagnosis.
  • FIG. 4 is a flowchart showing the operation of the image analysis apparatus for pathological diagnosis.
  • FIGS. 5 to 9 are examples of candidate area display screens for correcting detailed parameters.
  • the image processing system for pathological diagnosis 10 of the present embodiment includes a pathological diagnosis image acquisition apparatus 20 and a pathological diagnosis image analysis apparatus 30, which are Ethernet (registered trademark) and token ring. And a communication network 40 such as a LAN (Local Area Network) defined by a standard such as FDDI (Fiber-Distributed Data Interface).
  • a communication network 40 such as a LAN (Local Area Network) defined by a standard such as FDDI (Fiber-Distributed Data Interface).
  • the pathological diagnosis image acquisition apparatus 20 includes an optical microscope that captures a tissue specimen prepared by slicing a tissue specimen obtained by organectomy or needle biopsy to a thickness of about several ⁇ m, and an image for pathological diagnosis that is captured by the optical microscope. And a control unit for controlling and generating image data of a pathological diagnosis image and outputting the image data.
  • the pathological diagnosis image analysis device 30 is a computer device such as a personal computer. As shown in FIG. 3A, the control unit 31, the storage unit 35, the network I / F unit 36, the display unit 37, the operation unit 38, and the like. Consists of.
  • the control unit 31 includes a CPU (Central Processing Unit) 32 and a memory such as a ROM (Read Only Memory) 33 and a RAM (Random Access Memory) 34, which are connected via a bus.
  • the ROM 33 stores a program and the like.
  • the RAM 34 stores data necessary for control by the CPU 32 and data that needs to be temporarily stored during the control operation.
  • the CPU 32 controls the overall operation of the image analysis apparatus 30 for pathological diagnosis by developing the control program stored in the ROM 33 and the storage unit 35 in the RAM 34 and executing the program.
  • control unit 31 functions as a parameter setting unit 31a, a pathological diagnosis image analysis unit 31b, a display control unit 31c, an operation control unit 31d, a parameter correction unit 31e, and the like.
  • the parameter setting unit 31a includes a parameter (basic parameter for determining a cell nucleus determination criterion for each diagnosis purpose) for extracting a candidate region for a cell nucleus according to a diagnosis purpose from a pathological diagnosis image, Parameters for extracting a cell nucleus region corresponding to a diagnostician such as a pathologist (hereinafter referred to as a pathologist) from the above (detailed parameters for determining cell nucleus determination standards for each pathologist) are set in the storage unit 35 and the like. save.
  • a parameter basic parameter for determining a cell nucleus determination criterion for each diagnosis purpose
  • the size of the cell nucleus for example, one or more of the size of the cell nucleus, the concentration of staining of the cell nucleus, the edge strength of the outline of the cell nucleus, the numerical value of the feature amount such as the likelihood ratio, and the like can be used.
  • the cell nucleus size, cell nucleus staining concentration, edge intensity of cell nucleus contour, numerical value of feature amount such as likelihood ratio, pattern for determining dead cell, and the like can be used.
  • a standard value prepared in advance may be set as the initial value of the parameter, or a pathologist or the like may select or input the initial value of the parameter using the operation unit 38.
  • the detailed parameters may be included in the basic parameters, a part of the detailed parameters may overlap with the basic parameters, or a structure that does not overlap with the basic parameters.
  • the initial value of the detailed parameter may be the same value as the basic parameter.
  • the pathological diagnosis image analysis unit 31b acquires a pathological diagnosis image obtained by photographing a tissue specimen from the pathological diagnosis image acquisition device 20, and performs a relaxation method, a zero intersection cell, a Canny cell, Edges are emphasized using a known method such as non-extreme suppression edge enhancement, and a contour is extracted from the enhanced image using a known method such as Hough transform or SNAKE method. Then, by performing image processing on the extracted contour using the basic parameters described above, a plurality of candidate cell nucleus regions corresponding to the diagnostic purpose are extracted from the pathological diagnosis image. Further, by performing image processing on the extracted candidate cell nucleus region using the detailed parameters described above, one or more cell nucleus regions corresponding to the pathologist are extracted.
  • the display control unit 31c classifies the extracted candidate cell nucleus regions and sets detailed parameters to values corresponding to a diagnostician such as a pathologist. Create a group for At this time, candidate regions of the same cell nucleus may be included in a plurality of groups. Then, the candidate regions of the cell nuclei of each group can be selected (that is, a diagnostician such as a pathologist can select one or a plurality of candidate regions of the cell nuclei of each group) on the display unit 37.
  • one or a plurality of cell nucleus candidate areas for setting detailed parameters to values corresponding to a diagnostician such as a pathologist among the extracted cell nucleus candidate areas can be specified, and the specified cell nucleus candidate areas can be additionally recorded.
  • a diagnostician such as a pathologist can display the candidate region of the specified cell nucleus using the operation unit 38
  • the display control unit 31c outputs the pathological diagnosis image that can identify the extracted cell nucleus region as a final result. Is displayed on the display unit 37.
  • an image for pathological diagnosis in which the extracted cell nucleus region is emphasized may be displayed on the display unit 37.
  • the region to be emphasized is blinked, or a frame or a marker indicating the region to be emphasized together with the image for pathological diagnosis
  • a method such as displaying can be used.
  • the extracted cell nucleus region may be displayed on the display unit 37 instead of displaying the entire pathological diagnosis image on the display unit 37.
  • the display control unit 31c causes the display unit 37 to display a screen for setting and selecting basic parameters and detailed parameters as necessary.
  • the operation control unit 31d accepts the selection operation and corrects the selection result as a parameter. Notification to the unit 31e.
  • the additional writing operation is accepted and a result of the additional writing is notified to the parameter correcting unit 31e. Also, basic parameter and detailed parameter setting operations and selection operations are accepted as necessary.
  • the parameter correction unit 31e receives from the operation control unit 31d the selection result or additional recording result of the cell nucleus candidate region by the pathologist, and details based on the difference between the selected cell nucleus candidate region and the unselected cell nucleus candidate region.
  • the parameter is corrected to a value corresponding to the pathologist, or the detailed parameter is corrected to a value corresponding to the pathologist based on the added content, and the corrected detailed parameter is stored in the storage unit 35 or the like.
  • the parameter correction unit 31e includes the size of the cell nucleus included in the detailed parameters, the concentration of the cell nucleus staining, the edge strength of the cell nucleus contour, the likelihood ratio, etc.
  • the value of the feature amount is set to a value (an arbitrary intermediate value) between the value in the selected candidate region of the cell nucleus and the value in the candidate region of the non-selected cell nucleus.
  • the pattern determined to be a dead cell included in the detailed parameter is set to a pattern extracted from the selected candidate region of the cell nucleus.
  • the parameter correction unit 31e sets the edge strength of the outline of the cell nucleus included in the detailed parameter to the concentration difference between the cell nuclei divided by the dividing line. To do.
  • the parameter setting unit 31a, the pathological diagnosis image analysis unit 31b, the display control unit 31c, the operation control unit 31d, and the parameter correction unit 31e may be configured as hardware or recorded on a computer-readable recording medium.
  • the control unit 31 is configured as software (image analysis program) that functions as the parameter setting unit 31a, the pathological diagnosis image analysis unit 31b, the display control unit 31c, the operation control unit 31d, and the parameter correction unit 31e at the time of execution.
  • the analysis program may be executed by the CPU 32.
  • the storage unit 35 is configured by an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like, and a program for the CPU 32 to control each unit, information on processing functions of the own device, image data of a pathological diagnosis image, basic Stores parameters and detailed parameters.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the network I / F unit 36 is configured by a NIC (Network Interface Card), a modem, or the like, and establishes a connection with the pathological diagnosis image acquisition device 20 connected via the communication network 40, and the pathological diagnosis image acquisition device. 20 receives image data of an image for pathological diagnosis.
  • NIC Network Interface Card
  • the display unit 37 is configured by hardware such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display, and in accordance with the instruction from the display control unit 31c, the candidate regions of the cell nuclei of each group are displayed in a selectable manner. Displays a screen, a screen for displaying the candidate cell nucleus area so that it can be added, a screen for displaying the extracted cell nucleus as a final result, and a screen for setting and selecting basic parameters and detailed parameters.
  • LCD Liquid Crystal Display
  • organic EL Electro Luminescence
  • the operation unit 38 includes an input device such as a keyboard, a mouse, and a touch sensor formed on the display unit 37 with transparent electrodes arranged in a lattice pattern. And detailed parameter setting operations and selection operations.
  • 3 ⁇ / b> A, and 3 ⁇ / b> B are examples of the pathological diagnosis image processing system 10 and the pathological diagnosis image analysis apparatus 30 of the present embodiment, and the configuration and control contents can be changed as appropriate.
  • the image analysis apparatus 30 for pathological diagnosis in FIGS. 3A and 3B, the image analysis apparatus 30 for pathological diagnosis performs extraction of a candidate region for cell nuclei using basic parameters and re-extraction of a cell nucleus region using detailed parameters.
  • a part of the functions of the pathological diagnosis image analysis apparatus 30 is provided in another apparatus communicably connected to the pathological diagnosis image analysis apparatus 30, and a part of the above processing is performed on this apparatus. You may let them.
  • another device for example, a server device in the cloud
  • a part of the function of the image analysis unit 31b for pathological diagnosis is provided with a part of the function of the image analysis unit 31b for pathological diagnosis, and extraction of candidate cell nucleus regions using basic parameters is performed by this device.
  • the pathological diagnosis image analysis apparatus 30 may perform only re-extraction of the cell nucleus region using the detailed parameters.
  • the CPU 32 executes the processing of each step shown in the flowchart of FIG. 4 by expanding and executing the image analysis program stored in the ROM 33 or the storage unit 35 in the RAM 34.
  • the control unit 31 (parameter setting unit 31a) sets basic parameters and detailed parameters in advance and stores them in the storage unit 35 or the like.
  • control unit 31 pathological image analysis unit 31b of the pathological diagnosis image analysis device 30 acquires a pathological diagnosis image obtained by photographing a tissue specimen from the pathological diagnosis image acquisition device 20 (S101). Then, a contour is extracted from the pathological diagnosis image using a known method, and based on the extracted contour, a plurality of candidate regions of cell nuclei are extracted from the pathological diagnosis image using preset basic parameters (S102). .
  • control unit 31 displays the extracted candidate regions of the plurality of cell nuclei on the display unit 37 in a selectable or appendable manner (S103), and the control unit 31 (operation control unit 31d)
  • the selection operation of the candidate region of the cell nucleus or the addition operation to the candidate region of the cell nucleus using the operation unit 38 by the pathologist is accepted (S104).
  • the detailed parameters are, as described above, the size of the cell nucleus, the concentration of staining of the cell nucleus, the edge strength of the contour of the cell nucleus, the value of the feature quantity such as the likelihood ratio, the pattern for determining dead cells, and the like.
  • control unit 31 displays the candidate region selection screen 50 on the display unit 37, thereby displaying the extracted candidate region of the cell nucleus on the display unit 37 so as to be selectable or additionally recordable.
  • 31 (operation control unit 31d) accepts a cell nucleus candidate region selection operation or a cell nucleus candidate region addition operation by the pathologist using the operation unit 38.
  • the control unit 31 (display control unit 31c) specifies a candidate region of a cell nucleus that can be determined as a dead cell from the extracted candidate region of the cell nucleus as in the candidate region selection screen 50A shown in FIG.
  • the specified candidate region of the cell nucleus is displayed on the display unit 37 so as to be selectable, and the pathologist is made to select the candidate region of the cell nucleus to be determined as a dead cell by using the operation unit 38.
  • the candidate region of the cell nucleus that can be determined as a dead cell is identified in advance by, for example, the size of the cell nucleus, the shape of the cell nucleus, the concentration of staining of the cell nucleus, the edge strength of the contour of the cell nucleus, the likelihood ratio, and the like.
  • a predetermined standard is determined using at least one of a value, a structure pattern to be determined as a dead cell, and the probability of being a cell nucleus of a dead cell is extracted from candidate cell nucleus regions extracted based on the predetermined standard. This can be done by extracting candidate regions of high cell nuclei. Since the cell nuclei in the left and center candidate regions on the candidate region selection screen 50A are starting to rupture, the cell containing this cell nucleus is determined as a dead cell, and the cell nuclei in the right candidate region on the candidate region selection screen 50A are not broken but empty.
  • the pathologist selects two candidate cell nucleus regions on the left and center of the candidate region selection screen 50A.
  • the control unit 31 displays candidate areas of various cell nucleus sizes from the extracted candidate areas of cell nuclei as shown in the candidate area selection screen 50B shown in FIG. 37 is displayed so as to be selectable, and the pathologist is made to select a candidate area having a size to be extracted as a cell nucleus using the operation unit 38.
  • the control unit 31 (display control unit 31c), as in the example shown in FIGS. 5 to 7, selects candidate regions having edge strengths of various cell nucleus contours from the extracted cell nucleus candidate regions. The selection is displayed on the display unit 37 so that a pathologist selects an edge strength candidate region to be extracted as a cell nucleus using the operation unit 38.
  • one or a plurality of candidate areas (see the original image in FIG. 8) on which the cell nuclei are superimposed can be added from the extracted candidate areas of the cell nuclei.
  • the pathologist refers to the correction example, and causes the displayed candidate area to be additionally written using the operation unit 38 with respect to the displayed candidate region.
  • the control unit 31 display control unit 31c
  • has various feature quantities such as likelihood ratios among the extracted candidate regions of cell nuclei as in the candidate region selection screen 50E shown in FIG.
  • the candidate region of the value is displayed on the display unit 37 so as to be selectable, and the pathologist is made to select the candidate region to be extracted as the cell nucleus using the operation unit 38.
  • control unit 31 reads the detailed parameters set in advance from the storage unit 35 and the like, and the details are based on the result of the pathologist selecting or adding to the candidate region of the cell nucleus.
  • the parameter is corrected to a value corresponding to the pathologist and stored in the storage unit 35 or the like (S105).
  • control unit 31 extracts a pattern for determining a dead cell by analyzing the candidate area selected on the candidate area selection screen 50A shown in FIG. 5, and uses the pattern as a detailed parameter. Reflect this detailed parameter to reflect it.
  • a pattern extracted from the selected candidate area (for example, a contour pattern of a structure indicating the characteristics of dead cells) is set as the detailed parameter.
  • a pattern extracted from the selected candidate area may be added to the detailed parameter, or a pattern already set as the detailed parameter may be replaced with a pattern extracted from the selected candidate area.
  • the control unit 31 (parameter correction unit 31e) compares the candidate region selected on the candidate region selection screen 50B shown in FIG. 6 with the candidate region not selected, and reflects the size of the cell nucleus in the meantime in the detailed parameter Let's modify this detailed parameter.
  • the detailed parameter is set to a value between the size of the cell nucleus in the selected candidate region and the size of the cell nucleus in the candidate region not selected.
  • control unit 31 compares the candidate region selected on the candidate region selection screen 50C shown in FIG. 7 with the candidate region that has not been selected, and determines the concentration of cell nucleus staining during the detailed parameter. Reflect and correct. Specifically, the detailed parameter is set to a value between the concentration of cell nucleus staining in the selected candidate region and the concentration of cell nucleus staining in the unselected candidate region. Further, the control unit 31 (parameter correction unit 31e) specifies the edge strength of the outline of the cell nucleus based on the concentration difference between the cell nuclei divided by the dividing line added in the candidate area selection screen 50D shown in FIG. The edge strength is corrected by reflecting it in the detailed parameters.
  • the detailed parameter is set to the concentration difference between the cell nuclei divided by the added dividing line.
  • the candidate areas selected on the candidate area selection screen 50 are compared with the candidate areas not selected.
  • the detailed parameter may be set to a value between the edge strength of the contour of the cell nucleus in the selected candidate region and the edge strength of the contour of the cell nucleus in the candidate region that is not selected.
  • the control unit 31 (parameter correction unit 31e) compares the candidate region selected on the candidate region selection screen 50E shown in FIG.
  • the detailed parameter is set to a value between the feature amount calculated from the cell nucleus in the selected candidate region and the feature amount calculated from the cell nucleus in the non-selected candidate region.
  • control unit 31 uses the corrected detailed parameters to select one or more cell nuclei corresponding to a pathologist's cell nucleus determination criterion from the extracted candidate cell nucleus regions.
  • the region is re-extracted (S106).
  • control unit 31 display control unit 31c
  • the control unit 31 of the pathological diagnosis image analysis device 30 extracts a plurality of candidate cell nucleus regions from the pathological diagnosis image using basic parameters, and one or more of the extracted candidate cell nucleus regions.
  • the candidate area is displayed on the display unit 37 so as to be selectable or additionally recordable, and the detailed parameter is corrected to a value corresponding to the pathologist based on the selection or additional recording result by the pathologist and stored in the storage unit 35 or the like.
  • One or more cell nucleus regions desired by the pathologist are re-extracted from the candidate regions of the cell nuclei using the parameters. Thereby, the cell nucleus region according to the pathologist can be appropriately extracted from the pathological diagnosis image while reducing the burden on the pathologist.
  • FIG. 10 is a flowchart showing the operation of the image analysis apparatus for pathological diagnosis
  • FIGS. 11 to 13 are examples of sample image display screens for setting detailed parameters.
  • the candidate regions of the cell nuclei extracted using the basic parameters are displayed on the display unit 37 so as to be selectable or additionally recordable, and based on the selection result or the additionally recorded result by the pathologist for the displayed candidate region.
  • the detailed parameters were corrected, before extracting the candidate region of the cell nucleus, a question (cell nucleus sample image) prepared in advance to set the detailed parameters was presented and the pathologist answered, Based on this, it is also possible to correct the detailed parameter to a value corresponding to the pathologist.
  • the basic configuration of the pathological diagnosis image analysis apparatus 30 is the same as the configuration shown in FIGS. 3A and 3B of the first embodiment, but the display control unit 31c, the operation control unit 31d, and the parameter correction unit 31e are as follows. To work.
  • the display control unit 31c classifies sample images of cell nuclei prepared in advance for setting the determination criteria for each pathologist, and creates a group for setting detailed parameters to values corresponding to a diagnostician such as a pathologist. To do. At this time, sample images of the same cell nucleus may be included in a plurality of groups. And the sample image of the cell nucleus of each group is displayed on the display part 37 so that selection is possible. In addition, a sample image of one or a plurality of cell nuclei for setting detailed parameters to values corresponding to a diagnostician such as a pathologist is specified, and the specified sample images of cell nuclei are displayed on the display unit 37 so as to be additionally recordable.
  • the pathological diagnosis image analysis unit 31b extracts a cell nucleus region corresponding to the pathologist from the cell nucleus candidate regions
  • the pathological diagnosis image that enables the extracted cell nucleus region to be identified is displayed on the display unit 37 as a final result.
  • a screen for setting and selecting basic parameters and detailed parameters is displayed on the display unit 37 as necessary.
  • the cell nucleus sample image may be selected from previously extracted candidate regions, or may be an illustration schematically showing the cell nucleus.
  • the operation control unit 31d accepts this selection operation when the pathologist performs the selection operation on the sample images of the cell nuclei of each group displayed on the display unit 37, and the selection result is set as a parameter.
  • the correction unit 31e is notified. Further, when a pathologist performs an additional writing operation on the sample image of the cell nucleus displayed on the display unit 37 using the operation unit 38, the additional writing operation is accepted, and the additional writing result is notified to the parameter correction unit 31e. Also, basic parameter and detailed parameter setting operations and selection operations are accepted as necessary.
  • the parameter correction unit 31e receives from the operation control unit 31d the selection result and additional recording result of the cell nucleus sample image by the pathologist, and details based on the difference between the selected cell nucleus sample image and the unselected cell nucleus sample image.
  • the parameter is corrected to a value corresponding to the pathologist, or the detailed parameter is corrected to a value corresponding to the pathologist based on the added content, and the corrected detailed parameter is stored in the storage unit 35 or the like.
  • the parameter correction unit 31e includes the size of the cell nucleus included in the detailed parameters, the concentration of the cell nucleus staining, the edge strength of the cell nucleus contour, the likelihood ratio, etc.
  • the value of the feature amount is set to a value (an arbitrary intermediate value) between the value in the sample image of the selected cell nucleus and the value in the sample image of the non-selected cell nucleus.
  • the pattern determined to be a dead cell included in the detailed parameter is set to a pattern extracted from the sample image of the selected cell nucleus.
  • the parameter correction unit 31e sets the edge strength of the outline of the cell nucleus included in the detailed parameter to the concentration difference between the cell nuclei divided by the dividing line. To do.
  • the CPU 32 executes the processing of each step shown in the flowchart of FIG. 10 by developing the image analysis program stored in the ROM 33 or the storage unit 35 in the RAM 34 and executing it.
  • the cell nucleus sample image used for setting the detailed parameters to values corresponding to the diagnostician is stored in advance in the storage unit 35 or the like.
  • control unit 31 display control unit 31c of the image analysis apparatus 30 for pathological diagnosis displays on the display unit 37 a sample image of cell nuclei stored in advance in the storage unit 35 or the like so as to be selectable or additionally recordable (S201).
  • the control unit 31 (operation control unit 31d) accepts a sample image selection operation or a sample image addition operation by the operation unit 38 for correcting the detailed parameter to a value corresponding to the pathologist (S202).
  • the detailed parameters are, as described above, the size of the cell nucleus, the concentration of staining of the cell nucleus, the edge strength of the contour of the cell nucleus, the value of the feature quantity such as the likelihood ratio, the pattern for determining dead cells, and the like.
  • control unit 31 displays a sample image display screen 51 on the display unit 37, thereby displaying a sample image of one or a plurality of cell nuclei so as to be selectable or additionally recordable.
  • the operation control unit 31d) accepts a cell nucleus sample image selection operation or a cell nucleus sample image addition operation by the pathologist using the operation unit 38.
  • the control unit 31 displays sample images of various cell nuclei sizes in a selectable manner on the display unit 37 as shown in the sample image display screen 51A shown in FIG. A sample image having a size to be extracted as a cell nucleus is selected using the operation unit 38. Further, as shown in the sample image display screen 51B shown in FIG.
  • sample images of various cell nucleus staining concentrations are displayed on the display unit 37 so as to be selectable and extracted as cell nuclei using the operation unit 38 to the pathologist. Select a sample image of density. Further, as shown in the sample image display screen 51C shown in FIG. 13, one or a plurality of sample images (see the problem in FIG. 13) of the superimposed cell nuclei are displayed on the display unit 37 so as to be additionally writable. Referring to the answer example, a dividing line for dividing the superimposed cell nucleus is added to the displayed sample image using the operation unit 38.
  • 11 to 13 exemplify an actual pathological diagnosis image as a sample image, but feature quantities such as cell nucleus size, cell nucleus staining density, cell nucleus contour edge strength, likelihood ratio, etc.
  • a schematic diagram for setting values, patterns for determining dead cells, and the like to values corresponding to the pathologist may be displayed on the display unit 37.
  • 11 to 13 exemplify the sample image display screen for setting the cell nucleus size, the cell nucleus staining concentration, and the edge strength of the cell nucleus contour in the display unit 37.
  • control unit Display unit 37 displays a plurality of sample images with different feature amounts calculated from cell nuclei, a plurality of sample images with different edge strengths of cell nucleus contours, or a plurality of sample images that can be determined as dead cells by 31 (display control unit 31c). May be displayed in a selectable manner, and the pathologist may use the operation unit 38 to select a sample image to be extracted as a cell nucleus.
  • control unit 31 reads the detailed parameters set in advance from the storage unit 35 and the like, and the details are based on the result of the pathologist selecting or adding to a plurality of sample images.
  • the parameter is corrected to a value corresponding to the pathologist and stored in the storage unit 35 or the like (S203).
  • control unit 31 (parameter correction unit 31e) compares the sample image selected on the sample image display screen 51A shown in FIG. 11 with the sample image not selected, and reflects the size of the cell nucleus in the meantime in the detailed parameters. Let's modify this detailed parameter.
  • the detailed parameter is set to a value between the size of the cell nucleus in the selected sample image and the size of the cell nucleus in the unselected sample image.
  • the control unit 31 (parameter correction unit 31e) compares the sample image selected on the sample image display screen 51B shown in FIG. 12 with the sample image not selected, and sets the density of cell nucleus staining during the detailed parameter. Reflect and correct.
  • the detailed parameter is set to a value between the density of cell nucleus staining in the selected sample image and the density of cell nucleus staining in the unselected sample image.
  • control unit 31 specifies the edge strength of the outline of the cell nucleus based on the concentration difference between the cell nuclei divided by the dividing line added in the sample image display screen 51C shown in FIG.
  • the edge strength is corrected by reflecting it in the detailed parameters.
  • the detailed parameter is set to the concentration difference between the cell nuclei divided by the added dividing line.
  • the detailed parameter may be set to a value between the edge strength of the contour of the cell nucleus in the selected sample image and the edge strength of the contour of the cell nucleus in the unselected sample image.
  • the control unit 31 displays the sample image selected on the sample image display screen 51.
  • a pattern for analyzing and determining a dead cell may be extracted, and the pattern may be reflected in the detailed parameters for correction.
  • a pattern extracted from the selected sample image (for example, a contour pattern of a structure indicating the characteristics of dead cells) is set as the detailed parameter.
  • a pattern extracted from the selected sample image may be added to the detailed parameter, or a pattern already set as the detailed parameter may be replaced with a pattern extracted from the selected sample image.
  • control unit 31 acquires a pathological diagnosis image obtained by photographing a tissue specimen from the pathological diagnosis image acquisition device 20 (S204), and uses a known method for pathological diagnosis.
  • a contour is extracted from the image, and image processing is performed using the extracted contour using preset basic parameters, thereby extracting a plurality of candidate cell nucleus regions corresponding to the diagnostic purpose from the pathological diagnosis image (S205). ).
  • control unit 31 uses the corrected detailed parameters to select one or more corresponding to the pathologist's cell nucleus determination criteria from among the extracted plurality of cell nucleus candidate regions.
  • the cell nucleus region is re-extracted (S206).
  • control unit 31 display control unit 31c
  • the control unit 31 of the pathological diagnosis image analysis apparatus 30 displays a sample image of a cell nucleus provided in advance on the display unit 37 so that the sample image can be selected or additionally recorded, and details based on the selection or additional recording result by the pathologist.
  • the parameters are corrected to values corresponding to the pathologist and stored in the storage unit 35 or the like, a plurality of candidate cell nucleus regions are extracted from the pathological diagnosis image using the basic parameters, and the cell nuclei are extracted using the corrected detailed parameters.
  • One or a plurality of cell nucleus regions desired by the pathologist are re-extracted from the candidate regions. Thereby, the cell nucleus region according to the pathologist can be appropriately extracted from the pathological diagnosis image while reducing the burden on the pathologist.
  • the present invention is not limited to the above embodiment, and the configuration and control contents of the pathological diagnosis image analysis apparatus 30 can be changed as appropriate without departing from the spirit of the present invention.
  • the images for pathological diagnosis shown in the above embodiments are merely examples, and any images may be used as long as they are used for pathological diagnosis.
  • the control unit 31 of the pathological diagnosis image analysis apparatus 30 corrects the detailed parameter to a value corresponding to the pathologist after extracting the candidate region of the cell nucleus.
  • the detailed parameter is corrected to a value corresponding to the pathologist.
  • the detailed parameter is corrected to a value corresponding to the pathologist in two stages. May be.
  • the present invention can be used for an image analysis program for extracting a diagnosis target such as a cell nucleus corresponding to a diagnostician such as a pathologist from a pathological diagnosis image, a recording medium storing the image analysis program, and an image analysis method.
  • Pathological diagnostic image processing system 20 Pathological diagnostic image acquisition apparatus 30, AP Pathological diagnostic image analysis apparatus 31 Control part 31a Parameter setting part 31b Pathological diagnostic image analysis part 31c Display control part 31d Operation control part 31e Parameter correction part 32 CPU 33 ROM 34 RAM 35 Storage Unit 36 Network I / F Unit 37 Display Unit 38 Operation Unit 40 Communication Network 50, 50A, 50B, 50C, 50D, 50E Candidate Area Display Screen 51, 51A, 51B, 51C Sample Image Display Screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

診断者への負担を軽減しつつ、病理診断用画像から診断者に対応した細胞核領域を適切に抽出することができる画像解析プログラム及び画像解析方法を提供する。表示部と操作部と記憶部とを備え、診断目的毎の細胞核の判定基準を定める第１のパラメータと診断者毎の細胞核の判定基準を定める第２のパラメータとを用いて病理診断用画像の解析を行う病理診断用画像解析装置では、組織標本を撮影した病理診断用画像を取得し、第１のパラメータを用いて病理診断用画像から複数の細胞核の候補領域を抽出し、第２のパラメータを用いて、抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出し、表示部に再抽出した１又は複数の細胞核領域を識別可能にした病理診断用画像を表示させる。

Description

画像解析プログラム及び画像解析方法
　本発明は、画像解析プログラム及び画像解析方法に関し、特に、病理診断用画像から診断者に対応した診断対象を抽出する画像解析プログラム及び画像解析方法に関する。
　医学的診断の１つとして病理診断がある。病理診断では、病理医は人体から採取した組織片から病気を診断し、治療や手術の要不要を臨床医に伝える。そして、患者の状態と病理診断の結果に応じて、内科医は薬物治療の方針を決定し、外科医は手術を行うか否かを決定する。
　この病理診断では、臓器摘出や針生検によって得た組織検体を厚さ数μｍ程度に薄切して組織標本を作成し、光学顕微鏡を用いて拡大観察することが広く行われている。この組織標本は、例えば、採取した組織を固定するため脱水し、パラフィンブロック化した後、薄片の厚さに薄切りし、パラフィンを取り除くことによって作製されるが、組織標本は光をほとんど吸収及び散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。
　染色手法としては種々のものが提案されており、特に組織標本に関して、ヘマトキシリン及びエオジンの２つの色素を用いるヘマトキシリン・エオジン染色（ＨＥ染色）が標準的に用いられている。ヘマトキシリン染色により細胞核・石灰部・軟骨組織・細菌・粘液が青藍色～淡青色に染色され、エオジン染色により細胞質・間質・各種線維・赤血球・角化細胞が赤～濃赤色に染色される。病理医は、染色された組織標本の顕微鏡画像の中で、細胞核の大きさや形の変化、組織としてのパターンの変化などの形態学的な情報や染色情報に基づいて診断を行っている。
　また、画像のデジタル化技術の発達に伴い、病理診断の分野においても、顕微鏡やデジタルカメラ等を用いてデジタルカラー画像として入力された病理診断用画像に対して画像処理を行うことにより、病理医が病理診断を行う際に必要となる情報（特に細胞核）を抽出又は計測して表示する装置が普及してきている。
　このような病理診断を支援する装置における画像処理方法に関して、例えば、下記特許文献１には、入力画像に存在する対象物の輪郭を初期設定する設定ステップと、上記設定ステップで初期設定された輪郭上に位置する輪郭点のエネルギーを算出するとともに、その輪郭点を周辺領域に位置する点に移動した場合における当該周辺領域に位置する点のエネルギーを算出するエネルギー算出ステップと、上記エネルギー算出ステップで算出されたエネルギーの極小探索を実施して、そのエネルギーの極小点に輪郭点を移動する移動ステップとを備えた画像処理方法が開示されている。この画像処理方法において、上記エネルギー算出ステップ及び移動ステップは、相互の処理結果に基づいて処理を繰り返す一方、上記エネルギー算出ステップはエネルギーを算出する際、初期段階ではぼかされた入力画像からエネルギーを算出し、段階的にぼかしが少ない入力画像からエネルギーを算出する。
　また、下記特許文献２には、学習データを取得する学習データ取得手段と、前記学習データを基に複数の推論手段候補を作成する推論手段候補作成手段と、前記学習データを基に、前記複数の推論手段候補の性能を評価する推論性能評価手段と、前記学習データを基に、前記複数の推論手段候補の夫々が提示する情報の妥当性を評価する情報妥当性評価手段と、前記複数の推論手段候補の性能と前記複数の推論手段候補の夫々が提示する情報の妥当性とを基に前記複数の推論手段候補から推論手段を選択する推論手段選択手段と、を備える医療診断支援装置が開示されている。
特開２０００－３３１１４３号公報 特開２０１４－１４７６５９号公報
　病理診断用画像から細胞核の領域を抽出する技術は様々な手法が存在する。病理診断用画像から細胞核の領域を抽出する技術として一般的な手法が機械学習である。機械学習により病理診断用画像から細胞核の領域を抽出する場合、学習サンプルとして様々な病理診断用画像内の細胞核の領域を機械に教える必要があるが、病理診断用画像の細胞核領域を用いて機械学習を行う場合、下記の問題点が存在する。
　まず、第１の問題は、診断目的によって細胞核の判定基準が異なることである。すなわち、同じ病理診断用画像でも、診断目的によってどのような細胞核の領域を抽出するのか、どのような細胞核の領域を抽出対象から除外するのかが異なる。そのため、この診断目的が分からずに判定された細胞核に基づいて機械学習を行うと、機械学習の精度が悪化する原因となる。
　また、第２の問題は、病理医によって細胞核の判定基準にばらつきがあるということである。すなわち、病理診断のための組織検体は、検体の作製法や染色手法などによって状態が変化し、更に撮影条件などによって病理診断用画像も大きく変化する。そのため、病理医により、病理診断用画像内の細胞核を判定する基準に大きなばらつきが生じる。従って、同じ組織検体の病理診断用画像を用いて機械学習を行おうとしても、組織検体の状態や細胞核の判定基準によって細胞核の抽出結果が変化するため、機械学習の精度が悪化する原因となる。
　このような問題があるため、病理診断を支援する装置によりユーザにとって有益な機械学習を行うためには、診断目的毎の細胞核の判定基準や病理医などの診断者毎の細胞核の判定基準に対応した学習を行い、パラメータを診断目的毎及び病理医毎に適切な値に設定する必要がある。そのためには膨大なパラメータ数及び膨大な工数の機械学習が必要になり、診断者の負担が増大し、また、機械学習に時間がかかる。
　本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、診断者の負担を軽減しつつ、病理診断用画像から診断者に対応した細胞核領域を適切に抽出することができる画像解析プログラム及び画像解析方法を提供することにある。
　本発明の一側面は、表示部と操作部と記憶部とを備え、前記記憶部に保存された、診断目的毎の細胞核の判定基準を定める第１のパラメータと診断者毎の細胞核の判定基準を定める第２のパラメータとを用いて、病理診断用画像の解析を行う装置で動作する画像解析プログラムであって、前記装置に、組織標本を撮影した病理診断用画像を取得し、前記第１のパラメータを用いて、前記病理診断用画像から複数の細胞核の候補領域を抽出する第１の病理診断用画像解析処理、前記第２のパラメータを用いて、前記抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出する第２の病理診断用画像解析処理、前記表示部に、前記再抽出した１又は複数の細胞核領域を識別可能にした前記病理診断用画像を表示させる第１の表示制御処理、を実行させる。
　本発明の一側面は、表示部と操作部と記憶部とを備え、前記記憶部に保存された、診断目的毎の細胞核の判定基準を定める第１のパラメータと診断者毎の細胞核の判定基準を定める第２のパラメータとを用いて、病理診断用画像の解析を行う装置における画像解析方法であって、組織標本を撮影した病理診断用画像を取得し、前記第１のパラメータを用いて、前記病理診断用画像から複数の細胞核の候補領域を抽出する第１の病理診断用画像解析処理と、前記第２のパラメータを用いて、前記抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出する第２の病理診断用画像解析処理と、前記表示部に、前記再抽出した１又は複数の細胞核領域を識別可能にした前記病理診断用画像を表示させる第１の表示制御処理と、を実行する。
　本発明の画像解析プログラム及び画像解析方法によれば、診断者の負担を軽減しつつ、病理診断用画像から診断者に対応した細胞核領域を適切に抽出することができる。
　その理由は、病理診断用画像の解析を行う装置において、以下の制御を行うからである。すなわち、この装置では、組織標本を撮影した病理診断用画像を取得し、診断目的毎の細胞核の判定基準を定める第１のパラメータを用いて、病理画像から複数の細胞核の候補領域を抽出し、診断者毎の細胞核の判定基準を定める第２のパラメータを用いて、抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出し、表示部に、再抽出した１又は複数の細胞核領域を識別可能にした病理診断用画像を表示させるからである。
本発明の一実施の形態に係る病理診断用画像解析装置の概略動作を説明する模式図である。 本発明の第１の実施例に係る病理診断用画像処理システムの構成を示す模式図である。 本発明の第１の実施例に係る病理診断用画像解析装置の構成を示すブロック図である。 本発明の第１の実施例に係る病理診断用画像解析装置の構成を示すブロック図である。 本発明の第１の実施例に係る病理診断用画像解析装置の動作を示すフローチャート図である。 本発明の第１の実施例に係る候補領域表示画面（死細胞判定）の一例を示す図である。 本発明の第１の実施例に係る候補領域表示画面（サイズ設定）の一例を示す図である。 本発明の第１の実施例に係る候補領域表示画面（濃度設定）の一例を示す図である。 本発明の第１の実施例に係る候補領域表示画面（エッジ強度設定）の一例を示す図である。 本発明の第１の実施例に係る候補領域表示画面（特徴量設定）の一例を示す図である。 本発明の第２の実施例に係る病理診断用画像解析装置の動作を示すフローチャート図である。 本発明の第２の実施例に係るサンプル画像表示画面（サイズ設定）の一例を示す図である。 本発明の第２の実施例に係るサンプル画像表示画面（濃度設定）の一例を示す図である。 本発明の第２の実施例に係るサンプル画像表示画面（エッジ強度設定）の一例を示す図である。 従来の病理診断用画像解析手順を示すフローチャート図である。 病理診断用画像から細胞核を抽出する場合における、画像の色合いが変化する要因を説明するテーブルである。 病理診断用画像から細胞核を抽出する場合における、画像の色合いが異なる画像例を示す図である。 病理診断用画像から細胞核を抽出する場合における、画像の色合いが異なる画像例を示す図である。 病理診断用画像から細胞核を抽出する場合における、診断目的による細胞核の判定基準の差異を説明する図である。 病理診断用画像から細胞核を抽出する場合における、診断目的による細胞核の判定基準の差異（死細胞の場合）を説明する図である。 病理診断用画像から細胞核を抽出する場合における、病理医による細胞核の判定基準のばらつきを説明する図である。 病理診断用画像から細胞核を抽出する場合における、病理医による細胞核の判定基準のばらつき（重畳した細胞核の分割の場合）を説明する図である。 病理診断用画像から細胞核を抽出する場合における、病理医による細胞核の判定基準のばらつき（重畳した細胞核の分割の場合）を説明する図である。
　背景技術で示したように、病理診断を支援する装置が機械学習により病理診断用画像から細胞核を抽出する場合、診断目的による細胞核の判定基準の差異や病理医による細胞核の判定基準のばらつきに対応しなければいけない。しかしながら、診断目的に応じて多くの機械学習パラメータを用意するとパラメータの数は膨大となり、さらに病理医による細胞核の判定基準のばらつきまで考慮して機械学習を行うと、病理医の負担や再学習の時間が増大し、大きな問題となる。この問題について、図面を参照して説明する。
　図１４は、従来の病理診断用画像の解析手順を示すフローチャート図である。従来は、病理診断を支援する装置に病理診断用画像が入力されると（Ｓ３０１）、この装置は、その病理診断用画像を解析して細胞核領域を抽出し（Ｓ３０２）、抽出した細胞核領域を最終結果として表示している（Ｓ３０３）。すなわち、従来の病理診断用画像の解析では、病理診断を支援する装置により、予め用意した機械学習パラメータを用いて病理診断用画像の中から細胞核領域を抽出し、それを最終結果として表示しているが、この方法では、診断目的による細胞核の判定基準の差異や病理医による細胞核の判定基準のばらつきを反映した抽出結果を得ることができない。
　図１５は、病理診断用画像の色合いが変化する要因を列挙したテーブルである。病理診断用画像の色合いが変化する要因には、組織に関する要因、染色に関する要因、撮影に関する要因などがある。組織に関する要因には、がん種、組織の採取方法、がん状態、切片の厚さなどがあり、染色に関する要因には、染色方法、賦活化条件、染色時間、染色液などがあり、撮影に関する要因には、明るさ、ピント、露光条件、顕微鏡のスペック、色補正などがある。
　図１６Ａ、１６Ｂは、画像の色合いが異なる病理診断用画像の例である。図１６Ａ、１６Ｂは共に同じ乳がんの病理診断用画像であるが、色合い（図では白黒２値で示しているため、色合いは濃淡で表現されている。）が全く違う画像となっている。
　図１７は、診断目的による細胞核の判定基準の差異を説明するための病理診断用画像の例である。図中の実線で囲んだ部分Ａ１は、病理医が通常細胞核と判定する部分である。一方、図中の破線で囲んだ部分Ａ２は、細胞の細胞膜の部分である。この部分Ａ２は、診断に際して細胞膜まで観察する場合は抽出する必要があるが、細胞膜は観察しない場合は抽出する必要はない。
　図１８は、診断目的による細胞核の判定基準の差異を説明するための病理診断用画像の他の例であり、死細胞に着目して撮影された画像である。図中の矢印で示す部分は、細胞核ではあるが、細胞核が断裂し始めているので、この細胞核を含む細胞は死細胞と考えられる。上記と同様に、診断に際して死細胞まで観察する場合はこの部分を抽出する必要があるが、死細胞は観察しない場合は抽出する必要はない。
　図１９は、病理医による細胞核の判定基準のばらつきを説明するための病理診断用画像の例である。図中の矢印で示す部分（薄く色が変化している部分）は、病理医によって細胞核として抽出するかどうかの判定が分かれる。
　図２０Ａ、２０Ｂは、病理医による細胞核の判定基準のばらつきを説明するための病理診断用画像の他の例であり、図２０Ａは元画像、図２０Ｂは元画像に対して重畳した細胞核を分割する線を追記した例である。図２０Ａの元画像の中心の細胞（矢印で示す部分）は、病理医によって、図２０Ｂの実線で囲んだ部分を１個の細胞核として判定する場合や、実線で囲んだ部分を破線で分割して２個の細胞核として判定する場合がある。
　このように、診断目的によって病理診断用画像から抽出すべき細胞核領域が異なり、診断目的が同じであっても病理医によって抽出すべき細胞核領域が異なる。また、上述したように、病理診断用画像の色合いが変化する要因は多数あり、病理診断用画像の色合いが異なると細胞の見え方も大きく変化する。そのため、従来の病理診断を支援する装置では、診断目的や病理医により抽出結果のばらつきが更に大きくなり、病理診断用画像から抽出すべき細胞核領域が抽出されなくなったり、抽出する必要のない細胞核領域まで抽出されてしまったりすることになる。
　そこで、本発明の一実施の形態では、病理診断用画像から機械学習を用いて細胞核の領域を抽出する手法において、機械学習により、細胞核の判定基準を定めるパラメータを診断目的毎に用意しておく。この際、病理医などの診断者毎の判定基準に合わせようと機械学習を再度行うと、診断者の負担が大きくなり、学習に時間がかかる。そこで、図１に示すように、病理診断用画像から診断目的に応じて細胞核領域を抽出するための機械学習パラメータ（診断目的毎の細胞核の判定基準を定める第１のパラメータＰ１）とは別に、診断者による判定基準の変化に対応できるパラメータ（診断者毎の細胞核の判定基準を定める第２のパラメータＰ２）を準備しておく。以下、第１のパラメータＰ１と第２のパラメータＰ２を、それぞれ、基本パラメータ及び詳細パラメータと呼ぶ。そして、図１に示すように、病理診断用画像解析装置ＡＰにより、組織標本を撮影した病理診断用画像ＩＭＧ０を取得し、基本パラメータを用いて病理診断用画像ＩＭＧ０から複数の細胞核の候補領域を抽出した結果に対して、詳細パラメータを用いて更に１又は複数の細胞核領域の抽出を行う。すなわち、診断者による細胞核の判定基準のばらつきに対応するための細胞核領域の再抽出は、基本パラメータを用いて病理診断用画像から細胞核の候補領域を抽出した結果に対してのみ行う。そして、再抽出した細胞核領域を識別可能にした病理診断用画像ＩＭＧ１を表示する。これにより、診断者の負担を軽減しつつ、病理診断用画像から診断者に対応した細胞核領域を適切に抽出できるようにする。
　具体的には、表示部と操作部と記憶部とを備え、記憶部に保存された基本パラメータと詳細パラメータとを用いて、病理診断用画像の解析を行う病理診断用画像解析装置において、以下の処理を行う。この病理診断用画像解析装置では、組織標本を撮影した病理診断用画像を取得し、基本パラメータを用いて、病理診断用画像から複数の細胞核の候補領域を抽出する第１の病理診断用画像解析処理、詳細パラメータを用いて、抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出する第２の病理診断用画像解析処理、表示部に、再抽出した１又は複数の細胞核領域を識別可能にした病理診断用画像を表示させる第１の表示制御処理を実行する。
　以上の処理において、病理診断用画像解析装置は、基本パラメータを用いて病理診断用画像から抽出した細胞核の候補領域や予め用意された細胞核のサンプル画像に対する診断者の操作結果に基づき、詳細パラメータを診断者に対応した値に修正してもよい。これにより、診断者による細胞核の判定のばらつきに対応するための再学習を、より限られた数の学習サンプルを用いて行うことができるため、診断者の負担を軽減すると共に、機械学習にかかる工数を削減することができる。例えば、病理診断用画像解析装置は、第１の病理診断用画像解析処理の後に、表示部に、抽出した複数の細胞核の候補領域のうち１又は複数の候補領域を選択又は追記可能に表示させる第２の表示制御処理、操作部による、細胞核の候補領域に対する選択操作又は追記操作を受け付ける操作制御処理、１又は複数の細胞核の候補領域に対する選択結果又は追記結果に基づいて、詳細パラメータを修正して記憶部に保存するパラメータ修正処理を実行して、第２の病理診断用画像解析処理において、修正した詳細パラメータを用いて、抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出してもよい。又は、病理診断用画像解析装置は、第１の病理診断用画像解析処理の前に、表示部に、１又は複数の細胞核のサンプル画像を選択又は追記可能に表示させる第２の表示制御処理、操作部による、サンプル画像に対する選択操作又は追記操作を受け付ける操作制御処理、サンプル画像に対する選択結果又は追記結果に基づいて、詳細パラメータを修正して記憶部に保存するパラメータ修正処理を実行して、第２の病理診断用画像解析処理において、修正した詳細パラメータを用いて、抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出してもよい。
　上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る画像解析プログラム及び画像解析方法について、図２乃至図９を参照して説明する。図２は、本実施例の病理診断用画像処理システムの構成を示す模式図であり、図３Ａ、３Ｂは、病理診断用画像解析装置の構成を示すブロック図である。また、図４は、病理診断用画像解析装置の動作を示すフローチャート図であり、図５乃至図９は、詳細パラメータを修正するための候補領域表示画面の一例である。
　図２に示すように、本実施例の病理診断用画像処理システム１０は、病理診断用画像取得装置２０と病理診断用画像解析装置３０とで構成され、これらはイーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）等の通信ネットワーク４０を介して接続されている。なお、病理診断用画像取得装置２０で取得した病理診断用画像の画像データをＵＳＢ（Universal Serial Bus）メモリなどを介して病理診断用画像解析装置３０に提供する場合は、病理診断用画像取得装置２０と病理診断用画像解析装置３０とを通信ネットワーク４０で接続する必要はない。
　病理診断用画像取得装置２０は、臓器摘出や針生検によって得た組織検体を厚さ数μｍ程度に薄切して作製した組織標本を撮影する光学顕微鏡と、光学顕微鏡で撮影した病理診断用画像を表示するモニタと、これらを制御すると共に、病理診断用画像の画像データを生成して出力する制御部などで構成される。
　また、病理診断用画像解析装置３０は、パーソナルコンピュータなどのコンピュータ装置であり、図３Ａに示すように、制御部３１と記憶部３５とネットワークＩ／Ｆ部３６と表示部３７と操作部３８などで構成される。
　制御部３１は、ＣＰＵ（Central Processing Unit）３２と、ＲＯＭ（Read Only Memory）３３やＲＡＭ（Random Access Memory）３４などのメモリとで構成され、これらはバスを介して接続されている。ＲＯＭ３３は、プログラムなどを記憶する。ＲＡＭ３４は、ＣＰＵ３２による制御に必要なデータ及び制御動作時に一時記憶が必要なデータ等を記憶する。そして、ＣＰＵ３２は、ＲＯＭ３３や記憶部３５に記憶した制御プログラムをＲＡＭ３４に展開して実行することにより、病理診断用画像解析装置３０全体の動作を制御する。
　上記制御部３１は、図３Ｂに示すように、パラメータ設定部３１ａ、病理診断用画像解析部３１ｂ、表示制御部３１ｃ、操作制御部３１ｄ、パラメータ修正部３１ｅなどとして機能する。
　パラメータ設定部３１ａは、病理診断用画像から診断目的に応じた細胞核の候補領域を抽出するためのパラメータ（診断目的毎の細胞核判定の基準を定める基本パラメータ）や、抽出した細胞核の候補領域の中から病理医などの診断者（以下、病理医とする。）に応じた細胞核領域を抽出するためのパラメータ（病理医毎の細胞核判定の基準を定める詳細パラメータ）を設定し、記憶部３５などに保存する。上記基本パラメータには、例えば、細胞核のサイズ、細胞核の染色の濃度、細胞核の輪郭のエッジ強度、尤度比などの特徴量の数値などのうち１又は複数を用いることができ、詳細パラメータには、例えば、細胞核のサイズ、細胞核の染色の濃度、細胞核の輪郭のエッジ強度、尤度比などの特徴量の数値、死細胞と判定するパターンなどのうち１又は複数を用いることができる。なお、パラメータの初期値には、予め用意された標準的な値を設定してもよいし、病理医等に操作部３８を用いてパラメータの初期値を選択又は入力させてもよい。また、詳細パラメータは、基本パラメータに含まれる構成としてもよいし、一部が基本パラメータと重複する構成としてもよいし、基本パラメータと重複しない構成としてもよい。また、詳細パラメータが基本パラメータに含まれるか、又は、一部が基本パラメータと重複する場合は、その詳細パラメータの初期値は基本パラメータと同じ値にしてもよい。
　病理診断用画像解析部３１ｂは、病理診断用画像取得装置２０から組織標本を撮影した病理診断用画像を取得し、取得した病理診断用画像に対して、弛緩法、ゼロ交点胞、Canny胞、非極値抑制エッジ強調法などの公知の手法を用いてエッジを強調し、強調した画像からHough変換やSNAKE法などの公知の手法を用いて輪郭を抽出する。そして、抽出した輪郭に対して、上述した基本パラメータを用いて画像処理を行うことにより、病理診断用画像から診断目的に応じた複数の細胞核の候補領域を抽出する。また、抽出した細胞核の候補領域に対して、上述した詳細パラメータを用いて画像処理を行うことにより、病理医に応じた１又は複数の細胞核領域を抽出する。
　表示制御部３１ｃは、病理診断用画像解析部３１ｂが複数の細胞核の候補領域を抽出したら、抽出した細胞核の候補領域を分類し、詳細パラメータを病理医などの診断者に対応した値に設定するためのグループを作成する。このとき、複数のグループに同じ細胞核の候補領域が含まれていてもよい。そして、各グループの細胞核の候補領域を選択可能に（すなわち、病理医などの診断者が、各グループの細胞核の候補領域から１又は複数を選択できるように）表示部３７に表示させる。また、抽出した細胞核の候補領域のうち詳細パラメータを病理医などの診断者に対応した値に設定するための１又は複数の細胞核の候補領域を特定し、特定した細胞核の候補領域を追記可能に（すなわち、病理医などの診断者が、特定した細胞核の候補領域に対して操作部３８を用いて書き込みができるように）表示部３７に表示させる。また、病理診断用画像解析部３１ｂが細胞核の候補領域の中から病理医に応じた細胞核領域を抽出したら、表示制御部３１ｃは、抽出した細胞核領域を識別可能にした病理診断用画像を最終結果として表示部３７に表示させる。抽出した細胞核領域を識別可能にするには、例えば、抽出した細胞核領域を強調した病理診断用画像を表示部３７に表示させてもよい。抽出した細胞核領域を強調する方法としては、病理診断用画像の強調する領域の明るさや色を変更したり、強調する領域を点滅させたり、強調する領域を示す枠やマーカを病理診断用画像と共に表示するなどの方法を用いることができる。また、抽出した細胞核領域を識別可能にする為に、病理診断用画像全体を表示部３７に表示させる代わりに、抽出した細胞核領域を表示部３７に表示させてもよい。また、表示制御部３１ｃは、必要に応じて、基本パラメータや詳細パラメータの設定や選択を行うための画面を表示部３７に表示させる。
　操作制御部３１ｄは、表示部３７に表示された各グループの細胞核の候補領域に対して病理医により操作部３８を用いて選択操作が行われたら、この選択操作を受け付け、選択結果をパラメータ修正部３１ｅに通知する。また、表示部３７に表示された細胞核の候補領域に対して病理医により操作部３８を用いて追記操作が行われたら、この追記操作を受け付け、追記結果をパラメータ修正部３１ｅに通知する。また、必要に応じて、基本パラメータや詳細パラメータの設定操作や選択操作を受け付ける。
　パラメータ修正部３１ｅは、操作制御部３１ｄから病理医による細胞核の候補領域の選択結果や追記結果を受け取り、選択された細胞核の候補領域と選択されなかった細胞核の候補領域との差異に基づいて詳細パラメータを病理医に対応した値に修正したり、追記内容に基づいて詳細パラメータを病理医に対応した値に修正したりし、修正した詳細パラメータを記憶部３５などに保存する。例えば、病理医による細胞核の候補領域の選択結果を受け取った場合、パラメータ修正部３１ｅは、詳細パラメータに含まれる細胞核のサイズ、細胞核の染色の濃度、細胞核の輪郭のエッジ強度、尤度比などの特徴量の値を、選択された細胞核の候補領域における値と選択されなかった細胞核の候補領域における値との間の値（任意の中間の値）に設定する。また、詳細パラメータに含まれる死細胞と判定するパターンを、選択された細胞核の候補領域から抽出されたパターンに設定する。また、病理医による細胞核の候補領域への追記結果を受け取った場合、パラメータ修正部３１ｅは、詳細パラメータに含まれる細胞核の輪郭のエッジ強度を、分割線で分割される細胞核間の濃度差に設定する。
　なお、上記パラメータ設定部３１ａ、病理診断用画像解析部３１ｂ、表示制御部３１ｃ、操作制御部３１ｄ、パラメータ修正部３１ｅはハードウェアとして構成してもよいし、コンピュータ読み取り可能な記録媒体に記録され、実行時に、制御部３１をパラメータ設定部３１ａ、病理診断用画像解析部３１ｂ、表示制御部３１ｃ、操作制御部３１ｄ、パラメータ修正部３１ｅとして機能させるソフトウェア（画像解析プログラム）として構成し、当該画像解析プログラムをＣＰＵ３２に実行させるようにしてもよい。
　記憶部３５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ３２が各部を制御するためのプログラム、自装置の処理機能に関する情報、病理診断用画像の画像データ、基本パラメータや詳細パラメータなどを格納する。
　ネットワークＩ／Ｆ部３６は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、通信ネットワーク４０を介して繋がっている病理診断用画像取得装置２０との接続を確立し、病理診断用画像取得装置２０から病理診断用画像の画像データなどを受信する。
　表示部３７は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどのハードウェアで構成され、上述した表示制御部３１ｃの指示に従って、各グループの細胞核の候補領域を選択可能に表示する画面や、細胞核の候補領域を追記可能に表示する画面、抽出した細胞核を最終結果として表示する画面、基本パラメータや詳細パラメータの設定や選択を行うための画面などを表示する。
　操作部３８は、キーボードやマウス、表示部３７上に形成された、透明電極が格子状に配列されたタッチセンサなどの入力装置で構成され、細胞核の候補領域の選択操作や追記操作、基本パラメータや詳細パラメータの設定操作や選択操作などを可能にする。
　なお、図２及び図３Ａ、３Ｂは本実施例の病理診断用画像処理システム１０や病理診断用画像解析装置３０の一例であり、その構成や制御内容は適宜変更可能である。例えば、図３Ａ、３Ｂの病理診断用画像解析装置３０では、病理診断用画像解析装置３０が基本パラメータを用いた細胞核の候補領域の抽出及び詳細パラメータを用いた細胞核領域の再抽出を行うものとしたが、病理診断用画像解析装置３０と通信可能に接続された別の装置に病理診断用画像解析装置３０の機能の一部を持たせておき、上記処理の一部を、この装置に行わせてもよい。例えば、別の装置（例えば、クラウド上のサーバ装置）に、病理診断用画像解析部３１ｂの機能の一部を持たせておき、基本パラメータを用いた細胞核の候補領域の抽出はこの装置で行い、病理診断用画像解析装置３０は詳細パラメータを用いた細胞核領域の再抽出のみを行うようにしてもよい。
　以下、病理診断用画像解析装置３０の具体的な動作について説明する。ＣＰＵ３２は、ＲＯＭ３３又は記憶部３５に記憶した画像解析プログラムをＲＡＭ３４に展開して実行することにより、図４のフローチャート図に示す各ステップの処理を実行する。なお、以下の説明において、制御部３１（パラメータ設定部３１ａ）は、予め基本パラメータ及び詳細パラメータを設定して記憶部３５などに記憶しているものとする。
　まず、病理診断用画像解析装置３０の制御部３１（病理診断用画像解析部３１ｂ）は、病理診断用画像取得装置２０から組織標本を撮影した病理診断用画像を取得する（Ｓ１０１）。そして、公知の手法を用いて病理診断用画像から輪郭を抽出し、抽出した輪郭に基づき、予め設定した基本パラメータを用いて、病理診断用画像から複数の細胞核の候補領域を抽出する（Ｓ１０２）。
　次に、制御部３１（表示制御部３１ｃ）は、抽出した複数の細胞核の候補領域を表示部３７に選択可能又は追記可能に表示し（Ｓ１０３）、制御部３１（操作制御部３１ｄ）は、詳細パラメータを病理医に対応した値に修正するための、病理医による操作部３８を用いた細胞核の候補領域の選択操作又は細胞核の候補領域への追記操作を受け付ける（Ｓ１０４）。なお、詳細パラメータは、上述したように、細胞核のサイズ、細胞核の染色の濃度、細胞核の輪郭のエッジ強度、尤度比などの特徴量の値、死細胞と判定するパターンなどである。
　例えば、制御部３１（表示制御部３１ｃ）は、表示部３７に候補領域選択画面５０を表示することにより、抽出した細胞核の候補領域を表示部３７に選択可能又は追記可能に表示し、制御部３１（操作制御部３１ｄ）は、病理医による操作部３８を用いた細胞核の候補領域の選択操作又は細胞核の候補領域への追記操作を受け付ける。一例として、制御部３１（表示制御部３１ｃ）は、図５に示す候補領域選択画面５０Ａのように、抽出した細胞核の候補領域の中から、死細胞と判定可能な細胞核の候補領域を特定し、特定した細胞核の候補領域を表示部３７に選択可能に表示して、病理医に操作部３８を用いて死細胞と判定する細胞核の候補領域を選択させる。ここで、死細胞と判定可能な細胞核の候補領域の特定は、例えば、予め、細胞核のサイズ、細胞核の形状、細胞核の染色の濃度、細胞核の輪郭のエッジ強度、尤度比などの特徴量の値、死細胞と判定する構造のパターンなどの少なくとも１つを用いて所定の基準を決めておき、この所定の基準に基づき、抽出した細胞核の候補領域の中から死細胞の細胞核である蓋然性の高い細胞核の候補領域を抽出することにより、行うことができる。候補領域選択画面５０Ａの左及び中央の候補領域の細胞核は断裂し始めているので、この細胞核を含む細胞を死細胞と判定し、候補領域選択画面５０Ａの右の候補領域の細胞核は断裂ではなく空胞変形なので、この細胞核を含む細胞は死細胞ではないと判定する場合は、病理医は、候補領域選択画面５０Ａの左及び中央の２つの細胞核の候補領域を選択する。別の例として、制御部３１（表示制御部３１ｃ）は、図６に示す候補領域選択画面５０Ｂのように、抽出した細胞核の候補領域の中から、様々な細胞核のサイズの候補領域を表示部３７に選択可能に表示して、病理医に操作部３８を用いて細胞核として抽出するサイズの候補領域を選択させる。さらに別の例として、制御部３１（表示制御部３１ｃ）は、図７に示す候補領域選択画面５０Ｃのように、抽出した細胞核の候補領域の中から、様々な細胞核の染色の濃度の候補領域を表示部３７に選択可能に表示して、病理医に操作部３８を用いて細胞核として抽出する濃度の候補領域を選択させる。さらに別の例として、制御部３１（表示制御部３１ｃ）は、図５～７に示す例と同様に、抽出した細胞核の候補領域の中から、様々な細胞核の輪郭のエッジ強度の候補領域を表示部３７に選択可能に表示して、病理医に操作部３８を用いて細胞核として抽出するエッジ強度の候補領域を選択させる。もしくは、図８に示す候補領域選択画面５０Ｄのように、抽出した細胞核の候補領域の中から、細胞核が重畳している１又は複数の候補領域（図８の元画像を参照）を追記可能に表示部３７に表示して、病理医に修正例を参照して、表示された候補領域に対して操作部３８を用いて重畳している細胞核の分割線を追記させる。さらに別の例として、制御部３１（表示制御部３１ｃ）は、図９に示す候補領域選択画面５０Ｅのように、抽出した細胞核の候補領域の中から、尤度比などの特徴量が様々な値の候補領域を表示部３７に選択可能に表示して、病理医に操作部３８を用いて細胞核として抽出する候補領域を選択させる。
　図４に戻って、制御部３１（パラメータ修正部３１ｅ）は、記憶部３５などから予め設定した詳細パラメータを読み出し、病理医が細胞核の候補領域に対して選択又は追記した結果に基づいて、詳細パラメータを病理医に対応した値に修正して記憶部３５などに保存する（Ｓ１０５）。例えば、制御部３１（パラメータ修正部３１ｅ）は、図５に示す候補領域選択画面５０Ａで選択された候補領域を解析して死細胞と判定するためのパターンを抽出し、そのパターンを詳細パラメータに反映させてこの詳細パラメータを修正する。具体的には、詳細パラメータに、選択された候補領域から抽出したパターン（例えば、死細胞の特徴を示す構造の輪郭パターン）を設定する。このとき、詳細パラメータに、選択された候補領域から抽出したパターンを追加したり、詳細パラメータとして既に設定されているパターンを選択された候補領域から抽出したパターンと置き換えてもよい。また、制御部３１（パラメータ修正部３１ｅ）は、図６に示す候補領域選択画面５０Ｂで選択された候補領域と選択されなかった候補領域とを比較し、その間の細胞核のサイズを詳細パラメータに反映させて、この詳細パラメータを修正する。具体的には、詳細パラメータを、選択された候補領域における細胞核のサイズと選択されなかった候補領域における細胞核のサイズとの間の値に設定する。また、制御部３１（パラメータ修正部３１ｅ）は、図７に示す候補領域選択画面５０Ｃで選択された候補領域と選択されなかった候補領域とを比較し、その間の細胞核の染色の濃度を詳細パラメータに反映させて修正する。具体的には、詳細パラメータを、選択された候補領域における細胞核の染色の濃度と選択されなかった候補領域における細胞核の染色の濃度との間の値に設定する。また、制御部３１（パラメータ修正部３１ｅ）は、図８に示す候補領域選択画面５０Ｄで追記された分割線で分割される細胞核間の濃度差に基づいて、細胞核の輪郭のエッジ強度を特定し、そのエッジ強度を詳細パラメータに反映させて修正する。具体的には、詳細パラメータを、追記された分割線で分割される細胞核間の濃度差に設定する。もしくは、候補領域選択画面５０に細胞核の輪郭のエッジ強度の異なる複数のサンプル画像が選択可能に表示された場合、候補領域選択画面５０で選択された候補領域と選択されなかった候補領域とを比較し、詳細パラメータを、選択された候補領域における細胞核の輪郭のエッジ強度と選択されなかった候補領域における細胞核の輪郭のエッジ強度との間の値に設定してもよい。また、制御部３１（パラメータ修正部３１ｅ）は、図９に示す候補領域選択画面５０Ｅで選択された候補領域と選択されなかった候補領域とを比較し、その間の特徴量の数値を詳細パラメータに反映させて修正する。具体的には、詳細パラメータを、選択された候補領域における細胞核から算出される特徴量と選択されなかった候補領域における細胞核から算出される特徴量との間の値に設定する。
　次に、制御部３１（病理診断用画像解析部３１ｂ）は、修正した詳細パラメータを用いて、抽出した細胞核の候補領域の中から、病理医の細胞核の判定基準に対応する１又は複数の細胞核領域を再抽出する（Ｓ１０６）。そして、制御部３１（表示制御部３１ｃ）は、表示部３７に、再抽出した細胞核領域を識別可能にした病理診断用画像を最終結果として表示させ（Ｓ１０７）、一連の病理診断用画像解析処理を終了する。
　以上説明したように、病理診断用画像解析装置３０の制御部３１は、基本パラメータを用いて病理診断用画像から複数の細胞核の候補領域を抽出し、抽出した細胞核の候補領域のうち１又は複数の候補領域を表示部３７に選択又は追記可能に表示させ、病理医による選択又は追記結果に基づいて詳細パラメータを病理医に対応した値に修正して記憶部３５などに保存し、修正した詳細パラメータを用いて細胞核の候補領域の中から病理医が希望する１又は複数の細胞核領域を再抽出する。これにより、病理医への負担を軽減しつつ、病理診断用画像から病理医に応じた細胞核領域を適切に抽出することができる。
　次に、本発明の第２の実施例に係る画像解析プログラム及び画像解析方法について、図１０乃至図１３を参照して説明する。図１０は、病理診断用画像解析装置の動作を示すフローチャート図であり、図１１乃至図１３は、詳細パラメータを設定するためのサンプル画像表示画面の一例である。
　前記した第１の実施例では、基本パラメータを用いて抽出した細胞核の候補領域を選択可能又は追記可能に表示部３７に表示し、表示された候補領域に対する病理医による選択結果又は追記結果に基づいて詳細パラメータを修正したが、細胞核の候補領域の抽出前に、詳細パラメータを設定するために予め設けた設問（細胞核のサンプル画像）を提示して病理医に回答してもらい、その回答結果に基づいて詳細パラメータを病理医に対応した値に修正することも可能である。
　その場合、病理診断用画像解析装置３０の基本構成は第１の実施例の図３Ａ、３Ｂに示す構成と同様であるが、表示制御部３１ｃ、操作制御部３１ｄ、パラメータ修正部３１ｅは以下のように動作する。
　表示制御部３１ｃは、病理医毎の判定基準を設定するために予め用意された細胞核のサンプル画像を分類し、詳細パラメータを病理医などの診断者に対応した値に設定するためのグループを作成する。このとき、複数のグループに同じ細胞核のサンプル画像が含まれていてもよい。そして、各グループの細胞核のサンプル画像を選択可能に表示部３７に表示させる。また、詳細パラメータを病理医などの診断者に対応した値に設定するための１又は複数の細胞核のサンプル画像を特定し、特定した細胞核のサンプル画像を追記可能に表示部３７に表示させる。また、病理診断用画像解析部３１ｂが細胞核の候補領域の中から病理医に応じた細胞核領域を抽出したら、抽出した細胞核領域を識別可能にした病理診断用画像を最終結果として表示部３７に表示させる。また、必要に応じて、基本パラメータや詳細パラメータの設定や選択を行うための画面を表示部３７に表示させる。なお、細胞核のサンプル画像は、以前に抽出した候補領域の中から選択してもよいし、細胞核を模式的に表したイラストなどとしてもよい。
　操作制御部３１ｄは、表示部３７に表示された各グループの細胞核のサンプル画像に対して、病理医により操作部３８を用いて選択操作が行われたら、この選択操作を受け付け、選択結果をパラメータ修正部３１ｅに通知する。また、表示部３７に表示された細胞核のサンプル画像に対して病理医により操作部３８を用いて追記操作が行われたら、この追記操作を受け付け、追記結果をパラメータ修正部３１ｅに通知する。また、必要に応じて、基本パラメータや詳細パラメータの設定操作や選択操作を受け付ける。
　パラメータ修正部３１ｅは、操作制御部３１ｄから病理医による細胞核のサンプル画像の選択結果や追記結果を受け取り、選択された細胞核のサンプル画像と選択されなかった細胞核のサンプル画像との差異に基づいて詳細パラメータを病理医に対応した値に修正したり、追記内容に基づいて詳細パラメータを病理医に対応した値に修正したりし、修正した詳細パラメータを記憶部３５などに保存する。例えば、病理医による細胞核のサンプル画像の選択結果を受け取った場合、パラメータ修正部３１ｅは、詳細パラメータに含まれる細胞核のサイズ、細胞核の染色の濃度、細胞核の輪郭のエッジ強度、尤度比などの特徴量の値を、選択された細胞核のサンプル画像における値と選択されなかった細胞核のサンプル画像における値のとの間の値（任意の中間の値）に設定する。また、詳細パラメータに含まれる死細胞と判定するパターンを、選択された細胞核のサンプル画像から抽出されたパターンに設定する。また、病理医による細胞核のサンプル画像への追記結果を受け取った場合、パラメータ修正部３１ｅは、詳細パラメータに含まれる細胞核の輪郭のエッジ強度を、分割線で分割される細胞核間の濃度差に設定する。
　以下、病理診断用画像解析装置３０の具体的な動作について説明する。ＣＰＵ３２は、ＲＯＭ３３又は記憶部３５に記憶した画像解析プログラムをＲＡＭ３４に展開して実行することにより、図１０のフローチャート図に示す各ステップの処理を実行する。なお、以下の説明において、詳細パラメータを診断者に対応した値に設定するために使用する細胞核のサンプル画像は予め記憶部３５などに記憶されているものとする。
　まず、病理診断用画像解析装置３０の制御部３１（表示制御部３１ｃ）は、表示部３７に、予め記憶部３５などに記憶した細胞核のサンプル画像を選択可能又は追記可能に表示し（Ｓ２０１）、制御部３１（操作制御部３１ｄ）は、詳細パラメータを病理医に対応した値に修正するための、操作部３８によるサンプル画像の選択操作又はサンプル画像への追記操作を受け付ける（Ｓ２０２）。なお、詳細パラメータは、上述したように、細胞核のサイズ、細胞核の染色の濃度、細胞核の輪郭のエッジ強度、尤度比などの特徴量の値、死細胞と判定するパターンなどである。
　例えば、制御部３１（表示制御部３１ｃ）は、表示部３７にサンプル画像表示画面５１を表示することにより、１又は複数の細胞核のサンプル画像を選択可能又は追記可能に表示し、制御部３１（操作制御部３１ｄ）は、病理医による操作部３８を用いた細胞核のサンプル画像の選択操作又は細胞核のサンプル画像への追記操作を受け付ける。一例として、制御部３１（表示制御部３１ｃ）は、図１１に示すサンプル画像表示画面５１Ａのように、様々な細胞核のサイズのサンプル画像を表示部３７に選択可能に表示して、病理医に操作部３８を用いて細胞核として抽出するサイズのサンプル画像を選択させる。また、図１２に示すサンプル画像表示画面５１Ｂのように、様々な細胞核の染色の濃度のサンプル画像を表示部３７に選択可能に表示して、病理医に操作部３８を用いて細胞核として抽出する濃度のサンプル画像を選択させる。また、図１３に示すサンプル画像表示画面５１Ｃのように、重畳している細胞核の１又は複数のサンプル画像（図１３の問題を参照）を表示部３７に追記可能に表示して、病理医に回答例を参照して、表示されたサンプル画像に対して操作部３８を用いて重畳している細胞核を分割する分割線を追記させる。なお、図１１乃至図１３では、サンプル画像として実際の病理診断用画像を例示しているが、細胞核のサイズ、細胞核の染色の濃度、細胞核の輪郭のエッジ強度、尤度比などの特徴量の値、死細胞と判定するパターンなどを病理医に対応した値に設定するための模式図を表示部３７に表示してもよい。また、図１１乃至図１３では、細胞核のサイズ、細胞核の染色の濃度、細胞核の輪郭のエッジ強度を設定するためのサンプル画像表示画面を表示部３７に例示しているが、同様に、制御部３１（表示制御部３１ｃ）により、細胞核から算出される特徴量が異なる複数のサンプル画像、細胞核の輪郭のエッジ強度が異なる複数のサンプル画像又は死細胞と判定可能な複数のサンプル画像を表示部３７に選択可能に表示して、病理医に操作部３８を用いて細胞核として抽出するサンプル画像を選択させてもよい。
　図１０に戻って、制御部３１（パラメータ修正部３１ｅ）は、記憶部３５などから予め設定した詳細パラメータを読み出し、病理医が複数のサンプル画像に対して選択又は追記した結果に基づいて、詳細パラメータを病理医に対応した値に修正して記憶部３５などに保存する（Ｓ２０３）。例えば、制御部３１（パラメータ修正部３１ｅ）は、図１１に示すサンプル画像表示画面５１Ａで選択されたサンプル画像と選択されなかったサンプル画像とを比較し、その間の細胞核のサイズを詳細パラメータに反映させて、この詳細パラメータを修正する。具体的には、詳細パラメータを、選択されたサンプル画像における細胞核のサイズと選択されなかったサンプル画像における細胞核のサイズとの間の値に設定する。また、制御部３１（パラメータ修正部３１ｅ）は、図１２に示すサンプル画像表示画面５１Ｂで選択されたサンプル画像と選択されなかったサンプル画像とを比較し、その間の細胞核の染色の濃度を詳細パラメータに反映させて修正する。具体的には、詳細パラメータを、選択されたサンプル画像における細胞核の染色の濃度と選択されなかったサンプル画像における細胞核の染色の濃度との間の値に設定する。また、制御部３１（パラメータ修正部３１ｅ）は、図１３に示すサンプル画像表示画面５１Ｃで追記された分割線で分割される細胞核間の濃度差に基づいて、細胞核の輪郭のエッジ強度を特定し、そのエッジ強度を詳細パラメータに反映させて修正する。具体的には、詳細パラメータを、追記された分割線で分割される細胞核間の濃度差に設定する。もしくは、サンプル画像表示画面５１に細胞核の輪郭のエッジ強度の異なる複数のサンプル画像が選択可能に表示された場合、サンプル画像表示画面５１で選択されたサンプル画像と選択されなかったサンプル画像とを比較し、詳細パラメータを、選択されたサンプル画像における細胞核の輪郭のエッジ強度と選択されなかったサンプル画像における細胞核の輪郭のエッジ強度との間の値に設定してもよい。また、サンプル画像表示画面５１に特徴量の異なる複数のサンプル画像が選択可能に表示された場合、制御部３１（パラメータ修正部３１ｅ）は、サンプル画像表示画面５１で選択されたサンプル画像と選択されなかったサンプル画像とを比較し、その間の特徴量を詳細パラメータに反映させて修正する。具体的には、詳細パラメータを、選択されたサンプル画像における細胞核から算出される特徴量と選択されなかったサンプル画像における細胞核から算出される特徴量との間の値に設定する。また、サンプル画像表示画面５１に死細胞と判定可能な複数のサンプル画像が選択可能に表示された場合、制御部３１（パラメータ修正部３１ｅ）は、サンプル画像表示画面５１で選択されたサンプル画像を解析して死細胞と判定するためのパターンを抽出し、そのパターンを詳細パラメータに反映させて修正してもよい。具体的には、詳細パラメータに、選択されたサンプル画像から抽出したパターン（例えば、死細胞の特徴を示す構造の輪郭パターン）を設定する。このとき、詳細パラメータに、選択されたサンプル画像から抽出したパターンを追加したり、詳細パラメータとして既に設定されているパターンを選択されたサンプル画像から抽出したパターンと置き換えてもよい。
　次に、制御部３１（病理診断用画像解析部３１ｂ）は、病理診断用画像取得装置２０から組織標本を撮影した病理診断用画像を取得し（Ｓ２０４）、公知の手法を用いて病理診断用画像から輪郭を抽出し、抽出した輪郭を用いて、予め設定した基本パラメータを用いて画像処理を行うことにより、病理診断用画像から診断目的に応じた複数の細胞核の候補領域を抽出する（Ｓ２０５）。
　次に、制御部３１（病理診断用画像解析部３１ｂ）は、修正した詳細パラメータを用いて、抽出した複数の細胞核の候補領域の中から、病理医の細胞核の判定基準に対応する１又は複数の細胞核領域を再抽出する（Ｓ２０６）。そして、制御部３１（表示制御部３１ｃ）は、表示部３７に、再抽出した細胞核領域を識別可能にした病理診断用画像を最終結果として表示させ（Ｓ２０７）、一連の病理診断用画像解析処理を終了する。
　以上説明したように、病理診断用画像解析装置３０の制御部３１は、予め設けた細胞核のサンプル画像を表示部３７に選択又は追記可能に表示させ、病理医による選択又は追記結果に基づいて詳細パラメータを病理医に対応した値に修正して記憶部３５などに保存した後、基本パラメータを用いて病理診断用画像から複数の細胞核の候補領域を抽出し、修正した詳細パラメータを用いて細胞核の候補領域の中から病理医が希望する１又は複数の細胞核領域を再抽出する。これにより、病理医への負担を軽減しつつ、病理診断用画像から病理医に応じた細胞核領域を適切に抽出することができる。
　なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、病理診断用画像解析装置３０の構成や制御内容は適宜変更可能である。
　例えば、上記各実施例で示した病理診断用画像は一例であり、病理診断に使用する画像であればよい。
　また、第１の実施例では、病理診断用画像解析装置３０の制御部３１は、細胞核の候補領域を抽出した後に詳細パラメータを病理医に対応した値に修正し、第２の実施例では、細胞核の候補領域を抽出する前に詳細パラメータを病理医に対応した値に修正したが、細胞核の候補領域を抽出する前後において、２段階で詳細パラメータを病理医に対応した値に修正するようにしてもよい。
　また、上記各実施例では、病理診断用画像の解析に関して記載したが、任意の１又は複数のコンピュータ装置により、ユーザに応じて判断の基準が異なる任意の画像を解析する場合に対して、本発明の画像解析方法を同様に適用することができる。
　本発明は、病理診断用画像から病理医などの診断者に対応した細胞核などの診断対象を抽出する画像解析プログラム、当該画像解析プログラムを記録した記録媒体及び画像解析方法に利用可能である。
　１０　病理診断用画像処理システム
　２０　病理診断用画像取得装置
　３０、ＡＰ　病理診断用画像解析装置
　３１　制御部
　３１ａ　パラメータ設定部
　３１ｂ　病理診断用画像解析部
　３１ｃ　表示制御部
　３１ｄ　操作制御部
　３１ｅ　パラメータ修正部
　３２　ＣＰＵ
　３３　ＲＯＭ
　３４　ＲＡＭ
　３５　記憶部
　３６　ネットワークＩ／Ｆ部
　３７　表示部
　３８　操作部
　４０　通信ネットワーク
　５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ　候補領域表示画面
　５１、５１Ａ、５１Ｂ、５１Ｃ　サンプル画像表示画面

Claims (18)

  1. 　表示部と操作部と記憶部とを備え、前記記憶部に保存された、診断目的毎の細胞核の判定基準を定める第１のパラメータと診断者毎の細胞核の判定基準を定める第２のパラメータとを用いて、病理診断用画像の解析を行う装置で動作する画像解析プログラムであって、
    　前記装置に、
    　組織標本を撮影した病理診断用画像を取得し、前記第１のパラメータを用いて、前記病理診断用画像から複数の細胞核の候補領域を抽出する第１の病理診断用画像解析処理、
    　前記第２のパラメータを用いて、前記抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出する第２の病理診断用画像解析処理と、
    　前記表示部に、前記再抽出した１又は複数の細胞核領域を識別可能にした前記病理診断用画像を表示させる第１の表示制御処理と、を実行させる、
    　画像解析プログラム。
  2. 　前記装置に、
    　前記第１の病理診断用画像解析処理の後に、更に、
    　前記表示部に、前記抽出した複数の細胞核の候補領域のうち１又は複数の候補領域を選択又は追記可能に表示させる第２の表示制御処理、
    　前記操作部による、前記１又は複数の候補領域に対する選択操作又は追記操作を受け付ける操作制御処理、
    　前記１又は複数の候補領域に対する選択結果又は追記結果に基づいて、前記第２のパラメータを修正して前記記憶部に保存するパラメータ修正処理、を実行させ、
    　前記第２の病理診断用画像解析処理では、修正した前記第２のパラメータを用いて、前記抽出した複数の細胞核の候補領域から前記１又は複数の細胞核領域を再抽出する、
    　請求項１に記載の画像解析プログラム。
  3. 　前記装置に、
    　前記第１の病理診断用画像解析処理の前に、更に、
    　前記表示部に、１又は複数の細胞核のサンプル画像を選択又は追記可能に表示させる第２の表示制御処理、
    　前記操作部による、前記サンプル画像に対する選択操作又は追記操作を受け付ける操作制御処理、
    　前記サンプル画像に対する選択結果又は追記結果に基づいて、前記第２のパラメータを修正して前記記憶部に保存するパラメータ修正処理、を実行させ、
    　前記第２の病理診断用画像解析処理では、修正した前記第２のパラメータを用いて、前記抽出した複数の細胞核の候補領域から前記１又は複数の細胞核領域を再抽出する、
    　請求項１に記載の画像解析プログラム。
  4. 　前記第２のパラメータは、細胞核のサイズであり、
    　前記第２の表示制御処理では、前記表示部に、前記細胞核のサイズが異なる複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像における前記細胞核のサイズと選択されなかった候補領域又はサンプル画像における前記細胞核のサイズとの間の値に設定する、
    　請求項２又は３に記載の画像解析プログラム。
  5. 　前記第２のパラメータは、細胞核の染色の濃度であり、
    　前記第２の表示制御処理では、前記表示部に、前記細胞核の染色の濃度が異なる複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像における前記細胞核の染色の濃度と選択されなかった候補領域又はサンプル画像における前記細胞核の染色の濃度との間の値に設定する、
    　請求項２又は３に記載の画像解析プログラム。
  6. 　前記第２のパラメータは、細胞核から算出される特徴量であり、
    　前記第２の表示制御処理では、前記表示部に、前記細胞核から算出される特徴量が異なる複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像における前記細胞核から算出される特徴量と選択されなかった候補領域又はサンプル画像における前記細胞核から算出される特徴量との間の値に設定する、
    　請求項２又は３に記載の画像解析プログラム。
  7. 　前記第２のパラメータは、細胞核の輪郭のエッジ強度であり、
    　前記第２の表示制御処理では、前記表示部に、前記細胞核の輪郭のエッジ強度が異なる複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像における前記細胞核の輪郭のエッジ強度と選択されなかった候補領域又はサンプル画像における前記細胞核の輪郭のエッジ強度との間の値に設定する、
    　請求項２又は３に記載の画像解析プログラム。
  8. 　前記第２のパラメータは、細胞核の輪郭のエッジ強度であり、
    　前記第２の表示制御処理では、前記表示部に、１又は複数の候補領域又はサンプル画像を、分割線を追記可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、追記された前記分割線で分割される細胞核間の濃度差に設定する、
    　請求項２又は３に記載の画像解析プログラム。
  9. 　前記第２のパラメータは、死細胞と判定するパターンであり、
    　前記第２の表示制御処理では、前記表示部に、前記死細胞と判定可能な複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像から抽出されるパターンに設定する、
    　請求項２又は３に記載の画像解析プログラム。
  10. 　表示部と操作部と記憶部とを備え、前記記憶部に保存された、診断目的毎の細胞核の判定基準を定める第１のパラメータと診断者毎の細胞核の判定基準を定める第２のパラメータとを用いて、病理診断用画像の解析を行う装置における画像解析方法であって、
    　組織標本を撮影した病理診断用画像を取得し、前記第１のパラメータを用いて、前記病理診断用画像から複数の細胞核の候補領域を抽出する第１の病理診断用画像解析処理と、
    　前記第２のパラメータを用いて、前記抽出した複数の細胞核の候補領域から１又は複数の細胞核領域を再抽出する第２の病理診断用画像解析処理と、
    　前記表示部に、前記再抽出した１又は複数の細胞核領域を識別可能にした前記病理診断用画像を表示させる第１の表示制御処理と、を実行する、
    　画像解析方法。
  11. 　前記第１の病理診断用画像解析処理の後に、更に、
    　前記表示部に、前記抽出した複数の細胞核の候補領域のうち１又は複数の候補領域を選択又は追記可能に表示させる第２の表示制御処理と、
    　前記操作部による、前記１又は複数の候補領域に対する選択操作又は追記操作を受け付ける操作制御処理と、
    　前記１又は複数の候補領域に対する選択結果又は追記結果に基づいて、前記第２のパラメータを修正して前記記憶部に保存するパラメータ修正処理と、を実行し、
    　前記第２の病理診断用画像解析処理では、修正した前記第２のパラメータを用いて、前記抽出した複数の細胞核の候補領域から前記１又は複数の細胞核領域を再抽出する、
    　請求項１０に記載の画像解析方法。
  12. 　前記第１の病理診断用画像解析処理の前に、更に、
    　前記表示部に、細胞核のサンプル画像を選択又は追記可能に表示させる第２の表示制御処理と、
    　前記操作部による、前記サンプル画像に対する選択操作又は追記操作を受け付ける操作制御処理と、
    　前記サンプル画像に対する選択結果又は追記結果に基づいて、前記第２のパラメータを修正して前記記憶部に保存するパラメータ修正処理と、を実行し、
    　前記第２の病理診断用画像解析処理では、修正した前記第２のパラメータを用いて、前記抽出した複数の細胞核の候補領域から前記１又は複数の細胞核領域を再抽出する、
    　請求項１０に記載の画像解析方法。
  13. 　前記第２のパラメータは、細胞核のサイズであり、
    　前記第２の表示制御処理では、前記表示部に、前記細胞核のサイズが異なる複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像における前記細胞核のサイズと選択されなかった候補領域又はサンプル画像における前記細胞核のサイズとの間の値に設定する、
    　請求項１１又は１２に記載の画像解析方法。
  14. 　前記第２のパラメータは、細胞核の染色の濃度であり、
    　前記第２の表示制御処理では、前記表示部に、前記細胞核の染色の濃度が異なる複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像における前記細胞核の染色の濃度と選択されなかった候補領域又はサンプル画像における前記細胞核の染色の濃度との間の値に設定する、
    　請求項１１又は１２に記載の画像解析方法。
  15. 　前記第２のパラメータは、細胞核から算出される特徴量であり、
    　前記第２の表示制御処理では、前記表示部に、前記細胞核から算出される特徴量が異なる複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像における前記細胞核から算出される特徴量と選択されなかった候補領域又はサンプル画像における前記細胞核から算出される特徴量との間の値に設定する、
    　請求項１１又は１２に記載の画像解析方法。
  16. 　前記第２のパラメータは、細胞核の輪郭のエッジ強度であり、
    　前記第２の表示制御処理では、前記表示部に、前記細胞核の輪郭のエッジ強度が異なる複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像における前記細胞核の輪郭のエッジ強度と選択されなかった候補領域又はサンプル画像における前記細胞核の輪郭のエッジ強度との間の値に設定する、
    　請求項１１又は１２に記載の画像解析方法。
  17. 　前記第２のパラメータは、細胞核の輪郭のエッジ強度であり、
    　前記第２の表示制御処理では、前記表示部に、１又は複数の候補領域又はサンプル画像を、分割線を追記可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、追記された前記分割線で分割される細胞核間の濃度差に設定する、
    　請求項１１又は１２に記載の画像解析方法。
  18. 　前記第２のパラメータは、死細胞と判定するパターンであり、
    　前記第２の表示制御処理では、前記表示部に、前記死細胞と判定可能な複数の候補領域又はサンプル画像を選択可能に表示させ、
    　前記パラメータ修正処理では、前記第２のパラメータを、選択された候補領域又はサンプル画像から抽出されるパターンに設定する、
    　請求項１１又は１２に記載の画像解析方法。
PCT/JP2017/046063 2017-01-05 2017-12-22 画像解析プログラム及び画像解析方法 WO2018128091A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17889901.9A EP3567546A1 (en) 2017-01-05 2017-12-22 Image analysis program and image analysis method
JP2018560360A JPWO2018128091A1 (ja) 2017-01-05 2017-12-22 画像解析プログラム及び画像解析方法
US16/474,664 US20200005014A1 (en) 2017-01-05 2017-12-22 Non-transitory computer-readable recording medium storing image analysis program and image analysis method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-000298 2017-01-05
JP2017000298 2017-01-05

Publications (1)

Publication Number Publication Date
WO2018128091A1 true WO2018128091A1 (ja) 2018-07-12

Family

ID=62791339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/046063 WO2018128091A1 (ja) 2017-01-05 2017-12-22 画像解析プログラム及び画像解析方法

Country Status (4)

Country Link
US (1) US20200005014A1 (ja)
EP (1) EP3567546A1 (ja)
JP (1) JPWO2018128091A1 (ja)
WO (1) WO2018128091A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019171909A1 (ja) * 2018-03-08 2019-09-12 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
WO2021157405A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
WO2022201992A1 (ja) * 2021-03-24 2022-09-29 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09509487A (ja) * 1994-02-14 1997-09-22 ニューロメディカル システムズ インコーポレイテッド 細胞試料自動分類装置及び方法
JP2000331143A (ja) 1999-05-14 2000-11-30 Mitsubishi Electric Corp 画像処理方法
JP2010151566A (ja) * 2008-12-25 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法及び装置
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP2014147659A (ja) 2013-01-09 2014-08-21 Canon Inc 医療診断支援装置及び医療診断支援方法
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2016181098A (ja) * 2015-03-24 2016-10-13 株式会社Ｓｃｒｅｅｎホールディングス 領域検出装置および領域検出方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4496860B2 (ja) * 2004-06-30 2010-07-07 株式会社ニコン 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置
JP5365011B2 (ja) * 2008-01-29 2013-12-11 日本電気株式会社 病理診断支援装置、病理診断支援方法、およびプログラム
US8340389B2 (en) * 2008-11-26 2012-12-25 Agilent Technologies, Inc. Cellular- or sub-cellular-based visualization information using virtual stains
US8335374B2 (en) * 2009-08-12 2012-12-18 Genetix Corporation Image segmentation
JP5376024B1 (ja) * 2012-08-23 2013-12-25 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
WO2014143998A1 (en) * 2013-03-15 2014-09-18 The Broad Institute Systems and methods for culturing epithelial cells
SE537088C2 (sv) * 2013-05-08 2015-01-07 Cellavision Ab Grafiskt användargränssnitt för analys av röda blodkroppar
US9384550B2 (en) * 2014-03-27 2016-07-05 Konica Minolta, Inc. Image processing device and storage medium for image processing
CA2951600C (en) * 2014-08-04 2022-12-06 Ventana Medical Systems, Inc. Image analysis system using context features
JP6635108B2 (ja) * 2015-02-23 2020-01-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9928403B2 (en) * 2016-02-09 2018-03-27 Molecular Devices, Llc System and method for image analysis of multi-dimensional data
JP6639325B2 (ja) * 2016-05-18 2020-02-05 富士フイルム株式会社 撮像装置および方法
US10489633B2 (en) * 2016-09-27 2019-11-26 Sectra Ab Viewers and related methods, systems and circuits with patch gallery user interfaces

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09509487A (ja) * 1994-02-14 1997-09-22 ニューロメディカル システムズ インコーポレイテッド 細胞試料自動分類装置及び方法
JP2000331143A (ja) 1999-05-14 2000-11-30 Mitsubishi Electric Corp 画像処理方法
JP2010151566A (ja) * 2008-12-25 2010-07-08 Hitachi High-Technologies Corp 粒子画像解析方法及び装置
JP2011181015A (ja) * 2010-03-03 2011-09-15 Olympus Corp 診断情報配信装置および病理診断システム
JP2014147659A (ja) 2013-01-09 2014-08-21 Canon Inc 医療診断支援装置及び医療診断支援方法
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
JP2016181098A (ja) * 2015-03-24 2016-10-13 株式会社Ｓｃｒｅｅｎホールディングス 領域検出装置および領域検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3567546A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019171909A1 (ja) * 2018-03-08 2019-09-12 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
US11449991B2 (en) 2018-03-08 2022-09-20 Konica Minolta, Inc. Image processing method, image processing apparatus, and storage medium
WO2021157405A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 解析装置、解析方法、解析プログラム及び診断支援システム
WO2022201992A1 (ja) * 2021-03-24 2022-09-29 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Also Published As

Publication number Publication date
EP3567546A4 (en) 2019-11-13
JPWO2018128091A1 (ja) 2019-11-07
EP3567546A1 (en) 2019-11-13
US20200005014A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
JP7458519B2 (ja) 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
CN114945954A (zh) 使用深度学习进行显微图像的数字染色的方法和系统
EP3127084B1 (en) Examining device for processing and analyzing an image
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5469070B2 (ja) 生物検体を処理するための複数の波長を用いる方法およびシステム
US11062168B2 (en) Systems and methods of unmixing images with varying acquisition properties
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
Wright et al. The effect of quality control on accuracy of digital pathology image analysis
US10591402B2 (en) Image processing apparatus, image processing method, and image processing program
WO2018128091A1 (ja) 画像解析プログラム及び画像解析方法
CN108352062A (zh) 用于组织识别的方法和设备
JP2013174823A (ja) 画像処理装置、顕微鏡システム、及び画像処理方法
JP7156361B2 (ja) 画像処理方法、画像処理装置及びプログラム
Foucart et al. Artifact identification in digital pathology from weak and noisy supervision with deep residual networks
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US20220366619A1 (en) Systems and methods to process electronic images to adjust attributes of the electronic images
JPWO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Abinaya et al. A systematic review: Intellectual detection and prediction of cancer using dl techniques
Zhang et al. Automated Scoring System of HER2 in Pathological Images under the Microscope
CA3216960A1 (en) Systems and methods to process electronic images to adjust stains in electronic images
Sivakumar A Systematic Review: Intellectual Detection and Prediction of Cancer using DL Techniques

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17889901

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018560360

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017889901

Country of ref document: EP

Effective date: 20190805