WO2016190129A1 - 画像処理装置、画像処理方法、および画像処理用のプログラム - Google Patents

画像処理装置、画像処理方法、および画像処理用のプログラム Download PDF

Info

Publication number
WO2016190129A1
WO2016190129A1 PCT/JP2016/064252 JP2016064252W WO2016190129A1 WO 2016190129 A1 WO2016190129 A1 WO 2016190129A1 JP 2016064252 W JP2016064252 W JP 2016064252W WO 2016190129 A1 WO2016190129 A1 WO 2016190129A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
image
display element
cell
specifying
Prior art date
Application number
PCT/JP2016/064252
Other languages
English (en)
French (fr)
Inventor
淳 生山
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2017520626A priority Critical patent/JP6696503B2/ja
Priority to EP16799837.6A priority patent/EP3299811B1/en
Priority to US15/573,194 priority patent/US10591402B2/en
Publication of WO2016190129A1 publication Critical patent/WO2016190129A1/ja

Links

Images

Classifications

    • G01N15/1433—
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Electro-optical investigation, e.g. flow cytometers
    • G01N2015/1497—Particle shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20096—Interactive definition of curve of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program, and more particularly, to an image processing technique for a cell morphology image capturing a cell morphology.
  • pathological diagnosis in which a tissue section collected from a living body such as a human being or an animal is observed with a microscope to diagnose the presence or absence of a lesion or the type of lesion, has been actively performed.
  • a tissue section to be diagnosed is generally subjected to processing such as fixation, embedding, slicing and staining in this order and then subjected to observation with a microscope.
  • a pixel group that is a candidate for a cell center is extracted from a cell morphology image, and only a pixel that is suitable as a cell center in the pixel group is selected according to a predetermined criterion. From the pixel position information and the direction of the density gradient of the surrounding pixels, the pixel forming the outline of the cell is selected.
  • Patent Document 2 at least one point from the cell morphology image where the luminance exhibits a minimum value or a maximum value, a point having a color different from the surrounding points, and a point where the luminance gradient becomes maximum is taken as an extraction point.
  • the extracted points are clustered and the cell centers and boundaries are determined.
  • pixels sorted based on the attribute value range are added to the label image one by one from the end point of the attribute value range, and a feature calculated for each arranged object is a predetermined feature. If the acceptance criteria are met, the object is output to the output image. At this time, the addition of pixels to the label image, evaluation of the characteristics of the generated object, and output of the object are repeated until the stop point is reached, thereby identifying each object in the image.
  • Patent Document 4 a cell group having features similar to a specific cell of interest designated by a user is automatically extracted from a plurality of cells in a cell morphology image subjected to a predetermined process.
  • a tissue section used for pathological diagnosis may be stained deeply.
  • Patent Document 2 when a tissue section is collected by needle biopsy, a plurality of cells are compressed, and the cells are likely to overlap each other. And when a plurality of cells overlap vertically and horizontally, even if the center of gravity of the plurality of extraction points grouped as the center of the cell as a representative point, the number of extraction points that are the center of the cell, It is difficult to match the actual number of cells.
  • Patent Document 3 when there is a so-called hollow state in which the outline of the cell nucleus is clearly recognized but the inside of the cell nucleus is not clearly recognized, the inside of the cell nucleus Information becomes the same as information other than the cell nucleus, and erroneous detection of the cell nucleus occurs.
  • Patent Document 4 is a technique for narrowing down the cells extracted from the cell morphology image in the first place, and a case where the cell region is not accurately extracted without omission from the cell morphology image is likely to occur.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of more easily and accurately extracting all cell regions from a cell morphology image.
  • an image processing apparatus includes a display control unit, an acquisition unit, an input unit, an addition unit, and a correction unit.
  • the display control unit displays a cell morphology image capturing the cell morphology on the display unit.
  • the said acquisition part acquires the area
  • the input unit receives a signal corresponding to a user's operation.
  • the adding unit includes at least a contour portion of a second cell region occupied by the specific part different from the first cell region in the cell morphology image according to a predetermined signal input in the input unit.
  • a second display element to be specified is added to the region specifying image.
  • a display element for specifying the first cell region is displayed on the display unit by the display control unit with respect to at least a partial region of the overlapping region overlapping the second cell region of the first cell region. In this way, the region specifying image is corrected.
  • the image processing method includes steps (a) to (c).
  • the acquisition unit acquires an area specifying image that specifies the first cell area occupied by the specific part of the cell in the cell shape image capturing the cell form by the first display element.
  • the specific portion different from the first cell region in the cell morphology image is determined by the adding unit according to a predetermined signal input in response to a user operation.
  • a second display element that specifies at least the outline of the occupied second cell region is added to the region specifying image.
  • a display element for specifying the first cell region is displayed on the display unit by at least a part of the overlapping region of the first cell region overlapping the second cell region by the correcting unit. As described above, the region specifying image is corrected.
  • the image processing program according to another aspect is executed by a control unit included in the information processing apparatus, thereby causing the information processing apparatus to function as the image processing apparatus according to the above aspect.
  • a user can easily add a display element for specifying a cell region to a region specifying image for specifying a cell region occupied by a specific part of the cell in the cell morphology image by a display element, All cell regions can be extracted more easily and accurately from the image.
  • FIG. 1 is a diagram illustrating a schematic configuration example of a pathological diagnosis support system.
  • FIG. 2 is a block diagram schematically showing a functional configuration of the information processing apparatus.
  • FIG. 3 is a block diagram illustrating a functional configuration realized by the control unit.
  • FIG. 4 is a diagram illustrating an example of a cell morphology image.
  • FIG. 5 is a diagram illustrating an example of the area specifying image.
  • FIG. 6 is a diagram illustrating the second cell region in the region specifying image.
  • FIG. 7 is a diagram for explaining an outline of correction of the area specifying image.
  • FIG. 8 is a flowchart illustrating an operation flow of the image processing apparatus.
  • FIG. 9 is a flowchart illustrating an operation flow of the image processing apparatus.
  • FIG. 1 is a diagram illustrating a schematic configuration example of a pathological diagnosis support system.
  • FIG. 2 is a block diagram schematically showing a functional configuration of the information processing apparatus.
  • FIG. 3 is a
  • FIG. 10 is a flowchart illustrating an operation flow of the image processing apparatus.
  • FIG. 11 is a flowchart illustrating an operation flow of the image processing apparatus.
  • FIG. 12 is a flowchart illustrating an operation flow of the image processing apparatus.
  • FIG. 13 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 14 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 15 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 16 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 17 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 11 is a flowchart illustrating an operation flow of the image processing apparatus.
  • FIG. 12 is a flowchart illustrating an operation flow of the image processing apparatus.
  • FIG. 13 is a diagram schematically
  • FIG. 18 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 19 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 20 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 21 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 22 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 23 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 24 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 24 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 25 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 26 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 27 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 28 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 29 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 30 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 31 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 32 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 33 is a diagram schematically illustrating a specific example of the correction of the area specifying image.
  • FIG. 34 is a flowchart showing an operation flow relating to the correction of the area specifying image according to the first modification.
  • FIG. 35 is a diagram schematically illustrating a specific example of the correction of the area specifying image according to the first modification.
  • FIG. 36 is a diagram schematically illustrating a specific example of correction of the area specifying image according to the first modification.
  • FIG. 37 is a diagram schematically illustrating a specific example of the correction of the area specifying image according to the first modification.
  • FIG. 1 is a diagram illustrating a schematic configuration example of a pathological diagnosis support system 100 according to an embodiment.
  • the pathological diagnosis support system 100 acquires a microscopic image in which a tissue section of a living body stained with a predetermined staining reagent is captured, performs image processing on the microscopic image, and then performs a specific biological substance in the tissue section. An analysis process is performed to calculate a feature quantity that quantitatively represents the expression of.
  • an image in which a cell morphology in a tissue section of a living body is captured also referred to as a cell morphology image
  • an image in which a distribution of a specific biological substance existing in the cell section of the living body is captured is captured.
  • the living body includes, for example, a human body or an animal other than a human, and may include an animal in a broad sense including a human body and an animal other than a human.
  • the image processing includes, for example, processing performed on the microscope image so that a feature amount that quantitatively represents the expression of a specific biological substance in the analysis processing is obtained with high accuracy from the microscope image.
  • the expression of a specific biological material in a tissue section is performed.
  • the feature quantity expressed quantitatively can be obtained with high accuracy.
  • a pathological diagnosis support system 100 includes a microscope image acquisition device 1, an image processing device 2, and a communication in which the microscope image acquisition device 1 and the image processing device 2 are connected so as to be able to transmit and receive data.
  • Line 3 is provided.
  • the communication line 3 may be, for example, a wired line such as a cable or a wireless line.
  • a LAN Local Area Network
  • data exchange between the microscope image acquisition apparatus 1 and the image processing apparatus 2 may be performed by delivery using various media such as a storage medium.
  • the microscope image acquisition apparatus 1 is, for example, a known optical microscope with a camera.
  • the microscope image acquisition apparatus 1 captures a light image of a tissue section on a slide glass placed on a stage, thereby acquiring data (also referred to as a microscope image) related to an enlarged image of the tissue section (also referred to as microscope image data).
  • the microscope image data is transmitted to the image processing apparatus 2.
  • the microscope image data and the microscope image are collectively referred to as a microscope image.
  • the microscope image acquisition apparatus 1 includes, for example, an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
  • the irradiation unit includes, for example, a light source, a filter, and the like, and irradiates light to a tissue section on a slide glass arranged on a stage.
  • the imaging unit includes, for example, an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, or fluorescence emitted from the tissue section in response to light irradiation on the tissue section on the slide.
  • the imaging unit is, for example, a camera including a CCD (Charge-Coupled Device) sensor or the like, and acquires a microscope image by capturing a light image of a tissue section formed on the imaging surface by the imaging unit.
  • the communication I / F transmits the microscope image to the image processing apparatus 2.
  • the microscope image acquisition apparatus 1 includes a bright field unit in which an irradiation unit and an imaging unit suitable for bright field observation are combined, and a fluorescence unit in which an irradiation unit and an imaging unit suitable for fluorescence observation are combined. It has been. By switching the unit used between the bright field unit and the fluorescence unit, the observation mode is switched between the mode for performing the bright field observation and the mode for performing the fluorescence observation. Thereby, the microscope image acquired by the microscope image acquisition apparatus 1 includes, for example, a bright field image obtained by imaging in bright field observation and a fluorescence image obtained by imaging in fluorescence observation.
  • the “bright field image” is a microscope image obtained by enlarging and imaging a tissue section stained with a predetermined staining reagent in the bright field in the microscope image acquisition apparatus 1.
  • a predetermined staining reagent for example, a hematoxylin staining reagent (H staining reagent) and a hematoxylin-eosin staining reagent (HE staining reagent) can be employed.
  • Hematoxylin (H) is a blue-violet pigment that stains cell nuclei, bone tissue, part of cartilage tissue, serous components, and the like (basophilic tissue and the like).
  • Eodine (E) is a red to pink pigment that stains cytoplasm, connective tissue of soft tissues, erythrocytes, fibrin and endocrine granules (eg, acidophilic tissues). That is, in the present embodiment, the bright field image is a cell morphology image in which the morphology of the cells in the tissue section is captured.
  • the “fluorescence image” refers to a tissue section stained with a predetermined fluorescent staining reagent, which is irradiated with excitation light of a predetermined wavelength in the microscope image acquisition device 1 to emit fluorescence, and this fluorescence is enlarged and imaged. It is a microscope image obtained by imaging.
  • the fluorescent staining reagent is, for example, a staining reagent including fluorescent substance-containing nanoparticles bound with a biological substance recognition site that specifically binds and / or reacts with a specific biological substance.
  • the fluorescent substance-encapsulating nanoparticles are nanoparticles (also referred to as fluorescent particles) encapsulating a fluorescent substance.
  • Fluorescence that appears in the fluorescence image is emitted when the fluorescent substance-containing nanoparticles (fluorescent substance) of the fluorescent staining reagent are excited, and indicates the expression of a specific biological substance corresponding to the biological substance recognition site in the tissue section It is.
  • the fluorescence image is a substance distribution image in which the distribution of a specific biological substance existing in the cells of the living body is captured.
  • the image processing apparatus 2 receives the microscope image transmitted from the microscope image acquisition apparatus 1 and performs image processing on the microscope image.
  • the image processing apparatus 2 is realized by executing a predetermined program in the information processing apparatus.
  • the image processing apparatus 2 performs an analysis process for calculating a feature amount that quantitatively represents the expression of a specific biological material in a tissue section, for example, for a microscope image that has been subjected to image processing.
  • FIG. 2 is a block diagram schematically illustrating a functional configuration of the information processing apparatus that implements the functions of the image processing apparatus 2.
  • the information processing apparatus includes, for example, a control unit 21, an input unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like.
  • the units 21 to 25 are connected to each other via a bus 26 so as to be able to transmit and receive data.
  • the control unit 21 is an electric circuit including a processor and a memory.
  • a central processing unit CPU: Central Processing Unit
  • a RAM Random Access Memory
  • the control unit 21 executes various processes in cooperation with various programs stored in the storage unit 25, and comprehensively controls the operation of the information processing apparatus as the image processing apparatus 2.
  • the control unit 21 causes the information processing apparatus to function as the image processing apparatus 2 by executing the image processing program P1 (FIG. 3) stored in the storage unit 25.
  • the input unit 22 receives a signal corresponding to the operation of the operator of the image processing apparatus 2 as a user.
  • the input unit 22 may be, for example, an operation unit to which a signal (also referred to as an operation signal) according to an operation by the user is input, or a signal (also referred to as an audio signal) according to the utterance by the user.
  • An input voice input unit may be used.
  • the operation unit may include a keyboard including character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse and a touch pen. According to the operation unit, for example, an operation signal corresponding to a key depression on a keyboard and an operation signal corresponding to an operation of a pointing device can be input to the control unit 21.
  • the display unit 23 displays various images according to a signal input from the control unit 21.
  • the display unit 23 includes a display unit such as CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display).
  • the communication I / F 24 is an interface for transmitting / receiving data to / from an external device located outside the image processing apparatus 2.
  • the external device includes, for example, the microscope image acquisition device 1.
  • the communication I / F 24 functions as, for example, a receiving unit that receives a microscope image from the microscope image acquisition apparatus 1.
  • a configuration in which the image processing apparatus 2 includes a LAN adapter, a router, and the like and is connected to an external device via a communication network such as a LAN may be employed.
  • the storage unit 25 stores various programs and various data.
  • the storage unit 25 can be configured by, for example, an HDD (Hard Disk Disk Drive) or a nonvolatile semiconductor memory.
  • FIG. 3 is a block diagram illustrating a functional configuration realized by the control unit 21 of the image processing apparatus 2.
  • the information processing apparatus functions as the image processing apparatus 2 by executing the image processing program P1 stored in the storage unit 25.
  • the image processing apparatus 2 has an acquisition unit 211, a display control unit 212, an addition unit 213, a correction unit 214, and a setting unit 215 as functional configurations realized by the control unit 21. Is provided.
  • the acquisition unit 211 acquires an image (also referred to as a region specifying image) that specifies a region (also referred to as a first cell region) occupied by a specific part of a cell in a cell morphology image using a predetermined display element (also referred to as a first display element). To do.
  • an image also referred to as a region specifying image
  • a region also referred to as a first cell region
  • a predetermined display element also referred to as a first display element
  • a region specific image is acquired by performing predetermined image processing on a cell morphology image input from the communication I / F 24.
  • the predetermined image processing for example, at least one of binarization such as discriminant analysis method and P tile method, and clustering such as k average method and EM algorithm, the cell morphology image A process for detecting a region occupied by a specific part may be employed. Further, for example, a process may be employed in which a region occupied by a specific part in a cell morphology image is detected based on learning content obtained by machine learning using feature amounts of many types of images.
  • the acquisition unit 211 uses other criteria such as circularity, size, and color in the cell morphology image among the regions once detected from the cell morphology image due to binarization, clustering, machine learning, and the like.
  • the region that fills may be detected as the first cell region.
  • the region specifying image for example, an image shown in a manner in which a region occupied by a specific portion and a region other than that can be distinguished from each other can be adopted for the cell morphology image.
  • a region occupied by a specific part is indicated by a first display element drawn in a predetermined color (also referred to as a first color) or predetermined hatching, and a region occupied by other than the specific part is defined as a first display element.
  • a predetermined color also referred to as a first color
  • predetermined hatching a region occupied by other than the specific part is defined as a first display element.
  • a region occupied by other than the specific part is defined as a first display element.
  • blue or gray may be employed as the first color
  • white or black may be employed as the second color, for example.
  • FIG. 5 is a diagram illustrating an example of the region specifying image acquired by the binarization process for the cell
  • the display control unit 212 displays various images on the display unit 23.
  • Various images include, for example, a cell morphology image and a region specifying image.
  • various types of images can be displayed on the display unit 23 by outputting data of various types of images from the display control unit 212 to the display unit 23.
  • the cell shape image as shown in FIG. 4 and the region specifying image as shown in FIG. 5 are displayed on the display unit 23.
  • the specific region of the cell is A difference may occur in the area detected as the occupied first cell area.
  • a part of all the regions that are visually recognized as the region occupied by the specific part of the cell may not be detected as the first cell region occupied by the specific part of the cell.
  • an area surrounded by a broken line 2CA is an area that should originally be detected as the first cell area in the acquisition unit 211, but is not detected as the first cell area.
  • a part of the region that is not detected as the first cell region in the acquisition unit 211 is a region (also referred to as a second cell region) occupied by a specific part of a cell different from the first cell region. Therefore, for example, if a display element that specifies the second cell region as a partial region that is not detected as the first cell region in the acquisition unit 211 is added to the region specifying image in accordance with a user operation or the like. All cell regions can be extracted more accurately from the cell morphology image.
  • the adding unit 213 specifies at least a contour portion of a region (second cell region) occupied by a specific portion of a cell different from the first cell region in the cell morphology image in accordance with a predetermined signal input by the input unit 22.
  • a display element also referred to as a second display element
  • the predetermined signal should just be preset, for example, the signal for designating the outline part of a 2nd cell area
  • the second display element includes a curved portion that specifies the outline of the second cell region.
  • the display unit 23 switches between a state in which the first display element is superimposed on the cell morphology image and a state in which only the cell morphology image is displayed.
  • a curve can be drawn along the outline of the second cell region by operating the input unit 22 or the like. Specifically, for example, in the display unit 23, the mouse pointer is moved by moving the mouse pointer along the outline of the second cell region while pressing the left mouse button on the cell morphology image. A curve can be drawn on the trajectory.
  • the correction unit 214 corrects the region specifying image for a region (also referred to as a superimposed region) that overlaps the second cell region of the first cell region.
  • the display control unit 212 displays not the display element for specifying the second cell region but the display element for specifying the first cell region on the display unit 23. Is fixed. Specifically, for example, unless a modification mode is specified, in the default state, the display element that identifies the first cell area has priority over the display element that identifies the second cell area in the default state. The area specifying image is corrected so as to be displayed.
  • the user can easily add the second display element for specifying the second cell area to the area specifying image for specifying the first cell area occupied by the specific part of the cell in the cell morphology image by the first display element. it can. As a result, all cell regions can be more easily and accurately extracted from the cell morphology image.
  • the setting unit 215 is a gap provided between the display element for specifying the first cell region and the display element for specifying the second cell region in the region specifying image when the region specifying image is corrected for the overlapping region.
  • the width of the gap may be automatically set, or the width of the gap may be set according to a signal input from the input unit 22 in response to a user operation. .
  • the width of the gap is narrow, the boundary between the display areas can be recognized, and the feature amount can be obtained with high accuracy by the analysis processing.
  • the gap is wide to some extent, the display element related to the first cell area and the display element related to the second cell area are easily visually recognized. .
  • the width of the gap is 1 ⁇ m or more, visibility can be ensured.
  • the width of the gap is set by the user, the balance between accuracy and visibility in the analysis process can be achieved in a well-balanced manner.
  • the width of the gap portion may be, for example, simply a fixed width, or the occupation of the first and second cell regions in the cell morphology image It may be a width according to the value of some parameter such as rate.
  • FIG. 7 is a diagram for explaining an outline of the correction of the area specifying image in the correction unit 214.
  • FIG. 7 shows a state in which a second display element De2 for specifying the outline of the second cell region is added so as to partially overlap the first display element De1 for specifying the first cell region ( An example of how the area specifying image is corrected from Ex0 is also illustrated.
  • the second display element De2 is drawn with a thick line in a substantially circular shape along the outline of the second cell region. That is, in FIG.
  • each of a plurality of first cell regions occupied by specific portions of cells in the cell morphology image is specified by the first display element De1 as in the region specifying image illustrated in FIG. 5.
  • a thick line as the second display element De2 drawn along the outline of the second cell region in the cell morphology image is added to one first display element De1.
  • FIG. 7 for example, a state in which the second display element De2 is added to one substantially circular first display element De1 in the region specifying image shown in FIG. 5 (additional state). Ex0 is illustrated.
  • the area specifying image is corrected.
  • a modification mode related to the superimposed region in the region specifying image can be designated.
  • the area specifying image is corrected as indicated by the corrected state (also referred to as a first corrected state) Ex1 in the lower part of FIG. 7 from the added state Ex0.
  • the region specifying image is corrected so that the display element (here, the first display element De1) specifying the first cell region is preferentially displayed.
  • the correction unit 214 corrects the region specifying image so that the first display element De1 that specifies the first cell region is displayed on the display unit 23 by the display control unit 212 over the entire overlapping region.
  • the display element for specifying the second cell region so that the correction unit 214 displays the display element for specifying the first cell region on the display unit 23 by the display control unit 212 over the entire overlapping region. Is deleted.
  • the display element De21 that specifies the second cell region can be easily added to the region specifying image by the user. As a result, all cell regions can be easily and accurately extracted from the cell morphology image.
  • the display element De21 specifies, for example, the remaining area obtained by removing a portion corresponding to the overlapping area from the area surrounded by the second display element De2.
  • the display element De21 is drawn with a predetermined color or a predetermined hatching, for example.
  • the gap portion SL1 is provided between the first display element De1 that specifies the first cell region in the region specifying image and the display element De21 that specifies the second cell region by the correction unit 214, the display is performed. The boundary between the element De1 and the display element De21 can be easily recognized.
  • Second modification replacement of display element related to cell region
  • the correction state second state in the upper part of FIG.
  • the region specifying image is corrected as indicated by Ex2.
  • the region specifying image is corrected by replacing the first display element De1 specifying the first cell region including the overlapping region with the display element De21 specifying the second cell region.
  • the correction unit 214 performs the first display element De1 instead of the first display element De1 that specifies the first cell region in the region specifying image in accordance with a preset default signal input from the input unit 22.
  • the region specifying image is corrected so that the display element De21 specifying the two-cell region is displayed on the display unit 23 by the display control unit 212.
  • the display element for specifying the cell region can be easily changed by the user. As a result, all cell regions can be easily and accurately extracted from the cell morphology image.
  • the display element De21 can be drawn, for example, by adding a predetermined color or a predetermined hatching to an area surrounded by the second display element De2.
  • the second display element De2 including the curved portion that specifies the outline of the second cell region is not a closed curve, and both ends of the curved portion are located in the region corresponding to the first cell region.
  • the area specifying image is corrected as indicated by the correction state Ex3 (also referred to as a third correction state) Ex3 on the left side of FIG. 7 from the addition state Ex0.
  • the first display element De1 that specifies the first cell region is changed to the display element De31 that specifies a region (also referred to as an enlarged region) obtained by adding the second cell region to the first cell region.
  • the specific image is corrected.
  • the correction unit 214 changes the first cell region according to the fact that both ends of the curved portion as the second display element De2 are located in the region corresponding to the first cell region in the region specifying image.
  • the first display element to be identified is changed to a display element indicating one area that is a combination of the first cell area and the second cell area.
  • the first display element De1 that specifies the first cell region is enlarged to the display element De31.
  • the display element for specifying the cell region can be easily changed by the user. As a result, all cell regions can be easily and accurately extracted from the cell morphology image.
  • the display element De31 can be drawn in the same manner as the first display element De1, for example.
  • the area specifying image is corrected so as to be displayed on the display unit 23.
  • the correction unit 214 specifies the first cell region. Is deleted.
  • the first display element De1 can be changed to the display element De11 obtained by removing a portion corresponding to the overlapping region from the first display element De1.
  • the display element for specifying the first cell region so that the correction unit 214 displays the display element for specifying the second cell region on the display unit 23 by the display control unit 212 over the entire overlapping region. Is deleted.
  • the display element De21 that specifies the second cell region can be easily added to the region specifying image by the user. As a result, all cell regions can be easily and accurately extracted from the cell morphology image.
  • the display element De21 can be drawn, for example, by adding a predetermined color or a predetermined hatching to an area surrounded by the second display element De2.
  • the display element De11 specifies, for example, the remaining area obtained by removing the portion corresponding to the overlapping area from the first display element De1.
  • the display element De11 is drawn with a predetermined color or a predetermined hatching, for example.
  • the gap portion SL1 is provided between the display element De11 that specifies the first cell region in the region specifying image and the display element De21 that specifies the second cell region by the correction unit 214, the display element De11 is provided. And the display element De21 can be easily recognized.
  • FIG. 13 to FIG. 33 are diagrams schematically illustrating specific examples of the correction of the area specifying image in the image processing apparatus 2.
  • the operation flow of the image processing apparatus 2 will be described with reference to FIGS. 13 to 33 as appropriate.
  • the processes of steps ST1 to ST4 are performed in time sequence.
  • the image processing method in the image processing apparatus 2 includes steps ST1 to ST4.
  • step ST1 the acquisition unit 211 acquires an area specifying image that specifies the first cell area occupied by the specific part of the cell in the cell morphology image by the first display element.
  • an area specifying image that specifies the first cell area occupied by the specific part of the cell in the cell morphology image by the first display element.
  • the region specifying image as illustrated in FIG. 5 is acquired.
  • step ST2 in accordance with a predetermined signal input in response to the user's operation by the adding unit 213, the second cell region occupied by a specific part different from the first cell region in the cell morphology image
  • a second display element that specifies at least the contour portion is added to the region specifying image.
  • a curved portion as an element is added to the region specifying image.
  • the second display element that specifies the contour portion of the region surrounded by the broken line 2CA illustrated in FIG. 6 may be added to the region specifying image.
  • step ST3 the display unit 23 specifies not the display element for specifying the second cell area but the display element for specifying the first cell area for the overlapping area overlapping the second cell area of the first cell area by the correction unit 214.
  • the area specifying image is corrected so as to be displayed.
  • the correction mode of the area specifying image can be appropriately changed according to at least one of a signal input according to the user's operation and the state of the second display element.
  • the region specifying image is corrected along the operation flow shown in FIGS.
  • the second display element includes a curved portion that specifies the outline of the second cell region will be described as an example.
  • step ST31 of FIG. 9 it is determined whether or not the curved portion as the second display element De2 forms a closed region. If the curved portion forms a closed region, the process proceeds to step ST32. If the curved portion does not form a closed region, the process proceeds to step ST35.
  • step ST32 it is determined whether or not the curved portion forms a plurality of closed regions. If the curved portion forms a plurality of closed regions, the process proceeds to step ST33. If the curved portion does not form a plurality of closed regions, the process proceeds to step ST34.
  • step ST33 a portion forming a small closed region other than the maximum closed region is deleted from the plurality of closed regions formed by the curved portion.
  • the curved portion as the second display element De2 forms two closed regions Ac1 and Ac2.
  • a portion forming a small closed region Ac2 other than the largest closed region Ac1 among the plurality of closed regions is deleted from the curved portion.
  • step ST34 a portion Ep1 that does not form a closed region in the curved portion is deleted.
  • the process proceeds from step ST32, as shown in FIGS. 15 to 16, the part Ep1 of the second display element De2 that does not form the closed region Ac1 is deleted.
  • the process proceeds to step ST36 in FIG.
  • both ends of the curved portion are connected to form a closed region Ac1.
  • both ends (specifically, one end E1 and the other end E2) of the curved portion as the second display element De2 are connected by a line Cn1.
  • the line Cn1 for example, a curve or a straight line can be adopted.
  • FIG. 18 shows a state where both ends of the curved portion are connected by a straight line Cn1.
  • step ST36 of FIG. 10 a process (also referred to as a replacement process) that the first display element De1 that specifies the first cell area is replaced with the second display element De2 that specifies the second cell area. It is determined whether it is specified.
  • the replacement process is designated, the process proceeds to step ST37, and if the replacement process is not designated, the process proceeds to step ST41 in FIG.
  • step ST37 for each first display element De1, the content rate contained in the closed region Ac1 formed by the second display element De2 that specifies the second cell region is calculated.
  • step ST38 it is determined whether or not there is a first display element De1 having a content rate calculated in step ST37 of 100%.
  • the process proceeds to step ST39, and if there is no first display element De1 having a content rate of 100%, the process proceeds to step ST40.
  • step ST39 the first display element De1 having a content rate of 100% is deleted.
  • the first display element De1 that is completely contained in the closed region Ac1 of the second display element De2 is deleted.
  • step ST40 the first display element De1 having the highest content rate calculated in step ST37 is deleted.
  • the first display element De1 (De1a, De1b) is included in the closed region Ac1 of the second display element De2, the content rate is relatively high.
  • the first display element De1 (De1a) is deleted.
  • the process proceeds to step ST45 in FIG.
  • step ST41 it is determined whether or not there is a first display element De1 that is completely included in the closed region Ac1 of the second display element De2. If there is a first display element De1 that is completely included in the closed region Ac1, the process proceeds to step ST42. If there is no first display element De1 that is completely included in the closed region Ac1, the process proceeds to step ST43. . For example, as shown in FIG. 23, if one first display element De1 (De1c) of the three first display elements De1 (De1a to De1c) is completely included in the closed area Ac1, the closed area It can be determined that the first display element De1 that is completely included in Ac1 exists.
  • step ST42 the first display element De1 completely included in the closed area Ac1 is deleted.
  • the first display element De1 (De1c) completely included in the closed region Ac1 is deleted.
  • step ST43 it is determined whether or not both ends of the curved portion of the second display element De2 are located in a region corresponding to the same first cell region.
  • the process proceeds to step ST44, and both ends of the curved portion are located in a region corresponding to the same first cell region. If not, the process proceeds to step ST45 in FIG.
  • the first display element De1 (De1b) in which both ends (specifically, one end E1 and the other end E2) of the curved portion of the second display element De2 indicate regions corresponding to the same first cell region. ) Is shown.
  • the first display element that specifies the first cell region that includes both ends of the curved portion serving as the second display element De2 is a display that specifies the region in which the first cell region and the second cell region are combined. Changed to element. For example, as shown in FIG. 24 to FIG. 25, the first display element De1 (De1b) that specifies the first cell region including both ends (one end E1 and the other end E2) of the curved portion as the second display element De2. Is changed to the display element De3 that specifies a region combining the first cell region and the second cell region.
  • step ST45 it is determined whether or not there is a first display element De1 partially included in the closed region Ac1. If there is a first display element De1 partially included in the closed area Ac1, the process proceeds to step ST46, and if there is no first display element De1 partially included in the closed area Ac1, the process proceeds to step ST49.
  • FIG. 22 shows a state in which a part of the first display element De1 (De1b) is included in the closed area Ac1 of the second display element De2, and
  • FIG. 25 shows a closed area Ac1 of the display element De3. A state in which a part of the first display element De1 (De1a) is included is shown.
  • step ST46 the second display element De2 and the display element De3 that specify the added second cell area are displayed with priority over the display element that specifies the first cell area in accordance with the user's action. It is determined whether or not is specified. Here, if a modification mode that preferentially displays the second display element De2 and the display element De3 over the display element that identifies the first cell region is designated, the process proceeds to step ST47, and the modification mode is designated. If not, the process proceeds to step ST48.
  • step ST47 the portion included in the closed region Ac1 of the first display element De1 is deleted.
  • a portion included in the closed region Ac1 of the second display element De2 in the first display element De1 (De1b) is deleted.
  • the first display element De1 (De1b) is changed to the display element De11 related to the first cell region.
  • a gap SL1 is provided between the display element De11 and the second display element De2.
  • the area specifying image can be an image in which the display element De11 and the second display element De2 can be recognized without the display element De11 and the second display element De2 being in contact with each other.
  • the area specifying image can be an image in which the display element De11 and the display element De3 can be easily recognized without the display element De11 and the display element De3 being in contact with each other.
  • step ST48 the portion included in the first display element De1 in the closed curve forming the closed region Ac1 is deleted.
  • a portion included in the first display element De1 (De1b) is deleted from the closed curve as the second display element De2 forming the closed region Ac1.
  • a curved line along the outer edge of the first display element De1 (De1b) is drawn so as to connect both ends of the deleted portion of the closed curve as the second display element De2, so that the closed region Ac1 is formed by the closed curve.
  • the state where is formed is maintained.
  • a gap SL1 is provided between the first display element De1 (De1b) and the second display element De2.
  • a portion included in the first display element De1 (De1a) is deleted from the closed curve as the display element De3 forming the closed region Ac1.
  • a closed region Ac1 is formed by the closed curve by drawing a curve along the outer edge of the first display element De1 (De1a) so as to connect both ends of the deleted portion of the closed curve as the display element De3. Is maintained.
  • a gap SL1 is provided between the first display element De1 (De1a) and the display element De3.
  • a display element for specifying the closed region Ac1 is added.
  • a predetermined color or a predetermined hatching is added to a region surrounded by a closed curve that specifies the closed region Ac1.
  • the thickness of the closed curve can be adjusted as appropriate.
  • the second display element De2 and the closed region Ac1 shown in FIG. 26 are changed to the display element De21 with a predetermined color or a predetermined hatching as shown in FIG.
  • the display element De21 related to the second cell region is added to the region specifying image.
  • the display element De31 which concerns on the 1st cell area expanded to the area
  • the second display element De2 and the closed region Ac1 shown in FIG. 28 are changed to the display element De21 with a predetermined color or a predetermined hatching as shown in FIG.
  • the display element De21 related to the second cell region is added to the region specifying image.
  • the display element De3 and the closed region Ac1 shown in FIG. 29 are changed to the display element De31 with a predetermined color or a predetermined hatching as shown in FIG.
  • region specific image is added.
  • step ST4 the control unit 21 determines whether or not the creation of the area specifying image has been completed.
  • the creation of the region specifying image has been completed in accordance with a signal input from the input unit 22 in accordance with a user operation. If the creation of the area specifying image has not been completed, the process returns to step ST2, and if the creation of the area specifying image has been completed, the operation flow is ended.
  • the acquisition unit 211 specifies the first cell region occupied by the specific part of the cell in the cell morphology image by the first display element.
  • An image is acquired.
  • at least a second cell region occupied by a specific part different from the first cell region in the cell morphology image according to a predetermined signal input in response to the user's operation by the adding unit 213 A second display element that specifies the contour portion is added to the region specifying image.
  • the correction unit 214 displays not the display element for specifying the second cell area but the display element for specifying the first cell area for the overlapping area overlapping the second cell area of the first cell area.
  • the region specifying image is corrected so as to be displayed on the unit 23.
  • region can be added to the area
  • all cell regions can be more easily and accurately extracted from the cell morphology image.
  • the correction unit 214 can appropriately select a process to be performed among a plurality of processes such as display element replacement, enlargement, and preferential display and deletion. .
  • the second cell region For the region in which the display element for specifying the first cell region is displayed in the overlapping region overlapping the second cell region of the first cell region by the correcting unit 214, the second cell region The display element for specifying the first cell region is deleted from the region where the display element for specifying the second cell region is displayed.
  • the display element that specifies the first cell region constitutes the basic layer by the correction unit 214
  • the second cell region is set as the region in which the display element that specifies the first cell region is displayed among the overlapping regions.
  • the region specifying image may be modified such that the specifying display element constitutes the back layer.
  • the region specifying image is corrected so that the display element for specifying the second cell region constitutes the front layer.
  • the back layer is a layer displayed so as to be positioned behind the base layer
  • the front layer is a layer displayed so as to be positioned in front of the base layer.
  • the region specifying image is composed of a plurality of layers
  • a display element for specifying the first cell region constituting the basic layer and a second cell region constituting at least one of the back layer and the front layer are provided.
  • the region specifying image may be modified so that the display mode on the display unit 23 differs from the display element to be specified.
  • different display modes for example, display modes in which at least one of light and dark, light and shade, and color are different can be cited. According to such a configuration, it becomes easy to distinguish a plurality of display elements that specify adjacent cell regions. Even when such a configuration is adopted, the gap SL1 is between the display element that specifies the first cell region and the display element that specifies the second cell region in the region specifying image. If provided, the boundary between the display element and the display element can be displayed in a visible manner.
  • FIG. 34 is a flowchart showing an operation flow relating to the correction of the area specifying image according to the first modification.
  • the operation flow of the image processing apparatus 2 according to the present modification is based on the operation flow according to the above-described embodiment, and the operation flow shown in FIG. 12 is replaced with the operation flow shown in FIG. is there.
  • the operation flow shown in FIG. 34 is obtained by replacing steps ST47 to ST49 in the operation flow shown in FIG. 12 with steps ST47A to ST49A. Therefore, steps ST47A to ST49A will be described here.
  • a display element for specifying the second cell region is added to the front layer.
  • a display element for specifying the second cell region is added to the front layer, and if the front layer is already generated, the front layer is generated.
  • a display element for specifying the second cell region may be added to the layer. For example, as shown in FIGS. 35 and 36, the display element that specifies the second cell region specified by the second display element De2 on the front layer before the base layer on which the first display element De1 is drawn is shown. De21 is added.
  • the gap SL1 is displayed between the first display element De1 and the display element De21, and the display element De1 drawn on the basic layer and the display element De21 drawn on the front layer are: Displayed in a different manner.
  • a mode is conceivable in which the display element drawn on the layer on the back side is drawn relatively darker or relatively darker.
  • a display element for specifying the second cell region is added to the back layer.
  • the back layer is generated, and a display element for specifying the second cell region is added to the back layer, and if the back layer has already been generated, A display element for specifying the second cell region may be added to the back layer.
  • a display element that specifies the second cell region specified by the second display element De2 on the back layer behind the basic layer on which the first display element De1 is drawn De21 is added.
  • the gap SL1 is displayed between the first display element De1 and the display element De21, and the display element De1 drawn on the basic layer and the display element De21 drawn on the back layer are Displayed in a different manner.
  • a mode in which the display element drawn on the layer on the back side is drawn relatively darker or relatively darker is conceivable.
  • the curved portion that specifies the outline of the second cell region by the adding unit 213 is added to the region specifying image as the second display element De2, but this is not a limitation.
  • a lump area corresponding to the entire second cell area may be added to the area specifying image as a second display element for specifying the second cell area.
  • the contour portion of the group of second display elements corresponds to a curved portion that specifies the contour of the second cell region.
  • the display unit 23 is included in the image processing apparatus 2, but the present invention is not limited to this.
  • the display unit 23 may be an external display device connected to the image processing apparatus 2 so as to be able to transmit and receive data.
  • the display element for specifying the first cell area is displayed instead of the display element for specifying the second cell area for the overlapping area.
  • the region specifying image is corrected by the correcting unit 214.
  • the region specifying image may be corrected by the correcting unit 214 so that a display element for specifying the second cell region is displayed. That is, for example, the region specifying image is corrected by the correcting unit 214 so that the display element specifying the first cell region is displayed on the display unit 23 by the display control unit 212 for at least a part of the overlapping region. Also good.
  • the correction unit 214 specifies the first cell region. Is deleted. Also with such a configuration, the user can easily add the display element De21 for specifying the second cell region to the region specifying image. As a result, all cell regions can be easily and accurately extracted from the cell morphology image.
  • the region specifying image is corrected by the correcting unit 214 so that the display element for specifying the second cell region is displayed for the entire overlapped region.
  • the region specifying image may be corrected by the correcting unit 214 so that a display element that specifies the first cell region is displayed for a part of the overlapping region.
  • the region specifying image is corrected by the correcting unit 214 so that the display element specifying the second cell region is displayed on the display unit 23 by the display control unit 212 for at least a part of the overlapping region.
  • the correction unit 214 specifies the first cell region. Is deleted. Also with such a configuration, the user can easily add the display element De21 for specifying the second cell region to the region specifying image. As a result, all cell regions can be easily and accurately extracted from the cell morphology image.
  • the cell morphology image is an image that captures the morphology of the cell nucleus as the specific site, but is not limited thereto.
  • the specific part may include other parts constituting the cell such as a cell membrane.
  • the living body includes an animal in a broad sense.
  • the present invention is not limited to this.
  • the living body may include plants other than animals. That is, the living body may include a living body including animals and plants.
  • the region specifying image is acquired by performing predetermined image processing on the cell morphology image in the acquisition unit 211.
  • the acquisition unit 211 may acquire a region specifying image generated by an external device different from the image processing device 2 via the communication I / F 24 or the like.

Abstract

細胞形態画像から全ての細胞領域がより容易且つ正確に抽出され得る技術を提供することを目的とする。この目的を達成するために、まず、取得部によって、細胞の形態を捉えた細胞形態画像において細胞の特定部位が占める第１細胞領域を第１表示要素によって特定する領域特定画像が取得される。次に、追加部によって、ユーザーの動作に応答して入力される予め設定された所定の信号に応じて、細胞形態画像において第１細胞領域とは異なる特定部位が占める第２細胞領域の少なくとも輪郭部を特定する第２表示要素が領域特定画像に追加される。そして、修正部によって、第１細胞領域の第２細胞領域と重なる重畳領域の少なくとも一部の領域について、第１細胞領域を特定する表示要素が表示部に表示されるように、領域特定画像が修正される。

Description

画像処理装置、画像処理方法、および画像処理用のプログラム
　本発明は、画像処理装置、画像処理方法、および画像処理用のプログラムに関し、特に、細胞の形態を捉えた細胞形態画像を対象とした画像処理技術に関する。
　人や動物等の生体から採取された組織切片を顕微鏡で観察して病変の有無や病変の種類等について診断する、いわゆる病理診断が盛んに行われている。この病理診断では、診断の対象となる組織切片は、固定、包理、薄切および染色と言った処理がこの順で施された後に顕微鏡による観察に供されるのが一般的である。
　近年では、上記顕微鏡による観察において複数の細胞を含む生体組織の形態が捉えられた画像（細胞形態画像とも言う）が取得され、画像処理によって細胞形態画像から細胞の形状が自動的に抽出される技術が提供されている（例えば、特許文献１～４等）。
　例えば、特許文献１では、細胞形態画像から細胞中心の候補となる画素群が抽出され、該画素群のうちの細胞中心として適している画素のみが所定の基準に従って選択され、選択された細胞中心画素の位置情報とその周辺の画素の濃度勾配の方向から、細胞の輪郭を形成している画素が選択される。
　また、特許文献２では、細胞形態画像から、輝度が極小値または極大値を呈する点、周囲の点と異なる色を有する点、および輝度勾配が極大となる点の少なくとも１点が、抽出点として抽出され、該抽出点のクラスタ化が行われ、細胞の中心および境界が求められる。
　また、特許文献３では、属性値の範囲に基づいてソートされたピクセルが、属性値の範囲の端点から一つずつラベルイメージに追加され、配置された対象物毎に算出される特徴が所定の受入基準と合致した場合に、対象物が出力画像に出力される。このとき、ストップポイントに達するまで、ピクセルのラベルイメージへの追加、生成された対象物の特徴の評価、および対象物の出力が繰り返されることで、画像内の各対象物が識別される。
　また、特許文献４では、所定の処理が施された細胞形態画像中の複数の細胞から、ユーザーによって指定された興味ある特定の細胞と似た特徴を持つ細胞群が自動的に抽出される。
特許第３３１４７５９号明細書 特許第４５００１３８号明細書 特許第４８２５２２２号明細書 特許第４８０１０２５号明細書
　しかしながら、上記特許文献１の技術では、例えば、病理診断に供される組織切片については、濃く染色されるケースがあり、このようなケースでは、濃度勾配を利用して細胞の輪郭を形成する画素を選択することが難しい。
　また、上記特許文献２の技術では、例えば、針生検によって組織切片が採取される場合には、複数の細胞が圧縮されて、細胞同士が重畳し易い。そして、複数の細胞が、上下左右に重なった場合、グループ化された複数の抽出点の重心点が代表点としての細胞の中心とされても、細胞の中心とされた抽出点の数と、実際の細胞の数とが一致し難い。
　また、上記特許文献３の技術では、例えば、細胞核の輪郭は明確に認識されるものの、細胞核の内部が明確には認識されない、いわゆる中抜けの状態が存在している場合には、細胞核の内部の情報が細胞核以外の情報と同一となり、細胞核の誤検出が生じる。
　また、上記特許文献４の技術では、細胞形態画像における複数の細胞が、一部の細胞群に絞り込まれるため、細胞形態画像から抽出される細胞の数が減少してしまう。
　以上のように、上記特許文献１～３の技術では、細胞形態画像の状況に応じて、細胞形態画像から細胞に係る領域（細胞領域とも言う）が漏れなく正確に抽出されないケースがある。また、上記特許文献４の技術は、そもそも細胞形態画像から抽出される細胞を絞り込む技術であり、細胞形態画像から細胞領域が漏れなく正確に抽出されないケースが生じ易い。
　本発明は、上記課題に鑑みてなされたものであり、細胞形態画像から全ての細胞領域がより容易且つ正確に抽出され得る技術を提供することを目的とする。
　上記課題を解決するために、一態様に係る画像処理装置は、表示制御部と、取得部と、入力部と、追加部と、修正部と、を備えている。ここで、前記表示制御部は、細胞の形態を捉えた細胞形態画像を表示部に表示させる。前記取得部は、前記細胞形態画像において細胞の特定部位が占める第１細胞領域を第１表示要素によって特定する領域特定画像を取得する。前記入力部は、ユーザーの動作に応じた信号が入力される。前記追加部は、前記入力部で入力される予め設定された所定の信号に応じて、前記細胞形態画像において前記第１細胞領域とは異なる前記特定部位が占める第２細胞領域の少なくとも輪郭部を特定する第２表示要素を前記領域特定画像に追加する。前記修正部は、前記第１細胞領域の前記第２細胞領域と重なる重畳領域の少なくとも一部の領域について、前記第１細胞領域を特定する表示要素が前記表示制御部によって前記表示部に表示されるように、前記領域特定画像を修正する。
　他の一態様に係る画像処理方法は、ステップ(a)からステップ(c)を有する。ここで、前記ステップ(a)においては、取得部によって、細胞の形態を捉えた細胞形態画像において細胞の特定部位が占める第１細胞領域を第１表示要素によって特定する領域特定画像を取得する。前記ステップ(b)においては、追加部によって、ユーザーの動作に応答して入力される予め設定された所定の信号に応じて、前記細胞形態画像において前記第１細胞領域とは異なる前記特定部位が占める第２細胞領域の少なくとも輪郭部を特定する第２表示要素を前記領域特定画像に追加する。前記ステップ(c)においては、修正部によって、前記第１細胞領域の前記第２細胞領域と重なる重畳領域の少なくとも一部の領域について、前記第１細胞領域を特定する表示要素が表示部に表示されるように、前記領域特定画像を修正する。
　その他の一態様に係る画像処理用のプログラムは、情報処理装置に含まれる制御部において実行されることで、該情報処理装置を上記一態様に係る画像処理装置として機能させる。
　本発明によれば、細胞形態画像において細胞の特定部位が占める細胞領域を表示要素によって特定する領域特定画像に、ユーザーが細胞領域を特定する表示要素を容易に追加することができるため、細胞形態画像から全ての細胞領域がより容易且つ正確に抽出され得る。
図１は、病理診断支援システムの概略的な一構成例を示す図である。 図２は、情報処理装置の機能的な構成を概略的に示すブロック図である。 図３は、制御部で実現される機能的な構成を例示するブロック図である。 図４は、細胞形態画像の一例を示す図である。 図５は、領域特定画像の一例を示す図である。 図６は、領域特定画像における第２細胞領域を例示する図である。 図７は、領域特定画像の修正の概要を説明するための図である。 図８は、画像処理装置の動作フローを例示するフローチャートである。 図９は、画像処理装置の動作フローを例示するフローチャートである。 図１０は、画像処理装置の動作フローを例示するフローチャートである。 図１１は、画像処理装置の動作フローを例示するフローチャートである。 図１２は、画像処理装置の動作フローを例示するフローチャートである。 図１３は、領域特定画像の修正の具体例を模式的に示す図である。 図１４は、領域特定画像の修正の具体例を模式的に示す図である。 図１５は、領域特定画像の修正の具体例を模式的に示す図である。 図１６は、領域特定画像の修正の具体例を模式的に示す図である。 図１７は、領域特定画像の修正の具体例を模式的に示す図である。 図１８は、領域特定画像の修正の具体例を模式的に示す図である。 図１９は、領域特定画像の修正の具体例を模式的に示す図である。 図２０は、領域特定画像の修正の具体例を模式的に示す図である。 図２１は、領域特定画像の修正の具体例を模式的に示す図である。 図２２は、領域特定画像の修正の具体例を模式的に示す図である。 図２３は、領域特定画像の修正の具体例を模式的に示す図である。 図２４は、領域特定画像の修正の具体例を模式的に示す図である。 図２５は、領域特定画像の修正の具体例を模式的に示す図である。 図２６は、領域特定画像の修正の具体例を模式的に示す図である。 図２７は、領域特定画像の修正の具体例を模式的に示す図である。 図２８は、領域特定画像の修正の具体例を模式的に示す図である。 図２９は、領域特定画像の修正の具体例を模式的に示す図である。 図３０は、領域特定画像の修正の具体例を模式的に示す図である。 図３１は、領域特定画像の修正の具体例を模式的に示す図である。 図３２は、領域特定画像の修正の具体例を模式的に示す図である。 図３３は、領域特定画像の修正の具体例を模式的に示す図である。 図３４は、第１変形例に係る領域特定画像の修正に係る動作フローを示すフローチャートである。 図３５は、第１変形例に係る領域特定画像の修正の具体例を模式的に示す図である。 図３６は、第１変形例に係る領域特定画像の修正の具体例を模式的に示す図である。 図３７は、第１変形例に係る領域特定画像の修正の具体例を模式的に示す図である。
　以下、本発明の一実施形態および各種変形例を図面に基づいて説明する。なお、図面においては同様な構成および機能を有する部分については同じ符号が付されており、下記説明では重複説明が省略される。また、図面は模式的に示されたものであり、各図における各種構成のサイズおよび位置関係等は適宜変更され得る。
　＜(１)一実施形態＞
　　＜(１－１)病理診断支援システムの概要＞
　図１は、一実施形態に係る病理診断支援システム１００の概略的な一構成例を示す図である。病理診断支援システム１００は、所定の染色試薬で染色された生体の組織切片が捉えられた顕微鏡画像を取得し、該顕微鏡画像を対象とした画像処理を行った後に、組織切片における特定の生体物質の発現を定量的に表す特徴量を算出する解析処理を行う。
　ここで、顕微鏡画像には、例えば、生体の組織切片における細胞の形態が捉えられた画像（細胞形態画像とも言う）、および生体の細胞切片に存在する特定の生体物質の分布が捉えられた画像（物質分布画像とも言う）が含まれる。生体には、例えば、人体またはヒト以外の動物等が含まれ、また、人体およびヒト以外の動物を含む広義の意味での動物が含まれても良い。画像処理には、例えば、解析処理において特定の生体物質の発現を定量的に表す特徴量が顕微鏡画像から高精度で求められるように該顕微鏡画像に施される処理が含まれる。
　本実施形態では、細胞形態画像から細胞を捉えた全ての細胞領域がより正確に抽出されるような画像処理が施されることで、例えば、解析処理において組織切片における特定の生体物質の発現を定量的に表す特徴量が高精度で求められ得る。
　図１で示されるように、病理診断支援システム１００は、顕微鏡画像取得装置１、画像処理装置２、および顕微鏡画像取得装置１と画像処理装置２とをデータの送受信が可能に接続している通信回線３を備えている。通信回線３は、例えば、ケーブル等の有線方式の回線であっても良いし、無線方式の回線であっても良い。具体的には、通信回線３として、例えば、有線方式または無線方式の少なくとも一方の方式が採用されたＬＡＮ（Local Area Network）が採用され得る。また、顕微鏡画像取得装置１と画像処理装置２との間におけるデータの授受は、記憶媒体等の各種メディアを用いた受け渡しによって実施されても良い。
　顕微鏡画像取得装置１は、例えば、公知のカメラ付きの光学顕微鏡である。顕微鏡画像取得装置１では、ステージ上に配置されたスライドガラス上の組織切片の光像が撮像されることで、組織切片の拡大像に係る画像（顕微鏡画像とも言う）のデータ（顕微鏡画像データとも言う）が取得され、該顕微鏡画像データが、画像処理装置２に送信される。なお、以下では、顕微鏡画像データおよび顕微鏡画像を、顕微鏡画像と総称する。
　具体的には、顕微鏡画像取得装置１は、例えば、照射部、結像部、撮像部、通信Ｉ／Ｆ等を備えている。照射部は、例えば、光源、フィルター等を有しており、ステージ上に配置されたスライドガラス上の組織切片に光を照射する。結像部は、例えば、接眼レンズおよび対物レンズ等を有しており、スライド上の組織切片に対する光の照射に応じて、該組織切片から発せられる透過光、反射光または蛍光を結像する。撮像部は、例えば、ＣＣＤ(Charge Coupled Device)センサー等を備えているカメラであり、結像部によって結像面に結像される組織切片の光像を撮像して顕微鏡画像を取得する。通信Ｉ／Ｆは、該顕微鏡画像を画像処理装置２に送信する。
　また、顕微鏡画像取得装置１は、明視野観察に適した照射部および結像部が組み合わされた明視野ユニットと、蛍光観察に適した照射部および結像部が組み合わされた蛍光ユニットとが備えられている。そして、明視野ユニットおよび蛍光ユニットの間で使用されるユニットが切り替えられることで、観察のモードが明視野観察を行うモードと蛍光観察を行うモードとの間で切り替えられる。これにより、顕微鏡画像取得装置１で取得される顕微鏡画像には、例えば、明視野観察における撮像で得られる明視野画像と、蛍光観察における撮像で得られる蛍光画像とが含まれる。
　「明視野画像」は、所定の染色試薬で染色された組織切片を、顕微鏡画像取得装置１において明視野で拡大結像および撮像することで得られる顕微鏡画像である。ここで、所定の染色試薬としては、例えば、ヘマトキシリン染色試薬（Ｈ染色試薬）およびヘマトキシリン－エオジン染色試薬（ＨＥ染色試薬）が採用され得る。ヘマトキシリン（Ｈ）は、青紫色の色素であり、細胞核、骨組織、軟骨組織の一部および漿液成分等（好塩基性の組織等）を染色する。エオジン（Ｅ）は、赤～ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素および内分泌顆粒等（好酸性の組織等）を染色する。つまり、本実施形態では、明視野画像は、組織切片における細胞の形態が捉えられた細胞形態画像である。
　また、「蛍光画像」は、所定の蛍光染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置１において所定波長の励起光を照射して蛍光発光させ、この蛍光を拡大結像および撮像することにより得られる顕微鏡画像である。ここで、蛍光染色試薬としては、例えば、特定の生体物質と特異的に結合および／または反応する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬である。蛍光物質内包ナノ粒子は、蛍光物質を内包したナノ粒子（蛍光粒子とも言う）である。蛍光画像に現れる蛍光は、蛍光染色試薬の蛍光物質内包ナノ粒子（蛍光物質）が励起して発光したものであり、組織切片における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。つまり、本実施形態では、蛍光画像は、生体の細胞内に存在する特定の生体物質の分布が捉えられた物質分布画像である。
　画像処理装置２は、顕微鏡画像取得装置１から送信された顕微鏡画像を受信して、該顕微鏡画像に画像処理を施す。該画像処理装置２は、情報処理装置において所定のプログラムが実行されることで実現される。また、画像処理装置２は、例えば、画像処理が施された顕微鏡画像を対象として、組織切片における特定の生体物質の発現を定量的に表す特徴量を算出する解析処理を行う。
　　＜(１－２)情報処理装置の機能的な構成＞
　図２は、画像処理装置２の機能を実現する情報処理装置の機能的な構成を概略的に示すブロック図である。図２で示されるように、情報処理装置は、例えば、制御部２１、入力部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えている。そして、各部２１～２５は、バス２６を介して相互にデータの送受信が可能に接続されている。
　制御部２１は、プロセッサーおよびメモリー等を備えた電気回路である。ここで、プロセッサーとしては、例えば、中央処理装置（ＣＰＵ：Central Processing Unit）等が採用され、メモリーとしては、揮発性のメモリーであるＲＡＭ（Random Access Memory）等が採用され得る。制御部２１は、記憶部２５に記憶されている各種プログラムとの協働によって各種処理を実行し、情報処理装置の画像処理装置２としての動作を統括的に制御する。また、制御部２１は、記憶部２５に記憶されている画像処理用のプログラムＰ１（図３）を実行することで、情報処理装置を画像処理装置２として機能させる。
　入力部２２は、ユーザーとしての画像処理装置２のオペレーターの動作に応じた信号が入力される。ここで、入力部２２は、例えば、ユーザーによる操作に応じた信号（操作信号とも言う）が入力される操作部であっても良いし、ユーザーによる発声に応じた信号（音声信号とも言う）が入力される音声入力部であっても良い。操作部には、文字入力キー、数字入力キーおよび各種機能キー等を含むキーボードと、マウスやタッチペン等のポインティングデバイスとが含まれ得る。操作部によれば、例えば、キーボードにおけるキーの押し下げに応じた操作信号と、ポインティングデバイスの操作に応じた操作信号とが、制御部２１に入力され得る。
　表示部２３は、制御部２１から入力される信号に従って、各種画像を表示させる。表示部２３には、例えば、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）等の表示部が含まれる。
　通信Ｉ／Ｆ２４は、画像処理装置２の外部に位置する外部機器との間でデータの送受信を行なうためのインターフェースである。外部機器には、例えば、顕微鏡画像取得装置１が含まれる。このため、通信Ｉ／Ｆ２４は、例えば、顕微鏡画像取得装置１から顕微鏡画像を受信する受信部として機能する。なお、例えば、画像処理装置２が、ＬＡＮアダプターおよびルーター等を備え、ＬＡＮ等の通信ネットワークを介して外部機器と接続される構成が採用されても良い。
　記憶部２５は、各種プログラムおよび各種データ等を記憶する。該記憶部２５は、例えば、ＨＤＤ（Hard Disk Drive）または不揮発性の半導体メモリー等で構成され得る。
　　＜(１－３)画像処理装置の機能的な構成＞
　図３は、画像処理装置２の制御部２１で実現される機能的な構成を例示するブロック図である。情報処理装置に含まれる制御部２１において、記憶部２５に格納されている画像処理用のプログラムＰ１が実行されることで、該情報処理装置が、画像処理装置２として機能する。このとき、図３で示されるように、画像処理装置２は、制御部２１において実現される機能的な構成として、取得部２１１、表示制御部２１２、追加部２１３、修正部２１４および設定部２１５を備える。
　取得部２１１は、細胞形態画像において細胞の特定部位が占める領域（第１細胞領域とも言う）を所定の表示要素（第１表示要素とも言う）によって特定する画像（領域特定画像とも言う）を取得する。本実施形態では、特定部位が、細胞核である例を挙げて説明する。図４は、細胞形態画像の一例を示す図である。
　取得部２１１では、例えば、通信Ｉ／Ｆ２４から入力される細胞形態画像を対象とした所定の画像処理が行われることで、領域特定画像が取得される。ここで、所定の画像処理としては、例えば、判別分析法およびＰタイル法等と言った二値化、ならびにｋ平均法およびＥＭアルゴリズム等と言ったクラスタリングのうちの少なくとも一方によって、細胞形態画像において特定部位が占める領域が検出される処理が採用され得る。また、例えば、多数種の画像の特徴量を用いた機械学習で得た学習内容によって、細胞形態画像において特定部位が占める領域が検出される処理が採用されても良い。さらに、取得部２１１では、二値化、クラスタリングおよび機械学習の結果等によって細胞形態画像から一旦検出される領域のうち、円形度、大きさおよび細胞形態画像における色等と言った他の基準を満たす領域が、第１細胞領域として検出されても良い。
　また、ここで、領域特定画像としては、例えば、細胞形態画像について、特定部位が占める領域と、それ以外の領域とが区別可能な態様で示される画像が採用され得る。具体的には、例えば、特定部位が占める領域が所定色（第１色とも言う）または所定のハッチングで描かれた第１表示要素で示され、特定部位以外が占める領域が第１表示要素とは異なる色（第２色とも言う）またはハッチングで描かれる。ここで、第１色としては、例えば、青色または灰色等が採用され、第２色としては、例えば、白色または黒色等が採用され得る。図５は、図４で示された細胞形態画像を対象とした二値化の処理によって取得された領域特定画像の一例を示す図である。
　表示制御部２１２は、各種画像を表示部２３に表示させる。各種画像には、例えば、細胞形態画像および領域特定画像等が含まれる。ここでは、例えば、表示制御部２１２から各種画像のデータが表示部２３に出力されることで、各種画像が表示部２３において表示され得る。例えば、表示部２３に、図４で示されたような細胞形態画像および図５で示されたような領域特定画像が表示される。
　ところで、細胞形態画像で捉えられた細胞の特定部位における染色の濃淡および取得部２１１における所定の画像処理の条件等によって、取得部２１１で領域特定画像が取得される際に、細胞の特定部位が占める第１細胞領域として検出される領域に差が生じ得る。このため、細胞形態画像において細胞の特定部位が占める領域であるものと視認される全ての領域のうちの一部の領域が、細胞の特定部位が占める第１細胞領域として検出されない場合がある。例えば、図６で示されるように、破線２ＣＡで囲まれた領域が、取得部２１１において、本来は第１細胞領域として検出されるべき領域であるが、第１細胞領域として検出されていない。つまり、取得部２１１において第１細胞領域として検出されなかった一部の領域は、第１細胞領域とは異なる細胞の特定部位が占める領域（第２細胞領域とも言う）である。そこで、例えば、ユーザーの操作等に応じて、取得部２１１において第１細胞領域として検出されなかった一部の領域としての第２細胞領域を特定する表示要素が、領域特定画像に追加されれば、細胞形態画像から全ての細胞領域がより正確に抽出され得る。
　追加部２１３は、入力部２２で入力される所定の信号に応じて、細胞形態画像において第１細胞領域とは異なる細胞の特定部位が占める領域（第２細胞領域）の少なくとも輪郭部を特定する表示要素（第２表示要素とも言う）を領域特定画像に追加する。所定の信号は、予め設定されていれば良く、例えば、第２細胞領域の輪郭部を指定するための信号が採用され得る。
　例えば、表示部２３に、細胞形態画像が表示された状態で、ユーザーによる入力部２２の操作等によって、細胞形態画像上において、第２細胞領域の輪郭部に沿って曲線が描かれるような態様が考えられる。この場合、第２表示要素が、第２細胞領域の輪郭を特定する曲線部を含む。そして、このとき、例えば、表示部２３において、細胞形態画像上に第１表示要素が重畳的に表示されている状態と、細胞形態画像のみが表示されている状態とが切り替えられながら、ユーザーによる入力部２２の操作等によって、第２細胞領域の輪郭部に沿って曲線が描かれ得る。具体的には、例えば、表示部２３において、細胞形態画像上で、マウスの左ボタンを押下しつつ、マウスポインターを第２細胞領域の輪郭部に沿って移動させることで、マウスポインターが移動した軌跡上に曲線が描かれ得る。
　修正部２１４は、第１細胞領域の第２細胞領域と重なる領域（重畳領域とも言う）について、領域特定画像を修正する。ここでは、例えば、重畳領域について、表示制御部２１２によって、第２細胞領域を特定する表示要素ではなく、第１細胞領域を特定する表示要素が表示部２３に表示されるように、領域特定画像が修正される。具体的には、例えば、特に修正の態様が指定されていない限り、デフォルトの状態では、重畳領域について、第１細胞領域を特定する表示要素が、第２細胞領域を特定する表示要素よりも優先的に表示されるように、領域特定画像が修正される。
　これにより、細胞形態画像において細胞の特定部位が占める第１細胞領域を第１表示要素によって特定する領域特定画像に、ユーザーが第２細胞領域を特定する第２表示要素を容易に追加することができる。その結果、細胞形態画像から全ての細胞領域がより容易且つ正確に抽出され得る。
　設定部２１５は、重畳領域について領域特定画像を修正する際に該領域特定画像のうちの第１細胞領域を特定する表示要素と第２細胞領域を特定する表示要素との間に設けられる間隙部の幅を設定する。設定部２１５では、例えば、間隙部の幅が自動的に設定されても良いし、ユーザーの動作に応答して入力部２２で入力される信号に応じて間隙部の幅が設定されても良い。
　ここで、間隙部の幅が狭ければ、表示領域間の境界が認識可能であり且つ解析処理で特徴量が高精度で求められ得る。但し、ユーザーが領域特定画像を見る際には、間隙部の幅がある程度広ければ、第１細胞領域に係る表示要素と第２細胞領域に係る表示要素とが離れている様子が視認され易くなる。例えば、間隙部の幅が１μｍ以上であれば、視認性が確保され得る。このため、ユーザーによって間隙部の幅が設定されるのであれば、解析処理における精度と視認性との両立がバランス良く図られ得る。
　また、間隔部の幅が自動的に設定される場合には、間隙部の幅は、例えば、単純に固定の幅であっても良いし、細胞形態画像における第１および第２細胞領域の占有率等と言った何らかのパラメーターの値に応じた幅であっても良い。
　　＜(１－４)領域特定画像の修正の概要＞
　図７は、修正部２１４における領域特定画像の修正の概要を説明するための図である。図７には、第１細胞領域を特定する第１表示要素Ｄｅ１に対して、一部が重畳するように第２細胞領域の輪郭部を特定する第２表示要素Ｄｅ２が追加されている状態（追加状態とも言う）Ｅｘ０から領域特定画像が修正される様子が例示されている。図７の追加状態Ｅｘ０では、第２表示要素Ｄｅ２が、第２細胞領域の輪郭部に沿って略円形に太線で描かれている。つまり、図７では、例えば、図５で例示された領域特定画像のように、細胞形態画像において細胞の特定部位が占める複数の第１細胞領域のそれぞれが第１表示要素Ｄｅ１で特定されている場合に、１つの第１表示要素Ｄｅ１に対して、細胞形態画像における第２細胞領域の輪郭部に沿って描かれた第２表示要素Ｄｅ２としての太線が追加されている様子が示されている。具体的には、図７では、例えば、図５で示された領域特定画像のうち、１つの略円形の第１表示要素Ｄｅ１に対して、第２表示要素Ｄｅ２が追加された状態（追加状態）Ｅｘ０が例示されている。
　例えば、図７の中央の追加状態Ｅｘ０で示されるような領域特定画像への第２表示要素Ｄｅ２の追加時、またはその追加後に、ユーザーによって入力される信号および第２表示要素Ｄｅ２の状態の少なくとも一方に応じて、領域特定画像が修正される。例えば、ユーザーの動作に応答して入力部２２で入力される信号に応じて、領域特定画像のうちの重畳領域に係る修正の態様が指定され得る。
　　　＜(１－４－１)第１の修正（第１細胞領域に係る表示要素の優先的な表示）＞
　例えば、修正の態様が特に指定されていなければ、追加状態Ｅｘ０から図７の下方の修正状態（第１修正状態とも言う）Ｅｘ１で示されるように、領域特定画像が修正される。この場合、重畳領域については、第１細胞領域を特定する表示要素（ここでは、第１表示要素Ｄｅ１）が優先的に表示されるように、領域特定画像が修正される。ここでは、例えば、修正部２１４が、重畳領域の全域にわたって、第１細胞領域を特定する第１表示要素Ｄｅ１が表示制御部２１２によって表示部２３に表示されるように、領域特定画像を修正する。このとき、例えば、修正部２１４が、重畳領域の全域にわたって、第１細胞領域を特定する表示要素が表示制御部２１２によって表示部２３に表示されるように、第２細胞領域を特定する表示要素を削除する。
　このような構成によれば、例えば、図７の第１修正状態Ｅｘ１で示されるように、ユーザーによって第２細胞領域を特定する表示要素Ｄｅ２１が領域特定画像に容易に追加され得る。その結果、細胞形態画像から全ての細胞領域が容易且つ正確に抽出され得る。なお、表示要素Ｄｅ２１は、例えば、第２表示要素Ｄｅ２で囲まれる領域から重畳領域に対応する部分が除かれた残りの領域を特定する。表示要素Ｄｅ２１は、例えば、所定色または所定のハッチングで描かれる。但し、修正部２１４によって、領域特定画像のうちの第１細胞領域を特定する第１表示要素Ｄｅ１と、第２細胞領域を特定する表示要素Ｄｅ２１との間に間隙部ＳＬ１が設けられれば、表示要素Ｄｅ１と表示要素Ｄｅ２１との境界が容易に認識可能な態様となる。
　　　＜(１－４－２)第２の修正（細胞領域に係る表示要素の置換）＞
　例えば、第１細胞領域を特定する表示要素を、第２細胞領域を特定する表示要素に置換する旨の修正の態様が指定されれば、追加状態Ｅｘ０から図７の上方の修正状態（第２修正状態とも言う）Ｅｘ２で示されるように、領域特定画像が修正される。この場合、重畳領域を含めて、第１細胞領域を特定する第１表示要素Ｄｅ１が、第２細胞領域を特定する表示要素Ｄｅ２１に置換されることで、領域特定画像が修正される。このとき、例えば、修正部２１４が、入力部２２で入力される予め設定された既定の信号に応じて、領域特定画像のうちの第１細胞領域を特定する第１表示要素Ｄｅ１の代わりに第２細胞領域を特定する表示要素Ｄｅ２１が表示制御部２１２によって表示部２３に表示されるように、領域特定画像を修正する。
　このような構成によれば、例えば、図７の第２修正状態Ｅｘ２で示されるように、ユーザーによって細胞領域を特定する表示要素が容易に変更され得る。その結果、細胞形態画像から全ての細胞領域が容易且つ正確に抽出され得る。なお、表示要素Ｄｅ２１は、例えば、第２表示要素Ｄｅ２で囲まれる領域に、所定色または所定のハッチングが付されることで描かれ得る。
　　　＜(１－４－３)第３の修正（細胞領域に係る表示要素の拡大）＞
　例えば、領域特定画像において、第２細胞領域の輪郭を特定する曲線部を含む第２表示要素Ｄｅ２が閉曲線でなく、該曲線部の両端が、第１細胞領域に対応する領域内に位置していれば、追加状態Ｅｘ０から図７の左方の修正状態（第３修正状態とも言う）Ｅｘ３で示されるように、領域特定画像が修正される。この場合、第１細胞領域を特定する第１表示要素Ｄｅ１が、第１細胞領域に第２細胞領域を加えた領域（拡大領域ともいう）を特定する表示要素Ｄｅ３１に変更されることで、領域特定画像が修正される。このとき、例えば、修正部２１４が、領域特定画像において第２表示要素Ｄｅ２としての曲線部の両端が第１細胞領域に対応する領域内に位置していることに応じて、第１細胞領域を特定する第１表示要素を、第１細胞領域と第２細胞領域とを合わせた１つの領域を示す表示要素に変更する。これにより、第１細胞領域を特定する第１表示要素Ｄｅ１が表示要素Ｄｅ３１に拡大される。
　このような構成によれば、例えば、図７の第３修正状態Ｅｘ３で示されるように、ユーザーによって細胞領域を特定する表示要素が容易に変更され得る。その結果、細胞形態画像から全ての細胞領域が容易且つ正確に抽出され得る。なお、表示要素Ｄｅ３１は、例えば、第１表示要素Ｄｅ１と同様な態様で描かれ得る。
　　　＜(１－４－４)第４の修正（第２細胞領域に係る表示要素の優先的な表示）＞
　例えば、第１細胞領域を特定する表示要素よりも追加された第２細胞領域を特定する表示要素を優先的に表示させる修正の態様が指定されれば、追加状態Ｅｘ０から図７の右方の修正状態（第４修正状態とも言う）Ｅｘ４で示されるように、領域特定画像が修正される。この場合、重畳領域については、第２細胞領域を特定する表示要素Ｄｅ２１が優先的に表示されるように、領域特定画像が修正される。このとき、例えば、修正部２１４が、入力部２２で入力される予め設定された特定の信号に応じて、重畳領域の全域にわたって、第２細胞領域を特定する表示要素Ｄｅ２１が表示制御部２１２によって表示部２３に表示されるように、領域特定画像を修正する。このとき、例えば、修正部２１４が、重畳領域のうちの第２細胞領域を特定する表示要素が表示制御部２１２によって表示部２３に表示される領域については、第１細胞領域を特定する表示要素を削除する。これにより、第１表示要素Ｄｅ１は、該第１表示要素Ｄｅ１から重畳領域に対応する部分が除かれた表示要素Ｄｅ１１に変更され得る。このとき、例えば、修正部２１４が、重畳領域の全域にわたって、第２細胞領域を特定する表示要素が表示制御部２１２によって表示部２３に表示されるように、第１細胞領域を特定する表示要素を削除する。
　このような構成によれば、例えば、図７の第４修正状態Ｅｘ４で示されるように、ユーザーによって第２細胞領域を特定する表示要素Ｄｅ２１が領域特定画像に容易に追加され得る。その結果、細胞形態画像から全ての細胞領域が容易且つ正確に抽出され得る。なお、表示要素Ｄｅ２１は、例えば、第２表示要素Ｄｅ２で囲まれる領域に、所定色または所定のハッチングが付されることで描かれ得る。また、表示要素Ｄｅ１１は、例えば、第１表示要素Ｄｅ１から重畳領域に対応する部分が除かれた残りの領域を特定する。表示要素Ｄｅ１１は、例えば、所定色または所定のハッチングで描かれる。但し、修正部２１４によって、領域特定画像のうちの第１細胞領域を特定する表示要素Ｄｅ１１と、第２細胞領域を特定する表示要素Ｄｅ２１との間に間隙部ＳＬ１が設けられれば、表示要素Ｄｅ１１と表示要素Ｄｅ２１との境界が容易に認識可能な態様となり得る。
　　＜(１－５)領域特定画像の修正に係る動作フロー＞
　図８から図１２は、画像処理装置２の動作フローを例示するフローチャートである。図１３から図３３は、画像処理装置２における領域特定画像の修正の具体例を模式的に示す図である。以下、画像処理装置２の動作フローについて、適宜、図１３から図３３を参照しつつ説明する。
　図８で示されるように、画像処理装置２では、ステップＳＴ１～ＳＴ４の処理が時間順次に行われる。換言すれば、画像処理装置２における画像処理方法は、ステップＳＴ１～ＳＴ４を有する。
　ステップＳＴ１では、取得部２１１によって、細胞形態画像において細胞の特定部位が占める第１細胞領域を第１表示要素によって特定する領域特定画像が取得される。ここでは、例えば、図４で例示されたような細胞形態画像を対象とした所定の画像処理等が行われることで、図５で例示されたような領域特定画像が取得される。
　ステップＳＴ２では、追加部２１３によって、ユーザーの動作に応答して入力される予め設定された所定の信号に応じて、細胞形態画像において第１細胞領域とは異なる特定部位が占める第２細胞領域の少なくとも輪郭部を特定する第２表示要素が領域特定画像に追加される。ここでは、例えば、図４で例示された細胞形態画像が参照されつつ、図５で例示された領域特定画像では捉えられていない特定部位が占める第２細胞領域の輪郭部を特定する第２表示要素としての曲線部が、該領域特定画像に追加される。このとき、例えば、図６で示された破線２ＣＡで囲まれた領域の輪郭部を特定する第２表示要素が領域特定画像に追加され得る。
　ステップＳＴ３では、修正部２１４によって、第１細胞領域の第２細胞領域と重なる重畳領域について、第２細胞領域を特定する表示要素ではなく、第１細胞領域を特定する表示要素が表示部２３に表示されるように、領域特定画像が修正される。但し、ユーザーの動作に応じて入力される信号および第２表示要素の状態の少なくとも一方に応じて、領域特定画像の修正態様が適宜変更され得る。具体的には、ステップＳＴ３では、図９から図１２で示される動作フローに沿って、領域特定画像が修正される。ここでは、第２表示要素が、第２細胞領域の輪郭を特定する曲線部を含む場合を例に挙げて説明する。
　まず、図９のステップＳＴ３１では、第２表示要素Ｄｅ２としての曲線部が閉領域を形成しているか否か判定される。ここで、曲線部が閉領域を形成していれば、ステップＳＴ３２に進み、曲線部が閉領域を形成していなければ、ステップＳＴ３５に進む。
　ステップＳＴ３２では、曲線部が複数の閉領域を形成しているか否か判定される。ここで、曲線部が複数の閉領域を形成していれば、ステップＳＴ３３に進み、曲線部が複数の閉領域を形成していなければ、ステップＳＴ３４に進む。
　ステップＳＴ３３では、曲線部が形成している複数の閉領域のうち、最大の閉領域以外の小さな閉領域を形成している部分が削除される。このとき、例えば、図１３で示されるように、第２表示要素Ｄｅ２としての曲線部が、２つの閉領域Ａｃ１，Ａｃ２を形成している場合を想定する。この場合、図１４で示されるように、曲線部のうち、複数の閉領域のうちの最大の閉領域Ａｃ１以外の小さな閉領域Ａｃ２を形成している部分が削除される。
　ステップＳＴ３４では、曲線部のうちの閉領域を形成していない部分Ｅｐ１が削除される。例えば、ステップＳＴ３２から進んで来た場合には、図１５から図１６で示されるように、第２表示要素Ｄｅ２のうちの閉領域Ａｃ１を形成していない部分Ｅｐ１が削除される。このような処理が行われると、図１０のステップＳＴ３６に進む。
　ステップＳＴ３５では、曲線部のうちの両端が結ばれて、閉領域Ａｃ１が形成される。例えば、図１７から図１８で示されるように、第２表示要素Ｄｅ２としての曲線部のうちの両端（具体的には、一端Ｅ１および他端Ｅ２）が線Ｃｎ１で結ばれる。ここで、線Ｃｎ１としては、例えば、曲線または直線等が採用され得る。図１８には、曲線部の両端が直線状の線Ｃｎ１によって結ばれている様子が示されている。このような処理が行われると、図１０のステップＳＴ３６に進む。
　次に、図１０のステップＳＴ３６では、第１細胞領域を特定する第１表示要素Ｄｅ１が、第２細胞領域を特定する第２表示要素Ｄｅ２に置換される旨の処理（置換処理とも言う）が指定されているか否か判定される。ここでは、例えば、置換処理が指定されていれば、ステップＳＴ３７に進み、置換処理が指定されていなければ、図１１のステップＳＴ４１に進む。
　ステップＳＴ３７では、各第１表示要素Ｄｅ１について、第２細胞領域を特定する第２表示要素Ｄｅ２が形成する閉領域Ａｃ１内に含有されている含有率が算出される。
　ステップＳＴ３８では、ステップＳＴ３７で算出された含有率が１００％の第１表示要素Ｄｅ１があるか否かが判定される。ここでは、含有率が１００％の第１表示要素Ｄｅ１があれば、ステップＳＴ３９に進み、含有率が１００％の第１表示要素Ｄｅ１がなければ、ステップＳＴ４０に進む。
　ステップＳＴ３９では、含有率が１００％の第１表示要素Ｄｅ１が削除される。例えば、図１９から図２０で示されるように、第２表示要素Ｄｅ２の閉領域Ａｃ１に完全に含有されている第１表示要素Ｄｅ１が削除される。この削除処理が行われると、図１２のステップＳＴ４５に進む。
　ステップＳＴ４０では、ステップＳＴ３７で算出された含有率が最も高い第１表示要素Ｄｅ１が削除される。例えば、図２１から図２２で示されるように、第２表示要素Ｄｅ２の閉領域Ａｃ１に、２つの第１表示要素Ｄｅ１（Ｄｅ１ａ，Ｄｅ１ｂ）が含まれている場合、含有率が相対的に高い第１表示要素Ｄｅ１（Ｄｅ１ａ）が削除される。この削除処理が行われると、図１２のステップＳＴ４５に進む。
　ステップＳＴ４１では、第２表示要素Ｄｅ２の閉領域Ａｃ１に完全に含まれている第１表示要素Ｄｅ１があるか否か判定される。ここで、閉領域Ａｃ１に完全に含まれている第１表示要素Ｄｅ１があれば、ステップＳＴ４２に進み、閉領域Ａｃ１に完全に含まれている第１表示要素Ｄｅ１がなければ、ステップＳＴ４３に進む。例えば、図２３で示されるように、３つの第１表示要素Ｄｅ１（Ｄｅ１ａ～Ｄｅ１ｃ）のうちの１つの第１表示要素Ｄｅ１（Ｄｅ１ｃ）が閉領域Ａｃ１に完全に含まれていれば、閉領域Ａｃ１に完全に含まれている第１表示要素Ｄｅ１が存在しているものと判定され得る。
　ステップＳＴ４２では、閉領域Ａｃ１内に完全に含まれている第１表示要素Ｄｅ１が削除される。例えば、図２３から図２４で示されるように、閉領域Ａｃ１内に完全に含まれている第１表示要素Ｄｅ１（Ｄｅ１ｃ）が削除される。
　ステップＳＴ４３では、第２表示要素Ｄｅ２の曲線部の両端が同一の第１細胞領域に対応する領域内に位置しているか否か判定される。ここで、曲線部の両端が同一の第１細胞領域に対応する領域内に位置していれば、ステップＳＴ４４に進み、曲線部の両端が同一の第１細胞領域に対応する領域内に位置していなければ、図１２のステップＳＴ４５に進む。例えば、図２４では、第２表示要素Ｄｅ２の曲線部の両端（具体的には、一端Ｅ１および他端Ｅ２）が、同一の第１細胞領域に対応する領域を示す第１表示要素Ｄｅ１（Ｄｅ１ｂ）内に位置している様子が示されている。
　ステップＳＴ４４では、第２表示要素Ｄｅ２としての曲線部の両端を内包する第１細胞領域を特定する第１表示要素が、該第１細胞領域と第２細胞領域とを合わせた領域を特定する表示要素に変更される。例えば、図２４から図２５で示されるように、第２表示要素Ｄｅ２としての曲線部の両端（一端Ｅ１および他端Ｅ２）を内包する第１細胞領域を特定する第１表示要素Ｄｅ１（Ｄｅ１ｂ）が、該第１細胞領域と第２細胞領域とを合わせた領域を特定する表示要素Ｄｅ３に変更される。
　ステップＳＴ４５では、閉領域Ａｃ１に一部が含まれる第１表示要素Ｄｅ１があるか否か判定される。ここで、閉領域Ａｃ１に一部が含まれる第１表示要素Ｄｅ１があれば、ステップＳＴ４６に進み、閉領域Ａｃ１に一部が含まれる第１表示要素Ｄｅ１がなければ、ステップＳＴ４９に進む。例えば、図２２では、第２表示要素Ｄｅ２の閉領域Ａｃ１に第１表示要素Ｄｅ１（Ｄｅ１ｂ）の一部が含まれている様子が示されており、図２５では、表示要素Ｄｅ３の閉領域Ａｃ１に第１表示要素Ｄｅ１（Ｄｅ１ａ）の一部が含まれている様子が示されている。
　ステップＳＴ４６では、ユーザーの動作に応じて、第１細胞領域を特定する表示要素よりも追加された第２細胞領域を特定する第２表示要素Ｄｅ２および表示要素Ｄｅ３を優先的に表示させる修正の態様が指定されているか否か判定される。ここで、第１細胞領域を特定する表示要素よりも第２表示要素Ｄｅ２および表示要素Ｄｅ３を優先的に表示させる修正の態様が指定されていれば、ステップＳＴ４７に進み、該修正の態様が指定されていなければ、ステップＳＴ４８に進む。
　ステップＳＴ４７では、第１表示要素Ｄｅ１のうちの閉領域Ａｃ１に含まれる部分が削除される。例えば、図２２および図２６で示されるように、第１表示要素Ｄｅ１（Ｄｅ１ｂ）のうちの第２表示要素Ｄｅ２の閉領域Ａｃ１に含まれる部分が削除される。これにより、第１表示要素Ｄｅ１（Ｄｅ１ｂ）が第１細胞領域に係る表示要素Ｄｅ１１に変更される。さらに、このとき、例えば、表示要素Ｄｅ１１と第２表示要素Ｄｅ２との間に間隙部ＳＬ１が設けられる。その結果、領域特定画像が、表示要素Ｄｅ１１と第２表示要素Ｄｅ２とが接することなく、表示要素Ｄｅ１１と第２表示要素Ｄｅ２とが認識可能な画像となり得る。また、例えば、図２５および図２７で示されるように、第１表示要素Ｄｅ１（Ｄｅ１ａ）のうちの表示要素Ｄｅ３の閉領域Ａｃ１に含まれる部分が削除される。これにより、第１表示要素Ｄｅ１（Ｄｅ１ａ）が第１細胞領域に係る表示要素Ｄｅ１１に変更される。さらに、このとき、例えば、表示要素Ｄｅ１１と表示要素Ｄｅ３との間に間隙部ＳＬ１が設けられる。その結果、領域特定画像が、表示要素Ｄｅ１１と表示要素Ｄｅ３とが接することなく、表示要素Ｄｅ１１と表示要素Ｄｅ３とが容易に認識可能な画像となり得る。
　ステップＳＴ４８では、閉領域Ａｃ１を形成している閉曲線のうちの第１表示要素Ｄｅ１に含まれる部分が削除される。例えば、図２２および図２８で示されるように、閉領域Ａｃ１を形成している第２表示要素Ｄｅ２としての閉曲線のうち、第１表示要素Ｄｅ１（Ｄｅ１ｂ）に含まれる部分が削除される。このとき、第２表示要素Ｄｅ２としての閉曲線のうちの削除された部分の両端を結ぶように、第１表示要素Ｄｅ１（Ｄｅ１ｂ）の外縁に沿った曲線が描かれることで、閉曲線によって閉領域Ａｃ１が形成されている状態が維持される。さらに、このとき、例えば、第１表示要素Ｄｅ１（Ｄｅ１ｂ）と第２表示要素Ｄｅ２との間に間隙部ＳＬ１が設けられる。また、例えば、図２５および図２９で示されるように、閉領域Ａｃ１を形成している表示要素Ｄｅ３としての閉曲線のうち、第１表示要素Ｄｅ１（Ｄｅ１ａ）に含まれる部分が削除される。このとき、表示要素Ｄｅ３としての閉曲線のうちの削除された部分の両端を結ぶように、第１表示要素Ｄｅ１（Ｄｅ１ａ）の外縁に沿った曲線が描かれることで、閉曲線によって閉領域Ａｃ１が形成されている状態が維持される。さらに、このとき、例えば、第１表示要素Ｄｅ１（Ｄｅ１ａ）と表示要素Ｄｅ３との間に間隙部ＳＬ１が設けられる。
　ステップＳＴ４９では、閉領域Ａｃ１を特定する表示要素が追加される。ここでは、閉領域Ａｃ１を特定する閉曲線で囲まれる領域に、例えば、所定色または所定のハッチングが付される。このとき、閉曲線の太さが適宜調整され得る。具体的には、例えば、図２６で示される第２表示要素Ｄｅ２および閉領域Ａｃ１が、図３０で示されるように、所定色または所定のハッチングが付された表示要素Ｄｅ２１に変更される。これにより、領域特定画像に第２細胞領域に係る表示要素Ｄｅ２１が追加される。また、例えば、図２７で示される表示要素Ｄｅ３および閉領域Ａｃ１が、図３１で示されるように、所定色または所定のハッチングが付された表示要素Ｄｅ３１に変更される。これにより、領域特定画像に拡大された第１細胞領域に係る表示要素Ｄｅ３１が追加される。また、例えば、図２８で示される第２表示要素Ｄｅ２および閉領域Ａｃ１が、図３２で示されるように、所定色または所定のハッチングが付された表示要素Ｄｅ２１に変更される。これにより、領域特定画像に第２細胞領域に係る表示要素Ｄｅ２１が追加される。また、例えば、図２９で示される表示要素Ｄｅ３および閉領域Ａｃ１が、図３３で示されるように、所定色または所定のハッチングが付された表示要素Ｄｅ３１に変更される。これにより、領域特定画像に拡大された第１細胞領域に係る表示要素Ｄｅ３１が追加される。
　ステップＳＴ４では、制御部２１によって、領域特定画像の作成が完了されたか否かが判定される。ここでは、例えば、ユーザーの動作に応じて入力部２２から入力される信号に応じて、領域特定画像の作成が完了されたか否かが判定される。そして、領域特定画像の作成が完了されていなければ、ステップＳＴ２に戻り、領域特定画像の作成が完了されていれば、本動作フローが終了される。
　　＜(１－６)まとめ＞
　以上のように、本実施形態に係る画像処理装置２の画像処理では、まず、取得部２１１によって、細胞形態画像において細胞の特定部位が占める第１細胞領域を第１表示要素によって特定する領域特定画像が取得される。次に、追加部２１３によって、ユーザーの動作に応答して入力される予め設定された所定の信号に応じて、細胞形態画像において第１細胞領域とは異なる特定部位が占める第２細胞領域の少なくとも輪郭部を特定する第２表示要素が領域特定画像に追加される。そして、デフォルトの設定では、修正部２１４によって、第１細胞領域の第２細胞領域と重なる重畳領域について、第２細胞領域を特定する表示要素ではなく、第１細胞領域を特定する表示要素が表示部２３に表示されるように、領域特定画像が修正される。これにより、細胞形態画像において細胞の特定部位が占める細胞領域を表示要素によって特定する領域特定画像に、ユーザーが細胞領域を特定する表示要素を追加することができる。その結果、細胞形態画像から全ての細胞領域がより容易且つ正確に抽出され得る。
　また、例えば、ユーザーの動作に応じて、修正部２１４によって、表示要素の置換、拡大、ならびに優先的な表示および削除等と言った複数の処理の間で、実施される処理が適宜選択され得る。
　＜(２)変形例＞
　なお、本発明は上述の一実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。
　　＜(２－１)第１変形例＞
　例えば、上記一実施形態では、修正部２１４によって、第１細胞領域の第２細胞領域と重なる重畳領域のうち、第１細胞領域を特定する表示要素が表示される領域については、第２細胞領域を特定する表示要素が削除され、第２細胞領域を特定する表示要素が表示される領域については、第１細胞領域を特定する表示要素が削除された。しかしながら、これに限られない。例えば、修正部２１４によって、第１細胞領域を特定する表示要素が基本レイヤーを構成し、重畳領域のうち、第１細胞領域を特定する表示要素が表示される領域については、第２細胞領域を特定する表示要素が背面レイヤーを構成するように、領域特定画像が修正されても良い。さらに、例えば、重畳領域のうち、第２細胞領域を特定する表示要素が表示される領域については、第２細胞領域を特定する表示要素が前面レイヤーを構成するように、領域特定画像が修正されても良い。ここで、背面レイヤーは、基本レイヤーの背後に位置するように表示されるレイヤーであり、前面レイヤーは、基本レイヤーの手前に位置するように表示されるレイヤーである。このような構成によれば、領域特定画像において、細胞領域の前後関係が良好に描かれるとともに、必要に応じて、ある細胞領域の背後に隠れた他の細胞領域の情報を容易に得ることも出来る。
　また、領域特定画像が、複数のレイヤーによって構成される場合、基本レイヤーを構成する第１細胞領域を特定する表示要素と、背面レイヤーおよび前面レイヤーの少なくとも一方のレイヤーを構成する第２細胞領域を特定する表示要素との間で、表示部２３における表示態様が異なるように、領域特定画像が修正されても良い。ここで、異なる表示態様としては、例えば、明暗、濃淡および色彩の少なくとも１つが異なる表示態様等が挙げられる。このような構成によれば、隣接する細胞領域を特定する複数の表示要素の区別が容易となる。そして、このような構成が採用される場合であっても、領域特定画像のうちの第１細胞領域を特定する表示要素と、第２細胞領域を特定する表示要素との間に間隙部ＳＬ１が設けられれば、表示要素と表示要素との境界が視認可能な態様で表示され得る。
　ここで、領域特定画像が複数のレイヤーで構成される構成の具体例を挙げて説明する。
　図３４は、第１変形例に係る領域特定画像の修正に係る動作フローを示すフローチャートである。本変形例に係る画像処理装置２の動作フローは、上記一実施形態に係る動作フローがベースとされて、図１２で示される動作フローが、図３４で示される動作フローに置換されたものである。なお、図３４で示される動作フローは、図１２で示される動作フローのうちのステップＳＴ４７～ＳＴ４９が、ステップＳＴ４７Ａ～ＳＴ４９Ａに変更されたものである。このため、ここでは、ステップＳＴ４７Ａ～ＳＴ４９Ａについて説明する。
　図３４のステップＳＴ４７Ａでは、第２細胞領域を特定する表示要素が前面レイヤーに追加される。ここでは、例えば、前面レイヤーが生成されていなければ、前面レイヤーが生成されて、該前面レイヤーに第２細胞領域を特定する表示要素が追加され、既に前面レイヤーが生成されていれば、該前面レイヤーに第２細胞領域を特定する表示要素が追加されれば良い。例えば、図３５および図３６で示されるように、第１表示要素Ｄｅ１が描かれた基本レイヤーの手前の前面レイヤーに、第２表示要素Ｄｅ２で指定されていた第２細胞領域を特定する表示要素Ｄｅ２１が追加される。このとき、例えば、第１表示要素Ｄｅ１と表示要素Ｄｅ２１との間に間隙部ＳＬ１が表示されるとともに、基本レイヤーに描かれた表示要素Ｄｅ１と、前面レイヤーに描かれた表示要素Ｄｅ２１とが、異なる態様で表示される。例えば、図３６で示されるように、より背面側のレイヤーに描かれた表示要素の方が、相対的に濃くまたは相対的に暗く描かれる態様が考えられる。
　また、ステップＳＴ４８Ａでは、第２細胞領域を特定する表示要素が背面レイヤーに追加される。ここでは、例えば、背面レイヤーが生成されていなければ、背面レイヤーが生成されて、該背面レイヤーに第２細胞領域を特定する表示要素が追加され、既に、背面レイヤーが生成されていれば、該背面レイヤーに第２細胞領域を特定する表示要素が追加されれば良い。例えば、図３５および図３７で示されるように、第１表示要素Ｄｅ１が描かれた基本レイヤーの背後の背面レイヤーに、第２表示要素Ｄｅ２で指定されていた第２細胞領域を特定する表示要素Ｄｅ２１が追加される。このとき、例えば、第１表示要素Ｄｅ１と表示要素Ｄｅ２１との間に間隙部ＳＬ１が表示されるとともに、基本レイヤーに描かれた表示要素Ｄｅ１と、背面レイヤーに描かれた表示要素Ｄｅ２１とが、異なる態様で表示される。例えば、図３７で示されるように、より背面側のレイヤーに描かれた表示要素の方が、相対的に濃くまたは相対的に暗く描かれる態様が考えられる。
　　＜(２－２)その他の変形例＞
　上記一実施形態では、追加部２１３によって第２細胞領域の輪郭を特定する曲線部が第２表示要素Ｄｅ２として領域特定画像に追加されたが、これに限られない。例えば、中抜きの曲線部ではなく、第２細胞領域の全体に対応する一塊の領域が、第２細胞領域を特定する第２表示要素として領域特定画像に追加されても良い。このとき、一塊の第２表示要素の輪郭部分が、第２細胞領域の輪郭を特定する曲線部に相当する。
　また、上記一実施形態では、画像処理装置２に表示部２３が含まれていたが、これに限られない。例えば、表示部２３は、画像処理装置２に対してデータ送受信可能に接続される外部の表示装置であっても良い。
　また、上記一実施形態では、修正の態様について特にユーザーによる指定がなければ、重畳領域について、第２細胞領域を特定する表示要素ではなく、第１細胞領域を特定する表示要素が表示されるように、領域特定画像が修正部２１４によって修正された。しかしながら、これに限られない。例えば、重畳領域の一部については、第２細胞領域を特定する表示要素が表示されるように、領域特定画像が修正部２１４によって領域特定画像が修正されても良い。つまり、例えば、重畳領域の少なくとも一部の領域について、第１細胞領域を特定する表示要素が表示制御部２１２によって表示部２３に表示されるように、領域特定画像が修正部２１４によって修正されても良い。このとき、例えば、修正部２１４が、重畳領域のうちの第２細胞領域を特定する表示要素が表示制御部２１２によって表示部２３に表示される領域については、第１細胞領域を特定する表示要素を削除する。このような構成によっても、ユーザーが第２細胞領域を特定する表示要素Ｄｅ２１を領域特定画像に容易に追加することができる。その結果、細胞形態画像から全ての細胞領域が容易且つ正確に抽出され得る。
　また、上記一実施形態では、重畳領域について、第１細胞領域を特定する表示要素よりも第２細胞領域を特定する表示要素の方が優先的に表示される修正の態様が指定されていれば、重畳領域の全域について、第２細胞領域を特定する表示要素が表示されるように、領域特定画像が修正部２１４によって修正された。しかしながら、これに限られない。例えば、重畳領域の一部については、第１細胞領域を特定する表示要素が表示されるように、領域特定画像が修正部２１４によって修正されても良い。つまり、例えば、重畳領域の少なくとも一部の領域について、第２細胞領域を特定する表示要素が表示制御部２１２によって表示部２３に表示されるように、領域特定画像が修正部２１４によって修正されても良い。このとき、例えば、修正部２１４が、重畳領域のうちの第２細胞領域を特定する表示要素が表示制御部２１２によって表示部２３に表示される領域については、第１細胞領域を特定する表示要素を削除する。このような構成によっても、ユーザーが第２細胞領域を特定する表示要素Ｄｅ２１を領域特定画像に容易に追加することができる。その結果、細胞形態画像から全ての細胞領域が容易且つ正確に抽出され得る。
　また、上記一実施形態では、細胞形態画像が、特定部位としての細胞核の形態を捉えた画像であったが、これに限られない。例えば、特定部位には、細胞膜等の細胞を構成するその他の部位が含まれても良い。
　また、上記一実施形態では、生体に、広義の意味での動物が含まれたが、これに限られない。例えば、生体に、動物以外の植物等が含まれても良い。すなわち、生体には、動植物を含む生物が含まれ得る。
　また、上記一実施形態では、取得部２１１において、細胞形態画像を対象とした所定の画像処理が行われることで、領域特定画像が取得されたが、これに限られない。例えば、取得部２１１において、画像処理装置２とは異なる外部装置で生成された領域特定画像が通信Ｉ／Ｆ２４等を介して取得されても良い。
　なお、上記一実施形態および各種変形例をそれぞれ構成する全部または一部を、適宜、矛盾しない範囲で組み合わせ可能であることは、言うまでもない。
　１　顕微鏡画像取得装置
　２　画像処理装置
　３　通信回線
　２１　制御部
　２２　入力部
　２３　表示部
　２４　通信Ｉ／Ｆ
　２５　記憶部
　２６　バス
　１００　病理診断支援システム
　２１１　取得部
　２１２　表示制御部
　２１３　追加部
　２１４　修正部
　２１５　設定部
　Ａｃ１，Ａｃ２　閉領域
　Ｄｅ１　第１表示要素
　Ｄｅ２　第２表示要素
　Ｄｅ３，Ｄｅ１１，Ｄｅ２１，Ｄｅ３１　表示要素
　Ｅ１　一端
　Ｅ２　他端
　Ｐ１　プログラム
　ＳＬ１　間隙部

Claims (13)

  1. 　細胞の形態を捉えた細胞形態画像を表示部に表示させる表示制御部と、
    　前記細胞形態画像において細胞の特定部位が占める第１細胞領域を第１表示要素によって特定する領域特定画像を取得する取得部と、
    　ユーザーの動作に応じた信号が入力される入力部と、
    　前記入力部で入力される予め設定された所定の信号に応じて、前記細胞形態画像において前記第１細胞領域とは異なる前記特定部位が占める第２細胞領域の少なくとも輪郭部を特定する第２表示要素を前記領域特定画像に追加する追加部と、
    　前記第１細胞領域の前記第２細胞領域と重なる重畳領域の少なくとも一部の領域について、前記第１細胞領域を特定する表示要素が前記表示制御部によって前記表示部に表示されるように、前記領域特定画像を修正する修正部と、
    を備える、画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記修正部が、
    　前記重畳領域の全域にわたって、前記第１細胞領域を特定する表示要素が前記表示制御部によって前記表示部に表示されるように、前記領域特定画像を修正する、画像処理装置。
  3. 　請求項１または請求項２に記載の画像処理装置であって、
    　前記修正部が、
    　前記入力部で入力される予め設定された特定の信号に応じて、前記重畳領域の少なくとも一部の領域について、前記第２細胞領域を特定する表示要素が前記表示制御部によって前記表示部に表示されるように、前記領域特定画像を修正する、画像処理装置。
  4. 　請求項３に記載の画像処理装置であって、
    　前記修正部が、
    　前記入力部で入力される予め設定された前記特定の信号に応じて、前記重畳領域の全域にわたって、前記第２細胞領域を特定する表示要素が前記表示制御部によって前記表示部に表示されるように、前記領域特定画像を修正する、画像処理装置。
  5. 　請求項１から請求項４の何れか１つの請求項に記載の画像処理装置であって、
    　前記修正部が、
    　前記重畳領域のうちの前記表示制御部によって前記表示部に前記第１細胞領域を特定する表示要素が表示される領域については、前記第２細胞領域を特定する表示要素を前記領域特定画像から削除し、前記重畳領域のうちの前記表示制御部によって前記表示部に前記第２細胞領域を特定する表示要素が表示される領域については、前記第１細胞領域を特定する表示要素を前記領域特定画像から削除する、画像処理装置。
  6. 　請求項１から請求項５の何れか１つの請求項に記載の画像処理装置であって、
    　前記修正部が、
    　前記領域特定画像のうちの前記第１細胞領域を特定する表示要素と前記第２細胞領域を特定する表示要素との間に間隙部を設ける、画像処理装置。
  7. 　請求項６に記載の画像処理装置であって、
    　前記入力部で入力される信号に応じて、前記間隙部の幅を設定する設定部、
    をさらに備える、画像処理装置。
  8. 　請求項１から請求項４の何れか１つの請求項に記載の画像処理装置であって、
    　前記修正部が、
    　前記第１細胞領域を特定する表示要素が基本レイヤーを構成し、前記重畳領域のうちの前記表示制御部によって前記表示部に前記第１細胞領域を特定する表示要素が表示される領域については、前記第２細胞領域を特定する表示要素が前記基本レイヤーの背後に位置する背面レイヤーを構成し、前記重畳領域のうちの前記表示制御部によって前記表示部で前記第２細胞領域を特定する表示要素が表示される領域については、前記第２細胞領域を特定する表示要素が前記基本レイヤーの手前に位置する前面レイヤーを構成するように、前記領域特定画像を修正する、画像処理装置。
  9. 　請求項８に記載の画像処理装置であって、
    　前記修正部が、
    　前記基本レイヤーを構成する前記第１細胞領域を特定する表示要素と、前記背面レイヤーおよび前記前面レイヤーの少なくとも一方のレイヤーを構成する前記第２細胞領域を特定する表示要素との間で、前記表示部における表示態様が異なるように、前記領域特定画像を修正する、画像処理装置。
  10. 　請求項１から請求項９の何れか１つの請求項に記載の画像処理装置であって、
    　前記修正部が、
    　前記入力部で入力される予め設定された既定の信号に応じて、前記表示制御部によって前記表示部において、前記領域特定画像のうちの前記第１細胞領域を特定する表示要素の代わりに、前記第２細胞領域を特定する表示要素が表示されるように、前記領域特定画像を修正する、画像処理装置。
  11. 　請求項１から請求項１０の何れか１つの請求項に記載の画像処理装置であって、
    　前記第２表示要素が、
    　前記第２細胞領域の輪郭を特定する曲線部を含み、
    　前記修正部が、
    　前記領域特定画像において前記曲線部の両端が前記第１細胞領域に対応する領域内に位置していることに応じて、前記第１表示要素を、前記第１細胞領域と前記第２細胞領域とを合わせた１つの領域を示す表示要素に変更する、画像処理装置。
  12. 　(a)取得部によって、細胞の形態を捉えた細胞形態画像において細胞の特定部位が占める第１細胞領域を第１表示要素によって特定する領域特定画像を取得するステップと、
    　(b)追加部によって、ユーザーの動作に応答して入力される予め設定された所定の信号に応じて、前記細胞形態画像において前記第１細胞領域とは異なる前記特定部位が占める第２細胞領域の少なくとも輪郭部を特定する第２表示要素を前記領域特定画像に追加するステップと、
    　(c)修正部によって、前記第１細胞領域の前記第２細胞領域と重なる重畳領域の少なくとも一部の領域について、前記第１細胞領域を特定する表示要素が表示部に表示されるように、前記領域特定画像を修正するステップと、
    を有する、画像処理方法。
  13. 　情報処理装置に含まれる制御部において実行されることで、該情報処理装置を請求項１から請求項１１の何れか１つの請求項に記載の画像処理装置として機能させる、画像処理用のプログラム。
PCT/JP2016/064252 2015-05-22 2016-05-13 画像処理装置、画像処理方法、および画像処理用のプログラム WO2016190129A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017520626A JP6696503B2 (ja) 2015-05-22 2016-05-13 画像処理装置、画像処理方法、および画像処理用のプログラム
EP16799837.6A EP3299811B1 (en) 2015-05-22 2016-05-13 Image processing device, image processing method, and program for image processing
US15/573,194 US10591402B2 (en) 2015-05-22 2016-05-13 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015104085 2015-05-22
JP2015-104085 2015-05-22

Publications (1)

Publication Number Publication Date
WO2016190129A1 true WO2016190129A1 (ja) 2016-12-01

Family

ID=57392725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064252 WO2016190129A1 (ja) 2015-05-22 2016-05-13 画像処理装置、画像処理方法、および画像処理用のプログラム

Country Status (4)

Country Link
US (1) US10591402B2 (ja)
EP (1) EP3299811B1 (ja)
JP (1) JP6696503B2 (ja)
WO (1) WO2016190129A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018197948A (ja) * 2017-05-23 2018-12-13 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム
JP2019204312A (ja) * 2018-05-24 2019-11-28 日本電子株式会社 生物組織画像処理装置及び方法
CN111583237A (zh) * 2020-05-09 2020-08-25 中南大学 蜂窝规整度检测的邻域窗口递推胞元重构方法
US11238623B2 (en) 2017-05-01 2022-02-01 Preferred Networks, Inc. Automatic line drawing coloring program, automatic line drawing coloring apparatus, and graphical user interface program

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11398032B2 (en) * 2016-07-14 2022-07-26 Dai Nippon Printing Co., Ltd. Image analysis system, culture management system, image analysis method, culture management method, cell group structure method, and program
CN111339459A (zh) * 2018-12-18 2020-06-26 北京京东尚科信息技术有限公司 一种信息处理方法、服务器、终端及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6217659A (ja) * 1985-07-16 1987-01-26 Konan Camera Kenkyusho:Kk 角膜細胞の検査装置
JP3314759B2 (ja) * 1999-05-11 2002-08-12 日本電気株式会社 細胞形状抽出装置及び細胞形状抽出方法
JP4500138B2 (ja) * 2004-09-07 2010-07-14 オリンパス株式会社 細胞画像解析方法
JP2011179924A (ja) * 2010-02-26 2011-09-15 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム
JP4825222B2 (ja) * 2005-01-10 2011-11-30 サイテック コーポレイション 改良された画像セグメンテーション方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058330A1 (en) * 2003-09-16 2005-03-17 Sysmex Corporation Method of displaying smear image and retrieving method employing the same, surveillance method, system of displaying smear image, program for displaying smear image and recording medium recording the program
US7466872B2 (en) * 2005-06-20 2008-12-16 Drvision Technologies Llc Object based boundary refinement method
JP4801025B2 (ja) 2007-09-07 2011-10-26 オリンパス株式会社 細胞画像解析装置及び細胞画像解析ソフトウェア
JPWO2011013319A1 (ja) * 2009-07-31 2013-01-07 株式会社ニコン 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2011016189A1 (ja) * 2009-08-07 2011-02-10 株式会社ニコン 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
US20140307930A1 (en) 2013-04-15 2014-10-16 Drvision Technologies Llc Teachable object contour mapping for biology image region partition
US10509023B2 (en) * 2014-12-09 2019-12-17 Konica Minolta, Inc. Image processing apparatus and computer readable medium for image processing
US10451554B2 (en) * 2015-02-23 2019-10-22 Konica Minolta, Inc. Image processing device, image processing method, and recording medium storing computer readable image processing program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6217659A (ja) * 1985-07-16 1987-01-26 Konan Camera Kenkyusho:Kk 角膜細胞の検査装置
JP3314759B2 (ja) * 1999-05-11 2002-08-12 日本電気株式会社 細胞形状抽出装置及び細胞形状抽出方法
JP4500138B2 (ja) * 2004-09-07 2010-07-14 オリンパス株式会社 細胞画像解析方法
JP4825222B2 (ja) * 2005-01-10 2011-11-30 サイテック コーポレイション 改良された画像セグメンテーション方法
JP2011179924A (ja) * 2010-02-26 2011-09-15 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3299811A4 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11238623B2 (en) 2017-05-01 2022-02-01 Preferred Networks, Inc. Automatic line drawing coloring program, automatic line drawing coloring apparatus, and graphical user interface program
JP2018197948A (ja) * 2017-05-23 2018-12-13 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム
US11010932B2 (en) 2017-05-23 2021-05-18 Preferred Networks, Inc. Method and apparatus for automatic line drawing coloring and graphical user interface thereof
JP7252701B2 (ja) 2017-05-23 2023-04-05 株式会社Preferred Networks システム、プログラム、および方法
US11915344B2 (en) 2017-05-23 2024-02-27 Preferred Networks, Inc. Method and apparatus for automatic line drawing coloring and graphical user interface thereof
JP2019204312A (ja) * 2018-05-24 2019-11-28 日本電子株式会社 生物組織画像処理装置及び方法
WO2019225504A1 (ja) * 2018-05-24 2019-11-28 株式会社ニコン 生物組織画像処理装置及び方法
JP7181000B2 (ja) 2018-05-24 2022-11-30 日本電子株式会社 生物組織画像処理装置及び方法
CN111583237A (zh) * 2020-05-09 2020-08-25 中南大学 蜂窝规整度检测的邻域窗口递推胞元重构方法
CN111583237B (zh) * 2020-05-09 2023-05-23 中南大学 蜂窝规整度检测的邻域窗口递推胞元重构方法

Also Published As

Publication number Publication date
JPWO2016190129A1 (ja) 2018-03-08
JP6696503B2 (ja) 2020-05-20
EP3299811B1 (en) 2020-04-15
EP3299811A4 (en) 2018-05-23
US20180128734A1 (en) 2018-05-10
EP3299811A1 (en) 2018-03-28
US10591402B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
WO2016190129A1 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム
JP5822425B2 (ja) 顕微鏡像用に試料を染色する方法
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP5407015B2 (ja) 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム
EP3065105A1 (en) Technique for determining the state of a cell aggregation, image processing program and image processing device using the technique, and method for producing a cell aggregation
WO2017150194A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
US20120106822A1 (en) Method for determining the state of a cell aggregation, image processing program and image processing device using the method, and method for producing a cell aggregation
EP2871512B1 (en) Information processing device, information processing method, program, and microscope system
JP2006208339A (ja) 領域抽出装置、顕微鏡システムおよび領域抽出プログラム
JP7156361B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP5953195B2 (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
WO2014196097A1 (ja) 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
JP2014063019A (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
JP6729569B2 (ja) 画像処理装置、画像処理方法、および画像処理用のプログラム
JP6721046B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014063043A (ja) 撮影解析装置、その制御方法及び撮影解析装置用のプログラム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US20220344124A1 (en) Charged Particle Beam Device
US20220276170A1 (en) Information processing device and program
JP7046500B2 (ja) 画像表示装置、画像表示方法および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16799837

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017520626

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15573194

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE