WO2014030380A1 - 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム - Google Patents

画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム Download PDF

Info

Publication number
WO2014030380A1
WO2014030380A1 PCT/JP2013/059678 JP2013059678W WO2014030380A1 WO 2014030380 A1 WO2014030380 A1 WO 2014030380A1 JP 2013059678 W JP2013059678 W JP 2013059678W WO 2014030380 A1 WO2014030380 A1 WO 2014030380A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
target
range
area
region
Prior art date
Application number
PCT/JP2013/059678
Other languages
English (en)
French (fr)
Inventor
尾崎　良太
加藤　典司
熊澤　幸夫
亮子 薄葉
Original Assignee
富士ゼロックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士ゼロックス株式会社 filed Critical 富士ゼロックス株式会社
Priority to EP13830872.1A priority Critical patent/EP2889367B1/en
Priority to CN201380038139.9A priority patent/CN104487564B/zh
Priority to US14/407,158 priority patent/US9934571B2/en
Publication of WO2014030380A1 publication Critical patent/WO2014030380A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an image processing apparatus, a program, an image processing method, a computer readable medium, and an image processing system.
  • Patent Document 1 describes a technique for mechanically detecting NRBCs by searching for a cell matching the conditions such as color, shape, positional relationship, area ratio, and the like of NRBCs from a target image.
  • An object of the present invention is to provide an image processing apparatus, program and image processing system capable of narrowing down image candidates having high possibility of target cells based on criteria corresponding to different cell characteristics for each individual and determining whether or not target cells are included. To provide.
  • an acquisition unit for acquiring a captured image obtained by imaging a sample containing target cells, a setting unit for setting a target area for detecting the target cells in the captured image, and the target
  • An extraction unit for extracting a plurality of cell regions from a peripheral region including a region different from the region and a range of the feature amount that the target cell should have based on the feature amounts obtained from each of the plurality of cell regions
  • a range setting unit and a determination unit that determines whether the target cell is included in the target region when the feature amount obtained from the target region is included in the range of the feature amount set by the range setting unit.
  • an image processing apparatus including
  • the information processing apparatus further includes a state determination unit that determines whether the cells included in the cell region extracted by the extraction unit are in a dense state or in an isolated state, and the range setting unit determines by the state determination unit.
  • the range of the feature amount that the target cell should have is set for each cell state, and the determination unit determines the range setting unit for the state of the cell in which the feature amount obtained from the target region is included in the target region.
  • the image processing apparatus according to [1], wherein it is determined whether or not the target cell is included in the target region when it is included in the range of the feature amount set by the method.
  • the feature quantity is at least one of cell area, nucleus area, and area ratio of cell to nucleus
  • the extraction unit extracts a plurality of cell areas including nucleated cells from the peripheral area, respectively.
  • the range setting unit sets a range equal to or less than a threshold set within a range of feature amounts obtained from each of the plurality of cell regions as a range of feature amounts that the target cell should have [1] or [1] 2] may be used.
  • the feature quantity is at least one of cell area, nucleus area, and area ratio of cell to nucleus
  • the extraction unit extracts a plurality of cell areas including non-nucleated cells from the peripheral area respectively.
  • the range setting unit sets, as a range of feature amounts that the target cell should have, a range that sandwiches an average value or a median value of feature amounts obtained from each of the plurality of cell regions [1] or [2]. ] May be used.
  • a learning unit that performs machine learning based on sample images corresponding to positive and negative examples of the target cell, and a determination unit that determines the identification condition for identifying the target cell, the feature obtained from the target area
  • a determination unit that determines the identification condition for identifying the target cell, the feature obtained from the target area
  • the invention according to claim 6 is that the target cell is a nucleated red blood cell having a nucleus, and the image processing device is configured to select a candidate nuclear region as a candidate for the nucleus from the plurality of captured images.
  • the image processing apparatus further includes a region extraction unit that extracts based on at least one of a color and a concentration that the nucleus should have, and the setting unit sets the target region based on the range of sizes that the nucleus candidate region and the target cell can take.
  • the image processing apparatus according to any one of [1] to [5] may be set.
  • an acquisition unit for acquiring a captured image obtained by imaging a sample containing target cells a setting unit for setting a target area for detecting the target cells in the captured image, and An extraction unit that extracts a plurality of cell regions including cells from a peripheral region including a region other than the target region, and a feature amount that the target cell should have based on the feature amounts obtained from each of the plurality of cell regions
  • the range setting unit for setting a range and the feature amount obtained from the target region are included in the range of the feature amount set by the range setting unit, whether or not the target cell is included in the target region
  • a program for causing a computer to function as a determination unit A program for causing a computer to function as a determination unit.
  • a captured image obtained by capturing a sample containing target cells is acquired, a target region for detecting the target cells is set for the captured image, and a region other than the target region is set.
  • a plurality of cell areas each including cells are extracted from the surrounding area, and the range of the feature quantity that the target cell should have is set based on the feature quantity obtained from each of the plurality of cell areas, and from the target area
  • An image processing method that causes a computer to execute processing for determining whether the target cell is included in the target area when the obtained feature amount is included in the range of the feature amount set by the range setting unit. is there.
  • a captured image obtained by capturing a sample containing target cells is acquired, a target region for detecting the target cells is set for the captured image, and a region other than the target region is set.
  • a plurality of cell areas each including cells are extracted from the surrounding area, and the range of the feature quantity that the target cell should have is set based on the feature quantity obtained from each of the plurality of cell areas, and from the target area
  • the computer executes a process for image processing to determine whether the target cell is included in the target region.
  • Non-transitory computer readable medium storing a program for causing
  • the image processing apparatus includes an image processing apparatus, an optical microscope connected to the image processing apparatus, and a display apparatus connected to the image processing apparatus.
  • An acquisition unit for acquiring a captured image obtained by imaging a sample containing target cells; a setting unit for setting a target region for detecting the target cells in the captured image; and a peripheral region including a region different from the target region
  • An extraction unit for extracting a plurality of cell regions including cells; a range setting unit for setting a range of feature amounts that the target cell should have based on the feature amounts obtained from each of the plurality of cell regions;
  • An image processing system including: a determination unit that determines whether the target region is included in the target region when the feature amount obtained from the region is included in the range of the feature amount set by the range setting unit; A.
  • target cells can be determined by narrowing down image candidates having high possibility of target cells on the basis of the condition of the target cells.
  • nucleated red blood cells can be set by narrowing down image candidates having high possibility of nucleated red blood cells on the basis of the individual.
  • FIG. 1 shows an example of the system configuration of the image processing system 1 according to the present embodiment.
  • the image processing system 1 includes an optical microscope 10, an image processing device 20, an input device 50, and a display device 60.
  • the image processing device 20, the optical microscope 10, the input device 50, and the display device 60 are connected so as to be capable of data communication.
  • the optical microscope 10 captures an image of a sample on a slide glass 11 disposed on a sample stage with a CCD camera 14 via an optical system such as an objective lens 12.
  • the optical microscope 10 is provided with a focusing mechanism 13 for changing the distance between the slide glass 11 and the objective lens 12, and images the sample on the slide glass 11 at a plurality of different focal distances.
  • maternal blood is applied to the slide glass 11 and subjected to May-Giemsa staining.
  • NRBCs fetal-derived nucleated red blood cells
  • the NRBCs are hereinafter referred to as target cells.
  • the image processing apparatus 20 acquires a captured image obtained by capturing an image of a sample with the optical microscope 10, and detects a target cell from the obtained captured image. At this time, the image processing apparatus 20 sets a candidate area of the target cell in the captured image, and among the set candidate areas, those that do not match the conditions of the target cell are excluded from the candidate areas and then remaining candidate areas. It is processed by the classifier. The details of the target cell detection process performed by the image processing apparatus 20 will be described later.
  • the input device 50 is, for example, a device such as a keyboard or a mouse, and inputs an operation accepted from the user to the image processing device 20.
  • the image processing device 20 may use information on an image area designated by the user using the input device 50 as an image feature of a positive example, negative example, or other specific cell of a target cell. It may be acquired as learning information for learning.
  • the display device 60 is, for example, a liquid crystal display device or the like, and displays a screen based on the result of processing by the image processing device 20.
  • the display device 60 displays a captured image captured by the optical microscope 10, a detection result of a target cell by the image processing device 20, and the like.
  • FIG. 2 shows a functional block diagram of the image processing apparatus 20.
  • the image processing apparatus 20 includes a captured image acquisition unit 21, a nucleus candidate area extraction unit 22, a cell candidate area setting unit 23, a selection condition setting unit 24, a peripheral cell extraction unit 25, and a cell state determination unit 26, cell type determination unit 27, feature extraction cell selection unit 28, morphological feature amount calculation unit 29, target cell condition setting unit 30, candidate determination unit 31, identification feature amount calculation unit 32, target cell identification unit 33, detection result generation A unit 34 and a display control unit 35 are provided.
  • the functions of the above-described units included in the image processing apparatus 20 are computer readable information storage media readable by a computer including control means such as a CPU, storage means such as a memory, and input / output means for transmitting and receiving data with external devices. It may be realized by reading and executing a program stored in.
  • the program may be supplied to the image processing apparatus 20 as a computer by means of an information storage medium such as an optical disc, a magnetic disc, a magnetic tape, a magneto-optical disc, a flash memory, etc. It may be supplied to the processing device 20.
  • the captured image acquisition unit 21 acquires, from the optical microscope 10, a captured image obtained by capturing an image of a sample by the CCD camera 14 provided in the optical microscope 10.
  • the image acquired by the captured image acquisition unit 21 may be displayed on the display device 60 by the display control unit 35.
  • the nucleus candidate area extraction unit 22 selects a candidate area of the nucleus based on the pixel whose color (RGB value) or density is in a predetermined range for each captured image acquired by the captured image acquisition unit 21. Extract.
  • the nucleus candidate area extraction unit 22 may binarize the pixels in the captured image with a predetermined color (or density) threshold, and specifically, the color (or density) is more than the threshold Alternatively, dark pixels (or more than the threshold value) may be extracted as black pixels.
  • the nucleus candidate area extraction unit 22 calculates a plurality of sets (pixel groups) in which pixels extracted from the respective images acquired by the captured image acquisition unit 21 are connected, and a rectangular parallelepiped area circumscribing each set is regarded as a nucleus candidate area. It is good to do.
  • the cell candidate area setting unit 23 sets a cell candidate area that can be a candidate for a target cell within the captured image acquired by the imaged image acquisition unit 21 based on the nucleus candidate area extracted by the nucleus candidate area extraction unit 22 Do.
  • a specific example of processing by the cell candidate region setting unit 23 will be described.
  • the cell candidate region setting unit 23 estimates a possible range of cell sizes based on the projection size of the nucleus candidate region extracted by the nucleus candidate region extraction unit 22 on the slide glass surface and a predetermined relational expression. .
  • the cell candidate region setting unit 23 estimates a range (for example, a rectangular region) which can be taken by the nucleated red blood cell on the slide glass surface, based on the relational expression between the nucleus in the nucleated red blood cell and the range of the cell size. It is good.
  • the cell candidate area setting unit 23 sets a rectangular area of the estimated range as a cell existing area, centering on one point in the nucleus candidate area.
  • the cell candidate area setting unit 23 is a cell that may contain a target cell based on the nucleus candidate area extracted by the nucleus candidate area extraction unit 22 and the cell existing area on the slide glass surface estimated above. Set the candidate area.
  • FIG. 3 shows an example of the nucleus candidate region extracted by the nucleus candidate region extraction unit 22 and the cell candidate region set by the cell candidate region setting unit 23.
  • the circumscribed rectangle of the black pixel group in FIG. 3 is a nucleus candidate region, and the rectangular region set outside the nucleus candidate region is a cell candidate region.
  • the selection condition setting unit 24 sets conditions of cells to be extracted and selected as peripheral cells of the cell candidate region. For example, the selection condition setting unit 24 may set an extraction area of peripheral cells centered on the cell candidate area of interest. The extraction region of the peripheral cells may be the entire captured image, or may be a range within a designated distance centered on the cell candidate region of interest. Further, the selection condition setting unit 24 may specify the condition of the cell to be selected among the cells extracted from the extraction area of the surrounding cells. For example, cell conditions may be determined by designation of at least one of cell type and cell state. The cell type is either nucleated cells or non-nucleated cells, and the cell state is either a dense state in which other cells are in contact with the surrounding area or an isolated state in which other cells are not in contact. It is good. Further, the selection condition setting unit 24 may set the selection condition based on the information received from the input device.
  • the peripheral cell extraction unit 25 extracts a plurality of image regions (cell regions) of cells included in the extraction region from the extraction region of the peripheral cells set by the selection condition setting unit 24 for the cell candidate region of interest.
  • the peripheral cell extraction unit 25 may perform outline detection on the image included in the extraction area of the peripheral cells, and extract each cell area based on the detected outline.
  • the peripheral cell extraction unit 25 may extract a rectangular area surrounding the detected outline or outline as a cell area, or if the outline further includes an outline, the outermost outline is included. The cell area may be extracted based on that.
  • the cell state determination unit 26 determines the state of the cells included in the cell area based on the cell area extracted by the peripheral cell extraction unit 25. For example, the cell state determination unit 26 calculates the degree of circularity (curvature) of the cells (outline) included in the cell region, and the calculated degree of circularity is equal to or greater than the threshold (ie, a shape close to a circle) May be determined to be in an isolated state, otherwise in a dense state.
  • 4A and 4B show examples of isolated and dense cells.
  • FIG. 4A is an example of isolated cells
  • FIG. 4B is an example of cells in a dense state.
  • the cell type determination unit 27 determines the type of cells included in the cell region based on the cell region extracted by the peripheral cell extraction unit 25. For example, if the cell region includes a nuclear candidate region, the cell type determination unit 27 may determine that the region is a nucleated cell, otherwise it may be a non-nucleated cell, or the contour may be set in the cell region. If is detected, it may be determined to be a nucleated cell, or otherwise a non-nucleated cell.
  • 5A and 5B show examples of nucleated cells and non-nucleated cells. FIG. 5A is an example of a nucleated cell, and FIG. 5B is an example of a non-nucleated cell.
  • the feature extraction cell selection unit 28 selects a cell region that meets the selection condition set by the selection condition setting unit 24 among the cell regions extracted by the peripheral cell extraction unit 25. For example, the feature extraction cell selection unit 28 selects the cell condition and the cell type determined by the cell condition determination unit 26 and the cell type determination unit 27 among the cell regions extracted by the peripheral cell extraction unit 25. A cell region that matches the conditions set by the setting unit 24 is selected and output to the morphological feature quantity calculation unit 29. When the cell condition is not specified by the selection condition setting unit 24, the extracted cell region may be output to the morphological feature quantity calculation unit 29 together with the information on the cell type and the cell state. .
  • the morphological feature quantity calculation unit 29 calculates a morphological feature quantity of the cell area selected by the feature extraction cell selection unit 28.
  • the morphological feature quantity calculation unit 29 may calculate the morphological feature quantity from a region obtained by expanding the cell area input from the feature extraction cell selection unit 28 vertically and horizontally by a constant multiple.
  • the morphological feature any one of the area of the nucleus (A), the area of the cell (B), and the area ratio of the nucleus to the cell (A / B) may be used.
  • the area of the nucleus may be calculated as the area of the nucleus candidate area contained in the cell area (or the area in the outline detected from the cell area), and the area of the cell is in the outline of the cell area It may be calculated as the area of
  • the morphological feature quantity calculation unit 29 outputs, to the target cell condition setting unit 30, the morphological feature quantity obtained from the cell area that matches the condition of each cell (for example, a combination of cell type and cell state). .
  • FIG. 6 to 8 show diagrams for explaining examples of calculation of morphological feature quantities.
  • a dotted portion in FIG. 6 is a cell area A
  • the morphological feature value is calculated from an area B in which the cell area is expanded by a constant multiple in the vertical and horizontal directions.
  • the area of the cell is calculated from the area which is the outermost outline among the outlines detected from the inside of the set area B, and the outline is the area constituting the closed area.
  • the ratio of the area of the rectangular area set for the cell (cell area) to the area of the rectangular area set for the nucleus area (nuclear area) is the area of the nucleus and the cell It may be calculated as a ratio.
  • the target cell condition setting unit 30 sets conditions that the morphological feature obtained from the image area including the target cell should satisfy based on the morphological feature of the cell region calculated by the morphological feature calculator 29. For example, the target cell condition setting unit 30 determines the morphological feature value obtained from the image area including the target cell as follows based on the cell condition and the morphological feature value obtained from the cell region meeting the condition. Set up conditions to be satisfied (specifically, the first to fourth target cell conditions described below).
  • the target cell condition setting unit 30 is obtained from the cell region that meets the condition.
  • the average value (or median value or the like) C1 of the morphological feature quantities is calculated, and for the morphological feature quantity X calculated from the image area of the target cell, setting that X ⁇ C1 is set as the first target cell condition. This is based on the fact that nucleated red blood cells are smaller in size than white blood cells which are nucleated cells other than nucleated red blood cells.
  • the target cell condition setting unit 30 is obtained from the cell region that meets the condition.
  • the average value (or median value or the like) C2 of the morphological feature quantities is calculated, and for the morphological feature quantity X calculated from the image area of the target cell, setting that X ⁇ C2 is set as the second target cell condition. This is based on the fact that nucleated red blood cells are smaller in size than white blood cells which are nucleated cells other than nucleated red blood cells.
  • the target cell condition setting unit 30 is obtained from a cell region that meets the conditions if it is specified that the cell type includes non-nucleated cells and the cell state is an isolated state in the cell conditions.
  • the average value (or median value etc.) C3 of morphological feature quantities is calculated, and a range of C3min ⁇ C3 ⁇ C3max is set, and for the morphological feature quantity X calculated from the image area of the target cell, C3min ⁇ X ⁇ C3max Is set as the third target cell condition. This is based on the average size of nucleated red blood cells relative to non-nucleated cells.
  • the range of C3min ⁇ C3 ⁇ C3max may be determined such that a predetermined percentage of cell regions belong to this range.
  • the target cell condition setting unit 30 is obtained from a cell region that meets the conditions when the cell condition includes that the cell type includes non-nucleated cells and the cell condition is a dense state.
  • the average value (or median value etc.) C4 of morphological feature quantities is calculated, and a range of C4min ⁇ C4 ⁇ C4max is set, and for the morphological feature quantity X calculated from the image area of the target cell, C4min ⁇ X ⁇ C4max Is set as the fourth target cell condition. This is based on the average size of nucleated red blood cells relative to non-nucleated cells.
  • the range of C4min ⁇ C4 ⁇ C4max may be determined such that a predetermined ratio of cell regions falls within this range.
  • the candidate determination unit 31 sets, using the morphological feature of the cell candidate region and the target cell condition setting unit 30, whether the target cell is to be detected as a candidate for detecting the target cell from the cell candidate region set by the cell candidate region setting unit 23. Based on the target cell condition determined. For example, the candidate determination unit 31 selects a target cell condition based on the state (isolated state or dense state) of the cell candidate region, and based on the selected target cell condition and the morphological feature of the cell candidate region. It may be determined whether or not to make a target cell detection candidate. Specifically, when the state of the cell candidate region is in the isolated state, the candidate determination unit 31 selects the first or third target cell condition, and satisfies one or both of the selected target cell conditions.
  • a cell candidate region may be determined as a target cell detection candidate. Further, the candidate determination unit 31 selects the second or fourth target cell condition when the state of the cell candidate region is in the dense state, and satisfies one or both of the selected target cell conditions. The cell candidate region may be determined as a target cell detection candidate.
  • the discrimination feature quantity calculation unit 32 enlarges or reduces the cell candidate region targeted for detection of the target cell by the candidate judgment unit 31 to a designated image size, and then calculates the discrimination feature quantity for them.
  • the identification feature amount is an image feature amount for learning / identification used for learning processing and identification processing in the target cell identification unit 33, and for example, an HOG feature amount may be used.
  • the HOG feature may be calculated as follows.
  • the target image is divided into B blocks consisting of A cells, and the direction of the brightness gradient from the brightness gradient direction and the brightness gradient strength in the plane of the image (X direction and Y direction) for each cell constituting each block Histograms ([the value of the first gradient direction, the value of the second gradient direction, ..., the value of the Nth gradient direction]) are determined, and normalization is performed in block units such that the root mean square thereof becomes 1 .
  • a ⁇ N values generated by combining normalized luminance gradient direction histograms in blocks are used as feature amounts of blocks, and A ⁇ B ⁇ N items are generated by combining all blocks in the target image.
  • the value of is used as the HOG feature of the target image.
  • the identification feature amount and the morphological feature amount may be configured as different feature amounts or may be configured as the same feature amount.
  • the identification feature amount calculation unit 32 After calculating the identification feature amount for the input captured image, the identification feature amount calculation unit 32 outputs the calculated identification feature amount to the target cell identification unit 33.
  • the target cell identification unit 33 determines the number of cells included in the cell candidate region based on the identification feature value calculated for the cell candidate region targeted for detection of the target cell by the candidate determination unit 31 and the learning parameter learned in advance. Identify the target cell.
  • the learning process in the target cell identification unit 33 may be performed as follows.
  • the target cell identification unit 33 receives, in the image acquired by the captured image acquisition unit 21, designation of an image area to be used for learning processing.
  • the designation of the image area may be performed via the input device 50. For example, when learning the discrimination between a target cell (nucleated red blood cell) and an image other than the target cell identification unit 33, the image area in which the target cell is projected in the imaged image is taken as a positive example. Accept the image area where the target cell is not projected as a negative example. Then, the target cell identification unit 33 generates a learning parameter based on the identification feature amount calculated by the identification feature amount calculation unit 32 for the positive and negative image regions.
  • the detection result generation unit 34 generates, based on the processing result of the target cell identification unit 33, information of the image area including the cell candidate area detected as the target cell and the coordinates thereof.
  • a control signal for controlling the optical microscope 10 may be output to the optical microscope 10 so as to move the imaging range of the optical microscope 10 to the coordinates generated by the detection result generation unit 34.
  • the display control unit 35 outputs display control information for displaying the image area and the coordinates generated by the detection result generation unit 34 to the display device 60. Thereby, the display device 60 displays the target cell, the detected image area, and the coordinates.
  • the image processing apparatus 20 acquires a captured image to be processed (S101), and performs binarization processing on each of the acquired captured images. Next, the image processing apparatus 20 extracts a nuclear candidate region that can become the nucleus of the target cell in the captured image after binarization processing (S102), and sets a cell candidate region based on the set nuclear candidate region (S102). S103).
  • the image processing apparatus 20 sets the initial value of the variable i to 1, and selects the i-th cell candidate area Ai (S104), and extracts the peripheral cells (cell area) of the selected cell candidate area Ai (S105).
  • the image processing apparatus 20 sets the initial value of the variable j to 1 and selects the j-th peripheral cell Bj (S106), and if the selected peripheral cell Bj satisfies the defined cell selection condition (S107: Y And the morphological feature of the peripheral cell Bj is calculated and stored as Ck (the initial value of the variable k is 1) (S108).
  • cell selection conditions may be specified by cell type (nucleated cells or non-nucleated cells) and cell state (congested state or isolated state). Details of the process of S108 will be described later.
  • the image processing apparatus 20 increments k (S110). After S110 or in S107, if the peripheral cell Bj does not satisfy the predetermined cell selection condition (S107: N), the image processing apparatus 20 determines whether or not unprocessed peripheral cells remain. It judges (S111). Here, if unprocessed peripheral cells remain (S111: Y), j is incremented (S112), and the process returns to S106.
  • the image processing apparatus 20 stores The condition (target cell condition) relating to the morphological feature of the target cell is set based on the calculated morphological feature Ck (S113). Details of the process of S113 will be described later.
  • the image processing device 20 calculates the form feature amount of the cell candidate region Ai, and when it is determined that the cell candidate region Ai satisfies the target cell condition based on the calculated form feature amount (S114: Y), An identification process is performed to identify whether the target area is included in the candidate area Ai (S115). Details of the process of S115 will be described later.
  • the image processing apparatus 20 determines whether there is an unprocessed cell candidate area or not (S114: N) Is determined (S116).
  • S114: N the unprocessed cell candidate area or not
  • i is incremented (S117)
  • the process returns to S104, and it is determined that there is no unprocessed cell candidate region. (S116: N)
  • the process ends. Note that after it is determined that there is no unprocessed cell candidate region (S116: N), an image region determined to include the target cell may be displayed on the display device.
  • the image processing apparatus 20 acquires the cell type of the peripheral cell Bj based on the determination result of the cell type determination unit 27 (S201), and the cell state of the peripheral cell Bj is determined by the cell state determination unit 26. It acquires based on the determination result of (S202).
  • the image processing apparatus 20 determines that Bj is The morphological feature is stored as a nucleated or isolated morphological feature (S205), and the process returns.
  • the image processing device 20 When the cell type of the peripheral cell Bj is a nucleated cell (S203: Y) and the cell state of the peripheral cell Bj is in a dense state (not in an isolated state) (S204: N), the image processing device 20 The morphological feature quantities of Bj are stored as nucleated and dense morphological feature quantities (S206), and the process returns.
  • the image processing device 20 determines the morphological feature of Bj. Is stored as a formless feature amount of nuclear-free and isolated (S208), and the process returns.
  • the image processing apparatus 20 When the cell type of the peripheral cell Bj is not a nucleated cell (S203: N) and the cell state of the peripheral cell Bj is in a dense state (not isolated state) (S207: N), the image processing apparatus 20 The morphological feature amount of Bj is stored as the feature feature amount of no nucleus and denseness (S209), and the process returns.
  • the image processing apparatus 20 acquires a set G1 of nucleated and isolated morphological feature quantities among the stored morphological feature quantities of peripheral cells (S301), and the elements of the acquired set G1
  • the average value C1 (or the median value) of the above may be calculated (S302).
  • the image processing apparatus 20 sets X ⁇ C1 as a condition to be satisfied by the morphological feature of the target cell in the isolated state, when the morphological feature of the nucleated red blood cell (target cell) is X (S303).
  • the image processing apparatus 20 acquires a set G2 of nucleated and dense form feature quantities among the stored form feature quantities of peripheral cells (S304), and the average value C2 of the elements of the obtained set G2 ( Or the median may be calculated (S305). Then, the image processing apparatus 20 sets X ⁇ C2 as a condition to be satisfied by the morphological feature quantity of the target cells in the dense state, when the morphological feature quantity X of nucleated red blood cells (target cells) is used (S306).
  • the image processing apparatus 20 acquires a set G3 of non-nucleated and isolated morphological feature quantities among the stored morphological feature quantities of peripheral cells (S307), and the average value C3 (or median value) of the elements of the acquired set G3
  • the range [C3 min, C3 max] including the above may be calculated (S308).
  • the image processing apparatus 20 sets C3min ⁇ X ⁇ C3max as a condition that the morphological feature value of the target cell in the isolated state should satisfy, when the morphological feature value X of nucleated red blood cells (target cells) is set (S309). ).
  • the image processing apparatus 20 acquires a set G4 of non-nucleated and isolated morphological feature quantities among the stored morphological feature quantities of peripheral cells (S310), and the average value C4 (or median value) of the elements of the acquired set G4
  • the range [C4min, C4max] including the above may be calculated (S311).
  • the image processing apparatus 20 sets C4min ⁇ X ⁇ C4max as a condition that the morphological feature of the target cell in the isolated state should satisfy, when the morphological feature of the nucleated red blood cell (target cell) is X (S312) ), To return.
  • target cell conditions for all combinations of nucleated, non-nucleated cell tumors, isolated and dense cell states has been described, but at least one of them or nucleated Alternatively, target cell conditions may be set for isolated and dense cell states relative to any of the non-nucleated cells.
  • the image processing apparatus 20 executes the following processing.
  • the image processing apparatus 20 calculates the morphological feature amount Xi of the cell candidate area Ai (S402), and acquires the cell state of the cell candidate area Ai based on the determination result of the cell state determination unit 26 (S403).
  • the image processing apparatus 20 determines whether Xi is less than or equal to C1 (S405), and Xi is less than or equal to C1. If (S405: Y), the cell candidate area Ai is set as a candidate area for nucleated red blood cells (target cells) (S406), and if Xi is larger than C1 (S405: N), the cell candidate area Ai is selected. It excludes from the candidate region of nucleated red blood cells (target cells) (S407), and returns.
  • the image processing apparatus 20 determines whether Xi is C2 or less (S408), If Xi is equal to or less than C2 (S408: Y), the cell candidate region Ai is set as a candidate region for nucleated red blood cells (target cells) (S406), and if Xi is larger than C2 (S408: N) The candidate area Ai is excluded from candidate areas of nucleated red blood cells (target cells) (S407), and the process returns.
  • the image processing device 20 executes the following processing.
  • the image processing apparatus 20 calculates the morphological feature amount Xi of the cell candidate area Ai (S409), and acquires the cell state of the cell candidate area Ai based on the determination result of the cell state determination unit 26 (S410).
  • the image processing apparatus 20 determines whether Xi is C3 min or more and C3 max or less (S412). When Xi is C3 min or more and C3 max or less (S412: Y), the cell candidate area Ai is set as a nucleated red blood cell (target cell) candidate area (S413). If Xi is not C3 min or more and C3 max or less (S412: N), the cell candidate area Ai is excluded from the candidate areas of nucleated red blood cells (target cells) (S414), and the process returns.
  • the image processing apparatus 20 determines whether Xi is C4 min or more and C4 max or less (S415) ). If Xi is C4 min or more and C4 max or less (S415: Y), the cell candidate area Ai is set as a nucleated red blood cell (target cell) candidate area (S413). If Xi is not C4 min or more and C4 max or less (S415: N), the cell candidate area Ai is excluded from the candidate areas of nucleated red blood cells (target cells) (S414), and the process returns.
  • the image processing apparatus 20 acquires an image of a cell candidate region Ai satisfying a target cell condition (S501), and an image feature amount of the cell candidate region Ai (identification feature amount) based on the acquired image. ) Is calculated (S502). Then, based on the image feature quantity calculated in S502, it is determined whether or not the target cell is included in the cell candidate area Ai by the classifier learned in advance (S503), and the target cell is included. In the case (S503: Y), the coordinates and the size of the cell candidate area Ai are stored (S504), and the process returns. In addition, also when the target cell is not contained (S503: N), it returns.
  • the reference of the target cell according to the individual is set, and the image candidate with high possibility of the target cell based on the set reference
  • the determination accuracy of the target cell is improved as compared to the case where such narrowing is not performed.
  • the present invention is not limited to the above embodiment.
  • the target cell identification unit 33 determines whether each of the cell candidate regions is a target cell or not, and as a result, the candidate determination unit 31 determines a candidate for a target cell for the cell candidate region determined to be a target cell. It may be determined whether there is any. Then, it may be determined that the target cell is included in the cell candidate region determined as the candidate of the target cell by the candidate determination unit 31.
  • target cell conditions may be generated regardless of the state of cells.
  • the target cell is not limited to NRBCs, and another cell may be used as a target cell.
  • the image processing apparatus, program, image processing method, computer readable medium, and image processing system according to the present invention are useful for mechanically detecting cells such as NRBCs.
  • SYMBOLS 1 image processing system 10 optical microscope, 11 slide glass, 12 objective lens, 13 focusing mechanism, 14 CCD camera, 20 image processing device, 21 captured image acquisition part, 22 nucleus candidate area extraction part, 23 cell candidate area setting part , 24 selection condition setting unit, 25 peripheral cell extraction unit, 26 cell state determination unit, 27 cell type determination unit, 28 feature extraction cell selection unit, 29 morphological feature value calculation unit, 30 target cell condition setting unit, 31 candidate determination unit , 32 identification feature value calculation unit, 33 target cell identification unit, 34 detection result generation unit, 35 display control unit, 50 input device, 60 display device

Abstract

　画像処理装置２０は、標的細胞を含む試料を撮像した撮像画像を取得し、撮像画像について標的細胞を検出する対象領域を設定する設定し、対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、複数の細胞領域のそれぞれから得た特徴量に基づいて標的細胞が有すべき特徴量の範囲を設定し、対象領域から得た特徴量が設定された特徴量の範囲に含まれる場合に、対象領域に標的細胞が含まれるか否かを判定する。

Description

画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
　本発明は、画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システムに関する。
　特許文献１には、ＮＲＢＣｓの色、形状、位置関係、面積比等の条件に合致する細胞を対象画像から探索することにより、ＮＲＢＣｓを機械的に検出する技術が記載されている。
日本国特許第４３４６９２３号公報
　本発明の目的は、個体毎に異なる細胞の特徴に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞が含まれるか否かを判定できる画像処理装置、プログラム及び画像処理システムを提供することにある。
　［１］本発明のある観点によれば、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、前記対象領域とは異なる領域を含む周辺領域から複数の細胞領域を抽出する抽出部と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部と、を含む画像処理装置である。
　［２］前記抽出部により抽出した細胞領域に含まれる細胞が密集状態にあるか孤立状態にあるかを判定する状態判定部をさらに含み、前記範囲設定部は、前記状態判定部によって判定された細胞の状態ごとに前記標的細胞が有すべき特徴量の範囲をそれぞれ設定し、前記判定部は、前記対象領域から得た特徴量が、前記対象領域に含まれる細胞の状態について前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する［１］に記載の画像処理装置でもよい。
　［３］前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも１つであり、前記抽出部は、前記周辺領域からそれぞれ有核細胞を含む複数の細胞領域を抽出し、前記範囲設定部は、前記複数の細胞領域のそれぞれから得た特徴量の範囲内に設定した閾値以下の範囲を、前記標的細胞が有すべき特徴量の範囲として設定する［１］又は［２］に記載の画像処理装置でもよい。
　［４］前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも１つであり、前記抽出部は、前記周辺領域からそれぞれ無核細胞を含む複数の細胞領域を抽出し、前記範囲設定部は、前記複数の細胞領域のそれぞれから得た特徴量の平均値又は中央値を挟む範囲を、前記標的細胞が有すべき特徴量の範囲として設定する［１］又は［２］に記載の画像処理装置でもよい。
　［５］前記標的細胞を識別する識別条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像に基づいて機械学習する学習部と、前記判定部は、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを前記識別条件に基づいて判定する［１］から［４］のいずれか一つに記載の画像処理装置でもよい。
　［６］請求項６に記載の発明は、前記標的細胞は、核を有する有核赤血球であり、前記画像処理装置は、前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は濃度の少なくとも一方に基づいて抽出する領域抽出部をさらに含み、前記設定部は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する［１］から［５］のいずれか一つに記載の画像処理装置でもよい。
　［７］本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出部と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部としてコンピュータを機能させるためのプログラムである。
　［８］本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得し、前記撮像画像について前記標的細胞を検出する対象領域を設定し、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、処理をコンピュータに実行させる画像処理方法である。
　［９］本発明の他の観点によれば、標的細胞を含む試料を撮像した撮像画像を取得し、前記撮像画像について前記標的細胞を検出する対象領域を設定し、前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、画像処理のための処理をコンピュータに実行させるプログラムを記憶する非一時的なコンピュータ読み取り媒体である。
　［１０］本発明の他の観点によれば、画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置と、を含み、前記画像処理装置は、標的細胞を含む試料を撮像した撮像画像を取得する取得部と、前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、前記対象領域とは異なる領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出部と、前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部と、を含む画像処理システムである。
　［１］、［７］、［８］、［９］及び［１０］に記載の構成（処理）によれば、個体毎に異なる細胞の特徴に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞が含まれるか否かを判定できる。
　［２］に記載の発明によれば、対象の細胞の状態に応じた基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を判定できる。
　［３］に記載の発明によれば、試料に含まれる有核細胞の特徴に応じて設定した基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を設定できる。
　［４］に記載の発明によれば、試料に含まれる無核細胞の特徴に応じて設定した基準で標的細胞の可能性が高い画像候補を絞り込んで標的細胞を設定できる。
　［５］に記載の発明によれば、予め学習した基準に基づいて標的細胞の可能性が高い画像候補に標的細胞が含まれるか否かを判定できる。
　［６］に記載の発明によれば、個体に応じた基準で有核赤血球の可能性が高い画像候補を絞り込んで有核赤血球を設定できる。
本実施形態に係る画像処理システムのシステム構成例を示す図である。 画像処理装置の機能ブロック図である。 核候補領域と細胞候補領域の例を示した図である。 孤立状態の細胞の例を示した図である。 密集状態の細胞の例を示した図である。 有核細胞の例を示した図である。 無核細胞の例を示した図である。 形態特徴量の算出例を説明する図である。 形態特徴量の算出例を説明する図である。 形態特徴量の算出例を説明する図である。 標的細胞を検出する処理のフローチャートである。 形態特徴量の保存処理のフローチャートである。 標的細胞条件の設定処理のフローチャートである。 標的細胞の検出候補判定処理のフローチャートである。 標的細胞の識別処理のフローチャートである。
　以下、本発明を実施するための実施の形態（以下、実施形態という）を、図面に従って説明する。
　図１には、本実施形態に係る画像処理システム１のシステム構成例を示した。図１に示されるように画像処理システム１は、光学顕微鏡１０、画像処理装置２０、入力装置５０、表示装置６０を含む。画像処理装置２０と光学顕微鏡１０、入力装置５０及び表示装置６０とはデータ通信可能に接続されている。
　光学顕微鏡１０は、試料台に配置されたスライドグラス１１上の試料を、対物レンズ１２等の光学系を介してＣＣＤカメラ１４で撮像する。光学顕微鏡１０は、スライドグラス１１と対物レンズ１２との距離を変化させる焦準機構１３を備え、スライドグラス１１上の試料を複数の異なる焦点距離で撮像するようになっている。本実施形態では、試料には、母体血をスライドグラス１１に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球（ＮＲＢＣｓ）が青紫色に染色される。以下、ＮＲＢＣｓを標的細胞と称する。
　画像処理装置２０は、光学顕微鏡１０で試料を撮像した撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞を検出する。この際、画像処理装置２０は、撮像画像中に標的細胞の候補領域を設定し、設定した候補領域のうち標的細胞の条件に合致しないものは候補領域から除外した上で、残った候補領域について識別器による処理対象とする。なお、画像処理装置２０において行われる標的細胞の検出処理の詳細については後述する。
　入力装置５０は、例えばキーボードやマウス等のデバイスであり、ユーザから受け付けた操作を画像処理装置２０に入力する。例えば、画像処理装置２０は、表示装置６０に表示された画像に対し、ユーザが入力装置５０によって指定した画像領域の情報を標的細胞の正例、負例、又は他の特定細胞の画像特徴を学習するための学習情報として取得することとしてよい。
　表示装置６０は、例えば液晶表示装置等であり、画像処理装置２０による処理の結果に基づいて画面を表示する。例えば、表示装置６０には、光学顕微鏡１０で撮像された撮像画像や、画像処理装置２０による標的細胞の検出結果等が表示される。
　次に、本実施形態に係る画像処理装置２０に備えられる機能について説明する。
　図２には、画像処理装置２０の機能ブロック図を示した。図２に示されるように、画像処理装置２０は、撮像画像取得部２１、核候補領域抽出部２２、細胞候補領域設定部２３、選択条件設定部２４、周辺細胞抽出部２５、細胞状態判定部２６、細胞種類判定部２７、特徴抽出細胞選択部２８、形態特徴量算出部２９、標的細胞条件設定部３０、候補判定部３１、識別特徴量算出部３２、標的細胞識別部３３、検出結果生成部３４、及び表示制御部３５を備える。
　画像処理装置２０に備えられる上記の各部の機能は、ＣＰＵ等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータが、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によってコンピュータたる画像処理装置２０に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置２０に供給されることとしてもよい。
　撮像画像取得部２１は、光学顕微鏡１０に備えられたＣＣＤカメラ１４より試料を撮像した撮像画像を光学顕微鏡１０から取得する。なお、撮像画像取得部２１で取得された画像は、表示制御部３５により表示装置６０に表示させることとしてもよい。
　核候補領域抽出部２２は、撮像画像取得部２１で取得された各撮像画像に対して、色（ＲＧＢ値）又は濃度が予め定められた範囲内にある画素に基づいて、核の候補領域を抽出する。例えば、核候補領域抽出部２２は、撮像画像内の画素を、予め定められた色（又は濃度）の閾値により二値化することとしてよく、具体的には、色（又は濃度）が閾値よりも（又は閾値以上）濃い画素を黒画素として抽出することとしてよい。核候補領域抽出部２２は、撮像画像取得部２１で取得された各画像から抽出された画素が連結した複数の集合（画素群）を算出し、各集合に外接する直方体領域を核候補領域とすることとしてよい。
　細胞候補領域設定部２３は、核候補領域抽出部２２により抽出された核候補領域に基づいて、撮像画像取得部２１で取得された撮像画像の内部に標的細胞の候補となり得る細胞候補領域を設定する。以下、細胞候補領域設定部２３による処理の具体例について説明する。
　細胞候補領域設定部２３は、核候補領域抽出部２２により抽出された核候補領域のスライドグラス面への射影サイズと、予め定めた関係式とに基づいて、細胞サイズのとり得る範囲を推定する。例えば、細胞候補領域設定部２３は、有核赤血球における核と細胞のサイズの範囲との関係式に基づいて、スライドグラス面上で有核赤血球がとり得る範囲（例えば矩形領域）を推定することとしてよい。具体的には、細胞候補領域設定部２３は、核候補領域内の一点を中心として、上記推定された範囲の矩形領域を細胞存在領域として設定する。
　細胞候補領域設定部２３は、核候補領域抽出部２２により抽出された核候補領域と、上記推定したスライドグラス面上での細胞存在領域とに基づいて、標的細胞が含まれる可能性がある細胞候補領域を設定する。
　図３には、核候補領域抽出部２２により抽出される核候補領域と、細胞候補領域設定部２３により設定される細胞候補領域の例を示した。図３における、黒画素群の外接矩形が核候補領域であり、その外側に設定されている矩形領域が細胞候補領域である。
　選択条件設定部２４は、細胞候補領域の周辺細胞として抽出、選択する細胞の条件を設定する。例えば、選択条件設定部２４は、注目する細胞候補領域を中心とした周辺細胞の抽出領域を設定することとしてよい。周辺細胞の抽出領域は、撮像画像全体としてもよいし、注目する細胞候補領域を中心とした指定距離内にある範囲としてもよい。また、選択条件設定部２４は、周辺細胞の抽出領域から抽出された細胞のうち、選択する細胞の条件を指定することとしてもよい。例えば、細胞の条件は、細胞の種類及び細胞の状態の少なくとも一方の指定により定められることとしてよい。なお、細胞の種類とは、有核細胞と無核細胞のいずれか、細胞の状態とは、周囲に他の細胞が接している密集状態と、他の細胞が接していない孤立状態のいずれかとしてよい。また、選択条件設定部２４は、入力装置から受け付けた情報に基づいて選択条件を設定することとしてよい。
　周辺細胞抽出部２５は、注目する細胞候補領域について、選択条件設定部２４により設定された周辺細胞の抽出領域から、当該抽出領域内に含まれる細胞の画像領域（細胞領域）を複数抽出する。例えば、周辺細胞抽出部２５は、周辺細胞の抽出領域に含まれる画像について輪郭検出を行い、検出された輪郭に基づいて各細胞領域を抽出することとしてよい。ここで、周辺細胞抽出部２５は、検出された輪郭又は輪郭を囲む矩形領域を細胞領域として抽出することとしてもよいし、輪郭の内部に更に輪郭が含まれる場合には、最も外側の輪郭に基づいて細胞領域を抽出することとしてもよい。
　細胞状態判定部２６は、周辺細胞抽出部２５により抽出された細胞領域に基づいて、当該細胞領域に含まれる細胞の状態を判定する。例えば、細胞状態判定部２６は、細胞領域内に含まれる細胞（輪郭）の円形度（湾曲率）を算出し、算出された円形度が閾値以上の場合（すなわち円に近い形状である場合）には、孤立状態、そうでなければ密集状態であると判定することとしてよい。なお、図４Ａと図４Ｂには、孤立状態と密集状態の細胞の例を示した。図４Ａが孤立状態、図４Ｂが密集状態の細胞の一例である。
　細胞種類判定部２７は、周辺細胞抽出部２５により抽出された細胞領域に基づいて、当該細胞領域に含まれる細胞の種類を判定する。例えば、細胞種類判定部２７は、細胞領域内に核候補領域が含まれる場合には、有核細胞、そうでなければ無核細胞であると判定することとしてもよいし、細胞領域内に輪郭が検出された場合には、有核細胞、そうでなければ無核細胞であると判定することとしてもよい。なお、図５Ａと図５Ｂには、有核細胞と無核細胞の例を示した。図５Ａが有核細胞、図５Ｂが無核細胞の一例である。
　特徴抽出細胞選択部２８は、周辺細胞抽出部２５により抽出された細胞領域のうち、選択条件設定部２４により設定された選択条件に合致する細胞領域を選択する。例えば、特徴抽出細胞選択部２８は、周辺細胞抽出部２５により抽出された細胞領域のうち、細胞状態判定部２６と細胞種類判定部２７によりそれぞれ判定された細胞状態と細胞種類とが、選択条件設定部２４により設定された条件に合致する細胞領域を選択し、形態特徴量算出部２９に出力する。なお、選択条件設定部２４により、細胞の条件が指定されていない場合には、抽出された細胞領域を、その細胞種類と細胞状態の情報とともに形態特徴量算出部２９に出力することとしてもよい。
　形態特徴量算出部２９は、特徴抽出細胞選択部２８により選択された細胞領域についての形態特徴量を算出する。例えば、形態特徴量算出部２９は、特徴抽出細胞選択部２８から入力された細胞領域を上下左右に定数倍拡張した領域から形態特徴量を算出することとしてよい。ここで、形態特徴量としては、細胞領域に含まれる核の面積（Ａ）、細胞の面積（Ｂ）、核と細胞の面積比（Ａ／Ｂ）のいずれかを用いることとしてよい。なお、核の面積は、細胞領域内に含まれる核候補領域の面積（又は、細胞領域内から検出された輪郭内の面積）として算出することとしてよく、細胞の面積は、細胞領域の輪郭内の面積として算出することとしてよい。形態特徴量算出部２９は、細胞の条件（例えば、細胞種類と細胞状態との組み合わせ）ごとに、その条件に合致する細胞領域から得られた形態特徴量を標的細胞条件設定部３０に出力する。
　図６～８には、形態特徴量の算出例を説明する図を示した。図６における点線部が細胞領域Ａとすると、細胞領域を上下左右に定数倍拡張した領域Ｂから形態特徴量を算出する。このとき、図７に示されるように、設定した領域Ｂの内部から検出した輪郭のうち一番外側の輪郭であって、その輪郭が閉領域を構成する領域から細胞の面積を算出することとしてよい。また、図８に示されるように、細胞に対して設定した矩形領域の面積（細胞面積）と、核領域に対して設定した矩形領域の面積（核面積）との比を核と細胞の面積比として算出してもよい。
　標的細胞条件設定部３０は、形態特徴量算出部２９により算出された細胞領域の形態特徴量に基づいて、標的細胞を含む画像領域から得られる形態特徴量が満たすべき条件を設定する。例えば、標的細胞条件設定部３０は、細胞の条件と、当該条件に合致する細胞領域から得られた形態特徴量に基づいて、以下のように標的細胞を含む画像領域から得られる形態特徴量が満たすべき条件（具体的には以下の第１～第４の標的細胞条件）を設定する。
　まず、第１の標的細胞条件について説明する。標的細胞条件設定部３０は、細胞の条件に、細胞の種類が有核細胞であり、細胞の状態が孤立状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値（又は中央値等）Ｃ１を算出し、標的細胞の画像領域から算出した形態特徴量Ｘについては、Ｘ≦Ｃ１であることを第１の標的細胞条件として設定する。これは、有核赤血球以外の有核の細胞である白血球に対して、有核赤血球のサイズが小さいことに基づくものである。
　次に、第２の標的細胞条件について説明する。標的細胞条件設定部３０は、細胞の条件に、細胞の種類が有核細胞であり、細胞の状態が密集状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値（又は中央値等）Ｃ２を算出し、標的細胞の画像領域から算出した形態特徴量Ｘについては、Ｘ≦Ｃ２であることを第２の標的細胞条件として設定する。これは、有核赤血球以外の有核の細胞である白血球に対して、有核赤血球のサイズが小さいことに基づくものである。
　次に、第３の標的細胞条件について説明する。標的細胞条件設定部３０は、細胞の条件に、細胞の種類が無核細胞を含み、細胞の状態が孤立状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値（又は中央値等）Ｃ３を算出し、Ｃ３ｍｉｎ＜Ｃ３＜Ｃ３ｍａｘである範囲を設定し、標的細胞の画像領域から算出した形態特徴量Ｘについては、Ｃ３ｍｉｎ≦Ｘ≦Ｃ３ｍａｘであることを第３の標的細胞条件として設定する。これは、無核細胞に対して有核赤血球のサイズは平均的であることに基づくものである。なお、Ｃ３ｍｉｎ≦Ｃ３≦Ｃ３ｍａｘの範囲は、予め定められた割合の細胞領域がこの範囲に属するように定めることとしてよい。
　次に、第４の標的細胞条件について説明する。標的細胞条件設定部３０は、細胞の条件に、細胞の種類が無核細胞を含み、細胞の状態が密集状態であることが指定されている場合には、当該条件に合致する細胞領域から得た形態特徴量の平均値（又は中央値等）Ｃ４を算出し、Ｃ４ｍｉｎ＜Ｃ４＜Ｃ４ｍａｘである範囲を設定し、標的細胞の画像領域から算出した形態特徴量Ｘについては、Ｃ４ｍｉｎ≦Ｘ≦Ｃ４ｍａｘであることを第４の標的細胞条件として設定する。これは、無核細胞に対して有核赤血球のサイズは平均的であることに基づくものである。なお、Ｃ４ｍｉｎ＜Ｃ４＜Ｃ４ｍａｘの範囲は、予め定められた割合の細胞領域がこの範囲に属するように定めることとしてよい。
　候補判定部３１は、細胞候補領域設定部２３により設定された細胞候補領域から標的細胞を検出する候補とするか否かを、細胞候補領域の形態特徴量と、標的細胞条件設定部３０で設定された標的細胞条件とに基づいて判定する。例えば、候補判定部３１は、細胞候補領域の状態（孤立状態か密集状態か）に基づいて、標的細胞条件を選択し、選択した標的細胞条件と、細胞候補領域の形態特徴量とに基づいて標的細胞の検出候補とするか否かを判定することとしてよい。具体的には、候補判定部３１は、細胞候補領域の状態が孤立状態である場合には、第１又は第３の標的細胞条件を選択し、選択した標的細胞条件のいずれか又は両方を満たす場合に、細胞候補領域を標的細胞の検出候補として判定することとしてよい。また、候補判定部３１は、細胞候補領域の状態が密集状態である場合には、第２又は第４の標的細胞条件を選択し、選択した標的細胞条件のいずれか又は両方を満たす場合に、細胞候補領域を標的細胞の検出候補として判定することとしてよい。
　識別特徴量算出部３２は、候補判定部３１により標的細胞の検出対象とされた細胞候補領域を指定された画像サイズに拡大もしくは縮小した後に、それらについての識別特徴量を算出する。識別特徴量とは、標的細胞識別部３３における学習処理及び識別処理に用いる学習・識別用の画像特徴量であり、例えばＨＯＧ特徴量を用いることとしてよい。例えば、ＨＯＧ特徴量は以下のように算出することとしてよい。まず、対象画像をＡ個のセルから成るＢ個のブロックに分割し、各ブロックを構成するセルごとに画像の面内（Ｘ方向及びＹ方向）の輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム（［第１勾配方向の値，第２勾配方向の値，・・・，第Ｎ勾配方向の値］）を求め、これらの２乗平均が１になるようにブロック単位で正規化を行う。その後、正規化した輝度勾配方向ヒストグラムをブロック内で結合して作成したＡ×Ｎ個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したＡ×Ｂ×Ｎ個の値を対象画像のＨＯＧ特徴量としている。なお、識別特徴量と形態特徴量とは、異なる特徴量として構成してもよいし、同じ特徴量として構成してもよい。
　識別特徴量算出部３２は、入力された撮像画像について識別特徴量を算出した後に、算出した識別特徴量を標的細胞識別部３３に出力する。
　標的細胞識別部３３は、候補判定部３１により標的細胞の検出対象とされた細胞候補領域について算出された識別特徴量と、予め学習された学習パラメータとに基づいて、細胞候補領域に含まれる細胞が、標的細胞か否かを識別する。なお、標的細胞識別部３３における学習処理は以下のように行うこととしてよい。
　標的細胞識別部３３は、撮像画像取得部２１で取得された画像において、学習処理に利用する画像領域の指定を受け付ける。画像領域の指定は入力装置５０を介して行われることとしてよい。例えば、標的細胞識別部３３は、標的細胞（有核赤血球）とそれ以外の画像との識別を学習する際には、撮像された画像において標的細胞が映し出されている画像領域を正例として、標的細胞が映し出されていない画像領域を負例として受け付ける。そして、標的細胞識別部３３は、正例、負例の画像領域について識別特徴量算出部３２により算出された識別特徴量に基づいて、学習パラメータを生成する。
　検出結果生成部３４は、標的細胞識別部３３の処理結果に基づいて標的細胞と検出された細胞候補領域を含む画像領域及びその座標の情報を生成する。また、検出結果生成部３４により生成された座標に光学顕微鏡１０の撮像範囲を移動させるように、光学顕微鏡１０を制御する制御信号を光学顕微鏡１０に出力するようにしてもよい。
　表示制御部３５は、検出結果生成部３４により生成された画像領域及び座標を表示させる表示制御情報を表示装置６０に出力する。これにより、表示装置６０では、標的細胞と検出された画像領域と座標とが表示される。
　次に、図９～１３に示したフローチャートを参照しながら、画像処理装置２０により行われる処理の流れについて説明する。
［標的細胞の検出処理全体のフロー］
　まず、標的細胞を検出する処理の流れを図９に示したフローチャートを参照しながら説明する。
　図９に示されるように、画像処理装置２０は、処理対象の撮像画像を取得し（Ｓ１０１）、取得した撮像画像のそれぞれについて二値化処理を施す。次に、画像処理装置２０は、二値化処理後の撮像画像において標的細胞の核となり得る核候補領域を抽出するとともに（Ｓ１０２）、設定した核候補領域に基づいて細胞候補領域を設定する（Ｓ１０３）。
　画像処理装置２０は、変数ｉの初期値を１として、ｉ番目の細胞候補領域Ａｉを選択し（Ｓ１０４）、選択した細胞候補領域Ａｉの周辺細胞（細胞領域）を抽出する（Ｓ１０５）。
　画像処理装置２０は、変数ｊの初期値を１として、ｊ番目の周辺細胞Ｂｊを選択し（Ｓ１０６）、選択した周辺細胞Ｂｊが定められた細胞の選択条件を満たす場合には（Ｓ１０７：Ｙ）、周辺細胞Ｂｊの形態特徴量を算出し、Ｃｋ（変数ｋの初期値は１）として保存する（Ｓ１０８）。ここで、細胞の選択条件は、細胞種類（有核細胞か無核細胞）、細胞状態（密集状態か孤立状態）により指定されることとしてよい。このＳ１０８の処理の詳細については後述する。
　画像処理装置２０は、変数ｋが予め定められた閾値Ｎ以下である場合には（Ｓ１０９：Ｙ）、ｋをインクリメントする（Ｓ１１０）。Ｓ１１０の後、または、Ｓ１０７において、周辺細胞Ｂｊが定められた細胞の選択条件を満たさない場合には（Ｓ１０７：Ｎ）、画像処理装置２０は、未処理の周辺細胞が残っているか否かを判断する（Ｓ１１１）。ここで、未処理の周辺細胞が残っている場合には（Ｓ１１１：Ｙ）、ｊをインクリメントして（Ｓ１１２）、Ｓ１０６に戻る。
　画像処理装置２０は、Ｓ１０９において、変数ｋが予め定められた閾値Ｎ以下でない場合（Ｓ１０９：Ｎ）、又はＳ１１１において、未処理の周辺細胞が残っていない場合には（Ｓ１１１：Ｎ）、保存された形態特徴量Ｃｋに基づいて標的細胞の形態特徴量に関する条件（標的細胞条件）を設定する（Ｓ１１３）。このＳ１１３の処理の詳細については後述する。
　画像処理装置２０は、細胞候補領域Ａｉの形態特徴量を算出し、算出した形態特徴量に基づいて細胞候補領域Ａｉが標的細胞条件を満たすと判定される場合には（Ｓ１１４：Ｙ）、細胞候補領域Ａｉに標的細胞が含まれるか否かを識別する識別処理を実行する（Ｓ１１５）。このＳ１１５の処理の詳細については後述する。
　画像処理装置２０は、Ｓ１１５の後、又は、Ｓ１１４において、細胞候補領域Ａｉが標的細胞条件を満たさないと判定される場合には（Ｓ１１４：Ｎ）、未処理の細胞候補領域があるか否かを判定する（Ｓ１１６）。ここで、未処理の細胞候補領域があると判定される場合には（Ｓ１１６：Ｙ）、ｉをインクリメントして（Ｓ１１７）、Ｓ１０４に戻り、未処理の細胞候補領域がないと判定される場合には（Ｓ１１６：Ｎ）、処理を終了する。なお、未処理の細胞候補領域がないと判定された後に（Ｓ１１６：Ｎ）、標的細胞が含まれると判定された画像領域を表示装置に表示させるようにしてもよい。
［形態特徴量の保存処理］
　次に、図１０に示されるフローチャートを参照しながら、図９のＳ１０８に関する処理の詳細について説明する。
　図１０に示されるように、画像処理装置２０は、周辺細胞Ｂｊの細胞種類を細胞種類判定部２７の判定結果に基づいて取得し（Ｓ２０１）、周辺細胞Ｂｊの細胞状態を細胞状態判定部２６の判定結果に基づいて取得する（Ｓ２０２）。
　次に、画像処理装置２０は、周辺細胞Ｂｊの細胞種類が有核細胞であり（Ｓ２０３：Ｙ）、且つ周辺細胞Ｂｊの細胞状態が孤立状態である場合には（Ｓ２０４：Ｙ）、Ｂｊの形態特徴量を有核、孤立の形態特徴量として保存し（Ｓ２０５）、リターンする。
　画像処理装置２０は、周辺細胞Ｂｊの細胞種類が有核細胞であり（Ｓ２０３：Ｙ）、且つ周辺細胞Ｂｊの細胞状態が密集状態である（孤立状態でない）場合には（Ｓ２０４：Ｎ）、Ｂｊの形態特徴量を有核、密集の形態特徴量として保存し（Ｓ２０６）、リターンする。
　画像処理装置２０は、周辺細胞Ｂｊの細胞種類が有核細胞でなく（Ｓ２０３：Ｎ）、且つ周辺細胞Ｂｊの細胞状態が孤立状態である場合には（Ｓ２０７：Ｙ）、Ｂｊの形態特徴量を無核、孤立の形態特徴量として保存し（Ｓ２０８）、リターンする。
　画像処理装置２０は、周辺細胞Ｂｊの細胞種類が有核細胞でなく（Ｓ２０３：Ｎ）、且つ周辺細胞Ｂｊの細胞状態が密集状態である（孤立状態でない）場合には（Ｓ２０７：Ｎ）、Ｂｊの形態特徴量を無核、密集の形態特徴量として保存し（Ｓ２０９）、リターンする。
［標的細胞条件の設定処理］
　次に、図１１に示されるフローチャートを参照しながら、図９のＳ１１３に関する処理の詳細について説明する。
　図１１に示されるように、画像処理装置２０は、保存された周辺細胞の形態特徴量のうち、有核、孤立の形態特徴量の集合Ｇ１を取得し（Ｓ３０１）、取得した集合Ｇ１の要素の平均値Ｃ１（又は中央値でもよい）を算出する（Ｓ３０２）。そして、画像処理装置２０は、有核赤血球（標的細胞）の形態特徴量Ｘとした場合に、Ｘ≦Ｃ１を孤立状態の標的細胞の形態特徴量が満たすべき条件として設定する（Ｓ３０３）。
　次に、画像処理装置２０は、保存された周辺細胞の形態特徴量のうち、有核、密集の形態特徴量の集合Ｇ２を取得し（Ｓ３０４）、取得した集合Ｇ２の要素の平均値Ｃ２（又は中央値でもよい）を算出する（Ｓ３０５）。そして、画像処理装置２０は、有核赤血球（標的細胞）の形態特徴量Ｘとした場合に、Ｘ≦Ｃ２を、密集状態の標的細胞の形態特徴量が満たすべき条件として設定する（Ｓ３０６）。
　画像処理装置２０は、保存された周辺細胞の形態特徴量のうち、無核、孤立の形態特徴量の集合Ｇ３を取得し（Ｓ３０７）、取得した集合Ｇ３の要素の平均値Ｃ３（又は中央値でもよい）を含む範囲［Ｃ３ｍｉｎ，Ｃ３ｍａｘ］を算出する（Ｓ３０８）。そして、画像処理装置２０は、有核赤血球（標的細胞）の形態特徴量Ｘとした場合に、Ｃ３ｍｉｎ≦Ｘ≦Ｃ３ｍａｘを、孤立状態の標的細胞の形態特徴量が満たすべき条件として設定する（Ｓ３０９）。
　画像処理装置２０は、保存された周辺細胞の形態特徴量のうち、無核、孤立の形態特徴量の集合Ｇ４を取得し（Ｓ３１０）、取得した集合Ｇ４の要素の平均値Ｃ４（又は中央値でもよい）を含む範囲［Ｃ４ｍｉｎ，Ｃ４ｍａｘ］を算出する（Ｓ３１１）。そして、画像処理装置２０は、有核赤血球（標的細胞）の形態特徴量Ｘとした場合に、Ｃ４ｍｉｎ≦Ｘ≦Ｃ４ｍａｘを、孤立状態の標的細胞の形態特徴量が満たすべき条件として設定し（Ｓ３１２）、リターンする。なお、上記のフローでは有核、無核の細胞腫類、孤立、密集の細胞状態の全ての組み合わせについての標的細胞条件を設定する例を説明したが、このうち少なくとも１つ、又は、有核又は無核のいずれかに対する孤立、密集の細胞状態についての標的細胞条件を設定するようにしてもよい。
［標的細胞の検出候補判定処理］
　次に、図１２に示されるフローチャートを参照しながら、図９のＳ１１４に関する処理の詳細について説明する。
　図１２に示されるように、画像処理装置２０は、有核細胞についての標的細胞条件を用いる場合には（Ｓ４０１：Ｙ）、以下の処理を実行する。
　画像処理装置２０は、細胞候補領域Ａｉの形態特徴量Ｘｉを算出し（Ｓ４０２）、細胞候補領域Ａｉの細胞状態を細胞状態判定部２６の判定結果に基づいて取得する（Ｓ４０３）。
　ここで、細胞候補領域Ａｉの細胞状態が孤立状態である場合には（Ｓ４０４：Ｙ）、画像処理装置２０は、ＸｉがＣ１以下であるか否かを判定し（Ｓ４０５）、ＸｉがＣ１以下である場合には（Ｓ４０５：Ｙ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域とし（Ｓ４０６）、ＸｉがＣ１より大きい場合には（Ｓ４０５：Ｎ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域から除外して（Ｓ４０７）、リターンする。
　また、細胞候補領域Ａｉの細胞状態が密集状態である（孤立状態でない）場合には（Ｓ４０４：Ｎ）、画像処理装置２０は、ＸｉがＣ２以下であるか否かを判定し（Ｓ４０８）、ＸｉがＣ２以下である場合には（Ｓ４０８：Ｙ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域とし（Ｓ４０６）、ＸｉがＣ２より大きい場合には（Ｓ４０８：Ｎ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域から除外して（Ｓ４０７）、リターンする。
　また、画像処理装置２０は、有核細胞についての標的細胞条件を用いない場合には（Ｓ４０１：Ｎ）、以下の処理を実行する。
　画像処理装置２０は、細胞候補領域Ａｉの形態特徴量Ｘｉを算出し（Ｓ４０９）、細胞候補領域Ａｉの細胞状態を細胞状態判定部２６の判定結果に基づいて取得する（Ｓ４１０）。
　ここで、細胞候補領域Ａｉの細胞状態が孤立状態である場合には（Ｓ４１１：Ｙ）、画像処理装置２０は、ＸｉがＣ３ｍｉｎ以上Ｃ３ｍａｘ以下であるか否かを判定する（Ｓ４１２）。ＸｉがＣ３ｍｉｎ以上Ｃ３ｍａｘ以下である場合には（Ｓ４１２：Ｙ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域とする（Ｓ４１３）。ＸｉがＣ３ｍｉｎ以上Ｃ３ｍａｘ以下でない場合には（Ｓ４１２：Ｎ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域から除外して（Ｓ４１４）、リターンする。
　また、細胞候補領域Ａｉの細胞状態が密集状態である（孤立状態でない）場合には（Ｓ４１１：Ｎ）、画像処理装置２０は、ＸｉがＣ４ｍｉｎ以上Ｃ４ｍａｘ以下であるか否かを判定する（Ｓ４１５）。ＸｉがＣ４ｍｉｎ以上Ｃ４ｍａｘ以下である場合には（Ｓ４１５：Ｙ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域とする（Ｓ４１３）。ＸｉがＣ４ｍｉｎ以上Ｃ４ｍａｘ以下でない場合には（Ｓ４１５：Ｎ）、細胞候補領域Ａｉを有核赤血球（標的細胞）の候補領域から除外して（Ｓ４１４）、リターンする。
［標的細胞の識別処理］
　次に、図１３に示されるフローチャートを参照しながら、図９のＳ１１５に関する処理の詳細について説明する。
　図１３に示されるように、画像処理装置２０は、標的細胞条件を満たす細胞候補領域Ａｉの画像を取得し（Ｓ５０１）、取得した画像に基づいて細胞候補領域Ａｉの画像特徴量（識別特徴量）を算出する（Ｓ５０２）。そして、予め学習された識別器により、Ｓ５０２で算出された画像特徴量に基づいて、細胞候補領域Ａｉに標的細胞が含まれているか否かを判定し（Ｓ５０３）、標的細胞が含まれている場合には（Ｓ５０３：Ｙ）、細胞候補領域Ａｉの座標とサイズを保存し（Ｓ５０４）、リターンする。なお、標的細胞が含まれていない場合にも（Ｓ５０３：Ｎ）、リターンする。
　以上説明した画像処理システム１によれば、細胞候補領域の周囲の細胞に基づいて、個体に応じた標的細胞の基準を設定し、設定された基準に基づいて標的細胞の可能性が高い画像候補を絞り込むことで、こうした絞り込みを行わない場合に比べて、標的細胞の判定精度が向上する。
　また、本発明は、上記の実施形態に限定されるものではない。例えば、細胞候補領域の各々について標的細胞識別部３３により標的細胞であるか否かを判定し、その結果標的細胞であると判定された細胞候補領域について、候補判定部３１により標的細胞の候補であるか否かを判定するようにしてもよい。そして、候補判定部３１により標的細胞の候補であると判定された細胞候補領域には、標的細胞が含まれると判断するようにしてもよい。また、標的細胞条件は細胞の状態によらずに生成することとしても構わない。また、標的細胞は、ＮＲＢＣｓに限定するものではなく、別の細胞を標的細胞としても構わない。
　本発明に係る、画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システムは、ＮＲＢＣｓ等の細胞を機械的に検出するのに有用である。
　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
　本出願は、２０１２年８月２３日出願の日本特許出願（特願２０１２－１８４１０６）に基づくものであり、その内容はここに参照として取り込まれる。
　１　画像処理システム、１０　光学顕微鏡、１１　スライドグラス、１２　対物レンズ、１３　焦準機構、１４　ＣＣＤカメラ、２０　画像処理装置、２１　撮像画像取得部、２２　核候補領域抽出部、２３　細胞候補領域設定部、２４　選択条件設定部、２５　周辺細胞抽出部、２６　細胞状態判定部、２７　細胞種類判定部、２８　特徴抽出細胞選択部、２９　形態特徴量算出部、３０　標的細胞条件設定部、３１　候補判定部、３２　識別特徴量算出部、３３　標的細胞識別部、３４　検出結果生成部、３５　表示制御部、５０　入力装置、６０　表示装置

Claims (10)

  1. 　標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
    　前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、
    　前記対象領域とは異なる領域を含む周辺領域から複数の細胞領域を抽出する抽出部と、
    　前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、
    　前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部と、を含む
    　画像処理装置。
  2. 　前記抽出部により抽出した細胞領域に含まれる細胞が密集状態にあるか孤立状態にあるかを判定する状態判定部をさらに含み、
    　前記範囲設定部は、前記状態判定部によって判定された細胞の状態ごとに前記標的細胞が有すべき特徴量の範囲をそれぞれ設定し、
    　前記判定部は、前記対象領域から得た特徴量が、前記対象領域に含まれる細胞の状態について前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する
    　請求項１に記載の画像処理装置。
  3. 　前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも１つであり、
    　前記抽出部は、前記周辺領域からそれぞれ有核細胞を含む複数の細胞領域を抽出し、
    　前記範囲設定部は、前記複数の細胞領域のそれぞれから得た特徴量の範囲内に設定した閾値以下の範囲を、前記標的細胞が有すべき特徴量の範囲として設定する
    　請求項１又は２に記載の画像処理装置。
  4. 　前記特徴量は、細胞面積、核面積、細胞と核の面積比のうち少なくとも１つであり、
    　前記抽出部は、前記周辺領域からそれぞれ無核細胞を含む複数の細胞領域を抽出し、
    　前記範囲設定部は、前記複数の細胞領域のそれぞれから得た特徴量の平均値又は中央値を挟む範囲を、前記標的細胞が有すべき特徴量の範囲として設定する
    　請求項１又は２に記載の画像処理装置。
  5. 　前記標的細胞を識別する識別条件を、前記標的細胞の正例及び負例にそれぞれ該当する標本画像に基づいて機械学習する学習部と、
    　前記判定部は、前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを前記識別条件に基づいて判定する
    　請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　前記標的細胞は、核を有する有核赤血球であり、
    　前記画像処理装置は、
    　前記複数の撮像画像から、前記核の候補となる核候補領域を、当該核が有すべき色又は濃度の少なくとも一方に基づいて抽出する領域抽出部をさらに含み、
    　前記設定部は、前記核候補領域と前記標的細胞がとり得るサイズの範囲に基づいて前記対象領域を設定する
    　請求項１から５のいずれか一項に記載の画像処理装置。
  7. 　標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
    　前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、
    　前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出部と、
    　前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、
    　前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部
    　としてコンピュータを機能させるためのプログラム。
  8. 　標的細胞を含む試料を撮像した撮像画像を取得し、
    　前記撮像画像について前記標的細胞を検出する対象領域を設定し、
    　前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、
    　前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、
    　前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、
    　処理をコンピュータに実行させる画像処理方法。
  9. 　標的細胞を含む試料を撮像した撮像画像を取得し、
    　前記撮像画像について前記標的細胞を検出する対象領域を設定し、
    　前記対象領域以外の領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出し、
    　前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定し、
    　前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する、
    　画像処理のための処理をコンピュータに実行させるプログラムを記憶する非一時的なコンピュータ読み取り媒体。
  10. 　画像処理装置と、当該画像処理装置と接続される光学顕微鏡と、当該画像処理装置と接続される表示装置と、を含み、
    　前記画像処理装置は、
    　標的細胞を含む試料を撮像した撮像画像を取得する取得部と、
    　前記撮像画像について前記標的細胞を検出する対象領域を設定する設定部と、
    　前記対象領域とは異なる領域を含む周辺領域からそれぞれ細胞を含む複数の細胞領域を抽出する抽出部と、
    　前記複数の細胞領域のそれぞれから得た特徴量に基づいて前記標的細胞が有すべき特徴量の範囲を設定する範囲設定部と、
    　前記対象領域から得た特徴量が前記範囲設定部により設定された特徴量の範囲に含まれる場合に、当該対象領域に前記標的細胞が含まれるか否かを判定する判定部と、を含む
    　画像処理システム。 
PCT/JP2013/059678 2012-08-23 2013-03-29 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム WO2014030380A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13830872.1A EP2889367B1 (en) 2012-08-23 2013-03-29 Image processing device, program, image processing method, computer-readable medium, and image processing system
CN201380038139.9A CN104487564B (zh) 2012-08-23 2013-03-29 图像处理装置、图像处理方法以及图像处理系统
US14/407,158 US9934571B2 (en) 2012-08-23 2013-03-29 Image processing device, program, image processing method, computer-readable medium, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-184106 2012-08-23
JP2012184106A JP5333635B1 (ja) 2012-08-23 2012-08-23 画像処理装置、プログラム及び画像処理システム

Publications (1)

Publication Number Publication Date
WO2014030380A1 true WO2014030380A1 (ja) 2014-02-27

Family

ID=49679040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059678 WO2014030380A1 (ja) 2012-08-23 2013-03-29 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム

Country Status (5)

Country Link
US (1) US9934571B2 (ja)
EP (1) EP2889367B1 (ja)
JP (1) JP5333635B1 (ja)
CN (1) CN104487564B (ja)
WO (1) WO2014030380A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016021309A1 (ja) * 2014-08-05 2016-02-11 富士フイルム株式会社 有核赤血球の選別方法
WO2016021311A1 (ja) * 2014-08-05 2016-02-11 富士フイルム株式会社 有核赤血球の選別方法
EP3150692A1 (en) * 2014-05-30 2017-04-05 Fujifilm Corporation Cell evaluation device, method, and program

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9522396B2 (en) 2010-12-29 2016-12-20 S.D. Sight Diagnostics Ltd. Apparatus and method for automatic detection of pathogens
CN104169719B (zh) 2011-12-29 2017-03-08 思迪赛特诊断有限公司 用于检测生物样品中病原体的方法和系统
WO2014188405A1 (en) 2013-05-23 2014-11-27 Parasight Ltd. Method and system for imaging a cell sample
IL227276A0 (en) 2013-07-01 2014-03-06 Parasight Ltd A method and system for obtaining a monolayer of cells, for use specifically for diagnosis
US10831013B2 (en) 2013-08-26 2020-11-10 S.D. Sight Diagnostics Ltd. Digital microscopy systems, methods and computer program products
JP6143365B2 (ja) * 2014-03-05 2017-06-07 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
JP2015215741A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 被写体検出装置、被写体検出方法及びプログラム
JP6301199B2 (ja) * 2014-05-30 2018-03-28 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
WO2016030897A1 (en) 2014-08-27 2016-03-03 S.D. Sight Diagnostics Ltd System and method for calculating focus variation for a digital microscope
AU2016322966B2 (en) 2015-09-17 2021-10-14 S.D. Sight Diagnostics Ltd Methods and apparatus for detecting an entity in a bodily sample
CA3018536A1 (en) 2016-03-30 2017-10-05 S.D. Sight Diagnostics Ltd Distinguishing between blood sample components
US11307196B2 (en) 2016-05-11 2022-04-19 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
AU2017263807B2 (en) 2016-05-11 2023-02-02 S.D. Sight Diagnostics Ltd Performing optical measurements on a sample
CN110392732B (zh) * 2017-03-02 2023-07-28 株式会社岛津制作所 细胞分析方法和细胞分析装置
JP6785947B2 (ja) * 2017-03-30 2020-11-18 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
EP3710810B1 (en) 2017-11-14 2023-09-06 S.D. Sight Diagnostics Ltd. Sample carrier for optical measurements
JP7167453B2 (ja) 2018-03-12 2022-11-09 オムロン株式会社 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム
JP7076867B1 (ja) 2021-12-21 2022-05-30 メック株式会社 物性値予測方法、物性値予測システム及びプログラム
JP7078944B1 (ja) 2021-12-21 2022-06-01 メック株式会社 物性値予測方法、物性値予測システム及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346923B2 (ja) 2003-02-21 2009-10-21 晴夫 高林 標的細胞自動探索システム
WO2012091056A1 (ja) * 2010-12-28 2012-07-05 エスシーワールド株式会社 血液中の標的細胞の検査方法、標的細胞検索装置、及びバイオチップ
WO2012169088A1 (ja) * 2011-06-09 2012-12-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2686100A (en) * 1999-02-18 2000-09-04 Bio-View Ltd. System and method for identifying and analyzing rare cell types in a mixed population of cells
US7346200B1 (en) * 1999-11-18 2008-03-18 Ikonisys, Inc. Method and apparatus for computer controlled cell based diagnosis
JP5380026B2 (ja) * 2008-09-24 2014-01-08 シスメックス株式会社 標本撮像装置
JP5301232B2 (ja) * 2008-09-30 2013-09-25 シスメックス株式会社 血球画像表示装置、検体分析システム、血球画像表示方法、及びコンピュータプログラム
US8842900B2 (en) * 2008-10-28 2014-09-23 Sysmex Corporation Specimen processing system and blood cell image classifying apparatus
US8340389B2 (en) * 2008-11-26 2012-12-25 Agilent Technologies, Inc. Cellular- or sub-cellular-based visualization information using virtual stains
JP5438962B2 (ja) * 2008-12-25 2014-03-12 シスメックス株式会社 細胞画像表示装置
JP5426181B2 (ja) * 2009-01-21 2014-02-26 シスメックス株式会社 検体処理システム、細胞画像分類装置、及び検体処理方法
US20110286654A1 (en) * 2010-05-21 2011-11-24 Siemens Medical Solutions Usa, Inc. Segmentation of Biological Image Data
US8488111B2 (en) * 2011-04-15 2013-07-16 Constitution Medical, Inc. Measuring volume and constituents of cells
US11047791B2 (en) * 2011-06-17 2021-06-29 Roche Diagnostics Hematology, Inc. Systems and methods for sample display and review
JP5780865B2 (ja) * 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346923B2 (ja) 2003-02-21 2009-10-21 晴夫 高林 標的細胞自動探索システム
WO2012091056A1 (ja) * 2010-12-28 2012-07-05 エスシーワールド株式会社 血液中の標的細胞の検査方法、標的細胞検索装置、及びバイオチップ
WO2012169088A1 (ja) * 2011-06-09 2012-12-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理システム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KOSUKE AOKI ET AL.: "Auto-Detection of Nucleated Red Blood Cells from Massive Microscopy Images", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS OF JAPAN, vol. 37, no. 5, 2008, pages 609 - 616, XP008175854 *
See also references of EP2889367A4
Y. SHIMIZU ET AL.: "Detection and Retrieval of Nucleated Red Blood Cells Using Linear Subspaces", THE JOURNAL OF THE INSTITUTE OF IMAGE ELECTRONICS ENGINEERS, vol. 40, no. 1, 25 January 2011 (2011-01-25), pages 67 - 73, XP008175840 *
YOSUKE SHIMIZU ET AL.: "Nucleated Red Blood Cells Searching in Microscope Images", ITE TECHNICAL REPORT, vol. 33, no. 34, 27 August 2009 (2009-08-27), pages 1 - 2, XP008175839 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3150692A1 (en) * 2014-05-30 2017-04-05 Fujifilm Corporation Cell evaluation device, method, and program
EP3150692A4 (en) * 2014-05-30 2017-08-16 Fujifilm Corporation Cell evaluation device, method, and program
US10443029B2 (en) 2014-05-30 2019-10-15 Fujifilm Corporation Cell evaluation device, cell evaluation method, and cell evaluation program
EP3336171B1 (en) * 2014-05-30 2023-08-09 FUJIFILM Corporation Cell evaluation device
WO2016021309A1 (ja) * 2014-08-05 2016-02-11 富士フイルム株式会社 有核赤血球の選別方法
WO2016021311A1 (ja) * 2014-08-05 2016-02-11 富士フイルム株式会社 有核赤血球の選別方法
JPWO2016021311A1 (ja) * 2014-08-05 2017-05-25 富士フイルム株式会社 有核赤血球の選別方法

Also Published As

Publication number Publication date
EP2889367A1 (en) 2015-07-01
EP2889367A4 (en) 2016-06-08
US20150187077A1 (en) 2015-07-02
CN104487564A (zh) 2015-04-01
EP2889367B1 (en) 2019-11-27
JP2014039504A (ja) 2014-03-06
US9934571B2 (en) 2018-04-03
JP5333635B1 (ja) 2013-11-06
CN104487564B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
WO2014030380A1 (ja) 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
US9704017B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
US9684958B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
JP6194791B2 (ja) 画像処理装置及びプログラム
JP6197659B2 (ja) 検出制御装置、プログラム及び検出システム
JP5333570B2 (ja) 画像処理装置、プログラム及び画像処理システム
WO2014192184A1 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US9858662B2 (en) Image processing device, computer storage medium, and method for detecting and displaying nucleated target cells
US10146042B2 (en) Image processing apparatus, storage medium, and image processing method
JP5907125B2 (ja) 画像処理装置、プログラム及び画像処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13830872

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14407158

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013830872

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE