WO2015098199A1 - 画像処理装置、プログラム、記憶媒体、及び画像処理方法 - Google Patents

画像処理装置、プログラム、記憶媒体、及び画像処理方法 Download PDF

Info

Publication number
WO2015098199A1
WO2015098199A1 PCT/JP2014/074016 JP2014074016W WO2015098199A1 WO 2015098199 A1 WO2015098199 A1 WO 2015098199A1 JP 2014074016 W JP2014074016 W JP 2014074016W WO 2015098199 A1 WO2015098199 A1 WO 2015098199A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
detection
target
target cell
difficulty level
Prior art date
Application number
PCT/JP2014/074016
Other languages
English (en)
French (fr)
Inventor
尾崎 良太
英人 織田
加藤 典司
Original Assignee
富士ゼロックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士ゼロックス株式会社 filed Critical 富士ゼロックス株式会社
Priority to CN201480056915.2A priority Critical patent/CN105637344B/zh
Priority to EP14875850.1A priority patent/EP3091348B1/en
Publication of WO2015098199A1 publication Critical patent/WO2015098199A1/ja
Priority to US15/065,335 priority patent/US10146042B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology

Definitions

  • the optical microscope 10 images the sample on the slide glass 11 placed on the sample stage with the CCD camera 14 via an optical system such as the objective lens 12.
  • the optical microscope 10 includes a focusing mechanism 13 that changes the distance between the slide glass 11 and the objective lens 12, and images the sample on the slide glass 11 at a plurality of different focal lengths.
  • a sample obtained by applying maternal blood to the slide glass 11 and performing May-Giemsa staining is used as the sample.
  • fetal nucleated red blood cells (NRBCs) in the maternal blood are stained blue-violet.
  • NRBCs are referred to as target cells.
  • the method for estimating the number of target cells is not limited to the above.
  • the specimen feature information storage unit 22 stores in advance the specimen feature vector and the target cell number in association with one or more specimens, and the target cell number estimation unit 23 is stored in the specimen feature information storage unit 22.
  • the feature vector that is similar to the feature vector of the target sample (for example, the closest distance between the feature vectors) is identified, and the number of target cells associated with the identified feature vector is determined It may be the target cell number of the specimen.
  • the sample feature extraction unit 25 extracts the features of the target sample.
  • the specimen features include information indicating the preparation state of the specimen.
  • the specimen feature extraction unit 25 uses the specimen thickness as a specimen feature such as the uniformity of the thickness of the specimen generated from the specimen, the degree of staining of the cell nucleus, and the white blood cell content rate. It may be extracted.
  • the sample feature extraction unit 25 may extract the sample feature for each of all or a part of the samples generated from the target sample (for example, limited to the sample to be detected).
  • Cb the number of detection target cells per specimen
  • the detection target specimen setting unit 27 determines an integer X satisfying a ⁇ X ⁇ Z as the detection target specimen number, and Cb
  • ⁇ Z the number of detection target samples may be determined as N (all samples).
  • the detection target specimen setting unit 27 selects a specimen having the number of detection target specimens from the N specimens generated from the specimen (for example, in order of identification number, generation date and time), and detects the selected specimen.
  • the target flag may be set to true (T), and the detection target flag of the unselected sample may be set to false (F).
  • the detection target sample setting unit 27 sets a sample to be detected based on the detection difficulty level calculated by the detection difficulty level determination unit 26, for example, a plurality of samples generated from the target sample Among them, a sample having a detection difficulty level equal to or less than a threshold may be set as a detection target.
  • the detection parameter setting unit 28 sets detection parameters to be used at the time of detection processing for a specimen generated from a sample. For example, the detection parameter setting unit 28 sets the detection parameter based on at least one of the detection target sample set by the detection target sample setting unit 27 and the detection difficulty level determined by the detection difficulty level determination unit 26. .
  • the detection parameter includes a detection target flag indicating whether or not a sample detection target is appropriate, a nuclear candidate region parameter indicating a condition of an image region to be extracted as a nuclear candidate region from a sample captured image, and a determination target region set for a sample captured image It is good also as including the determination object area
  • the target cell determination unit 32 determines the possibility (reliability) that the target cell is included in the determination target region based on the image feature amount of the determination target region. For example, the discriminator learns the target cell identification condition (identification parameter) based on the image feature amount of the image region in which the target cell is previously projected, and the discrimination result of the image feature amount of the determination target region by the discriminator is obtained. As good as For the discriminator, AdaBoost, SVM (support vector machine) or the like may be used.
  • the discriminator outputs a score (reliability) indicating the possibility that the target cell is included in the determination target region based on the image feature amount of the determination target region. For example, the discriminator may output a positive score if the cell included in the determination target region is a target cell, and a negative score if the cell is not a target cell.
  • the target cell region integration unit 34 may leave only the candidate region with the highest reliability as the candidate region after integration, or the region including all of the overlapping candidate regions as a candidate region after integration It is good. Further, the target cell region integration unit 34 may add the reliability of the integrated candidate region to the reliability of the candidate region after integration, or a candidate that overlaps the reliability of the candidate region after integration. The product of the number of regions may be used as the reliability of the candidate region after integration.
  • the image processing device 20 sets the number of samples (N (N is an integer equal to or greater than 1)) generated from the target sample based on the data input from the input device 50.
  • information on the target sample (sample information) is acquired (S102).
  • the specimen information may include at least one of information on age, medical history, and number of weeks of pregnancy.
  • the image processing apparatus 20 estimates the number of target cells (a) contained in the target sample based on the sample information acquired in S102 (S103). For example, the image processing apparatus 20 identifies the classification to which the sample information acquired in S102 belongs, and represents the number of representative target cells (reference target cell number) per unit blood predetermined for the identified classification and the sample to be the specimen. The estimated target cell number contained in the specimen may be calculated based on the blood volume.
  • the image processing apparatus 20 executes a process of calculating a detection difficulty level indicating a difficulty level of detecting the target cell from the sample to be processed determined in S106 (S107).
  • the details of the detection difficulty level calculation process will be described with reference to the flowchart shown in FIG.
  • the image processing apparatus 20 initializes the variable i to 1 (S201), and measures the depth (A) of the sample Si (S202). For example, the depth from the surface of the sample Si to the slide glass may be measured with the optical microscope 10 for a plurality of points of the sample Si.
  • the image processing apparatus 20 acquires the white blood cell ratio (C) in the specimen Si based on the captured image acquired in S203 (S205). For example, the image processing apparatus 20 may calculate the white blood cell ratio (C) of the sample Si as the ratio of pixels lighter than a predetermined density in the captured image of the sample Si.
  • the image processing apparatus 20 detects target cells from the specimen Si based on the dispersion value of the depth (A), the staining degree (B) of the sample, and the white blood cell ratio (C) based on the above-described equation (1).
  • the difficulty level Df (Dfi) is calculated (S206).
  • the image processing device 20 detects the detection difficulty level Df calculated in S107 and the processing target determined in S106.
  • a detection parameter is set based on at least one of the sample information (S108).
  • the detection parameter includes a detection target flag indicating whether the sample detection target is true, a nuclear candidate region parameter indicating a condition of an image region extracted as a nuclear candidate region from the sample, and a determination target region setting condition set for the sample image. It is good also as including the judgment object field parameter shown.
  • the image processing apparatus 20 executes a process of detecting the target cell from the specimen based on the detection parameter set in S108 (S109). The details of the target cell detection process will be described based on the flowchart shown in FIG.
  • the image processing apparatus 20 initializes the values of variables i, j, and k to 1 (S301), and determines whether or not the sample Si for the target sample is a detection target. (S302). For example, the image processing apparatus 20 may determine that the detection target flag of the sample Si is true (T), and determines that the detection target flag is false (F).
  • the image processing apparatus 20 causes the optical microscope 10 to image the sample Si, for example, and acquires the captured image Ti of the sample Si (S303).
  • the image processing apparatus 20 calculates a score Pijk indicating the possibility that the target cell is included in the determination target region Bijk based on the image feature amount Vijk calculated in S306 (S307).
  • the image processing device 20 assigns a processed flag to each target cell region set for the captured image Ti of the specimen Si (S401). Note that the processed flag is a true / false value, the processed flag is true (T), the unprocessed flag is false (F), and the initial value of the processed flag assigned in S401 is false (F). .
  • the image processing apparatus 20 extracts another target cell region that overlaps the target cell region As selected in S402 from the target cell regions set for the captured image Ti (S403). Then, the image processing apparatus 20 selects a target cell region having the maximum score from the target cell regions extracted in S403 (S404).
  • the target cell region selected in S404 is referred to as At.
  • the image processing apparatus 20 integrates the target cell region extracted in S403 into the target cell region As (S406). ), The score of another target cell region to be integrated is added to the score of the target cell region As (S407). For example, the target cell region integrated with respect to the target cell region As may be deleted or updated to an integrated state. Then, the image processing apparatus 20 updates the processed flag of each of the target cell region As and the other target cell region integrated with the target cell region As to true (T) (S408).
  • the image processing apparatus 20 integrates the target cell region As into the target cell region At (S409). Then, the score of the target cell region As is added to the score of the target cell region At (S410). Then, the image processing apparatus 20 updates the processed flag of the target cell region As to true (T) (S411).
  • the image processing apparatus 20 finishes the integration process of the target cell region set for the sample Si, if the variable i has not reached d (the number of detection target samples or the total number of samples) (S315: N), i Is incremented (added by 1), j and k are initialized to 1 (S316), and the process returns to S302.
  • the image processing apparatus 20 returns when the variable i reaches d in S315 (S315: Y).
  • the image processing apparatus 20 increments (adds 1) i when the sample Si is not a detection target (S302: N) and the variable i has not reached d (S317: N).
  • j and k are initialized to 1 (S316), and the process returns to S302.
  • the process returns.
  • the target cell area information is output based on the target cell area after the integration for each specimen (S110). finish.
  • the image processing device 20 may sort the target cell regions in descending order of the score of the integrated target cell region for each specimen and display the target cell regions on the display device 60.
  • the image processing apparatus 20 for example, based on data input from the input device 50, the number of specimens generated from the target specimen (N (N is an integer equal to or greater than 1)).
  • N is an integer equal to or greater than 1.
  • Is set (S501), and information on the target sample (sample information) is acquired (S502).
  • the specimen information may include at least one of information on age, medical history, and number of weeks of pregnancy.
  • the image processing apparatus 20 estimates the number of target cells (a) contained in the target sample based on the sample information acquired in S502 (S503). For example, the image processing apparatus 20 identifies the classification to which the specimen information acquired in S502 belongs, and based on the representative target cell number per unit blood that is predetermined for the identified classification and the blood volume of the sample serving as the specimen. The estimated number of target cells contained in the specimen may be calculated.
  • the image processing apparatus 20 calculates the target cell number (b) per sample based on the target cell number (a) calculated in S503 and the sample number (N) set in S501 (S504). Then, the image processing apparatus 20 calculates the number of detection target samples (d) that is equal to or greater than the necessary number of cells (c) required for detection based on the number of target cells (b) per sample calculated in S504. Determine (S505).
  • the image processing apparatus 20 selects and determines a sample to be processed for the number of detection target samples (d) determined in S505 from a plurality of samples generated from the target sample (S506).
  • the image processing apparatus 20 sets detection parameters based on the information about the sample to be processed determined in S506 and the number of target cells per sample (b) calculated in S504 (S507).
  • the detection parameter includes a detection target flag indicating whether the sample detection target is true, a nuclear candidate region parameter indicating a condition of an image region extracted as a nuclear candidate region from the sample, and a determination target region setting condition set for the sample image. It is good also as including the judgment object field parameter shown.
  • the image processing apparatus 20 sets the detection target flag based on the information of the processing target specimen determined in S506, and the nuclear candidate area parameter and the determination target area parameter include the number of detection target specimens ( It may be set based on a margin (b ⁇ dc) obtained by subtracting the necessary number of cells (c) from b ⁇ d obtained by multiplying d) and the number of target cells per sample.
  • the image processing apparatus 20 executes a process of detecting the target cell from the specimen based on the detection parameter set in S507 (S508).
  • the details of the target cell detection process are as shown in the flowchart shown in FIG. 7 and are the same as those in the first embodiment, and thus the description thereof is omitted here.
  • the image processing apparatus 20 After completing the target cell detection process for each of the samples to be processed, the image processing apparatus 20 outputs information on the target cell region based on the integrated target cell region for each sample (S509). The process ends.
  • the image processing apparatus for example, based on data input from the input device 50, the number of samples generated from the target sample (N (N is an integer equal to or greater than 1)). Is set (S601).
  • the image processing apparatus 20 determines a sample to be processed from a plurality of samples generated from the target specimen (S602). For example, the image processing apparatus 20 may set all of a plurality of samples generated from the target sample as processing targets, or determine a sample to be processed based on the detection difficulty level Df calculated for the target sample. It is good as well. For example, the image processing apparatus 20 determines the ratio according to the range of detection difficulty (specifically, increases the ratio as the detection difficulty increases), and the ratio corresponding to the detection difficulty Df and all samples. Determine the number of samples to be processed based on the product with the number (specifically, the obtained product may be rounded up to an integer), and determine the sample to be processed based on the determined number of samples It is good to do. Here, the number of samples to be processed is represented by d.
  • the image processing apparatus 20 executes a process of calculating a detection difficulty level indicating a difficulty level of detecting a target cell from a sample to be processed (S603).
  • the details of the detection difficulty level calculation process are as shown in the flowchart of FIG. 6 and are the same as those in the first embodiment, and are not described here.
  • the detection parameter includes a detection target flag indicating whether the sample detection target is true, a nuclear candidate region parameter indicating a condition of an image region extracted as a nuclear candidate region from the sample, and a determination target region setting condition set for the sample image. It is good also as including the judgment object field parameter shown.
  • the image processing apparatus 20 sets, for example, the detection target flag based on the information of the processing target specimen determined in S603, and the nuclear candidate area parameter and the determination target area parameter calculated for the specimen Si. It may be set based on the difficulty level Dfi.
  • the image processing apparatus 20 executes a process for detecting the target cell from the sample based on the detection parameter set in S604 (S605).
  • the details of the target cell detection process are as shown in the flowchart of FIG. 7 and are the same as those in the first embodiment, so that the description thereof is omitted here.
  • the image processing apparatus 20 After completing the target cell detection process for each of the samples to be processed, the image processing apparatus 20 outputs information on the target cell region based on the integrated target cell region for each sample (S606). The process ends.
  • the parameters used for the detection process can be set based on the difficulty level of detecting the target cell from the sample to be processed.
  • the present invention is not limited to the above embodiment.
  • the target cell regions may be displayed in the order of scores without integrating the target cell regions.
  • the image processing apparatus 20 is not limited to acquiring a captured image of the sample from the optical microscope 10 and may acquire a captured image of the sample from another computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Dispersion Chemistry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

 画像処理装置20は、標本の作成状態に基づいて、標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する検出難易度判定部26と、検出難易度に基づいて、標本の撮像画像から標的細胞を検出する処理に関する検出パラメータを設定する検出パラメータ設定部28を備える。

Description

画像処理装置、プログラム、記憶媒体、及び画像処理方法
 本発明は、画像処理装置、プログラム、記憶媒体、及び画像処理方法に関する。
 例えば、特許文献1では、母体血を検体、母体血中の有核赤血球を標的細胞として、検体の顕微鏡画像から抽出される核候補領域に基づいて判定対象領域を設定し、設定した判定対象領域に標的細胞が含まれるか否かを判定している。
特開2012-254042号公報
 本発明の目的は、標本から標的細胞を検出する処理のパラメータを、標本の特徴に応じて設定できる画像処理装置、プログラム、記憶媒体、及び画像処理方法を提供することにある。
 請求項1に係る発明は、標本の作成状態に基づいて、該標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する難易度算出手段と、前記検出難易度に基づいて、前記標本の撮像画像から前記標的細胞を検出する処理に関する検出パラメータを設定する設定手段と、を含む画像処理装置である。また、請求項9に係る発明は、標本の作成状態に基づいて、該標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する難易度算出ステップと、前記検出難易度に基づいて、前記標本の撮像画像から前記標的細胞を検出する処理に関する検出パラメータを設定する設定ステップと、を含む画像処理方法である。
 請求項2に係る発明は、前記検出パラメータは、前記撮像画像において前記標的細胞領域が含まれているか否かを判定する判定対象領域の設定条件を定める情報を含み、前記撮像画像に対して、前記検出パラメータに基づいて設定した判定対象領域に前記標的細胞が含まれるか否かを判定する判定手段を含む請求項1に記載の画像処理装置である。
 請求項3に係る発明は、前記設定手段は、前記検出難易度が高い程、前記判定対象領域が多く設定されるように前記設定条件を設定する請求項2に記載の画像処理装置である。
 請求項4に係る発明は、前記標的細胞が含まれると判定された互いに少なくとも一部が重なる複数の判定対象領域がある場合に、前記判定手段により前記標的細胞が含まれる可能性が最も高いと判定された判定対象領域に該複数の判定対象領域を統合する統合手段を含む請求項2又は3に記載の画像処理装置である。
 請求項5に係る発明は、前記検出難易度算出部は、前記標本の厚さの均一性が高い程、前記検出難易度を低く算出し、前記標本に含まれる核の輝度が低い程、前記検出難易度を低く算出し、前記標本に含まれる予め定めた濃度よりも薄い画素の割合が高い程、前記検出難易度を高く算出する請求項1乃至4のいずれかに記載の画像処理装置である。
 請求項6に係る発明は、前記検出パラメータは、対象の検体から生成される複数の標本のそれぞれについて前記標的細胞が含まれているかを検出する対象とするか否かを定める情報を含み、前記設定手段は、前記検出難易度に基づいて、前記対象の検体から生成される複数の標本の中から検出対象とする検体の情報を設定する請求項1乃至5のいずれかに記載の画像処理装置である。
 請求項7に係る発明は、標本の作成状態に基づいて、該標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する難易度算出手段と、前記検出難易度に基づいて、前記標本の撮像画像から前記標的細胞を検出する処理に関する検出パラメータを設定する設定手段としてコンピュータを機能させるためのプログラムである。また、請求項8に係る発明は、標本の作成状態に基づいて、該標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する難易度算出手段と、前記検出難易度に基づいて、前記標本の撮像画像から前記標的細胞を検出する処理に関する検出パラメータを設定する設定手段としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体である。
 請求項1、7、8及び9に記載の発明によれば、標本から標的細胞を検出する処理のパラメータを、標本の特徴に応じて設定できる。
 請求項2に記載の発明によれば、標本について設定する判定対象領域を、標本から標的細胞を検出する難易度に応じて設定できる。
 請求項3に記載の発明によれば、標本から標的細胞を検出することの難易度が高い場合には判定対象とする領域数を増やして、検出逃れの発生を抑制できる。
 請求項4に記載の発明によれば、複数の判定対象領域を統合しない場合と比較して、同一対象についての複数の判定対象領域の判定結果に基づく精度の良い判定結果を得ることができる。
 請求項5に記載の発明によれば、本構成を有さない場合と比較して、標本から標的細胞を検出することの難易度を精度良く算出できる。
 請求項6に記載の発明によれば、標本の検出難易度に応じて、検体から生成される複数の標本の中から検出対象とする標本を設定できる。
本実施形態に係る画像処理システムのシステム構成例を示す図である。 画像処理装置が備える機能の一例を示す機能ブロック図である。 検出パラメータ管理テーブルの一例を示す図である。 標的細胞候補領域の統合例を説明する図である。 第1の実施例に係る処理のフロー図である。 検出難易度の算出処理のフロー図である。 標的細胞の検出処理のフロー図である。 標的細胞領域の統合処理のフロー図である。 第2の実施例に係る処理のフロー図である。 第3の実施例に係る処理のフロー図である。
 以下、本発明を実施するための実施の形態(以下、実施形態という)を、図面に従って説明する。
[1.システム構成の説明]
 図1には、本実施形態に係る画像処理システム1のシステム構成例を示した。図1に示されるように画像処理システム1は、光学顕微鏡10、画像処理装置20、入力装置50、表示装置60を含み、画像処理装置20と光学顕微鏡10、入力装置50及び表示装置60とはデータ通信可能に接続されている。
 光学顕微鏡10は、試料台に配置されたスライドグラス11上の試料を、対物レンズ12等の光学系を介してCCDカメラ14で撮像する。光学顕微鏡10には、スライドグラス11と対物レンズ12との距離を変化させる焦準機構13を備えており、スライドグラス11上の試料を複数の異なる焦点距離で撮像するようになっている。本実施形態では、試料には、母体血をスライドグラス11に塗布し、メイ・ギムザ染色を施したものを用いる。これにより、母体血中の胎児由来有核赤血球(NRBCs)が青紫色に染色される。以下、NRBCsを標的細胞と称する。
 画像処理装置20は、光学顕微鏡10により撮像された撮像画像を取得するとともに、当該取得した撮像画像の中から標的細胞を検出する。例えば、画像処理装置20は、光学顕微鏡10により撮像された撮像画像の中に設定した判定対象領域に、標的細胞が含まれている可能性を示すスコア(例えば確率)を、標的細胞の識別条件を学習した識別器に基づき判定することとしてよい。なお、画像処理装置20において行われる標的細胞の検出処理の詳細については後述する。
 入力装置50は、例えばキーボードやマウス等のデバイスであり、ユーザから受け付けた操作を画像処理装置20に入力する。例えば、画像処理装置20は、表示装置60に表示された画像に対し、ユーザが入力装置50によって指定した画像領域の情報を標的細胞の正例、負例、又は他の特定細胞の画像特徴を学習するための学習情報として取得し、学習情報に基づいて標的細胞の識別条件(識別パラメータ)を識別器に学習させることとしてよい。
 表示装置60は、例えば液晶表示装置60等であり、画像処理装置20による処理の結果に基づいて画面を表示する。例えば、表示装置60には、光学顕微鏡10で撮像された撮像画像や、画像処理装置20による標的細胞の検出結果等が表示される。
[2.画像処理装置20が備える機能の説明]
 次に、本実施形態に係る画像処理装置20に備えられる機能について説明する。
 図2には、画像処理装置20が備える機能の一例を示す機能ブロック図を示した。図2に示されるように、画像処理装置20は、検体情報取得部21、検体特徴情報記憶部22、標的細胞数推定部23、撮像画像取得部24、標本特徴抽出部25、検出難易度判定部26、検出対象標本設定部27、検出パラメータ設定部28、核候補領域抽出部29、判定対象領域設定部30、画像特徴生成部31、標的細胞判定部32、標的細胞領域設定部33、標的細胞領域統合部34、判定結果出力部35を備える。
 画像処理装置20に備えられる上記の各部の機能は、CPU等の制御手段、メモリ等の記憶手段、外部デバイスとデータを送受信する入出力手段等を備えたコンピュータである画像処理装置20が、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムを読み込み実行することで実現されるものとしてよい。なお、プログラムは光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等の情報記憶媒体によって画像処理装置20に供給されることとしてもよいし、インターネット等のデータ通信網を介して画像処理装置20に供給されることとしてもよい。以下、画像処理装置20が備える各部の機能の詳細について説明する。
 検体情報取得部21は、検査対象とする検体(母体)の情報(検体情報)を取得する。例えば、検体情報取得部21は、入力装置50を介して入力されたデータに基づいて、検体情報を取得することとしてよい。例えば、検体情報には、母体血を採取した被検査対象である人の年齢、病歴、妊娠週数等を含むこととしてよい。
 検体特徴情報記憶部22は、検体の特徴に基づいて、検体に含まれる標的細胞を推定する際に用いる情報を記憶する。例えば、検体特徴情報記憶部22は、検体の特徴に応じた分類に対して、例えば分類ごとの単位血液量当たりの標的細胞数を記憶することとしてよい。例えば、画像処理装置20は、年齢、病歴、妊娠週数の各情報に基づいて検体ごとの特徴ベクトルを生成してクラスタリングし、各クラスタに属する検体について予め測定された単位血液量当たりの標的細胞(有核赤血球)数の代表値(例えば平均値)を代表有核赤血球数として検体特徴情報記憶部22に関連付けて記憶することとしてよい。また、検体特徴情報記憶部22には、年齢、病歴、妊娠週数と、対応する有核赤血球数との関係を定めたテーブルや数式が記憶されることとしてもよい。
 標的細胞数推定部23は、検体情報取得部21により取得された検体に関する検体情報(検体の特徴を表す情報)と、検体特徴情報記憶部22に記憶される情報とに基づいて、当該検体に含まれる標的細胞数を推定する。例えば、標的細胞数推定部23は、検体情報取得部21により取得された検体情報に対応する分類について、検体特徴情報記憶部22に記憶される代表標的細胞数に基づいて、検体から得られた試料(母体血)に含まれる標的細胞数を推定する。例えば、標的細胞数推定部23は、検体情報取得部21により取得された検体情報に対応する分類について、検体特徴情報記憶部22に記憶される単位血液量当たりの有核赤血球数と試料の血液量とを乗じることで推定標的細胞数を得ることとしてよい。
 また、標的細胞数の推定方法は上記に限られない。例えば、検体特徴情報記憶部22は、予め1以上の検体について、検体の特徴ベクトルと標的細胞数を関連付けて記憶しておき、標的細胞数推定部23は、検体特徴情報記憶部22に記憶される検体の特徴ベクトルの中から、対象の検体の特徴ベクトルと類似する(例えば最も特徴ベクトル間の距離が近い)特徴ベクトルを特定し、特定した特徴ベクトルに関連付けられている標的細胞数を対象の検体の標的細胞数としてもよい。
 撮像画像取得部24は、検体から得られたスライドグラス上の試料(母体血)を撮像した撮像画像を取得する。例えば、撮像画像取得部24は、光学顕微鏡102に備えられたCCDカメラ5より試料(母体血)を撮像した撮像画像を光学顕微鏡102から取得する。また、撮像画像取得部24は、後述する検出パラメータに基づいて、対象の検体に定められた検出対象フラグが真(T)である場合には、撮像画像を取得し、対象の検体に定められた検出対象フラグが偽(F)である場合には、撮像画像を取得しないこととしてよい。
 標本特徴抽出部25は、対象の標本の特徴を抽出する。標本の特徴は、標本の作成状態を示す情報を含み、例えば、標本特徴抽出部25は、検体から生成した標本の厚さの均一性、細胞核の染色度合い、白血球の含有率等を標本特徴として抽出することとしてよい。標本特徴抽出部25は、対象の検体から生成した標本の全て又は一部(例えば検出対象とする標本に限定する等)の標本のそれぞれについて標本特徴を抽出することとしてよい。
 標本特徴抽出部25は、例えば、標本の厚さの均一性(A)を、標本の複数の点に関して、標本の表面からスライドグラスまでの深度を光学顕微鏡10で測定し、測定された複数の深度の分散値の逆数として算出することとしてよい。
 標本特徴抽出部25は、例えば、標本の細胞核の染色度合い(B)を、標本の撮像画像(光学顕微鏡10で撮像することとしてよい)の平均輝度値で、予め定めた閾値を除した値(すなわち、閾値/平均輝度値)として算出してもよいし、標本の撮像画像において、予め定めた閾値よりも輝度値が低い画素の割合として算出してもよい。
 標本特徴抽出部25は、例えば、標本の白血球の含有率(C)を、標本の撮像画像(光学顕微鏡10で撮像することとしてよい)における、予め定めた濃度よりも薄い色の画素の割合として算出してもよい。
 検出難易度判定部26は、標本特徴抽出部25により抽出された標本特徴に基づいて、標本から標的細胞を検出する難易度(Df)を判定する。例えば、検出難易度判定部26は、標本についての検出難易度Dfを、標本特徴抽出部25で抽出された標本の厚さの均一性A、標本の細胞核の染色度合いB、標本の白血球の含有率Cに基づいて、以下の式(1)により算出することとしてよい。なお、w1,w2,w3は、w1+w2+w3=1を満たす、それぞれ0以上の予め定められた係数としてよく、A0は、標本の厚さの均一性の基準値、B0は、標本の細胞核の染色度合いの基準値、C0は、標本の白血球の含有率の基準値としてよい。
Df=w1・A0/A+w2・B0/B+w3・C/C0 (1)
 上式(1)によれば、検出難易度Dfは、標本の厚さの均一性Aの値が大きくなるにつれ低く算出され、標本の細胞核の染色度合いBの値が大きくなるにつれ低く算出され、標本の白血球の含有率Cの値が大きくなるにつれ高く算出される。なお、検出難易度判定部26は、上式(1)により算出された検出難易度Dfが0から1までの値を取るように補正してもよい。例えば、検出難易度判定部26は、Dfが下限閾値より低い場合には0に、Dfが上限閾値(例えば1より大きい値)よりも大きい場合には1とすることとしてもよい。
 検出対象標本設定部27は、標的細胞数推定部23により推定された推定標的細胞数(Cb)、又は検出難易度判定部26により判定された検出難易度(Df)の少なくともいずれかに基づいて、対象の検体から生成する複数の標本のうち検出対象とする標本を設定する。
 検出対象標本設定部27は、例えば、対象の検体について推定された推定標的細胞数(Cb)を試料から生成する標本数(N)で除して、1標本当たりの標的細胞数(a=Cb/N)を算出する。ここで、検出対象標本設定部27は、必要標的細胞数(Z)に対して、Cb>Zである場合には、a・X≧Zとなる整数Xを検出対象標本数に決定し、Cb≦Zである場合には、検出対象標本数をN(全標本)に決定することとしてよい。そして、検出対象標本設定部27は、試料から生成したN個の標本の中から、検出対象標本数の標本を選択して(例えば、識別番号順、生成日時順等)、選択した標本の検出対象フラグを真(T)に、選択しなかった標本の検出対象フラグを偽(F)に設定することとしてよい。
 また、検出対象標本設定部27は、検出難易度判定部26により算出された検出難易度に基づいて検出対象とする標本を設定する場合には、例えば、対象の検体から生成された複数の標本のうち検出難易度が閾値以下の標本を検出対象に設定することとしてもよい。
 検出パラメータ設定部28は、試料から生成した標本について検出処理時に利用する検出パラメータを設定する。例えば、検出パラメータ設定部28は、検出対象標本設定部27により設定された検出対象標本と、検出難易度判定部26により判定された検出難易度との少なくとも一方に基づいて、検出パラメータを設定する。例えば、検出パラメータは、標本の検出対象の当否を示す検出対象フラグ、標本の撮像画像から核候補領域として抽出する画像領域の条件を示す核候補領域パラメータ、標本の撮像画像について設定する判定対象領域の設定条件を示す判定対象領域パラメータを含むこととしてよい。
 図3には、検出パラメータ設定部28により設定される検出パラメータを格納する検出パラメータ管理テーブルの一例を示した。図3に示されるように、検出パラメータ管理テーブルには、検体を識別する検体ID、検体から得た複数の標本のそれぞれを識別する標本ID、各標本を検出対象とするか否かを示す検出対象フラグ、核候補領域パラメータ、判定対象領域パラメータが関連付けて記憶される。なお、核候補領域パラメータには、核候補領域として抽出する対象画素の色範囲と、連結画素数の閾値が含む。また、判定対象領域パラメータには、核候補領域において判定対象領域の基点とする画素間のシフト量を示すステップ幅、判定対象領域の基点とする画素について設定する複数サイズの判定対象領域に関し、最小の判定対象領域と最大の判定対象領域とのサイズ比を示す最大倍率、最小の判定対象領域と最大の判定対象領域間までに何段階の拡大を実行するかを示す倍率段階を含む。
 検出パラメータ設定部28は、例えば、検出対象標本設定部27で設定した検出対象標本数Xと1標本当たりの標的細胞数aの積と、必要標的細胞数Zとの差である余裕度Y(Y=a・X-Z)と、検出難易度判定部26により判定された検出難易度Dfとの少なくとも一方に基づいて、検出パラメータを設定することとしてよい。より具体的には、検出パラメータ設定部28は、M(Mは2以上の整数)段階のレベル(L1~LM)ごとに検出パラメータを定めておき(ただし同一画像についてLi+1における検出パラメータにより抽出・設定される核候補領域と判定対象領域の数が、Liにおける検出パラメータにより抽出・設定される核候補領域と判定対象領域の数よりも多い)、余裕度Yと検出難易度Dfの少なくとも一方の値に基づいてレベルを決定し、決定したレベルに基づいて検出パラメータを設定することとしてよい。例えば、検出パラメータ設定部28は、M段階のレベルごとに余裕度の範囲を定めておき、上記計算されたYがどのレベルの範囲に属するかに基づいてレベルを決定してもよい。また、例えば、検出パラメータ設定部28は、M段階のレベルごとに検出難易度の範囲を定めておき、上記計算されたDfがどのレベルの範囲に属するかに基づいてレベルを決定してもよい。また、例えば、検出パラメータ設定部28は、M段階のレベルごとに余裕度と検出難易度の和の範囲を定めておき、上記計算されたYとDfの和がどのレベルの範囲に属するかに基づいてレベルを決定してもよい。
 なお、検出パラメータ設定部28は、検出対象標本設定部27で設定した標本のそれぞれについて、それぞれの標本について算出された検出難易度に基づいて標本ごとに異なる検出パラメータを設定することとしてよい。
 核候補領域抽出部29は、処理対象の標本について撮像画像取得部24により取得された撮像画像の中から、当該標本について検出パラメータ設定部28により設定された核候補領域パラメータに基づいて、核候補領域を抽出する。例えば、核候補領域抽出部29は、核候補領域パラメータに含まれる色範囲に含まれる画素を黒画素、色範囲に含まれない画素を白画素として二値化し、隣り合う黒画素を連結した連結画素群のうち、核候補領域パラメータに含まれる連結画素群の数以上の連結画素群を、核候補領域として抽出することとしてよい。
 判定対象領域設定部30は、処理対象の標本について撮像画像取得部24により取得された撮像画像に対して、当該標本について検出パラメータ設定部28により設定された判定対象領域パラメータと、核候補領域抽出部29により抽出された核候補領域とに基づいて、標的細胞の有無の判定対象とする判定対象領域を設定する。例えば、判定対象領域設定部30は、核候補領域抽出部29により抽出された核候補領域に含まれる1以上の画素のそれぞれに対して、当該画素を中心(又は基点)とする矩形領域を判定対象領域として設定する。ここで、判定対象領域設定部30は、処理対象の標本について設定された判定対象領域パラメータに含まれるステップ幅(シフト量)に基づき、判定対象領域の基点となる核候補領域内の画素をステップ幅だけ順次移動させて、判定対象領域を順次設定することとしてよい。また、判定対象領域設定部30は、判定対象領域の基点となる1つの画素に関し、処理対象の標本について設定された判定対象領域パラメータに含まれる最大倍率と倍率段階に基づき、判定対象領域のサイズを1~最大倍率まで、倍率段階で定められた段階数に渡って変化させて複数の異なるサイズの判定対象領域を設定することとしてよい。
 画像特徴生成部31は、判定対象領域設定部30により設定された判定対象領域の画像特徴量を生成する。例えば、画像特徴生成部31は、判定対象領域のHOG特徴量を算出し、HOG特徴量を画像特徴量として得ることとしてよい。以下、二種のHOG特徴量の算出処理について具体的に説明する。
 画像特徴生成部31は、判定対象領域内の画素ごとに輝度勾配方向と輝度勾配強度を求め、対象画像をX個のセルから成るY個のブロックに分割し、各ブロックを構成するセルごとに輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム([第1勾配方向の値,第2勾配方向の値,・・・,第9勾配方向の値])を求め、これらの2乗平均が1になるようにブロック単位で正規化を行う。そして、画像特徴生成部31は、上記正規化した輝度勾配方向ヒストグラムをブロック内で結合して作成したX×9個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したY×X×9個の値を判定対象領域のHOG特徴量とする。
 また、画像特徴生成部31は、判定対象領域内の画素ごとに輝度勾配方向と輝度勾配強度を求め、対象画像をX個のセルから成るY個のブロックに分割し、各ブロックを構成するセルごとに輝度勾配方向と輝度勾配強度から輝度勾配方向ヒストグラム([第1勾配方向の値,第2勾配方向の値,・・・,第18勾配方向の値])を求める。そして、画像特徴生成部31は、上記の輝度勾配方向ヒストグラムをブロック内で結合して作成したX×18個の値をブロックの特徴量とし、さらに対象画像内のブロックをすべて結合して作成したY×X×18個の値を判定対象領域のCell-HOG特徴量とする。
 標的細胞判定部32は、判定対象領域の画像特徴量に基づいて、判定対象領域に標的細胞が含まれる可能性(信頼度)を判定する。例えば、予め標的細胞が写し出された画像領域の画像特徴量に基づいて標的細胞の識別条件(識別パラメータ)を識別器に学習させ、識別器による判定対象領域の画像特徴量の識別結果を得ることとしてよい。なお、識別器には、AdaBoostやSVM(サポートベクタマシン)等を利用することとしてよい。識別器は、判定対象領域の画像特徴量に基づいて、判定対象領域に標的細胞が含まれる可能性を示すスコア(信頼度)を出力する。例えば、識別器は、判定対象領域に含まれる細胞が標的細胞であれば正の値のスコアを、標的細胞でなければ負の値のスコアを出力することとしてよい。
 標的細胞領域設定部33は、判定対象領域についての標的細胞判定部32による判定結果に基づいて、標的細胞が含まれる候補領域(標的細胞領域)を設定する。例えば、標的細胞領域設定部33は、判定対象領域のうち識別器により出力された信頼度が0以上であれば標的細胞の候補領域に設定することとしてよい。
 標的細胞領域統合部34は、標的細胞領域設定部33により設定された候補領域のうち、互いに少なくとも一部が重なる候補領域を1つに統合する。例えば、標的細胞領域統合部34は、複数の候補領域が互いに重なっている場合は、複数の候補領域をそのうちの1つ(例えば信頼度が最大の領域)に統合することとしてよい。ここで、標的細胞領域統合部34は、複数の候補領域が同じ核候補領域から設定した判定対象領域であれば重なっていると判断してもよいし、複数の候補領域のうち予め定めた閾値以上の面積が互いに重なっていれば複数の候補領域が重なっていると判断してもよい。また、標的細胞領域統合部34は、統合後の候補領域は信頼度が一番高い候補領域のみを残してもよいし、重なっている複数の候補領域のすべてを含む領域を統合後の候補領域としてもよい。また、標的細胞領域統合部34は、統合後の候補領域の信頼度には、統合された候補領域の信頼度を加算してもよいし、統合後の候補領域の信頼度に重なっている候補領域の数をかけたものを、統合後の候補領域の信頼度としてもよい。
 図4には、標的細胞候補領域の統合例を説明する図を示した。図4に示されるように、撮像画像Iの中に核候補領域70が含まれており、核候補領域70に対して互いに一部が重なる2つの標的細胞領域71,72が設定され、標的細胞領域71についてスコアが30、標的細胞領域72についてスコアが10であったとすると、標的細胞領域統合部34は、標的細胞領域71,72のうちスコアが最大の標的細胞領域71に標的細胞領域72を統合し、標的細胞領域71のスコアに標的細胞領域72のスコアを加算して更新することとしてよい。
 判定結果出力部35は、標的細胞領域統合部34により統合した候補領域の情報を、試料についての標的細胞の検出結果として出力する。例えば、判定結果出力部35は、標的細胞領域統合部34により統合された候補領域を、その信頼度に基づいて並び替えてリスト表示する表示画面を表示装置60に表示させることとしてよい。なお、判定結果出力部35は、信頼度が指定された又は予め定められた閾値未満の候補領域については、リスト表示に含めないようにすることとしてよい。
[3.処理の例示]
 次に、図5乃至図10に基づいて、本実施形態に係る画像処理システム1において行われる処理の一例について詳細に説明する。
[3-1.第1の実施例]
 まず、図5~図8に示したフロー図に基づき、画像処理システム1により実行される第1の実施例に係る処理の詳細について説明する。
[3-1-1(1).メイン処理(1)]
 図5に示されるように、画像処理装置20は、入力装置50から入力されたデータに基づいて、対象の検体から生成した標本の数(N(Nは1以上の整数)とする)を設定するとともに(S101)、対象の検体の情報(検体情報)を取得する(S102)。ここで、検体情報には、年齢、病歴、妊娠週数の情報の少なくともいずれかを含むこととしてよい。
 次に、画像処理装置20は、S102で取得した検体情報に基づいて、対象の検体に含まれる標的細胞数(a)を推定する(S103)。例えば、画像処理装置20は、S102で取得した検体情報が属する分類を特定し、特定した分類について予め定められた単位血液当たりの代表標的細胞数(基準標的細胞数)と、検体となる試料の血液量とに基づいて、検体に含有される推定標的細胞数を算出することとしてよい。
 画像処理装置20は、S103で算出した標的細胞数(a)と、S101で設定した標本数(N)とに基づいて、1標本当たりの標的細胞数(b)を算出する(S104)。そして、画像処理装置20は、S104で算出した1標本当たりの標的細胞数(b)に基づいて、検出に必要とされる必要細胞数(c)以上となる、検出対象標本数(d)を決定する(S105)。
 ここで、画像処理装置20は、S105で決定した検出対象標本数(d)の処理対象とする標本を、対象の検体から生成された複数の標本の中から選択して決定する(S106)。
 次に、画像処理装置20は、S106で決定した処理対象とする標本から標的細胞を検出する難易度を示す検出難易度を算出する処理を実行する(S107)。検出難易度の算出処理の詳細については、図6に示したフロー図に基づき説明する。
[3-1-2.検出難易度の算出処理]
 図6に示されるように、画像処理装置20は、変数iを1に初期化して(S201)、標本Siの深度(A)を測定する(S202)。例えば、標本Siの複数の点に関して、標本Siの表面からスライドグラスまでの深度を光学顕微鏡10で測定することとしてよい。
 次に、画像処理装置20は、標本Siを光学顕微鏡10により撮像した撮像画像を取得し(S203)、取得した撮像画像に基づいて、標本Siの染色度(B)を取得する(S204)。例えば、画像処理装置20は、標本Siの細胞核の染色度合い(B)を、標本Siの撮像画像の平均輝度値で、予め定めた閾値を除した値(すなわち、閾値/平均輝度値)として算出してもよいし、標本Siの撮像画像において、予め定めた閾値よりも輝度値が低い画素の割合として算出してもよい。
 さらに、画像処理装置20は、S203で取得した撮像画像に基づいて、標本Si中の白血球の割合(C)を取得する(S205)。例えば、画像処理装置20は、標本Siの白血球の割合(C)を、標本Siの撮像画像における、予め定めた濃度よりも薄い色の画素の割合として算出してよい。
 画像処理装置20は、例えば、上述した式(1)に基づいて、深度(A)の分散値、試料の染色度(B)、白血球割合(C)に基づいて、標本Siから標的細胞の検出難易度Df(Dfi)を算出する(S206)。
 ここで、画像処理装置20は、変数iがdに達していない場合には(S207:N)、変数iをインクリメント(1加算)して(S208)、S202に戻り、変数iがdに達している場合には(S207:Y)、リターンする。次に、図5のフロー図に戻り説明を続ける。
[3-1-1(2).メイン処理(2)]
 図5に示されるように、画像処理装置20は、処理対象の標本について標的細胞の検出難易度Dfの算出を終えると、S107で算出された検出難易度Dfと、S106で決定した処理対象の標本の情報との少なくとも1つに基づいて、検出パラメータを設定する(S108)。例えば、検出パラメータは、標本の検出対象の当否を示す検出対象フラグ、標本から核候補領域として抽出する画像領域の条件を示す核候補領域パラメータ、標本の画像について設定する判定対象領域の設定条件を示す判定対象領域パラメータを含むこととしてよい。ここで、画像処理装置20は、例えば、検出対象フラグについては、S106で決定した処理対象の標本の情報に基づいて設定し、核候補領域パラメータと判定対象領域パラメータについては標本Siについて算出した検出難易度Dfiに基づいて設定することとしてよい。
 画像処理装置20は、S108で設定した検出パラメータに基づいて、検体から標的細胞を検出する処理を実行する(S109)。標的細胞の検出処理の詳細については、図7に示したフロー図に基づき説明する。
[3-1-3.標的細胞の検出処理]
 図7に示されるように、画像処理装置20は、変数i,j,kの値をそれぞれ1に初期化して(S301)、対象の検体についての標本Siが検出対象であるか否かを判断する(S302)。例えば、画像処理装置20は、標本Siの検出対象フラグが真(T)であれば検出対象と判断し、偽(F)であれば検出対象でないと判断することとしてよい。
 画像処理装置20は、標本Siが検出対象である場合には(S302:Y)、例えば光学顕微鏡10に標本Siを撮像させて、標本Siの撮像画像Tiを取得する(S303)。
 次に、画像処理装置20は、標本Siについて設定された検出パラメータに含まれる核候補領域パラメータに基づいて、撮像画像Tiから核候補領域(Ai1~AiM)を抽出する(S304)。なお、Mは撮像画像Tiに含まれる核候補領域の数である。なお、核候補領域の抽出は、上述した核候補領域抽出部29により実行することとしてよい。
 画像処理装置20は、標本Siについて設定された検出パラメータに含まれる判定対象領域パラメータに基づいて、撮像画像Tiから抽出した核候補領域Aijに対して、判定対象領域(Bij1~BijL)を設定する(S305)。なお、Lは核候補領域Aijについて設定される判定対象領域の数であり、判定対象領域の設定は、上述した判定対象領域設定部30により実行することとしてよい。
 画像処理装置20は、判定対象領域Bijkの画像特徴量Vijkを算出する(S306)。なお、画像特徴量の算出は、上述した画像特徴生成部31により実行することとしてよい。
 画像処理装置20は、S306で算出した画像特徴量Vijkに基づいて、判定対象領域Bijkに標的細胞が含まれる可能性を示すスコアPijkを算出する(S307)。
 ここで、画像処理装置20は、S307で算出したスコアPijkが閾値Th以上であれば(S308:Y)、判定対象領域Bijkを標的細胞領域に設定する(S309)。
 画像処理装置20は、S309の後、又はS307で算出したスコアPijkが閾値Th未満である場合には(S308:N)、変数kがLに達しているか否かを判断し(S310)、変数kがLに達していない場合には(S310:N)、kをインクリメント(kに1加算)して(S311)、S306に戻る。また、画像処理装置20は、S310において、変数kがLに達している場合には(S310:Y)、変数jがMに達しているか否かを判断する(S312)。
 画像処理装置20は、S312において変数jがMに達してない場合には(S312:N)、jをインクリメント(jに1加算)するとともに、kを1に初期化して(S313)、S305に戻る。また、画像処理装置20は、S312において変数jがMに達している場合には(S312:Y)、標本Siについて設定された標的細胞領域の統合処理を実行する(S314)。ここで、標的細胞領域の統合処理の詳細については図8に示したフロー図に基づき説明する。
[3-1-4.標的細胞領域の統合処理]
 図8に示されるように、画像処理装置20は、標本Siの撮像画像Tiについて設定したそれぞれの標的細胞領域に対して、処理済みフラグを付与する(S401)。なお、処理済みフラグは、真偽値であり、処理済みが真(T)、未処理が偽(F)とし、S401で付与される処理済みフラグの初期値は偽(F)であるとする。
 次に、画像処理装置20は、処理済みフラグの値が未処理の標的細胞領域を1つ選択する(S402)。以下、S402で選択された標的細胞領域をAsとする。
 画像処理装置20は、撮像画像Tiについて設定した標的細胞領域の中から、S402で選択された標的細胞領域Asと重なる他の標的細胞領域を抽出する(S403)。そして、画像処理装置20は、S403で抽出した標的細胞領域のうち、最大のスコアを有する標的細胞領域を選択する(S404)。以下、S404で選択された標的細胞領域をAtとする。
 画像処理装置20は、標的細胞領域Asのスコアが標的細胞領域Atのスコア以上である場合には(S405:Y)、標的細胞領域AsにS403で抽出された標的細胞領域を統合して(S406)、標的細胞領域Asのスコアに、統合する他の標的細胞領域のスコアを加算する(S407)。例えば、標的細胞領域Asに対して統合される標的細胞領域は削除することとしてもよいし、統合済みの状態に更新することとしてもよい。そして、画像処理装置20は、標的細胞領域Asと、標的細胞領域Asに統合された他の標的細胞領域のそれぞれの処理済みフラグを真(T)に更新する(S408)。
 また、画像処理装置20は、標的細胞領域Asのスコアが標的細胞領域Atのスコア未満である場合には(S405:N)、標的細胞領域Asを、標的細胞領域Atに統合して(S409)、標的細胞領域Atのスコアに、標的細胞領域Asのスコアを加算する(S410)。そして、画像処理装置20は、標的細胞領域Asの処理済みフラグを真(T)に更新する(S411)。
 画像処理装置20は、S408又はS411の後に、未処理の標的細胞領域が残っている場合には(S412:Y)、S402に戻り、未処理の標的細胞領域が残っていない場合には(S412:N)、標的細胞の統合処理を終えてリターンする。
 ここで、図7に戻り説明を続ける。画像処理装置20は、標本Siについて設定された標的細胞領域の統合処理を終えると、変数iがd(検出対象標本数又は全標本数)に達していない場合には(S315:N)、iをインクリメント(1加算)するとともに、j及びkを1に初期化して(S316)、S302に戻る。また、画像処理装置20は、S315において、変数iがdに達している場合には(S315:Y)、リターンする。
 また、画像処理装置20は、S302において、標本Siが検出対象でない場合であって(S302:N)、変数iがdに達していないときには(S317:N)、iをインクリメント(1加算)するとともに、j及びkを1に初期化して(S316)、S302に戻り、変数iがdに達しているときには(S317:Y)、リターンする。
[3-1-1(3).メイン処理(3)]
 ここで、図5のフロー図に戻り説明を続ける。画像処理装置20は、処理対象の検体のそれぞれについて標的細胞の検出処理を終えると、各検体について統合後の標的細胞領域に基づいて、標的細胞領域の情報を出力して(S110)、処理を終了する。例えば、画像処理装置20は、検体ごとに、統合後の標的細胞領域のスコアが大きい順に標的細胞領域をソートして標的細胞領域を表示装置60に表示させることとしてよい。
 以上説明した第1の実施例に係る処理によれば、処理対象とする検体に含まれる推定の標的細胞数と、処理対象とする検体から標的細胞を検出する難易度に基づいて、検出処理に利用するパラメータを設定できる。
[3-2.第2の実施例]
 次に、図9に示したフロー図に基づき、画像処理システム1により実行される第2の実施例に係る処理の詳細について説明する。第2の実施例においては、検出難易度を用いずに検出パラメータを設定する点で第1の実施例と異なっている。
 図9に示されるように、画像処理装置20は、例えば、入力装置50から入力されたデータに基づいて、対象の検体から生成した標本の数(N(Nは1以上の整数)とする)を設定するとともに(S501)、対象の検体の情報(検体情報)を取得する(S502)。ここで、検体情報には、年齢、病歴、妊娠週数の情報の少なくともいずれかを含むこととしてよい。
 次に、画像処理装置20は、S502で取得した検体情報に基づいて、対象の検体に含まれる標的細胞数(a)を推定する(S503)。例えば、画像処理装置20は、S502で取得した検体情報が属する分類を特定し、特定した分類について予め定められた単位血液当たりの代表標的細胞数と、検体となる試料の血液量とに基づいて、検体に含有される推定標的細胞数を算出することとしてよい。
 画像処理装置20は、S503で算出した標的細胞数(a)と、S501で設定した標本数(N)とに基づいて、1標本当たりの標的細胞数(b)を算出する(S504)。そして、画像処理装置20は、S504で算出した1標本当たりの標的細胞数(b)に基づいて、検出に必要とされる必要細胞数(c)以上となる、検出対象標本数(d)を決定する(S505)。
 ここで、画像処理装置20は、S505で決定した検出対象標本数(d)の処理対象とする標本を、対象の検体から生成された複数の標本の中から選択して決定する(S506)。
 次に、画像処理装置20は、S506で決定した処理対象とする標本の情報と、S504で算出した1標本当たりの標的細胞数(b)に基づいて、検出パラメータを設定する(S507)。例えば、検出パラメータは、標本の検出対象の当否を示す検出対象フラグ、標本から核候補領域として抽出する画像領域の条件を示す核候補領域パラメータ、標本の画像について設定する判定対象領域の設定条件を示す判定対象領域パラメータを含むこととしてよい。ここで、画像処理装置20は、例えば、検出対象フラグについては、S506で決定した処理対象の標本の情報に基づいて設定し、核候補領域パラメータと判定対象領域パラメータについては、検出対象標本数(d)と1標本当たりの標的細胞数を乗じたb・dから、必要細胞数(c)を減じた余裕度(b・d-c)に基づいて設定することとしてよい。
 画像処理装置20は、S507で設定した検出パラメータに基づいて、検体から標的細胞を検出する処理を実行する(S508)。標的細胞の検出処理の詳細については、図7に示したフロー図に示した通りであり、第1の実施例と共通するためここでの説明は省略する。
 そして、画像処理装置20は、処理対象の検体のそれぞれについて標的細胞の検出処理を終えると、各検体について統合後の標的細胞領域に基づいて、標的細胞領域の情報を出力して(S509)、処理を終了する。
 以上説明した第2の実施例に係る処理によれば、処理対象とする検体に含まれる推定の標的細胞数に基づいて、検出処理に利用するパラメータを設定できる。
[3-3.第3の実施例]
 次に、図10に示したフロー図に基づき、画像処理システム1により実行される第3の実施例に係る処理の詳細について説明する。第3の実施例においては、対象の検体について推定される標的細胞数を用いずに検出パラメータを設定する点で第1の実施例と異なっている。
 図10に示されるように、画像処理装置20は、例えば、入力装置50から入力されたデータに基づいて、対象の検体から生成した標本の数(N(Nは1以上の整数)とする)を設定する(S601)。
 ここで、画像処理装置20は、対象の検体から生成された複数の標本の中から処理対象とする標本を決定する(S602)。例えば、画像処理装置20は、対象の検体から生成された複数の標本の全てを処理対象としてもよいし、対象の検体について算出された検出難易度Dfに基づいて処理対象とする標本を決定することとしてもよい。例えば、画像処理装置20は、検出難易度の範囲に応じて割合を定めておき(具体的には、検出難易度が上がるにつれて割合を高くする)、検出難易度Dfに対応する割合と全標本数との積に基づいて(具体的には得られた積を切り上げにより整数にすることとしてよい)、処理対象とする標本数を決定し、決定した標本数に基づいて処理対象の標本を決定することとしてよい。ここでは、処理対象とする標本数をdで表す。
 次に、画像処理装置20は、処理対象とする標本から標的細胞を検出する難易度を示す検出難易度を算出する処理を実行する(S603)。検出難易度の算出処理の詳細については、図6に示したフロー図の通りであり、第1の実施例と共通するためここでの説明は省略する。
 次に、画像処理装置20は、処理対象とする標本Si(i=1~d)について、S603で算出された検出難易度Dfiに基づいて、標本Siの検出パラメータを設定する(S604)。例えば、検出パラメータは、標本の検出対象の当否を示す検出対象フラグ、標本から核候補領域として抽出する画像領域の条件を示す核候補領域パラメータ、標本の画像について設定する判定対象領域の設定条件を示す判定対象領域パラメータを含むこととしてよい。ここで、画像処理装置20は、例えば、検出対象フラグについては、S603で決定した処理対象の標本の情報に基づいて設定し、核候補領域パラメータと判定対象領域パラメータについては標本Siについて算出した検出難易度Dfiに基づいて設定することとしてよい。
 画像処理装置20は、S604で設定した検出パラメータに基づいて、検体から標的細胞を検出する処理を実行する(S605)。標的細胞の検出処理の詳細については、図7に示したフロー図の通りであり、第1の実施例と共通するためここでの説明は省略する。
 そして、画像処理装置20は、処理対象の検体のそれぞれについて標的細胞の検出処理を終えると、各検体について統合後の標的細胞領域に基づいて、標的細胞領域の情報を出力して(S606)、処理を終了する。
 以上説明した第3の実施例に係る処理によれば、処理対象とする検体から標的細胞を検出する難易度に基づいて、検出処理に利用するパラメータを設定できる。
 本発明は上記の実施形態に限定されるものではない。例えば、標的細胞領域を統合せずに、標的細胞領域をスコアの順に表示させることとしても構わない。また、画像処理装置20は、光学顕微鏡10から検体の撮像画像を取得する場合に限らず、他のコンピュータから検体の撮像画像を取得することとしてもよい。
 1 画像処理システム、10 光学顕微鏡、11 スライドグラス、12 対物レンズ、13 焦準機構、14 CCDカメラ、20 画像処理装置、21 検体情報取得部、22 検体特徴情報記憶部、23 標的細胞数推定部、24 撮像画像取得部、25 標本特徴抽出部、26 検出難易度判定部、27 検出対象標本設定部、28 検出パラメータ設定部、29 核候補領域抽出部、30 判定対象領域設定部、31 画像特徴生成部、32 標的細胞判定部、33 標的細胞領域設定部、34 標的細胞領域統合部、35 判定結果出力部、50 入力装置、60 表示装置、70 核候補領域、71 標的細胞領域、72 標的細胞領域
 

Claims (9)

  1.  標本の作成状態に基づいて、該標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する難易度算出手段と、
     前記検出難易度に基づいて、前記標本の撮像画像から前記標的細胞を検出する処理に関する検出パラメータを設定する設定手段と、を含む
     画像処理装置。
  2.  前記検出パラメータは、前記撮像画像において前記標的細胞領域が含まれているか否かを判定する判定対象領域の設定条件を定める情報を含み、
     前記撮像画像に対して、前記検出パラメータに基づいて設定した判定対象領域に前記標的細胞が含まれるか否かを判定する判定手段を含む
     請求項1に記載の画像処理装置。
  3.  前記設定手段は、前記検出難易度が高い程、前記判定対象領域が多く設定されるように前記設定条件を設定する
     請求項2に記載の画像処理装置。
  4.  前記標的細胞が含まれると判定された互いに少なくとも一部が重なる複数の判定対象領域がある場合に、前記判定手段により前記標的細胞が含まれる可能性が最も高いと判定された判定対象領域に該複数の判定対象領域を統合する統合手段を含む
     請求項2又は3に記載の画像処理装置。
  5.  前記検出難易度算出部は、前記標本の厚さの均一性が高い程、前記検出難易度を低く算出し、前記標本に含まれる核の輝度が低い程、前記検出難易度を低く算出し、前記標本に含まれる予め定めた濃度よりも薄い画素の割合が高い程、前記検出難易度を高く算出する
     請求項1乃至4のいずれかに記載の画像処理装置。
  6.  前記検出パラメータは、対象の検体から生成される複数の標本のそれぞれについて前記標的細胞が含まれているかを検出する対象とするか否かを定める情報を含み、
     前記設定手段は、前記検出難易度に基づいて、前記対象の検体から生成される複数の標本の中から検出対象とする検体の情報を設定する
     請求項1乃至5のいずれかに記載の画像処理装置。
  7.  標本の作成状態に基づいて、該標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する難易度算出手段と、
     前記検出難易度に基づいて、前記標本の撮像画像から前記標的細胞を検出する処理に関する検出パラメータを設定する設定手段と、
     してコンピュータを機能させるためのプログラム。
  8.  標本の作成状態に基づいて、該標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する難易度算出手段と、
     前記検出難易度に基づいて、前記標本の撮像画像から前記標的細胞を検出する処理に関する検出パラメータを設定する設定手段と、
     してコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
  9.  標本の作成状態に基づいて、該標本に含まれる標的細胞を検出する難易度を示す検出難易度を算出する難易度算出ステップと、
     前記検出難易度に基づいて、前記標本の撮像画像から前記標的細胞を検出する処理に関する検出パラメータを設定する設定ステップと、を含む
     画像処理方法。
     
PCT/JP2014/074016 2013-12-27 2014-09-11 画像処理装置、プログラム、記憶媒体、及び画像処理方法 WO2015098199A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480056915.2A CN105637344B (zh) 2013-12-27 2014-09-11 图像处理设备、程序、存储介质和图像处理方法
EP14875850.1A EP3091348B1 (en) 2013-12-27 2014-09-11 Image processing device, program, storage medium, and image processing method
US15/065,335 US10146042B2 (en) 2013-12-27 2016-03-09 Image processing apparatus, storage medium, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-271141 2013-12-27
JP2013271141A JP6156137B2 (ja) 2013-12-27 2013-12-27 画像処理装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/065,335 Continuation US10146042B2 (en) 2013-12-27 2016-03-09 Image processing apparatus, storage medium, and image processing method

Publications (1)

Publication Number Publication Date
WO2015098199A1 true WO2015098199A1 (ja) 2015-07-02

Family

ID=53478082

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/074016 WO2015098199A1 (ja) 2013-12-27 2014-09-11 画像処理装置、プログラム、記憶媒体、及び画像処理方法

Country Status (5)

Country Link
US (1) US10146042B2 (ja)
EP (1) EP3091348B1 (ja)
JP (1) JP6156137B2 (ja)
CN (1) CN105637344B (ja)
WO (1) WO2015098199A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6194791B2 (ja) * 2013-12-27 2017-09-13 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2022201881A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 スライド数推定装置、制御方法、及び非一時的なコンピュータ可読媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248619A (ja) * 2003-02-21 2004-09-09 Haruo Takabayashi 標的細胞自動探索システム
WO2012169088A1 (ja) * 2011-06-09 2012-12-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理システム
JP2013224966A (ja) * 2013-07-25 2013-10-31 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
US6151405A (en) * 1996-11-27 2000-11-21 Chromavision Medical Systems, Inc. System and method for cellular specimen grading
US7756305B2 (en) * 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
JP2006317406A (ja) * 2005-05-16 2006-11-24 Olympus Corp 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置
EP2042853B1 (en) * 2006-07-12 2014-04-23 Toyobo Co., Ltd. Analyzer and use thereof
JP2008124885A (ja) * 2006-11-14 2008-05-29 Sony Corp 撮像システム、撮像方法
CN101339185B (zh) * 2008-06-23 2011-03-02 武汉呵尔医疗科技发展有限公司 用于脱落细胞检测的自动显微成像仪及检测方法
WO2011143121A2 (en) * 2010-05-10 2011-11-17 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Spatial-domain low-coherence quantitative phase microscopy
JP5333570B2 (ja) * 2011-12-21 2013-11-06 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248619A (ja) * 2003-02-21 2004-09-09 Haruo Takabayashi 標的細胞自動探索システム
WO2012169088A1 (ja) * 2011-06-09 2012-12-13 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理システム
JP2012254042A (ja) 2011-06-09 2012-12-27 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2013224966A (ja) * 2013-07-25 2013-10-31 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RYOTA OZAKI ET AL.: "Automatic Detection of Nucleated Red Blood Cells from Microscope Images using Cell -Hog Feature", JOURNAL OF THE JAPAN SOCIETY OF PRECISION ENGINEERING, vol. 79, no. 11, 5 November 2013 (2013-11-05), pages 1074 - 1077, XP055282213 *

Also Published As

Publication number Publication date
CN105637344A (zh) 2016-06-01
EP3091348B1 (en) 2020-07-08
EP3091348A4 (en) 2017-05-10
CN105637344B (zh) 2019-03-01
EP3091348A1 (en) 2016-11-09
JP6156137B2 (ja) 2017-07-05
US10146042B2 (en) 2018-12-04
JP2015125098A (ja) 2015-07-06
US20160187637A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6194791B2 (ja) 画像処理装置及びプログラム
WO2014030380A1 (ja) 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
US9704017B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
US9684958B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
JP6197659B2 (ja) 検出制御装置、プログラム及び検出システム
JP5333570B2 (ja) 画像処理装置、プログラム及び画像処理システム
WO2014192184A1 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
EP3006550B1 (en) Image processing device, image processing method, computer-implemented method and storage medium
WO2014196097A1 (ja) 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法
JP6156137B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14875850

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014875850

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014875850

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE