JPWO2017150194A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JPWO2017150194A1 JPWO2017150194A1 JP2018503018A JP2018503018A JPWO2017150194A1 JP WO2017150194 A1 JPWO2017150194 A1 JP WO2017150194A1 JP 2018503018 A JP2018503018 A JP 2018503018A JP 2018503018 A JP2018503018 A JP 2018503018A JP WO2017150194 A1 JPWO2017150194 A1 JP WO2017150194A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- image processing
- biological material
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 173
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 239000012620 biological material Substances 0.000 claims abstract description 83
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 239000000284 extract Substances 0.000 claims abstract description 6
- 210000003855 cell nucleus Anatomy 0.000 claims description 36
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 4
- 210000000170 cell membrane Anatomy 0.000 claims description 3
- 210000001519 tissue Anatomy 0.000 description 30
- 238000000034 method Methods 0.000 description 25
- 238000001000 micrograph Methods 0.000 description 22
- 238000012986 modification Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 17
- 238000010827 pathological analysis Methods 0.000 description 15
- 238000010186 staining Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000012128 staining reagent Substances 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 210000002808 connective tissue Anatomy 0.000 description 2
- 210000003743 erythrocyte Anatomy 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000012188 paraffin wax Substances 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 102000009123 Fibrin Human genes 0.000 description 1
- 108010073385 Fibrin Proteins 0.000 description 1
- BWGVNKXGVNDBDI-UHFFFAOYSA-N Fibrin monomer Chemical compound CNC(=O)CNC(=O)CN BWGVNKXGVNDBDI-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000001772 blood platelet Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 210000004748 cultured cell Anatomy 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002124 endocrine Effects 0.000 description 1
- 230000002327 eosinophilic effect Effects 0.000 description 1
- 229950003499 fibrin Drugs 0.000 description 1
- 239000008187 granular material Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004579 scanning voltage microscopy Methods 0.000 description 1
- 239000013049 sediment Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Hematology (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Urology & Nephrology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本発明の画像処理装置2Aは、生体物質が撮影された画像の画像処理を行う画像処理装置であって、前記画像を入力する入力手段と、前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、を備えることを特徴とする。
Description
例えば、図6に示されるように、細胞核を染色した組織標本を撮影した病理画像は、標本の取得方法及び組織の種類に応じて、特徴が大きく異なる。図6は、細胞核の染色状態及び密集度に基づいて10のパターンに分類された画像の代表例を示す。
このような画像の特徴の差異に伴い、病理診断のための画像処理に用いられる適切なパラメータは、画像ごとに大きくばらつくことが知られている。例えば、染色された細胞核を示す画像を抽出する際に、細胞核が密集している標本を撮影した画像に対しては、強い分割処理を行う必要がある。また、細胞核の染色ムラが大きい標本を撮影した画像に対しては、例えば色ムラを低減するための平均化フィルタ処理を行う必要がある。
前記画像を入力する入力手段と、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
を備えることを特徴とする。
前記画像を入力する入力工程、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
を備えることを特徴とする。
前記画像を入力する入力手段、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
として機能させることを特徴とする。
<病理診断支援システム10の構成>
図1に、本発明の画像処理装置を備えた病理診断支援システム10の全体構成例を示す。
病理診断支援システム10は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。たとえば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/Fなどを備えて構成されている。照射手段は、光源、フィルタなどにより構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズなどにより構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、または蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサーなどを備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
顕微鏡画像取得装置1Aでは、明視野観察に適した照射手段および結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段および結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25などを備えて構成され、各部はバス26を介して接続されている。
たとえば、制御部21は、記憶部25に記憶されている画像処理プログラムとの協働により画像解析処理(図3参照)を実行し、特徴量抽出手段、判定手段、設定手段、処理手段、分割手段、としての機能を実現する。
その他、画像処理装置2Aは、LANアダプターやルーターなどを備え、LANなどの通信ネットワークを介して外部機器と接続される構成としてもよい。
本実施形態で解析される画像は、人体から採取した組織切片等、公知の方法により作製された任意の組織標本における生体物質を撮影した画像である。生体物質の具体例としては、細胞核、細胞膜、等の生体物質が挙げられる。生体物質は染色されていても染色されていなくてもよく、染色を行う場合、染色に用いる試薬や染色方法は、公知の任意のものを用いてよい。
また、本実施形態で解析される画像は、生体物質が蛍光物質により染色された組織標本を、蛍光顕微鏡を用いて撮影して取得した得た蛍光画像でもよい。
以下、病理診断支援システム10において、上記説明した画像を取得して本発明の画像処理方法を用いて画像処理を行う動作について説明する。
ここでは、生体物質として細胞核が撮影された明視野画像から、細胞核を示す画像を抽出する画像処理を行う場合を例にとって説明する。本実施形態の明視野画像は、例えば、以下のようにHE染色を施された乳癌組織の組織切片を撮影して取得される。
その後、顕微鏡画像取得装置1Aを用いて、以下の手順により明視野画像を取得する。
(a1)操作者は、スライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率及びピントの調整を行い、組織切片上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
通信I/F24により顕微鏡画像取得装置1Aから画像が入力されると(ステップS1:入力工程)、入力された画像(以下、入力画像)における生体物質(ここでは、細胞核)を公知の任意の方法によって初期抽出した画像が作成される(ステップS2:初期抽出工程)。
初期抽出工程では、例えば、グレースケール変換された入力画像(図5A)に対して所定の閾値を用いた二値化処理が施されることにより、HE染色によって濃い青色に染色された部分を抽出した画像が作成される。図5Aの入力画像から細胞核を抽出すると、実際は、図5Bのような画像が得られる。しかし、例えば、染色ムラにより1つの細胞核が複数に分かれて抽出されたり、近接した(又は重なって撮影された)複数の細胞核が1つの領域として抽出されたりするため、ステップS2の初期抽出工程で作成される画像は、実際の細胞核の領域を示す画像に対して誤差が大きい。
円形度は、初期抽出された細胞核の面積をS、周囲長をLとした場合に、式:「4πS/L2」で算出される。凸包面積比は、初期抽出された細胞核の面積と、初期抽出された細胞核を包含する凸包多角形の面積の比である。細胞核が正確に抽出されている場合、円形度及び/又は凸包面積比は1に近いと考えられる。
色の濃さは、初期抽出された細胞核中の各画素のRGB値、HSV値、輝度値、等の平均値である。色のムラは、初期抽出された細胞核中の各画素のRGB値、HSV値、又は輝度値、等の標準偏差により表される。
大きさは、初期抽出された細胞核中の面積、長径、短径、周囲長、等である。密度は、入力画像全体の面積に対する、初期抽出された細胞核の面積の割合、又は初期抽出された細胞核の数である。
図6は、染色状態及び密集度に基づいて分類された10の画像パターンA〜Jの例を示す。図6では、各パターンは、色の濃さ及び色のムラに基づいて、染色状態が「色が濃く、ムラが少ない」「色のムラが大きい」「中抜け」「色が薄く、ムラが少ない」の4つに分類され、密度及び面積に基づいて、細胞核の密集度が「高:細胞核の数が多い、及び/又は密集している」、「中:細胞核の数及び/又は密集が中程度である」、「低:細胞核の数が少なく、疎らである」の何れかに分類されている。
各画像パターンに対応付けられている特徴量の数、各項目における分類の基準、分類の段階数、等は任意である。
各画像パターンには、対応するパラメータが予め設定されている。具体的には、例えば、画像パターンごとに定められた定数、又は画像パターンごとに定められた特徴量の関数がパラメータとして設定される。記憶部25には、各画像パターンとパラメータを対応づけるテーブルが予め記憶されており、制御部21は、テーブルを参照してステップS4で判定された画像パターンに対応するパラメータを探し、画像処理に用いるパラメータとして設定する。
ステップS4において、入力画像の特徴量に対応する何れか1つの画像パターンが判定された場合には、判定された1つの画像パターンに対応づけられたパラメータが設定される。
例えば、2値化処理に用いられる閾値の設定により、入力画像の色の濃さに応じた二値化処理が可能となる。また、色の平均化フィルタの設定により、染色ムラが大きい場合であっても入力画像の色ムラが低減可能である。エッジ強調フィルタの設定により、生体物質が薄く染色された場合に生体物質の輪郭が強調して表示される。分割サイズの設定により、生体物質が密集している場合に、個々の生体物質を分割して表示することが可能となる。統合サイズの設定により、染色の中抜けや色ムラにより1つの生体物質が分割して抽出された場合に、生体物質を好ましい統合サイズに統合して表示することが可能となる。
なお、ステップS5において設定されるパラメータは上述のものに限定されるものではなく、また、設定されるパラメータの数は任意である。
(1)フィルタ処理
(1−1)生体物質の染色ムラが多い画像パターン(例えば、図6のD、E、F等)に対しては、平均化フィルタをかけてぼかすことにより、色のムラが均一化される。これにより、続く二値化処理において、1つの生体物質が複数に分割されて抽出されることを防ぐことができる。
(1−2)生体物質の染色が薄い画像パターン(例えば、図6のJ)に対しては、強いエッジ強調処理を行うことにより、生体物質の輪郭が明確化される。
(2)二値化処理
(2−1)生体物質の密度が高く、濃く染色されている画像パターン(例えば、図6のC)に対しては、特に入力画像のコントラストが低い場合には、比較的薄い(染色された生体物質よりも背景色に近い)色を閾値として用いて二値化処理を行うことにより、隣接した生体物質が分離して抽出される。
(2−2)生体物質が薄く染色されている画像パターン(例えば、図6のJ)に対しては、比較的濃い(背景色よりも染色された生体物質に近い)色を閾値として用いて二値化処理を行うことにより、隣接した生体物質が分離して抽出される。
(3)分割処理
(3−1)生体物質の密度が高く、濃く染色されている画像パターン(例えば、図6のC)は、複数の生体物質が個々に分割されずにまとめて抽出されやすいが、エッジ強調等を行って積極的に分割処理を行うことにより、個々の生体物質が分離して抽出される。
(3−2)生体物質の面積が小さい画像パターン(例えば、図6のB)に対しては、小さく設定された分割サイズに基づいて分割処理を行うことにより、複数の生体物質が個々に分離して抽出される。
(4)統合処理
(4−1)生体物質の染色ムラが多い画像パターン(例えば、図6のD、E、F)に対しては、設定された統合サイズに達するまで統合処理を繰り返すことにより、1つの生体物質が分割して抽出されることを防ぐことができる。
(4−2)生体物質が薄く染色されている画像パターン(例えば、図6のJ)又は生体物質の輪郭のみが染色されている画像パターン(例えば、図6のG、H、I)に対しては、生体物質が過剰に分割されて抽出されやすいが、大きく設定された統合サイズの閾値に基づいて統合処理を行うことにより、1つの生体物質が分割して抽出されることを防ぐことができる。
上記実施例の変形例1として、判定工程において何れか1つの画像パターンを判定せずに、複数の画像パターンの組み合わせを判定する例を説明する。
変形例1のステップS4(判定工程)では、例えば、各画像パターンに対応する特徴量の基準値が予め設定されている場合、ステップS3で抽出された特徴量と各基準値との間の特徴量距離を算出し、当該距離が短い画像パターンが複数個選択される。好ましくは、特徴量距離が最も短いものから順に複数の画像パターンが選択される。選択された複数の画像パターンは、例えば特徴量距離によって重みづけされて、複数の画像パターンの組み合わせが判定される。
例えば、入力画像の特徴量が画像パターンD、E及びHの特徴量の基準値の間であり、入力画像と画像パターンD、E及びHの特徴量距離が短い場合、ステップS5(設定工程)では、画像パターンD、E及びHとの特徴量距離に基づいて、これらの画像パターンに対応するパラメータDp、Ep、及びHpが内挿(補間)されて、画像処理に用いるパラメータが設定される。パラメータは、例えば、パラメータDp及びEpの点を通るベクトルと、パラメータDp及びHpの点を通るベクトルのそれぞれを特徴量距離で重みづけして定められた座標Ppによって示される(図7参照)。
また、入力画像の特徴量が画像パターンの範囲外である場合であっても、例えば、特徴量距離が短いF、H及びIに対応するパラメータFp、Hp及びIpの外挿により、入力画像のパラメータRpが設定される(図7参照)。
また、入力画像と画像パターンの特徴量距離の最短値が所定の値を超える場合にのみ、変形例1の判定工程及び設定工程を実施することとしてもよい。
上記実施例において、入力画像を図8Aのように複数の矩形に分割した分割画像を作成する工程(分割工程)を備えてもよい。分割の方法は任意であり、例えば、図8Aのように分割された画像のうち、所定の特徴量を備えたもののみを分割画像としてもよい。
本態様のステップS4では、例えば、図8Bのように、各分割画像パターンが図6の画像パターンA〜Jの何れかに判定された後、最も多くの分割画像パターンとして判定された画像パターンAが入力画像全体の画像パターンとして判定される。
上記実施例のステップS4(判定工程)では、例えば、機械学習を用いて画像パターンが判定されることとしてもよい。機械学習は、例えば、SVM、ランダムフォレスト、ディープラーニング等、公知の任意のものを用いることができる。
本発明においてランダムフォレストを用いる場合、例えば、入力画像の特徴量と画像パターン(例えば、図6のA〜J)を対応付ける複数の決定木が予め準備される。各決定木は、特徴量が入力されると、該当する画像パターンを出力する。ステップS4(判定工程)では、まず、ステップS3で抽出された特徴量が各決定木に入力される。次いで、全ての決定木の出力結果の統計に基づいて、各画像パターンに該当する確率(スコア)が算出され、最大スコアとなる画像パターンが判定される。
各変形例は、適宜組み合わせて実行してもよい。例えば、変形例2の分割工程を備えた画像処理における各分割画像の画像パターン判定を、変形例3のように機械学習を用いて行ってもよい。
その他、病理診断支援システム10を構成する各装置の細部構成および細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
前記画像を入力する入力手段と、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
を備えることを特徴とする。
前記判定手段は、前記画像の特徴量が属する画像パターンを判定することが好ましい。
前記判定手段は、前記画像の特徴量と前記基準値との間の特徴量距離が最短となる基準値が設定された画像パターンを判定することが好ましい。
前記画像の特徴量と前記基準値との間の特徴量距離の最短値が所定の値よりも大きい場合に、
前記設定手段は、前記特徴量距離が最短値となる前記画像パターンから前記特徴量距離が短い順に2以上の所定数の前記画像パターンに設定されているパラメータを内挿又は外挿して、画像処理用のパラメータを設定することが好ましい。
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、全ての前記分割画像の画像パターンに基づいて前記画像全体の画像パターンを判定することが好ましい。
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、
前記設定手段は、前記分割画像毎に判定された画像パターンに基づいて、前記分割画像毎に画像処理用のパラメータを設定し、
前記処理手段は、前記分割画像毎に設定されたパラメータを用いて、前記分割画像毎に画像処理を行うことが好ましい。
前記画像を入力する入力工程、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
を備えることを特徴とする。
前記画像を入力する入力手段、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
として機能させることを特徴とする。
2A 画像処理装置
3A ケーブル
10 病理診断支援システム
21 制御部(特徴量抽出手段、判定手段、設定手段、処理手段、分割手段)
22 操作部
23 表示部
24 通信I/F(入力手段)
25 記憶部
26 バス
Claims (13)
- 生体物質が撮影された画像の画像処理を行う画像処理装置において、
前記画像を入力する入力手段と、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段と、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段と、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段と、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段と、
を備えることを特徴とする画像処理装置。 - 前記生体物質は、細胞核又は細胞膜である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生体物質に関する前記特徴量は、生体物質の色の濃さ、生体物質の色のムラ、生体物質の大きさ、及び前記画像における生体物質の密度、の少なくとも一つである
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記画像パターン毎に、対応する前記特徴量の範囲が設定されており、
前記判定手段は、前記画像の特徴量が属する画像パターンを判定する
ことを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。 - 前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
前記判定手段は、前記画像の特徴量と前記基準値との間の特徴量距離が最短となる基準値が設定された画像パターンを判定する
ことを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。 - 前記画像パターン毎に、対応する前記特徴量の基準値が設定されており、
前記画像の特徴量と前記基準値との間の特徴量距離の最短値が所定の値よりも大きい場合に、
前記設定手段は、前記特徴量距離が最短値となる前記画像パターンから前記特徴量距離が短い順に2以上の所定数の前記画像パターンに設定されているパラメータを内挿又は外挿して、画像処理用のパラメータを設定する
ことを特徴とする請求項1〜3の何れか一項に記載の画像処理装置。 - 前記特徴量距離は、ユークリッド距離又はマハラノビス距離である
ことを特徴とする請求項5又は6に記載の画像処理装置。 - 前記画像を分割して分割画像を作成する分割手段を備え、
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、全ての前記分割画像の画像パターンに基づいて前記画像全体の画像パターンを判定する
ことを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。 - 前記画像を分割して分割画像を作成する分割手段を備え、
前記特徴量抽出手段は、前記分割画像の各々から前記特徴量を抽出し、
前記判定手段は、前記分割画像毎に画像パターンを判定し、
前記設定手段は、前記分割画像毎に判定された画像パターンに基づいて、前記分割画像毎に画像処理用のパラメータを設定し、
前記処理手段は、前記分割画像毎に設定されたパラメータを用いて、前記分割画像毎に画像処理を行う
ことを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。 - 前記判定手段は、機械学習を用いて前記画像パターンを判定する
ことを特徴とする請求項1〜9の何れか一項に記載の画像処理装置。 - 前記パラメータは、前記画像における前記生体物質の色ムラを低減する平均化フィルタ、輪郭を強調するエッジ強調フィルタ、色の濃さに応じた2値化処理を行う閾値、複数の隣接した生体物質を分割する際に用いられる分割サイズ、及び分割して抽出された1つの前記生体物質を統合する統合サイズ、の少なくとも1つを変化させるパラメータである
ことを特徴とする請求項1〜10の何れか一項に記載の画像処理装置。 - 生体物質が撮影された画像の画像処理を行う画像処理方法において、
前記画像を入力する入力工程、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出工程、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出工程により抽出された前記画像の特徴量に対応する画像パターンを判定する判定工程、
前記判定工程により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定工程、
前記設定工程により設定された前記パラメータを用いて前記画像の画像処理を行う処理工程、
を備えることを特徴とする画像処理方法。 - 生体物質が撮影された画像の画像処理を行うコンピュータを、
前記画像を入力する入力手段、
前記画像から前記生体物質に関する所定の特徴量を抽出する特徴量抽出手段、
前記特徴量を分類分けした複数の画像パターンに基づいて、前記特徴量抽出手段により抽出された前記画像の特徴量に対応する画像パターンを判定する判定手段、
前記判定手段により判定された前記画像パターンに基づいて、画像処理用のパラメータを設定する設定手段、
前記設定手段により設定された前記パラメータを用いて前記画像の画像処理を行う処理手段、
として機能させることを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016041750 | 2016-03-04 | ||
JP2016041750 | 2016-03-04 | ||
PCT/JP2017/005610 WO2017150194A1 (ja) | 2016-03-04 | 2017-02-16 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017150194A1 true JPWO2017150194A1 (ja) | 2018-12-27 |
Family
ID=59743875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018503018A Pending JPWO2017150194A1 (ja) | 2016-03-04 | 2017-02-16 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2017150194A1 (ja) |
WO (1) | WO2017150194A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10890576B2 (en) | 2016-06-23 | 2021-01-12 | Konica Minolta, Inc. | Image processing device, image processing method, and recording medium |
JP6732722B2 (ja) * | 2017-12-11 | 2020-08-05 | 憲隆 福永 | 胚選抜システム |
JP7217589B2 (ja) * | 2018-02-27 | 2023-02-03 | シスメックス株式会社 | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム |
JP7000379B2 (ja) * | 2019-05-07 | 2022-01-19 | 憲隆 福永 | 胚選抜システム |
JP7418204B2 (ja) * | 2019-12-26 | 2024-01-19 | キヤノン株式会社 | 画像処理装置とその制御方法、及びプログラム |
JP2021124861A (ja) * | 2020-02-04 | 2021-08-30 | ソニーグループ株式会社 | 解析装置、解析方法、解析プログラム及び診断支援システム |
WO2022107435A1 (ja) * | 2020-11-20 | 2022-05-27 | コニカミノルタ株式会社 | 画像解析方法、画像解析システム及びプログラム |
WO2022259648A1 (ja) * | 2021-06-09 | 2022-12-15 | ソニーグループ株式会社 | 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム |
JP2024016378A (ja) * | 2022-07-26 | 2024-02-07 | 株式会社Screenホールディングス | 解析支援方法、プログラムおよび解析支援装置 |
JP2024135131A (ja) * | 2023-03-22 | 2024-10-04 | 株式会社Screenホールディングス | 領域選定支援方法、領域選定支援装置およびプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009009290A (ja) * | 2007-06-27 | 2009-01-15 | Kddi Corp | 類似画像検索装置 |
JP2010281637A (ja) * | 2009-06-03 | 2010-12-16 | Nec Corp | 病理画像診断システム、病理画像診断方法、病理画像診断プログラム |
WO2013024600A1 (ja) * | 2011-08-18 | 2013-02-21 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
JP2013137627A (ja) * | 2011-12-28 | 2013-07-11 | Olympus Corp | 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム |
JP2013137635A (ja) * | 2011-12-28 | 2013-07-11 | Dainippon Screen Mfg Co Ltd | 画像表示装置および画像表示方法 |
JP2015052581A (ja) * | 2013-01-08 | 2015-03-19 | キヤノン株式会社 | 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置 |
WO2015145643A1 (ja) * | 2014-03-27 | 2015-10-01 | コニカミノルタ株式会社 | 画像処理装置および画像処理プログラム |
-
2017
- 2017-02-16 WO PCT/JP2017/005610 patent/WO2017150194A1/ja active Application Filing
- 2017-02-16 JP JP2018503018A patent/JPWO2017150194A1/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009009290A (ja) * | 2007-06-27 | 2009-01-15 | Kddi Corp | 類似画像検索装置 |
JP2010281637A (ja) * | 2009-06-03 | 2010-12-16 | Nec Corp | 病理画像診断システム、病理画像診断方法、病理画像診断プログラム |
WO2013024600A1 (ja) * | 2011-08-18 | 2013-02-21 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
JP2013137627A (ja) * | 2011-12-28 | 2013-07-11 | Olympus Corp | 細胞輪郭線形成装置及びその方法、細胞輪郭線形成プログラム |
JP2013137635A (ja) * | 2011-12-28 | 2013-07-11 | Dainippon Screen Mfg Co Ltd | 画像表示装置および画像表示方法 |
JP2015052581A (ja) * | 2013-01-08 | 2015-03-19 | キヤノン株式会社 | 生体組織画像の再構成方法及び装置並びに該生体組織画像を用いた画像表示装置 |
WO2015145643A1 (ja) * | 2014-03-27 | 2015-10-01 | コニカミノルタ株式会社 | 画像処理装置および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2017150194A1 (ja) | 2017-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017150194A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
JP7422825B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
US20200098105A1 (en) | Methods and Systems for Assessing Cell Morphology | |
JP6791245B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2023030033A (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
AU2016322966A1 (en) | Methods and apparatus for detecting an entity in a bodily sample | |
US11062168B2 (en) | Systems and methods of unmixing images with varying acquisition properties | |
JP2018503906A (ja) | イムノスコア計算における共発現解析のためのシステム及び方法 | |
JP5469070B2 (ja) | 生物検体を処理するための複数の波長を用いる方法およびシステム | |
JP2014110797A (ja) | 色原体分離に基づく画像解析の方法 | |
US10591402B2 (en) | Image processing apparatus, image processing method, and image processing program | |
WO2019171909A1 (ja) | 画像処理方法、画像処理装置及びプログラム | |
WO2018128091A1 (ja) | 画像解析プログラム及び画像解析方法 | |
US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
JP5269637B2 (ja) | 画像処理装置および画像処理プログラム | |
Sergeev et al. | Development of automated computer vision methods for cell counting and endometrial gland detection for medical images processing | |
Suberi et al. | Optimization of overlapping dendritic cell segmentation in phase contrast microscopy images | |
Jatti | Segmentation of microscopic bone images | |
WO2022259648A1 (ja) | 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム | |
US20210366107A1 (en) | Sensitivity analysis for digital pathology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200703 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201215 |