JP7436666B2 - 病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラム - Google Patents
病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラム Download PDFInfo
- Publication number
- JP7436666B2 JP7436666B2 JP2022533741A JP2022533741A JP7436666B2 JP 7436666 B2 JP7436666 B2 JP 7436666B2 JP 2022533741 A JP2022533741 A JP 2022533741A JP 2022533741 A JP2022533741 A JP 2022533741A JP 7436666 B2 JP7436666 B2 JP 7436666B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- fibrotic
- support device
- diagnosis support
- pathological diagnosis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010827 pathological analysis Methods 0.000 title claims description 51
- 238000011017 operating method Methods 0.000 title description 5
- 230000003176 fibrotic effect Effects 0.000 claims description 129
- 238000011156 evaluation Methods 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 42
- 206010016654 Fibrosis Diseases 0.000 claims description 39
- 230000004761 fibrosis Effects 0.000 claims description 39
- 238000009795 derivation Methods 0.000 claims description 36
- 210000003462 vein Anatomy 0.000 claims description 26
- 210000004185 liver Anatomy 0.000 claims description 20
- 210000004204 blood vessel Anatomy 0.000 claims description 13
- 230000006835 compression Effects 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 13
- 238000000862 absorption spectrum Methods 0.000 claims description 10
- 238000010521 absorption reaction Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 22
- 238000010801 machine learning Methods 0.000 description 22
- 238000000605 extraction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 210000003240 portal vein Anatomy 0.000 description 11
- 238000010186 staining Methods 0.000 description 7
- 238000010191 image analysis Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- DHRLEVQXOMLTIM-UHFFFAOYSA-N phosphoric acid;trioxomolybdenum Chemical compound O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.O=[Mo](=O)=O.OP(O)(O)=O DHRLEVQXOMLTIM-UHFFFAOYSA-N 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 208000008338 non-alcoholic fatty liver disease Diseases 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 102000008186 Collagen Human genes 0.000 description 2
- 108010035532 Collagen Proteins 0.000 description 2
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 101000585359 Homo sapiens Suppressor of tumorigenicity 20 protein Proteins 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 2
- 238000002835 absorbance Methods 0.000 description 2
- 229920001436 collagen Polymers 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 206010053219 non-alcoholic steatohepatitis Diseases 0.000 description 2
- 239000012188 paraffin wax Substances 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- VZGDMQKNWNREIO-UHFFFAOYSA-N tetrachloromethane Chemical compound ClC(Cl)(Cl)Cl VZGDMQKNWNREIO-UHFFFAOYSA-N 0.000 description 2
- 208000004930 Fatty Liver Diseases 0.000 description 1
- 206010019708 Hepatic steatosis Diseases 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- RZUBARUFLYGOGC-MTHOTQAESA-L acid fuchsin Chemical compound [Na+].[Na+].[O-]S(=O)(=O)C1=C(N)C(C)=CC(C(=C\2C=C(C(=[NH2+])C=C/2)S([O-])(=O)=O)\C=2C=C(C(N)=CC=2)S([O-])(=O)=O)=C1 RZUBARUFLYGOGC-MTHOTQAESA-L 0.000 description 1
- YJVBLROMQZEFPA-UHFFFAOYSA-L acid red 26 Chemical group [Na+].[Na+].CC1=CC(C)=CC=C1N=NC1=C(O)C(S([O-])(=O)=O)=CC2=CC(S([O-])(=O)=O)=CC=C12 YJVBLROMQZEFPA-UHFFFAOYSA-L 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000010706 fatty liver disease Diseases 0.000 description 1
- 230000002440 hepatic effect Effects 0.000 description 1
- 210000003494 hepatocyte Anatomy 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 231100000240 steatosis hepatitis Toxicity 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- XOSXWYQMOYSSKB-LDKJGXKFSA-L water blue Chemical compound CC1=CC(/C(\C(C=C2)=CC=C2NC(C=C2)=CC=C2S([O-])(=O)=O)=C(\C=C2)/C=C/C\2=N\C(C=C2)=CC=C2S([O-])(=O)=O)=CC(S(O)(=O)=O)=C1N.[Na+].[Na+] XOSXWYQMOYSSKB-LDKJGXKFSA-L 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/68—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving proteins, peptides or amino acids
- G01N33/6893—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving proteins, peptides or amino acids related to diseases not provided for elsewhere
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2800/00—Detection or diagnosis of diseases
- G01N2800/08—Hepato-biliairy disorders other than hepatitis
- G01N2800/085—Liver diseases, e.g. portal hypertension, fibrosis, cirrhosis, bilirubin
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Urology & Nephrology (AREA)
- Molecular Biology (AREA)
- Hematology (AREA)
- Quality & Reliability (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Biophysics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Biotechnology (AREA)
- Cell Biology (AREA)
- Microbiology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Description
本開示の技術は、病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラムに関する。
病理診断において、癌等の疾患のリスクに繋がる生体組織の線維化の程度を評価することが行われている。従来は、生体組織から採取した標本を病理医が顕微鏡で観察して、線維化の程度を目視で評価していた。しかし、こうした評価方法では病理医の負担が大きかった。また、病理医の熟練度等によって評価が変わってしまうことがあった。
そこで、例えば非特許文献1のように、標本を写した画像(以下、標本画像という)をコンピュータで画像解析して線維化領域を検出し、線維化領域の面積占有率等を導出して病理医等のユーザに提示する方法が提案されている。非特許文献1では、シリウスレッド等の色素で線維化領域が染色された標本の標本画像を用いている。そして、当該標本画像のRGB(Red、Green、Blue)の各色チャンネルの画素値と、予めユーザが設定した閾値との比較により、線維化領域を検出している。
Vincenza Calvaruso他、「Computer-Assisted Image Analysis of Liver Collagen:Relationship to ishak scoring and hepatic venous pressure Gradien」、2009年4月発行、HEPATOLOGY(49)、P1236-1244
線維化領域は、シリウスレッド等の色素による染色によって、一様に同じ色に染まる訳ではない。例えば色素の濃度、あるいは温湿度といった周囲環境によって色合いは変わる。また、標本画像の撮影装置の違いによっても、色合いは変わる。したがって、非特許文献1のように、標本画像のRGB各色チャンネルの画素値と閾値との単純な比較によって線維化領域を検出する方法は、線維化領域の検出精度が低かった。
本開示の技術は、線維化領域の検出精度を高めることが可能な病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラムを提供することを目的とする。
上記目的を達成するために、本開示の病理診断支援装置は、少なくとも1つのプロセッサを備え、プロセッサは、色素で染色された生体組織の標本を写した標本画像であり、複数の色チャンネルの画素値を有する標本画像を取得し、複数の色チャンネルのうちの2つの色チャンネルの画素値の比と、予め設定された閾値との比較により、生体組織の線維化領域を検出し、検出した線維化領域に基づいて、生体組織の線維化の程度を表す評価情報を導出し、評価情報を出力する。
プロセッサは、色素の吸収スペクトルにおいて、吸収率の差が相対的に大きい2つの色領域に対応する2つの色チャンネルの画素値の比を算出することが好ましい。
プロセッサは、生体組織を通る血管の周囲を含む血管周囲領域と、血管周囲領域以外の非血管周囲領域とに分けて評価情報を導出することが好ましい。
標本は肝臓から採取されたものであり、プロセッサは、肝臓を通る中心静脈の周囲を含む中心静脈周囲領域と、非血管周囲領域とに分けて評価情報を導出する。
プロセッサは、評価情報として、線維化領域の面積および長さのうちの少なくともいずれかに関する数値を導出することが好ましい。
プロセッサは、取得した標本画像に対して圧縮処理を施した後、線維化領域の検出を行うことが好ましい。
本開示の病理診断支援装置の作動方法は、色素で染色された生体組織の標本を写した標本画像であり、複数の色チャンネルの画素値を有する標本画像を取得する取得処理と、複数の色チャンネルのうちの2つの色チャンネルの画素値の比と、予め設定された閾値との比較により、生体組織の線維化領域を検出する検出処理と、検出した線維化領域に基づいて、生体組織の線維化の程度を表す評価情報を導出する導出処理と、評価情報を出力する出力処理と、をプロセッサが実行する。
本開示の病理診断支援装置の作動プログラムは、色素で染色された生体組織の標本を写した標本画像であり、複数の色チャンネルの画素値を有する標本画像を取得する取得処理と、複数の色チャンネルのうちの2つの色チャンネルの画素値の比と、予め設定された閾値との比較により、生体組織の線維化領域を検出する検出処理と、検出した線維化領域に基づいて、生体組織の線維化の程度を表す評価情報を導出する導出処理と、評価情報を出力する出力処理と、をプロセッサに実行させる。
本開示の技術によれば、線維化領域の検出精度を高めることが可能な病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラムを提供することができる。
[第1実施形態]
図1において、病理診断は、例えば以下の工程を経て行われる。まず、超音波観測装置(図示省略)の監視下において、患者Pの体外から肝臓LVに生検針10を刺して、肝臓LVから細長の検体11を採取する。そして、検体11をパラフィンに包埋した後、ミクロトームによって複数枚の切片12にスライスし、スライスした切片12をガラス13に貼り付ける。その後、パラフィンを脱して切片12を色素で染色し、染色後の切片12をカバーガラス14で覆って、標本20を完成させる。本例では、色素としてシリウスレッドが用いられる。なお、肝臓LVは、本開示の技術に係る「生体組織」の一例である。
図1において、病理診断は、例えば以下の工程を経て行われる。まず、超音波観測装置(図示省略)の監視下において、患者Pの体外から肝臓LVに生検針10を刺して、肝臓LVから細長の検体11を採取する。そして、検体11をパラフィンに包埋した後、ミクロトームによって複数枚の切片12にスライスし、スライスした切片12をガラス13に貼り付ける。その後、パラフィンを脱して切片12を色素で染色し、染色後の切片12をカバーガラス14で覆って、標本20を完成させる。本例では、色素としてシリウスレッドが用いられる。なお、肝臓LVは、本開示の技術に係る「生体組織」の一例である。
各標本20は、デジタル光学顕微鏡等の撮影装置(図示省略)にセットされて撮影される。これにより得られた各標本20の標本画像21は、標本画像群21Gとして病理診断支援装置25に入力される。標本画像21には、患者Pを一意に識別するための患者ID(Identification Data)、撮影日時等が付される。
標本画像21の画素30には、表31に示すように、RGBの3色の各色チャンネルの画素値が割り当てられている。このため標本画像21はフルカラー画像である。画素値は例えば0~255の範囲の数値である。
標本画像21には、切片12を含む標本20が写されている。切片12は、血管領域32および実質領域33を有する。血管領域32は、門脈、中心静脈といった、肝臓LVを通る血管の領域である。血管領域32は、切片12においては空洞となっている。実質領域33は、肝臓LVの肝細胞が存在する領域である。
シリウスレッドは、線維化領域35(より詳しくは膠原線維の領域)を赤く染色する。図1に例示する標本画像21においては、血管領域32の周囲の領域である血管周囲領域36、および実質領域33の所々に、線維化領域35が存在している。また、二点鎖線の枠37で囲むように、2つの血管の間を繋ぐ線維化領域35、すなわち架橋性線維化も見られる。架橋性線維化は、2つの血管がともに門脈の領域であった場合はP-P bridging、2つの血管が門脈と中心静脈であった場合はP-C bridgingと呼ばれる。
病理診断支援装置25は、例えばデスクトップ型のパーソナルコンピュータであり、ディスプレイ40および入力デバイス41を有する。入力デバイス41は、キーボード、マウス、タッチパネル等である。病理診断支援装置25は、標本画像21を画像解析して線維化領域35を検出する。そして、線維化領域35の面積占有率といった評価情報71(図3等参照)を導出し、評価情報71をディスプレイ40に表示する。
図2において、病理診断支援装置25を構成するコンピュータは、前述のディスプレイ40と入力デバイス41に加えて、ストレージデバイス45、メモリ46、CPU(Central Processing Unit)47、および通信部48を備えている。これらはバスライン49を介して相互接続されている。
ストレージデバイス45は、病理診断支援装置25を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス45は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス45には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
メモリ46は、CPU47が処理を実行するためのワークメモリである。CPU47は、ストレージデバイス45に記憶されたプログラムをメモリ46へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
通信部48は、LAN(Local Area Network)等のネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ40は各種画面を表示する。病理診断支援装置25を構成するコンピュータは、各種画面を通じて、入力デバイス41からの操作指示の入力を受け付ける。
図3において、病理診断支援装置25のストレージデバイス45には、作動プログラム55が記憶されている。作動プログラム55は、コンピュータを病理診断支援装置25として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム55は、本開示の技術に係る「病理診断支援装置の作動プログラム」の一例である。ストレージデバイス45には、標本画像群21Gおよび閾値TH等も記憶される。
作動プログラム55が起動されると、病理診断支援装置25を構成するコンピュータのCPU47は、メモリ46等と協働して、リードライト(以下、RW(Read Write)と略す)制御部60、指示受付部61、検出部62、導出部63、および表示制御部64として機能する。CPU47は、本開示の技術に係る「プロセッサ」の一例である。
RW制御部60は、ストレージデバイス45への各種データの記憶、およびストレージデバイス45内の各種データの読み出しを制御する。例えばRW制御部60は、撮影装置から送信された標本画像群21Gを受け取り、ストレージデバイス45に記憶する。また、RW制御部60は、入力デバイス41を介したユーザによる画像解析の指示が指示受付部61にて受け付けられた標本画像群21Gをストレージデバイス45から読み出し、検出部62、導出部63、および表示制御部64に出力する。すなわち、RW制御部60は、本開示の技術に係る「取得処理」を担う。なお、入力デバイス41を介したユーザによる画像解析の指示は、例えば標本画像21に付された患者IDおよび撮影日時を入力指定することで行われる。
さらに、RW制御部60は、閾値THをストレージデバイス45から読み出し、検出部62に出力する。
指示受付部61は、入力デバイス41を介したユーザによる様々な指示を受け付ける。様々な指示には、前述の画像解析の指示が含まれる。
検出部62は、閾値THに基づいて、標本画像群21Gを構成する複数枚の標本画像21の各々から、線維化領域35を検出する。すなわち、検出部62は、本開示の技術に係る「検出処理」を担う。検出部62は、線維化領域35の検出結果70を導出部63および表示制御部64に出力する。
導出部63は、検出結果70に基づいて、肝臓LVの線維化の程度を表す評価情報71を導出する。すなわち、導出部63は、本開示の技術に係る「導出処理」を担う。導出部63は、評価情報71を表示制御部64に出力する。
表示制御部64は、ディスプレイ40に各種画面を表示する制御を行う。各種画面には、画像解析の結果を表す解析結果表示画面90(図12参照)が含まれる。表示制御部64は、標本画像群21G、検出結果70、および評価情報71に基づいて、解析結果表示画面90を生成する。
図4において、シリウスレッドの吸収スペクトル75は、G領域の吸収率が最も高く、次いでB領域、R領域の順に吸収率が低くなっている。このためシリウスレッドの吸収スペクトル75においては、B領域およびG領域、B領域およびR領域よりも、G領域およびR領域のほうが、吸収率の差が相対的に大きい。したがって検出部62は、G領域に対応するGチャンネルの画素値PV_Gと、R領域に対応するRチャンネルの画素値PV_Rの比PV_R/PV_Gを、標本画像21の画素30毎に算出する。検出部62は、コンピュータで扱いやすい数値とするため、比PV_R/PV_Gを対数変換し、log(PV_R/PV_G)とする(図5参照)。なお、比PV_R/PV_Gではなく、分母と分子を逆にした比PV_G/PV_Rを算出してもよい。
図5に示すように、検出部62は、log(PV_R/PV_G)と閾値THとの大小を比較する。検出部62は、log(PV_R/PV_G)が閾値TH以上の画素30を、線維化領域35として検出する。一方、検出部62は、log(PV_R/PV_G)が閾値TH未満の画素30を、非線維化領域として検出する。閾値THは、過去の知見から経験的に求められた値である。
図6に示すように、検出部62は、二値化画像80を検出結果70として出力する。二値化画像80は、線維化領域35として検出した画素30を白(各色チャンネルの画素値=255)、非線維化領域として検出した画素30を黒(各色チャンネルの画素値=0)に置換した画像である。
図7に示すように、導出部63は、評価情報71として、線維化領域35の面積および長さのうちの少なくともいずれかに関する数値を導出する。より詳しくは、評価情報71は、線維化領域35の面積占有率、および線維化領域35の長さ率を含む。線維化領域35の面積占有率は、線維化領域35の面積を切片12の面積で除算した値である。線維化領域35の長さ率は、線維化領域35の長さを切片12の面積で除算した値である。
図8および図9は、導出部63において線維化領域35の面積占有率を導出する手順を示す。まず、導出部63は、標本画像群21Gを構成する複数枚の標本画像21の各々の切片12の領域(以下、切片領域という)82を検出する(ステップST10)。導出部63は、例えば、隣接する2つの画素30の画素値の差が閾値以上の部分を、切片12とその外側のガラス13との境界と判断し、境界の内側を切片領域82として検出する。
次いで、導出部63は、各標本画像21の切片領域82に存在する画素30の画素数を計数することで、各標本画像21に写る切片12の面積を導出する(ステップST11)。また、導出部63は、各標本画像21に対応する各二値化画像80の線維化領域35に存在する画素30の画素数を計数することで、線維化領域35の面積を導出する(ステップST12)。
最後に、導出部63は、ステップST12で計数した各二値化画像80の線維化領域35に存在する画素30の画素数を、ステップST11で計数した各標本画像21の切片領域82に存在する画素30の画素数で除算することで、線維化領域35の面積占有率を導出する(ステップST13)。
図9は、各標本画像21の切片領域82に存在する画素30の画素数が100000、各二値化画像80の線維化領域35に存在する画素30の画素数が22000であった場合を例示している。この場合、線維化領域35の面積占有率は、(22000/100000)×100=22%となる。
図10および図11は、導出部63において線維化領域35の長さ率を導出する手順を示す。ステップST10、ステップST11までは、図8および図9で示した線維化領域35の面積占有率を導出する手順と同じである。ステップST11において各標本画像21に写る切片12の面積を導出した後、導出部63は、各標本画像21に対応する各二値化画像80の線維化領域35に対して細線化処理を施す(ステップST20)。細線化処理は、線維化領域35を、線維化領域35の幅の中心を通る幅1画素の線83に変換する処理である。
次いで、導出部63は、細線化処理後の線維化領域35の画素30の画素数、すなわち線83を構成する画素30の画素数を計数することで、線維化領域35の長さを導出する(ステップST21)。この際、導出部63は、二点鎖線の枠84Aに示すように、上下左右、および斜めに繋がった画素30の画素数を全て1と計数する。あるいは、導出部63は、二点鎖線の枠84Bに示すように、線83を構成する画素30のうち、上下左右に繋がった画素30の画素数を1、斜めに繋がった画素30の画素数を√2と計数する。線維化領域35の長さとしては、枠84Bで示した方法のほうがより正確である。
最後に、導出部63は、ステップST21で計数した細線化処理後の線維化領域35の画素30の画素数を、ステップST11で計数した各標本画像21の切片領域82に存在する画素30の画素数で除算することで、線維化領域35の長さ率を導出する(ステップST22)。
図11は、各標本画像21の切片領域82に存在する画素30の画素数が図9の場合と同じ100000、細線化処理後の線維化領域35の画素30の画素数が14000であった場合を例示している。この場合、線維化領域35の長さ率は、(14000/100000)×100=14%となる。
図12は、表示制御部64の制御の下、ディスプレイ40に表示される解析結果表示画面90を示す。解析結果表示画面90には、検出部62で検出された線維化領域35が例えば青色で塗り潰された標本画像21が表示される。標本画像21は、コマ戻しボタン91Aおよびコマ送りボタン91Bを操作することで表示を切り替えることが可能である。
解析結果表示画面90の下部には、評価情報71が表示される。すなわち、表示制御部64は、本開示の技術に係る「出力処理」を担う。
評価情報71の横には、確認ボタン92が設けられている。確認ボタン92が選択された場合、表示制御部64は、解析結果表示画面90の表示を消す。なお、線維化領域35が色分けされた標本画像21、および評価情報71は、ユーザの指示に応じて、ストレージデバイス45に記憶させることが可能である。
次に、上記構成による作用について、図13のフローチャートを参照して説明する。まず、病理診断支援装置25において作動プログラム55が起動されると、図3で示したように、病理診断支援装置25のCPU47は、RW制御部60、指示受付部61、検出部62、導出部63、および表示制御部64として機能される。
RW制御部60により、ストレージデバイス45から、ユーザにより画像解析の指示がされた標本画像群21Gが読み出される(ステップST100)。標本画像群21Gは、RW制御部60から検出部62、導出部63、および表示制御部64に出力される。また、RW制御部60により、ストレージデバイス45から閾値THが読み出され、検出部62に出力される。なお、ステップST100は、本開示の技術に係る「取得処理」の一例である。
図4で示したように、検出部62において、標本画像21の画素30毎に、Gチャンネルの画素値PV_GとRチャンネルの画素値PV_Rの比PV_R/PV_Gが算出される(ステップST110)。次いで、図5で示したように、比PV_R/PV_Gの対数log(PV_R/PV_G)と閾値THとの大小が比較される。そして、log(PV_R/PV_G)が閾値TH以上の画素30が線維化領域35として検出され、log(PV_R/PV_G)が閾値TH未満の画素30が非線維化領域として検出される(ステップST120)。検出部62により、図6で示した二値化画像80が線維化領域35の検出結果70として生成される。検出結果70は、検出部62から導出部63および表示制御部64に出力される。なお、ステップST120は、本開示の技術に係る「検出処理」の一例である。
図7~図11で示したように、導出部63によって、線維化領域35の面積占有率、および線維化領域35の長さ率が評価情報71として導出される(ステップST130)。評価情報71は、導出部63から表示制御部64に出力される。なお、ステップST130は、本開示の技術に係る「導出処理」の一例である。
表示制御部64の制御の下、図12で示した解析結果表示画面90がディスプレイ40に表示される(ステップST140)。これにより線維化領域35および評価情報71がユーザに提示される。ユーザは、解析結果表示画面90によって、病理診断の対象の患者Pの肝臓LVの線維化の程度を把握する。なお、ステップST140は、本開示の技術に係る「出力処理」の一例である。
以上説明したように、病理診断支援装置25は、RW制御部60と、検出部62と、導出部63と、表示制御部64とを備える。RW制御部60は、シリウスレッドで染色された肝臓LVの標本20を写した標本画像21を、ストレージデバイス45から読み出すことで取得する。検出部62は、標本画像21のRGBの3色の色チャンネルのうちのGチャンネルおよびRチャンネルの画素値PV_G、PV_Rの比PV_R/PV_Gと、予め設定された閾値THとの比較により、肝臓LVの線維化領域35を検出する。導出部63は、検出した線維化領域35に基づいて、肝臓LVの線維化の程度を表す評価情報71を導出する。表示制御部64は、評価情報71を含む解析結果表示画面90をディスプレイ40に表示することで、評価情報71を出力する。
比PV_R/PV_Gは、画素値PV_G、PV_Rそのものよりも、シリウスレッドの濃度、周囲環境、標本画像21の撮影装置の違い等による染色の色合いの変化に対するロバスト性が高い。したがって、線維化領域35の検出精度を高めることが可能となる。このため、従来、実際は架橋性線維化しているにも関わらず、線維化領域35の検出精度が低いがために途切れて検出されていた線維化領域35を、確実に架橋性線維化として捉えることができる。
検出部62は、シリウスレッドの吸収スペクトル75において、吸収率の差が相対的に大きいG領域およびR領域に対応するGチャンネルおよびRチャンネルの画素値PV_G、PV_Rの比PV_R/PV_Gを算出する。このため、比のダイナミックレンジを広くとることができ、線維化領域35の検出精度をより高めることが可能となる。
導出部63は、評価情報71として、線維化領域35の面積および長さのうちの少なくともいずれかに関する数値、具体的には線維化領域35の面積占有率、および線維化領域35の長さ率を導出する。このため、肝臓LVの線維化の程度を客観的に評価することができる。線維化領域35の長さに関する数値が比較的大きい場合は、肝臓LVの比較的広い範囲に線維化が進展していると推定することができる。
色素は例示のシリウスレッドに限らない。例えばマッソン・トリクローム染色に用いられる鉄ヘマトキシリン、ポンソーキシリジン、酸フクシン、アニリン青でもよい。マッソン・トリクローム染色に用いられる色素の場合、図14の吸収スペクトル95に示すように、G領域の吸収率が相対的に高く、B領域、R領域の吸収率が相対的に低くなっている。また、B領域、R領域の吸収率にはほとんど差がない。このためマッソン・トリクローム染色に用いられる色素の吸収スペクトル95においては、B領域およびR領域よりも、B領域およびG領域、G領域およびR領域のほうが、吸収率の差が相対的に大きい。したがってこの場合、検出部62は、B領域に対応するBチャンネルの画素値PV_Bと、G領域に対応するGチャンネルの画素値PV_Gの比PV_B/PV_G、並びに、G領域に対応するGチャンネルの画素値PV_Gと、R領域に対応するRチャンネルの画素値PV_Rの比PV_R/PV_Gを、標本画像21の画素30毎に算出する。検出部62は、比PV_B/PV_Gを対数変換し、log(PV_B/PV_G)とし、比PV_R/PV_Gを対数変換し、log(PV_R/PV_G)とする(図15参照)。なお、比PV_G/PV_Bおよび比PV_G/PV_Rを算出してもよい。
図15に示すように、検出部62は、log(PV_B/PV_G)と第1閾値TH1との大小を比較する。また、検出部62は、log(PV_R/PV_G)と第2閾値TH2との大小を比較する。検出部62は、log(PV_B/PV_G)が第1閾値TH1以上、かつlog(PV_R/PV_G)が第2閾値TH2以上の画素30を、線維化領域35として検出する。一方、検出部62は、log(PV_B/PV_G)が第1閾値TH1未満、またはlog(PV_R/PV_G)が第2閾値TH2未満の画素30を、非線維化領域として検出する。第1閾値TH1および第2閾値TH2は、閾値THと同様に、過去の知見から経験的に求められた値である。
このように、線維化領域35を検出するために算出する2つの色チャンネルの画素値の比は、1種類に限らない。なお、log(PV_B/PV_G)が第1閾値TH1未満、かつlog(PV_R/PV_G)が第2閾値TH2未満の画素30を、非線維化領域として検出し、log(PV_B/PV_G)が第1閾値TH1以上、またはlog(PV_R/PV_G)が第2閾値TH2以上の画素30を、線維化領域35として検出してもよい。
評価情報71としては、上記で例示した線維化領域35の面積占有率、および線維化領域35の長さ率に限らない。例えば線維化領域35の面積占有率を、図16に示すテーブル97を参照して、線維化の程度を表す5段階のレベルに変更し、当該レベルを評価情報101(図17参照)として導出してもよい。テーブル97には、線維化領域35の面積占有率の範囲に対応するレベルが登録されている。例えば線維化領域35の面積占有率が0%以上5%未満の場合はレベル0、20%以上30%未満の場合はレベル3、30%以上の場合はレベル4が登録されている。テーブル97はストレージデバイス45に記憶されており、RW制御部60により読み出されて導出部63に出力される。
図17は、評価情報101として線維化の程度を表すレベルが表示された解析結果表示画面100を示す。
また、図18に示す解析結果表示画面105のように、新犬山分類、METAVIRスコアといった既知の線維化評価指標のステージを評価情報106として導出、出力してもよい。新犬山分類、METAVIRスコアの各ステージは、例えば、線維化領域35の面積占有率、および線維化領域35の長さ率をパラメータとし、ステージを解とする推定式から導出する。なお、この他にも、NAS(NAFLD(Non-Alcoholic Fatty Liver Disease;非アルコール性脂肪性肝疾患) activity score)等を評価情報として導出、出力してもよい。
[第2実施形態]
図19~図22に示す第2実施形態では、血管周囲領域36と、血管周囲領域36以外の非血管周囲領域115とに分けて評価情報113を導出する。
図19~図22に示す第2実施形態では、血管周囲領域36と、血管周囲領域36以外の非血管周囲領域115とに分けて評価情報113を導出する。
図19に示すように、第2実施形態の病理診断支援装置のCPUは、上記第1実施形態の各部60~64(図19では導出部63および表示制御部64以外は図示省略)に加えて、抽出部110として機能する。抽出部110は、標本画像群21Gを構成する各標本画像21から、機械学習モデル111を用いて血管周囲領域36および非血管周囲領域115を抽出する。
機械学習モデル111は、例えばU-Net(U-Shaped Neural Network)、SegNet、ResNet(Residual Network)、DenseNet(Densely Connected Convolusional Network)といった畳み込みニューラルネットワークである。機械学習モデル111はストレージデバイス45に記憶されており、RW制御部60により読み出されて抽出部110に出力される。機械学習モデル111は、標本画像21を入力画像とし、例えば図20に示すように、血管周囲領域36の画素30を白、非血管周囲領域115の画素30を黒に置換した二値化画像を出力画像とするモデルである。機械学習モデル111は、血管領域32の周囲を取り囲む、例えば幅20画素程度の領域を、血管周囲領域36として抽出する。また、機械学習モデル111は、血管周囲領域36として抽出した画素30以外の切片12の画素30を、非血管周囲領域115として抽出する。このため、非血管周囲領域115は、血管領域32と、実質領域33の大部分とを含む。機械学習モデル111は、学習用の標本画像21と、当該学習用の標本画像21の血管周囲領域36がユーザの手で指定された正解画像との組を複数用いて学習される。
図19において、抽出部110は、血管周囲領域36の画素30を白、非血管周囲領域115の画素30を黒に置換した二値化画像を、抽出結果112として導出部63および表示制御部64に出力する。導出部63は、抽出部110からの抽出結果112および検出部62からの検出結果70に基づいて、評価情報113として、血管周囲領域36における線維化領域35の面積占有率、および血管周囲領域36における線維化領域35の長さ率を導出する。また、導出部63は、評価情報113として、非血管周囲領域115における線維化領域35の面積占有率、および非血管周囲領域115における線維化領域35の長さ率を導出する。
血管周囲領域36における線維化領域35の面積占有率は、図8および図9で示したステップST12において、血管周囲領域36における線維化領域35に存在する画素30の画素数を計数し、これをステップST11で計数した各標本画像21の切片領域82に存在する画素30の画素数で除算することで導出する。血管周囲領域36における線維化領域35の長さ率は、図10および図11で示したステップST21において、細線化処理後の血管周囲領域36における線維化領域35の画素30の画素数を計数し、これをステップST11で計数した各標本画像21の切片領域82に存在する画素30の画素数で除算することで導出する。非血管周囲領域115における線維化領域35の面積占有率、および非血管周囲領域115における線維化領域35の長さ率も同様である。
表示制御部64は、図21に示す解析結果表示画面120をディスプレイ40に表示する。解析結果表示画面120には、枠121の拡大図である図22にも示すように、血管周囲領域36における線維化領域35が例えば緑色、非血管周囲領域115における線維化領域35が例えば青色で塗り潰された標本画像21が表示される。また、評価情報113として、血管周囲領域36における線維化領域35の面積占有率と長さ率、非血管周囲領域115における線維化領域35の面積占有率と長さ率が表示される。
このように、第2実施形態では、血管周囲領域36と非血管周囲領域115とに分けて評価情報71を導出する。このため、主に血管周囲領域36における線維化の進展が見られる疾患と、主に非血管周囲領域115における線維化の進展が見られる疾患のそれぞれの病態を区別して評価することができる。
ラット等を用いた臨床実験においては、四塩化炭素等の薬剤を注入してわざと脂肪肝を引き起こしている。このため、血管周囲領域36は、どうしても薬剤の影響で線維化が進展しやすい。したがって、本第2実施形態のように血管周囲領域36と非血管周囲領域115とに分けて評価情報71を導出すれば、薬剤の影響を排除した線維化の程度を評価することができる。
なお、図21で示した解析結果表示画面120においては、血管周囲領域36における線維化領域35と非血管周囲領域115における線維化領域35とを色分けし、評価情報113として、血管周囲領域36における線維化領域35の面積占有率と長さ率、非血管周囲領域115における線維化領域35の面積占有率と長さ率を表示しているが、これに限らない。図23に示す解析結果表示画面125のように、血管周囲領域36における線維化領域35のみを例えば緑色で塗り潰し(枠126の拡大図である図24も参照)、血管周囲領域36における線維化領域35の面積占有率と長さ率のみを評価情報127として表示してもよい。あるいは、図示は省略するが、図23の場合とは逆に、非血管周囲領域115における線維化領域35のみを例えば青色で塗り潰し、非血管周囲領域115における線維化領域35の面積占有率と長さ率のみを評価情報として表示してもよい。図21で示した表示態様、図23で示した表示態様、および図23の場合とは逆の表示態様を、切り替え可能に構成してもよい。
機械学習モデル111を用いることなく、血管周囲領域36を抽出してもよい。例えば周知の画像認識技術を用いて血管領域32を抽出し、抽出した血管領域32の周囲を取り囲む、例えば幅20画素の領域を血管周囲領域36として抽出する。あるいは、ユーザに血管周囲領域36を指定させてもよい。
[第3実施形態]
図25~図28に示す第3実施形態では、肝臓LVを通る中心静脈の周囲を含む中心静脈周囲領域36Cと、非血管周囲領域115とに分けて評価情報133を導出する。
図25~図28に示す第3実施形態では、肝臓LVを通る中心静脈の周囲を含む中心静脈周囲領域36Cと、非血管周囲領域115とに分けて評価情報133を導出する。
図25に示すように、第3実施形態の抽出部130は、標本画像群21Gを構成する各標本画像21から、機械学習モデル131を用いて中心静脈周囲領域36C、門脈周囲領域36P、および非血管周囲領域115を抽出する。
機械学習モデル131は、上記第2実施形態の機械学習モデル111と同様に、U-Net等の畳み込みニューラルネットワークである。機械学習モデル131はストレージデバイス45に記憶されており、RW制御部60により読み出されて抽出部130に出力される。機械学習モデル131は、標本画像21を入力画像とし、例えば図26に示すように、中心静脈周囲領域36Cの画素30を白、非血管周囲領域115の画素30を黒に置換した二値化画像を出力画像とするモデルである。機械学習モデル131は、中心静脈の領域32Cの周囲を取り囲む、例えば幅20画素程度の領域を、中心静脈周囲領域36Cとして抽出する。同様に、機械学習モデル131は、門脈の領域32Pの周囲を取り囲む、例えば幅20画素程度の領域を、門脈周囲領域36Pとして抽出する。また、機械学習モデル131は、中心静脈周囲領域36Cおよび門脈周囲領域36Pとして抽出した画素30以外の切片12の画素30を、非血管周囲領域115として抽出する。機械学習モデル131は、学習用の標本画像21と、当該学習用の標本画像21の中心静脈周囲領域36Cおよび門脈周囲領域36Pがユーザの手で指定された正解画像との組を複数用いて学習される。
図25において、抽出部130は、中心静脈周囲領域36Cの画素30を白、非血管周囲領域115の画素30を黒に置換した二値化画像を、抽出結果132として導出部63および表示制御部64に出力する。導出部63は、抽出部130からの抽出結果132および検出部62からの検出結果70に基づいて、評価情報133として、中心静脈周囲領域36Cにおける線維化領域35の面積占有率、および中心静脈周囲領域36Cにおける線維化領域35の長さ率を導出する。また、導出部63は、評価情報133として、非血管周囲領域115における線維化領域35の面積占有率、および非血管周囲領域115における線維化領域35の長さ率を導出する。
中心静脈周囲領域36Cにおける線維化領域35の面積占有率は、図8および図9で示したステップST12において、中心静脈周囲領域36Cにおける線維化領域35に存在する画素30の画素数を計数し、これをステップST11で計数した各標本画像21の切片領域82に存在する画素30の画素数で除算することで導出する。中心静脈周囲領域36Cにおける線維化領域35の長さ率は、図10および図11で示したステップST21において、細線化処理後の血管周囲領域36における線維化領域35の画素30の画素数を計数し、これをステップST11で計数した各標本画像21の切片領域82に存在する画素30の画素数で除算することで導出する。
表示制御部64は、図27に示す解析結果表示画面140をディスプレイ40に表示する。解析結果表示画面140には、枠141の拡大図である図28にも示すように、中心静脈周囲領域36Cにおける線維化領域35が例えば緑色、非血管周囲領域115における線維化領域35が例えば青色で塗り潰された標本画像21が表示される。また、評価情報133として、中心静脈周囲領域36Cにおける線維化領域35の面積占有率と長さ率、非血管周囲領域115における線維化領域35の面積占有率と長さ率が表示される。
このように、第3実施形態では、中心静脈周囲領域36Cと非血管周囲領域115とに分けて評価情報71を導出する。このため、非アルコール性脂肪肝炎(NASH:Non-Alcoholic Steatohepatitis)のような、中心静脈周囲領域36Cから非血管周囲領域115に向けて線維化が進展する疾患の病態を正しく評価することができる。
なお、上記第2実施形態と同様に、中心静脈周囲領域36Cにおける線維化領域35のみを例えば緑色で塗り潰し、中心静脈周囲領域36Cにおける線維化領域35の面積占有率と長さ率のみを評価情報として表示してもよい。この表示態様と、図27で示した表示態様とを、切り替え可能に構成してもよい。また、ユーザに中心静脈周囲領域36Cを指定させる等して、機械学習モデル111を用いることなく、中心静脈周囲領域36Cを抽出してもよい。
図29Aに示す評価情報142のように、中心静脈周囲領域36Cにおける線維化領域35の面積占有率と長さ率だけでなく、門脈周囲領域36Pにおける線維化領域35の面積占有率と長さ率を導出してもよい。また、図29Bに示す評価情報143のように、門脈間の架橋性線維化、すなわちP-P bridgingの本数、門脈と中心静脈間の架橋性線維化、すなわちP-C bridgingの本数を導出してもよい。
[第4実施形態]
図30に示す第4実施形態では、標本画像21に対して圧縮処理を施した後、線維化領域35の検出を行う。
図30に示す第4実施形態では、標本画像21に対して圧縮処理を施した後、線維化領域35の検出を行う。
図30において、第4実施形態の病理診断支援装置のCPUは、上記第1実施形態の各部60~64(図30では検出部62以外は図示省略)に加えて、圧縮部150として機能する。圧縮部150には、RW制御部60がストレージデバイス45から読み出した標本画像群21Gが入力される。圧縮部150は、標本画像群21Gを構成する複数枚の標本画像21の各々に対して圧縮処理を施す。圧縮部150は、圧縮処理後の標本画像群21Gを検出部62に出力する。検出部62は、圧縮処理された標本画像21から線維化領域35を検出し、検出結果70を導出部63等に出力する。
このように、第4実施形態では、RW制御部60において取得した標本画像21に対して、圧縮部150で圧縮処理を施した後、検出部62において線維化領域35の検出を行う。このため、フルサイズの標本画像21から線維化領域35を検出する場合と比べて、処理負荷を軽減することができる。
上記各実施形態では、患者Pの肝臓LVから採取した標本20を例示したが、これに限らない。例えば図31に示すように、患者Pの肺LGから生検針10を用いて採取した検体155から作製した標本156であってもよい。また、皮膚、乳房、胃、大腸等から採取した標本であってもよい。
標本画像21の画素値の色チャンネルは、例示のRGB色チャンネルに限らない。CMYG(Cyan、Magenta、Yellow、Green)の4色の色チャンネルであってもよい。
評価情報の出力形態としては、解析結果表示画面で表示する形態に限らない。評価情報を紙媒体に印刷出力してもよいし、評価情報のデータファイルを電子メール等で送信出力してもよい。
病理診断支援装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。病理診断支援装置を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、RW制御部60および指示受付部61の機能と、検出部62、導出部63、および表示制御部64の機能とを、2台のコンピュータに分散して担わせる。この場合は2台のコンピュータで病理診断支援装置を構成する。
このように、病理診断支援装置のコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム55等のアプリケーションプログラムについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
上記各実施形態において、例えば、RW制御部60、指示受付部61、検出部62、導出部63、表示制御部64、抽出部110、130、および圧縮部150といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、上述したように、ソフトウェア(作動プログラム55)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU47に加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
本開示の技術は、上述の種々の実施形態と種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
10 生検針
11、155 検体
12 切片
13 ガラス
14 カバーガラス
20、156 標本
21 標本画像
21G 標本画像群
25 病理診断支援装置
30 画素
31 表
32 血管領域
32C 中心静脈の領域
32P 門脈の領域
33 実質領域
35 線維化領域
36 血管周囲領域
36C 中心静脈周囲領域
36P 門脈周囲領域
37、84A、84B、121、126、141 枠
40 ディスプレイ
41 入力デバイス
45 ストレージデバイス
46 メモリ
47 CPU(プロセッサ)
48 通信部
49 バスライン
55 作動プログラム(病理診断支援装置の作動プログラム)
60 リードライト制御部(RW制御部)
61 指示受付部
62 検出部
63 導出部
64 表示制御部
70 検出結果
71、101、106、113、127、133、142、143 評価情報
75、95 吸収スペクトル
80 二値化画像
82 切片領域
83 線
90、100、105、120、125、140 解析結果表示画面
91A コマ戻しボタン
91B コマ送りボタン
92 確認ボタン
97 テーブル
110、130 抽出部
111、131 機械学習モデル
112、132 抽出結果
115 非血管周囲領域
150 圧縮部
LG 肺
LV 肝臓
P 患者
PV 画素値
ST10、ST11、ST12、ST13、ST20、ST21、ST22、ST110
ステップ
ST100 ステップ(取得処理)
ST120 ステップ(検出処理)
ST130 ステップ(導出処理)
ST140 ステップ(出力処理)
TH 閾値
TH1、TH2 第1閾値、第2閾値
11、155 検体
12 切片
13 ガラス
14 カバーガラス
20、156 標本
21 標本画像
21G 標本画像群
25 病理診断支援装置
30 画素
31 表
32 血管領域
32C 中心静脈の領域
32P 門脈の領域
33 実質領域
35 線維化領域
36 血管周囲領域
36C 中心静脈周囲領域
36P 門脈周囲領域
37、84A、84B、121、126、141 枠
40 ディスプレイ
41 入力デバイス
45 ストレージデバイス
46 メモリ
47 CPU(プロセッサ)
48 通信部
49 バスライン
55 作動プログラム(病理診断支援装置の作動プログラム)
60 リードライト制御部(RW制御部)
61 指示受付部
62 検出部
63 導出部
64 表示制御部
70 検出結果
71、101、106、113、127、133、142、143 評価情報
75、95 吸収スペクトル
80 二値化画像
82 切片領域
83 線
90、100、105、120、125、140 解析結果表示画面
91A コマ戻しボタン
91B コマ送りボタン
92 確認ボタン
97 テーブル
110、130 抽出部
111、131 機械学習モデル
112、132 抽出結果
115 非血管周囲領域
150 圧縮部
LG 肺
LV 肝臓
P 患者
PV 画素値
ST10、ST11、ST12、ST13、ST20、ST21、ST22、ST110
ステップ
ST100 ステップ(取得処理)
ST120 ステップ(検出処理)
ST130 ステップ(導出処理)
ST140 ステップ(出力処理)
TH 閾値
TH1、TH2 第1閾値、第2閾値
Claims (8)
- 少なくとも1つのプロセッサを備え、
前記プロセッサは、
色素で染色された生体組織の標本を写した複数の色チャンネルの画素値を有する標本画像を取得し、
前記複数の色チャンネルのうちの2つの色チャンネルの画素値の比と、予め設定された閾値との比較により、前記生体組織の線維化領域を検出し、
検出した前記線維化領域に基づいて、前記生体組織の線維化の程度を表す評価情報を導出し、
前記評価情報を出力する、
病理診断支援装置。 - 前記プロセッサは、
前記色素の吸収スペクトルにおいて、吸収率の差が相対的に大きい2つの色領域に対応する2つの色チャンネルの画素値の比を算出する請求項1に記載の病理診断支援装置。 - 前記プロセッサは、
前記生体組織を通る血管の周囲を含む血管周囲領域と、前記血管周囲領域以外の非血管周囲領域とに分けて前記評価情報を導出する請求項1または請求項2に記載の病理診断支援装置。 - 前記標本は肝臓から採取されたものであり、
前記プロセッサは、前記肝臓を通る中心静脈の周囲を含む中心静脈周囲領域と、前記非血管周囲領域とに分けて前記評価情報を導出する請求項3に記載の病理診断支援装置。 - 前記プロセッサは、
前記評価情報として、前記線維化領域の面積および長さのうちの少なくともいずれかに関する数値を導出する請求項1から請求項4のいずれか1項に記載の病理診断支援装置。 - 前記プロセッサは、
取得した前記標本画像に対して圧縮処理を施した後、前記線維化領域の検出を行う請求項1から請求項5のいずれか1項に記載の病理診断支援装置。 - 色素で染色された生体組織の標本を写した複数の色チャンネルの画素値を有する標本画像を取得する取得処理と、
前記複数の色チャンネルのうちの2つの色チャンネルの画素値の比と、予め設定された閾値との比較により、前記生体組織の線維化領域を検出する検出処理と、
検出した前記線維化領域に基づいて、前記生体組織の線維化の程度を表す評価情報を導出する導出処理と、
前記評価情報を出力する出力処理と、
をプロセッサが実行する病理診断支援装置の作動方法。 - 色素で染色された生体組織の標本を写した複数の色チャンネルの画素値を有する標本画像を取得する取得処理と、
前記複数の色チャンネルのうちの2つの色チャンネルの画素値の比と、予め設定された閾値との比較により、前記生体組織の線維化領域を検出する検出処理と、
検出した前記線維化領域に基づいて、前記生体組織の線維化の程度を表す評価情報を導出する導出処理と、
前記評価情報を出力する出力処理と、
をプロセッサに実行させる病理診断支援装置の作動プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020115065 | 2020-07-02 | ||
JP2020115065 | 2020-07-02 | ||
PCT/JP2021/019793 WO2022004198A1 (ja) | 2020-07-02 | 2021-05-25 | 病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022004198A1 JPWO2022004198A1 (ja) | 2022-01-06 |
JP7436666B2 true JP7436666B2 (ja) | 2024-02-21 |
Family
ID=79315908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022533741A Active JP7436666B2 (ja) | 2020-07-02 | 2021-05-25 | 病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230125525A1 (ja) |
EP (1) | EP4177605A4 (ja) |
JP (1) | JP7436666B2 (ja) |
CN (1) | CN115769073A (ja) |
WO (1) | WO2022004198A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008215820A (ja) | 2007-02-28 | 2008-09-18 | Tokyo Institute Of Technology | スペクトルを用いた解析方法 |
JP2013113680A (ja) | 2011-11-28 | 2013-06-10 | Keio Gijuku | 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム |
US20150339816A1 (en) | 2013-01-08 | 2015-11-26 | Agency For Science, Technology And Research | A method and system for assessing fibrosis in a tissue |
WO2019044579A1 (ja) | 2017-08-31 | 2019-03-07 | 国立大学法人大阪大学 | 病理診断装置、画像処理方法及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2772882A1 (en) * | 2013-03-01 | 2014-09-03 | Universite D'angers | Automatic measurement of lesions on medical images |
EP2980753A1 (en) * | 2014-08-01 | 2016-02-03 | Centre Hospitalier Universitaire d'Angers | Method for displaying easy-to-understand medical images |
-
2021
- 2021-05-25 WO PCT/JP2021/019793 patent/WO2022004198A1/ja active Application Filing
- 2021-05-25 EP EP21833599.0A patent/EP4177605A4/en active Pending
- 2021-05-25 CN CN202180045590.8A patent/CN115769073A/zh active Pending
- 2021-05-25 JP JP2022533741A patent/JP7436666B2/ja active Active
-
2022
- 2022-12-23 US US18/146,030 patent/US20230125525A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008215820A (ja) | 2007-02-28 | 2008-09-18 | Tokyo Institute Of Technology | スペクトルを用いた解析方法 |
JP2013113680A (ja) | 2011-11-28 | 2013-06-10 | Keio Gijuku | 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム |
US20150339816A1 (en) | 2013-01-08 | 2015-11-26 | Agency For Science, Technology And Research | A method and system for assessing fibrosis in a tissue |
WO2019044579A1 (ja) | 2017-08-31 | 2019-03-07 | 国立大学法人大阪大学 | 病理診断装置、画像処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
CALVARUSO, Vincenza et al.,Computer-Assisted Image Analysis of Liver Collagen: Relationship to Ishak Scoring and Hepatic Venous,Hepatology,2009年,49(4),1236-1244 |
Also Published As
Publication number | Publication date |
---|---|
CN115769073A (zh) | 2023-03-07 |
EP4177605A4 (en) | 2023-12-06 |
EP4177605A1 (en) | 2023-05-10 |
JPWO2022004198A1 (ja) | 2022-01-06 |
US20230125525A1 (en) | 2023-04-27 |
WO2022004198A1 (ja) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6772066B2 (ja) | 画像を処理して解析するための検査装置 | |
JP6463742B2 (ja) | 医用画像処理法 | |
US10165987B2 (en) | Method for displaying medical images | |
CN103327883A (zh) | 医用图像处理装置和医用图像处理方法 | |
JP5771513B2 (ja) | 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム | |
KR20200108686A (ko) | 딥러닝 알고리즘을 이용한 근감소증 분석 프로그램 및 애플리케이션 | |
KR20160118037A (ko) | 의료 영상으로부터 병변의 위치를 자동으로 감지하는 장치 및 그 방법 | |
Gerber et al. | Automatic estimation of the optic nerve sheath diameter from ultrasound images | |
JP7436666B2 (ja) | 病理診断支援装置、病理診断支援装置の作動方法、病理診断支援装置の作動プログラム | |
US20230117179A1 (en) | System and method for generating an indicator from an image of a histological section | |
KR102393661B1 (ko) | 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
Sofian et al. | Detection of the lumen boundary in the coronary artery disease | |
CN110827255A (zh) | 一种基于冠状动脉ct图像的斑块稳定性预测方法及系统 | |
Kollorz et al. | Using power watersheds to segment benign thyroid nodules in ultrasound image data | |
EP3954272A1 (en) | Fundus imaging for microvascular assessment | |
JP6697274B2 (ja) | 医用情報処理装置、医用画像診断装置、医用情報処理方法および医用情報処理プログラム | |
JP2004133736A (ja) | 医用画像表示方法及びその装置 | |
Patil et al. | Implementation of segmentation of blood vessels in retinal images on FPGA | |
McGarry et al. | Vessel Metrics: A software tool for automated analysis of vascular structure in confocal imaging | |
JP4068098B2 (ja) | 血流測定装置 | |
Swiderska-Chadaj et al. | Automatic quantification of vessels in hemorrhoids whole slide images | |
WO2024104388A1 (zh) | 一种超声图像处理方法、装置、电子设备及存储介质 | |
Tan et al. | CT image enhancement by colorization for brain infarct detection | |
Begimov | EXTRACTING TAGGING FROM EXOCARDIOGRAPHIC IMAGES VIA MACHINE LEARNING ALGORITHMICS | |
McGarry et al. | Vessel Metrics: A python based software tool for automated analysis of vascular structure in confocal imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7436666 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |