JP5862671B2 - 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム - Google Patents
情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム Download PDFInfo
- Publication number
- JP5862671B2 JP5862671B2 JP2013529876A JP2013529876A JP5862671B2 JP 5862671 B2 JP5862671 B2 JP 5862671B2 JP 2013529876 A JP2013529876 A JP 2013529876A JP 2013529876 A JP2013529876 A JP 2013529876A JP 5862671 B2 JP5862671 B2 JP 5862671B2
- Authority
- JP
- Japan
- Prior art keywords
- tissue specimen
- image
- specimen image
- images
- display position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 149
- 238000000034 method Methods 0.000 title claims description 39
- 238000003672 processing method Methods 0.000 title claims description 9
- 210000001519 tissue Anatomy 0.000 claims description 435
- 238000005520 cutting process Methods 0.000 claims description 43
- 238000003745 diagnosis Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 17
- 206010028980 Neoplasm Diseases 0.000 claims description 15
- 201000011510 cancer Diseases 0.000 claims description 15
- 230000004069 differentiation Effects 0.000 claims description 14
- 210000004907 gland Anatomy 0.000 claims description 12
- 210000003097 mucus Anatomy 0.000 claims description 12
- 210000004027 cell Anatomy 0.000 claims description 11
- 210000003855 cell nucleus Anatomy 0.000 claims description 9
- 230000004992 fission Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 230000036210 malignancy Effects 0.000 claims description 5
- 208000003252 Signet Ring Cell Carcinoma Diseases 0.000 claims description 4
- 210000004400 mucous membrane Anatomy 0.000 claims description 4
- 201000008123 signet ring cell adenocarcinoma Diseases 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 78
- 238000010586 diagram Methods 0.000 description 32
- 238000004458 analytical method Methods 0.000 description 15
- 235000019557 luminance Nutrition 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010827 pathological analysis Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000762 glandular Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 108010077544 Chromatin Proteins 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Chemical & Material Sciences (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Hematology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Urology & Nephrology (AREA)
- Software Systems (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Description
本発明は、生体組織を撮像した組織標本画像に基づく診断を支援するための情報処理技術に関する。
上記技術分野において、特許文献１には、スライド上の組織標本画像をスライド単位でサムネイル画像にして、複数のスライドをリスト表示するための装置が開示されている。
しかしながら、上記文献記載の技術は、あくまでもスライド単位でのリスト表示である。したがって、スライド上に複数の組織標本がある場合には、スライド上の１つの組織標本に問題がある時にもスライド単位の処理が行なわれる。そのため、病理医も、スライド単位での診断を行なわざるを得ず、必ずしも効率よく病理診断ができなかった。また、上記文献記載の技術におけるリスト表示は表示位置が診断上の意味を持っていない。したがって、病理医が表示位置から診断支援の情報を得られず、診断支援としてリスト表示を有効に使用できていない。
本発明は、上記問題を解決するためになされたものである。
上記目的を達成するため、本発明に係る装置は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
を備え、
前記表示位置設定手段は、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る装置は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段と、
を備えることを特徴とする。
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
を備え、
前記表示位置設定手段は、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る装置は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段と、
を備えることを特徴とする。
上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
を含み、
前記表示位置設定ステップは、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを含む、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
を含むことを特徴とする。
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
を含み、
前記表示位置設定ステップは、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを含む、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
を含むことを特徴とする。
上記目的を達成するため、本発明に係るプログラムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップであって、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定するステップと、
をコンピュータに実行させることを特徴とする。
また、上記目的を達成するため、本発明に係るプログラムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
をコンピュータに実行させることを特徴とする。
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップであって、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定するステップと、
をコンピュータに実行させることを特徴とする。
また、上記目的を達成するため、本発明に係るプログラムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
をコンピュータに実行させることを特徴とする。
上記目的を達成するため、本発明に係るシステムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記表示位置設定手段が設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示手段と、
を備え、
前記表示位置設定手段は、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係るシステムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段と、
を備えることを特徴とする。
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記表示位置設定手段が設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示手段と、
を備え、
前記表示位置設定手段は、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定する、
ことを特徴とする。
また、上記目的を達成するため、本発明に係るシステムは、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段と、
を備えることを特徴とする。
上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
を含み、
前記表示位置設定ステップは、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを含む、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
を含むことを特徴とする。
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
を含み、
前記表示位置設定ステップは、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを含む、
ことを特徴とする。
また、上記目的を達成するため、本発明に係る方法は、
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
を含むことを特徴とする。
本発明によれば、スライド画像から組織標本画像を切り出し、組織標本画像単位で評価した評価結果を表示位置により病理医に報知することで、より有効な診断支援ができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、生体組織を撮像した組織標本画像に基づく診断を支援する装置である。
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、生体組織を撮像した組織標本画像に基づく診断を支援する装置である。
図１に示すように、情報処理装置１００は、組織標本画像切り出し部１１０と、表示位置設定部１２０と、を含む。組織標本画像切り出し部１１０は、複数の組織標本画像が含まれる複数のスライド１０１から、組織標本画像を個々に分けて切り出す。表示位置設定部１２０は、組織標本画像切り出し部１１０が切り出した各組織標本画像１１１が有する特徴量１２２に基づいて、各組織標本画像の縮小画像１２１を表示する表示画面１０２上の表示位置１２３を設定する。
本実施形態によれば、スライド画像から組織標本画像を切り出し、組織標本画像単位で評価した評価結果を表示位置によって病理医に報知することで、より有効な診断支援ができる。
［第２実施形態］
次に、本発明の第２実施形態に係る情報処理システムについて説明する。なお、第２実施形態乃至第８実施形態の情報処理システムにおいては、ネットワークを介して複数台の病理医の通信端末からスライド画像を受信する場合を示すが、１台の通信端末を対象にしても、あるいはスタンドアロンの機器により本実施形態の処理を実現してもよい。
次に、本発明の第２実施形態に係る情報処理システムについて説明する。なお、第２実施形態乃至第８実施形態の情報処理システムにおいては、ネットワークを介して複数台の病理医の通信端末からスライド画像を受信する場合を示すが、１台の通信端末を対象にしても、あるいはスタンドアロンの機器により本実施形態の処理を実現してもよい。
本実施形態においては、スライド画像から切り出した組織標本画像に対して、特徴量に基づいて順位付けを行ない、その順位を病理医に伝達できるように各組織標本画像のサムネイル画像の表示位置を設定する。なお、本実施形態において、特徴量とは、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数／割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むものである。
本実施形態によれば、サムネイル画像の表示位置によって、病理医が診断対象とすべき組織標本画像の順位情報が病理医に伝達される。
《情報処理システムの構成》
図２は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。
図２は、本実施形態に係る情報処理システム２００の構成を示すブロック図である。
情報処理システム２００は、ネットワーク２５０を介して接続された病理診断支援装置である情報処理装置２１０と、病理医２４０が操作可能であって病理診断支援を受ける通信端末２３０とを含む。なお、ネットワーク２５０は、病院内のＬＡＮであっても、病院外と接続する公衆回線や無線通信であってもよい。
情報処理装置２１０は、ネットワーク２５０を介する通信端末２３０との通信を制御する通信制御部２１１を有する。情報処理装置２１０は、スライド画像受信部２１２によって通信端末２３０からスライド画像を受信する。そして、情報処理装置２１０は、受信したスライド画像から、組織標本画像切り出し部２１３において個々の組織標本画像を切り出す。なお、情報処理装置２１０は、組織標本画像の輪郭部を抽出する画像処理技術等により、組織標本画像切り出し部２１３において個々の組織標本画像を切り出すことができる。そして、組織標本切り出し部２１３は、切り出された組織標本画像及びその組織標本画像が含まれるスライド画像を示すスライド情報を、その組織標本画像を特定する組織標本画像ＩＤに対応付けて組織標本画像データベース（以下、ＤＢ）２１６（図５参照）に蓄積する。ここで、複数の通信端末２３０からスライド画像が受信された場合や、１つの通信端末２３０から異なる患者や部位のスライド画像が受信された場合、切り出された組織標本画像は、グループ分け部２１４により特定のグループにグループ分けされる。このグループ分けの処理については、後述する。
グループ分け部２１４は、複数の通信端末２３０からスライド画像が受信された場合や、１つの通信端末２３０から異なる患者や部位のスライド画像が受信された場合に、切り出された組織標本画像を同一患者ごとや関連組織である部位ごと等の組織標本画像グループにグループ分けする。したがって、１つの通信端末２３０から同じ患者の同じ部位のスライド画像が受信される場合は、グループ分けの必要は無いため、グループ分け部２１４は、グループ分けの処理を実行しなくてもよい。また、グループ分けの処理が実行された場合、グループ分け部２１４は、例えば図５に示すように、グループ分けに用いた患者ＩＤや部位ＩＤ等の情報と、そのグループを特定するグループＩＤと対応付けたグループデータを、グループ分けされた組織標本画像と対応づけて組織標本画像ＤＢ２１６に蓄積する。サムネイル画像生成部２１５は、切り出された組織標本画像の１つ１つのサムネイル画像を生成する。生成されたサムネイル画像は、当該サムネイル画像の基となった組織標本画像の組織標本画像ＩＤに対応付けて、組織標本画像ＤＢ２１６に蓄積される。
特定の通信端末２３０からのスライド画像の受信完了が通知された場合、あるいは通信端末からサムネイルリストの表示要求があった場合には、組織標本画像取得部２１７は組織標本画像ＤＢ２１６から対応する各組織標本画像を読み出す。そして、各組織標本画像の特徴量が、特徴量解析部２１８において対応する特徴量用データベース２１９（図６Ａから図６Ｅ参照）の情報を用いて求められる。ここで、特徴量は１つであっても図３のように複数であってもよい。
（特徴量解析部と特徴量用ＤＢとの構成）
図３は、複数の特徴量を解析する場合の、本実施形態に係る特徴量解析部２１８と特徴量用ＤＢ２１９との構成を示すブロック図である。特徴量解析部２１８は、第１特徴量解析部２１８−１、第２特徴量解析部２１８−２、...、第ｎ特徴量解析部２１８−ｎを有している。また、特徴量用ＤＢ２１９は、第１特徴量用ＤＢ２１９−１、第２特徴量用ＤＢ２１９−２、...、第ｎ特徴量用ＤＢ２１９−ｎを有している。各特徴量解析部２１８−１〜２１８−ｎは、それぞれに対応する特徴量用ＤＢ２１９−１〜２１９−ｎに蓄積された情報を用いて、組織標本画像取得部２１７からの各組織標本画像の特徴量を解析する。
図３は、複数の特徴量を解析する場合の、本実施形態に係る特徴量解析部２１８と特徴量用ＤＢ２１９との構成を示すブロック図である。特徴量解析部２１８は、第１特徴量解析部２１８−１、第２特徴量解析部２１８−２、...、第ｎ特徴量解析部２１８−ｎを有している。また、特徴量用ＤＢ２１９は、第１特徴量用ＤＢ２１９−１、第２特徴量用ＤＢ２１９−２、...、第ｎ特徴量用ＤＢ２１９−ｎを有している。各特徴量解析部２１８−１〜２１８−ｎは、それぞれに対応する特徴量用ＤＢ２１９−１〜２１９−ｎに蓄積された情報を用いて、組織標本画像取得部２１７からの各組織標本画像の特徴量を解析する。
特徴量解析部２１８が解析する特徴量としては、例えば、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数／割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、が含まれる。また、特徴量解析部２１８が解析する特徴量として、上記特徴量のいずれかの組み合わせとすることもできる。
図２に戻って、表示位置設定部２２０は、特徴量解析部２１８からの各特徴量あるいはその組み合わせの特徴量に基づいて、病理医２４０が注目すべき順に組織標本画像に順位付けを行なう。そして、表示位置設定部２２０は、その順位が病理医２４０に伝達可能な通信端末２３０の表示画面上の表示位置を設定する。表示位置設定部２２０は、順位付け部２２１と、サムネイルリスト画像生成部２２２と、表示画面フォーマットＤＢ２２３とを有する。
順位付け部２２１は、順位付けテーブル２２１ａ（図７参照）を用いて病理医２４０が注目すべき順に組織標本画像の順位付けを行なう。表示画面フォーマットＤＢ２２３（図８参照）は、各通信端末２３０やアプリケーション、あるいは病理医２４０の要望に対応付けて、表示画面フォーマットを蓄積する。サムネイルリスト画像生成部２２２は、順位付け部２２１から受信した順位に従って、表示画面フォーマットＤＢ２２３から読み出した表示画面フォーマット上に各組織標準画像のサムネイルを配置して、サムネイルリスト画像２２２ａを生成する。
サムネイルリスト画像送信部２２４は、サムネイルリスト画像生成部２２２が生成したサムネイルリスト画像２２２ａを組み込んだ通信端末２３０へのサムネイルリスト送信データ２２４ａを生成して、通信制御部２１１を介して各対応通信端末２３０に送信する。なお、送信するデータはサムネイルリスト画像のみであっても、表示画面全体であってもよい。
なお、通信端末ＩＤや病理医ＩＤ、あるいは患者ＩＤなどによる、受信したスライド画像やサムネイルリストの問合せと送信するサムネイルリスト画像との同期については既知の技術であるので、図２においては説明を簡略化するため省略する。また、サムネイル画像の１つを選択した選択情報を受信して、そのサムネイル画像を拡大表示する（実際には、サムネイル画像に対応する高解像度の組織標本画像を表示する）処理は、本実施形態の主要な特徴ではないので図２への図示は省略した。なお、この処理を実現するためには、通信制御部２１１から選択情報を受信する選択情報受信部と、通信端末２３０に拡大表示を指示する拡大表示指示部とを設ければよい。
（通信端末の表示画面）
図４は、本実施形態に係る通信端末２３０の表示画面４００を示す図である。なお、図４の表示画面のフォーマットは一例であって、通信端末２３０やアプリケーション、あるいは病理医２４０の要望によって、様々な表示画面フォーマットＤＢ２２３から選択される。
図４は、本実施形態に係る通信端末２３０の表示画面４００を示す図である。なお、図４の表示画面のフォーマットは一例であって、通信端末２３０やアプリケーション、あるいは病理医２４０の要望によって、様々な表示画面フォーマットＤＢ２２３から選択される。
図４においては、３つのエリアが表示されている。左側のエリアは、通信端末２３０から送信したスライド画像を表示するスライド画像エリア４１０である。中央のエリアは、本実施形態により生成された各組織標本画像のサムネイルを病理医２４０が注目すべき順に並べたサムネイルリスト画像のサムネイルリストエリア４２０である。なお、本例では上から下に病理医２４０が注目すべき順の降順で並べた例を示したが、昇順であっても、あるいはサムネイル画像の大小などであってもよく、病理医２４０に注目する順位が伝達できる表示であればよい。右側のエリアは、一番注目すべきサムネイル画像４２１に対応する組織標本画像を表示する組織標本画像エリア４３０である。なお、図４に示す例では、一番注目すべきサムネイル画像４２１がスライド画像４１１に含まれていたことが示されている。
なお、左側のスライド画像エリア４１０や中央のサムネイルリストエリア４２０は、スクロール可能であり、１画面では表示できない他のスライド画像やサムネイル画像が順次スクロールされる。
（組織標本画像ＤＢ）
図５は、本実施形態に係る組織標本画像ＤＢ２１６の構成を示す図である。
図５は、本実施形態に係る組織標本画像ＤＢ２１６の構成を示す図である。
組織標本画像ＤＢ２１６は、受信したスライド画像から切り出した組織標本画像を、病理診断に一緒に使用すべきグループにグループ分けするためのグループデータ５００と、各グループに属する組織標本画像および生成されたサムネイル画像を蓄積する画像データ５１０や５２０とを含む。グループデータ５００には、グループＩＤに対応付けて、そのグループを特徴付ける病理医ＩＤ５０２、患者ＩＤ５０３、部位５０６、撮影日時５０７等が記憶される。また、グループデータ５００には、患者を特徴付ける情報である患者の性別５０４や年齢５０５なども記憶される。組織標本画像ＤＢ２１６は、各グループＩＤ５０１（Ｇ０００１／Ｇ０００２）にそれぞれ対応付けて、画像データ５１０や５２０を記憶する。画像データ５１０や５２０には、各組織標本画像を識別する画像ＩＤ５１１／５２１に対応付けて、その画像が含まれていたスライド情報５１２／５２２、サムネイル画像５１３／５２３、組織標本画像５１４／５２４が記憶される。
（特徴量用ＤＢ）
以下に、図６Ａ〜図６Ｅを参照して、特徴量を解析するためにあらかじめ用意された特徴量用ＤＢ２１９の例を示す。他の特徴量についても、同様な特徴量用ＤＢが構成される。
以下に、図６Ａ〜図６Ｅを参照して、特徴量を解析するためにあらかじめ用意された特徴量用ＤＢ２１９の例を示す。他の特徴量についても、同様な特徴量用ＤＢが構成される。
図６Ａは、本実施形態に係る特徴量用ＤＢ２１９の構成例２１９−１を示す図である。図６Ａは、細胞核の大きさや形状による評価である核異型度を特徴量とする場合の特徴量用ＤＢの構成例２１９−１である。
特徴量用ＤＢの構成例２１９−１は、身体の部位にそれぞれ対応して、核の大きさ６１１、核の均一性６１２、クロマチンの分布６１３、核小体の分布６１４、核の形状６１５などの条件と、これらの条件対応付く核異型度のスコア６１０（特徴量の大小）とを記憶している。
図６Ｂは、本実施形態に係る特徴量用ＤＢ２１９の構成例２１９−２を示す図である。図６Ｂは、癌領域の分化の程度を表わす分化度を特徴量とする場合の特徴量用ＤＢの構成例２１９−２である。
特徴量用ＤＢの構成例２１９−２は、身体の部位にそれぞれ対応して、細胞の配列６２１、腺管形状６２２、核の大小不同性６２３などの条件と、これらの条件に対応付く分化度のスコア６２０（特徴量の大小）とを記憶している。なお、一般には、分化度は高分化状態、中分化状態、低分化状態と、レベル分けして判別する。その場合、特徴量用ＤＢの構成例２１９−２は、既にレベル分けされている分化度を、その画像の分化度のスコア６２０に応じて割り当てて記憶してもよい。
図６Ｃは、本実施形態に係る特徴量用ＤＢ２１９の構成例２１９−３を示す図である。図６Ｃは、複数の細胞により形成された腺管などの評価である構造異型度として腺管異型度を特徴量とする場合の特徴量用ＤＢの構成例２１９−３である。
特徴量用ＤＢの構成例２１９−３は、身体の部位にそれぞれ対応して、管状や線状を含む腺管の形状６３１、腺管内の細胞核数６３２、基底部領域の細胞核の分布６３３などの条件と、これらの条件に対応付く構造（腺管）異型度のスコア６３０（特徴量の大小）とを記憶している。なお、かかる腺管異型度についての詳細は、特開２０１０−２８１６３６を参照されたい。
図６Ｄは、本実施形態に係る特徴量用ＤＢ２１９の構成例２１９−４を示す図である。図６Ｄは、病巣内の粘液領域の評価である粘液の度合いを特徴量とする場合の特徴量用ＤＢの構成例２１９−４である。
特徴量用ＤＢの構成例２１９−４は、身体の部位にそれぞれ対応して、病巣内に占める粘液の割合６４１、粘液中に浮遊する粘液以外の組織像の割合／分布６４２、印環細胞様異型度６４３などの条件と、これらの条件に対応付く粘液の度合いのスコア６４０（特徴量の大小）とを記憶している。なお、粘液領域の抽出方法については、例えば、特開２００９−１８０５３９を参照されたい。
図６Ｅは、本実施形態に係る特徴量用ＤＢ２１９の構成例２１９−５を示す図である。図６Ｅは、図６Ａの核異型度などを含んだトータルの癌細胞の病理組織学的悪性度評価である組織学的グレードを特徴量とする場合の特徴量用ＤＢの構成例２１９−５である。
特徴量用ＤＢの構成例２１９−５は、身体の部位にそれぞれ対応して、核異型度６５１、核分裂の数６５２の条件と、これらの条件に対応付く核グレードのスコア６５０（特徴量の大小）とを記憶している。さらに、特徴量用ＤＢの構成例２１９−５は、核異型度６５１、核分裂の数６５２、及び構造異型度６６１の条件と、これらの条件に対応付く組織学的グレードのスコア６６０（特徴量の大小）とを記憶している。なお、構造異型度６６１としては、例えば腺管形成の程度が含まれる。
（順位付けテーブル）
図７は、本実施形態に係る順位付けテーブル２２１ａの構成を示す図である。
図７は、本実施形態に係る順位付けテーブル２２１ａの構成を示す図である。
順位付けテーブル２２１ａは、各グループＩＤ７０１内において、各組織標本画像を識別する画像ＩＤ７０２に対応付けて各特徴量スコア７０３を記憶する。そして、順位付け部２２１、特徴量スコア７０３の全部あるいは一部（１つのみの特徴量を含む）から、スコア演算アルゴリズム７０４に従って、算出スコア７０５を算出する。スコア演算アルゴリズム７０４としては、例えば、図７には各特徴量スコア（ＸiやＹiで示す）に重み（ａiやｂiやｃiで示す）を掛けた和である重み付け和が使用される。しかし、これは一例であり、スコア演算アルゴリズム７０４はこれに限定されない。
順位付け部２２１は、特徴量スコア７０３の全部あるいは一部からスコア演算アルゴリズム７０４に従って算出された算出スコア７０５をソートすることによって、グループ内の各組織標本画像に対して病理医２４０が注目すべき（重要度）順位７０６を付ける。
（表示画面フォーマットＤＢ）
図８は、本実施形態に係る表示画面フォーマットＤＢ２２３の構成を示す図である。
図８は、本実施形態に係る表示画面フォーマットＤＢ２２３の構成を示す図である。
本実施形態のように、ネットワーク２５０を介して複数の通信端末２３０によって複数の病理医２４０の診断支援をする場合には、様々な通信端末２３０が接続され、病理医２４０にとって様々な表示フォーマットの要望があり得る。したがって、本実施例では、表示画面フォーマットＤＢ２２３は、複数の表示アプリケーションや複数のサムネイルリスト表示フォーマットを記憶して対応する。しかしながら、スタンドアロンの装置の診断支援プログラムや、同じ病院内のシステムである場合には、表示画面フォーマットＤＢ２２３は、共通の表示アプリケーションや共通のサムネイルリスト表示フォーマットを記憶していてもよい。
表示画面フォーマットＤＢ２２３は、通信端末機種８０１や表示部機種８０２に対応付けて、適応可能な表示アプリケーション８０３、表示フォーマット８０４、サムネイルリスト表示フォーマット８０５を記憶している。病理医２４０は、通信端末２３０からの選択指示により、表示フォーマット８０４やサムネイルリスト表示フォーマット８０５を選択可能である。
（サムネイルリスト）
図９は、本実施形態に係るサムネイルリスト画像２２２ａの構成を示す図である。かかるサムネイルリスト画像２２２ａがサムネイルリスト画像生成部２２２で生成されて、サムネイルリスト画像送信部２２４に送られる。
図９は、本実施形態に係るサムネイルリスト画像２２２ａの構成を示す図である。かかるサムネイルリスト画像２２２ａがサムネイルリスト画像生成部２２２で生成されて、サムネイルリスト画像送信部２２４に送られる。
サムネイルリスト画像２２２ａは、グループＩＤ９０１ごとに、病理医２４０が注目すべき順位９０２と、表示位置９０３と、その表示位置に表示すべき組織標本画像の画像ＩＤ９０４と、サムネイル画像９０５とを記憶する。ここで、表示位置９０３は、通信端末２３０の表示画面上の絶対座標であっても、サムネイルリスト表示フォーマット８０５中の相対座標であってもよい。しなしながら、図４の表示画面のようにサムネイルリストのスクロールを実現するためには相対座標であるのが望ましい。
（サムネイルリスト送信データ）
図１０は、本実施形態に係るサムネイルリスト送信データ２２４ａの構成を示す図である。なお、図１０においては、サムネイルリスト画像送信部２２４が、図４に示した１画面を送信する場合を説明する。サムネイルリスト画像送信部２２４は、サムネイルリストエリア４２０に表示するサムネイルリスト画像のみを送信して、通信端末２３０で他のエリアに表示する画像と合成してもよい。
図１０は、本実施形態に係るサムネイルリスト送信データ２２４ａの構成を示す図である。なお、図１０においては、サムネイルリスト画像送信部２２４が、図４に示した１画面を送信する場合を説明する。サムネイルリスト画像送信部２２４は、サムネイルリストエリア４２０に表示するサムネイルリスト画像のみを送信して、通信端末２３０で他のエリアに表示する画像と合成してもよい。
サムネイルリスト送信データ２２４ａは、ヘッダ１０１１、通信端末２３０の送信先アドレス１０１２、情報処理装置２１０の送信元アドレス１０１３、表示画面データである送信データ１０１４、誤り訂正１０１５を含む。
表示画面データである送信データ１０１４は、図４の左側に表示されるスライド画像エリア４１０の表示データ１０２１と、図４の中央に表示されるサムネイルリストエリア４２０の表示データ１０２２と、図４の右側に表示される組織標本画像エリア４３０の表示データ１０２３とを含む。
《情報処理装置のハードウェア構成》
図１１は、本実施形態に係る情報処理装置２１０のハードウェア構成を示す図である。
図１１は、本実施形態に係る情報処理装置２１０のハードウェア構成を示す図である。
図１１で、ＣＰＵ１１１０は演算制御用のプロセッサであり、プログラムを実行することで図２の情報処理装置２１０の各機能構成部を実現する。ＲＯＭ１１２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部２１１は、病理医の通信端末２３０と通信する。なお、通信は無線でも有線でもよい。
ＲＡＭ１１４０は、ＣＰＵ１１１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１１４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。１１４１は、病理医の通信端末２３０からネットワーク２５０を介して受信したスライド画像を記憶する領域である。１１４２は、スライド画像１１４１を送信した通信端末２３０の通信端末ＩＤや病理医ＩＤなどの、スライド画像１１４１を特定する情報を記憶する領域である。スライド画像１１４１を特定する情報１１４２には、例えば、患者ＩＤや組織標本を採取した部位、性別、年齢、病歴なども含まれる。１１４３は、スライド画像１１４１から切り出された各組織標本画像を記憶する領域である。１１４４は、切り出された各組織標本画像のサムネイル画像を記憶する領域である。１１４５は、特徴量解析によって算出された１つまたは複数の特徴量を記憶する領域である。１１４６は、算出された１つまたは複数の特徴量１１４５に基づいて、組織標本画像１１４３（サムネイル画像１１４４）に付けられた順位（スコア）を記憶する領域である。２２２ａは、各サムネイル画像１１４４にその順位に従って表示位置を割り当てて生成されたサムネイルリスト画像を記憶する領域である（図９参照）。２２４ａは、対応する通信端末２３０に送信されるサムネイルリスト送信データを記憶する領域である（図１０参照）。
ストレージ１１５０は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。２１６は、受信したスライド画像から切り出された組織標本画像をサムネイル画像と対応付けて蓄積する組織標本画像ＤＢである（図５参照）。２１９は、特徴量用ＤＢである(図６Ａ〜図６Ｅ参照）。２２３は、表示画面フォーマットＤＢである（図８参照）。ストレージ１１５０には、以下のプログラムが格納される。１１５１は、全体の処理を実行させる病理診断支援プログラムである情報処理プログラムである。１１５２は、情報処理プログラム１１５１において、受信したスライド画像から組織標本画像を切り出す組織標本画像切り出しモジュールである。１１５３は、情報処理プログラム１１５１において、各組織標本画像からサムネイル画像を生成するサムネイル画像生成モジュールである。１１５４は、情報処理プログラム１１５１において、切り出された組織標本画像をグループ分けするグループ分けモジュールである。１１５５は、情報処理プログラム１１５１において、組織標本画像の特徴量を解析する特徴量解析モジュールである。１１５６は、情報処理プログラム１１５１において、１つまたは複数の特徴量に基づいて組織標本画像の順位付けを行なう順位付けモジュールである。１１５７は、情報処理プログラム１１５１において、順位が病理医に伝達可能にサムネイル画像を配置したサムネイルリスト画像を生成するサムネイルリスト画像生成モジュールである。１１５８は、情報処理プログラム１１５１において、通信端末２３０との通信制御部２１１による通信を制御する通信制御モジュールである。
なお、図１１には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
《情報処理装置の処理手順》
図１２、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートでは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用しながら実行し、図２の情報処理装置２１０の機能構成部を実現する。
図１２、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートでは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用しながら実行し、図２の情報処理装置２１０の機能構成部を実現する。
まず、ステップＳ１２１１において、通信端末２３０からスライド画像を受信したか否かが判定される。また、ステップＳ１２３１において、通信端末２３０からサムネイルリストの要求があったか否かが判定される。そして、ステップＳ１２４１において、サムネイルリストから１つのサムネイル画像が選択された選択情報を受信したか否かが判定される。いずれのステップにおいてもＮＯであれば、他の処理を行なう。ここで、ステップＳ１２１１、ステップＳ１２３１、及びステップＳ１２４１の実行順序は、その記載の順番に制限されない。本実施形態において、図示される工程の順番を内容的に支障のない範囲で変更することができる。
スライド画像の受信であればステップＳ１２１３に進んで、情報処理装置２１０は、スライド画像から組織標本画像を切り出す。情報処理装置２１０は、組織標本画像の輪郭部を抽出する画像処理技術等によりかかる組織標本画像を切り出すことができる。次に、ステップＳ１２１５において、情報処理装置２１０は、切り出された各組織標本画像をグループ分けする。情報処理装置２１０は、例えば、その組織標本画像を送信した病理医を特定可能な病理医ＩＤ、その組織標本画像と対応する患者を示す患者ＩＤ、又はその組織標本画像に映っている部位を示す部位ＩＤ等のグループデータに従って、組織標本画像をグループ分けする。そして、ステップＳ１２１７において、情報処理装置２１０は、各組織標本画像のサムネイル画像を生成する。そして、ステップＳ１２１９において、情報処理装置２１０は、ステップＳ１２１３で切り出された組織標本画像及びスライド情報と、ステップＳ１２１５でグループ分けに用いられたグループデータと、ステップＳ１２１７で生成されたサムネイル画像とを対応付けて組織標本画像ＤＢ２１６に蓄積する。
次に、ステップＳ１２２１において、情報処理装置２１０は、組織標本画像ＤＢ２１６から同じグループに属する組織標本画像をそれぞれ順に取得する。そして、ステップＳ１２２３において、情報処理装置２１０は、取得した各組織標本画像の特徴量を特徴量ＤＢ２１９を参照して解析し、その特徴量のスコアを算出する。
そして、ステップＳ１２２５において、情報処理装置２１０は、組織標本画像の各特徴量からスコア演算アルゴリズムに従って算出される算出スコアに基づいてソートを行う等して、同じグループの組織標本画像の順位付けを行なう。そして、ステップＳ１２２７において、情報処理装置２１０は、表示画面フォーマットＤＢ２２３を参照し、通信端末２３０の表示画面によって病理医２４０に順位が伝達可能となるようにＳ１２２５の順位付けに従ってサムネイル画像を配置した、サムネイルリスト画像を生成する。そして、ステップＳ１２２９において、情報処理装置２１０は、生成されたサムネイルリスト画像を、スライド画像を受信した通信端末２３０に送信する。
一方、サムネイルリスト表示の要求が通信端末２３０からあれば、情報処理装置２１０は、通信端末ＩＤや病理医ＩＤ、患者ＩＤおよび部位などの情報を取得して、ステップＳ１２２１に進む。そして、情報処理装置２１０は、取得された情報に対応するグループについてステップＳ１２２１〜Ｓ１２２９を実行して、要求のあった通信端末２３０にサムネイルリストを表示する。
サムネイルリストの表示中に、１つのサムネイル画像の選択があれば、情報処理装置２１０は、ステップＳ１２４３に進んで、選択されたサムネイル画像に対応する組織標本画像を組織標本画像ＤＢ２１６から読み出す。そして、ステップＳ１２４５において、情報処理装置２１０は、拡大した組織標本画像の表示位置を設定する。本例では、図４のように、表示画面の右半分に拡大された組織表示画像の表示位置を設定する。そして、ステップＳ１２４７において、情報処理装置２１０は、ステップＳ１２４５で処理された組織標本画像を通信端末２３０へ送信する。通信端末２３０は、設定された表示位置に拡大された組織標本画像を表示する。ここで、例えば、組織標本画像はスライドの撮影時に解像度が最大の画像データが得られており、組織標本画像ＤＢ２１６に最大解像度の組織標本画像が蓄積されていれば、情報処理装置２１０はこれを送信することになる。また、最大解像度の組織標本画像が組織標本画像ＳＤＢ２１６に蓄積されていない場合は、情報処理装置２１０は、通信端末２３０において最大解像度の組織標本画像を取得して、組織標本画像エリア４３０に表示することになる。
［第３実施形態］
次に、本発明の第３実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、病理医が通信端末から順位付けの基準となるデータを選択あるいは設定可能な構成とした点で異なる。本実施形態においては、順位付けの基準となるデータの選択あるいは設定のための構成について説明する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
次に、本発明の第３実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、病理医が通信端末から順位付けの基準となるデータを選択あるいは設定可能な構成とした点で異なる。本実施形態においては、順位付けの基準となるデータの選択あるいは設定のための構成について説明する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医がその経験と能力とに応じて、診断対象とする組織標本画像の順位を決めることができるので、迅速な診断が可能となる。
《情報処理システムの構成》
図１３は、本実施形態に係る情報処理システム１３００の構成を示すブロック図である。図１３において、第２実施形態の図２と異なる特徴的な構成は、順位付け基準受付部１３２５と、表示位置設定部１３２０である。表示位置設定部１３２０においては、順位付け部１３２１が相違する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
図１３は、本実施形態に係る情報処理システム１３００の構成を示すブロック図である。図１３において、第２実施形態の図２と異なる特徴的な構成は、順位付け基準受付部１３２５と、表示位置設定部１３２０である。表示位置設定部１３２０においては、順位付け部１３２１が相違する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
順位付け基準受付部１３２５は、通信端末２３０から病理医２４０によって設定された順位付けの基準を受け付ける。順位付け部１３２１は、順位付け基準受付部１３２５が受け付けた基準により順位付けテーブル１３２１ａを作成して、病理医２４０が所望する順位で組織標本画像の順位付けを行なう。
（順位付けテーブル）
図１４は、本実施形態に係る順位付けテーブル１３２１ａの構成を示す図である。順位付けテーブル１３２１ａは、基本的に図７の順位付けテーブル２２１ａと同様であり、同じ欄には同じ参照番号を付して説明は省略する。
図１４は、本実施形態に係る順位付けテーブル１３２１ａの構成を示す図である。順位付けテーブル１３２１ａは、基本的に図７の順位付けテーブル２２１ａと同様であり、同じ欄には同じ参照番号を付して説明は省略する。
図１４は、順位付け基準受付部１３２５が受け付けた順位付け基準を、病理医が設定したスコア演算アルゴリズム１４０４として書き換え可能に記憶している。したがって、算出スコア１４０５およびそれをソートした結果の順位１４０６は、病理医２４０の設定によって異なってくる。なお、本実施形態では、通信端末２３０から送信された順位付けの基準によりスコア演算アルゴリズム１４０４を書き換える例を説明したが、例えば、情報処理装置１３１０は、通信端末３０から特徴量の設定指示を受け付け、新たな特徴量の追加や使用しない特徴量の削除等の操作を行うこともできる。
［第４実施形態］
次に、本発明の第４実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、特徴量を軸として多次元空間に組織標本画像のサムネイル画像を配置して表示する点で異なる。本実施形態においては、特徴量を軸として組織標本画像のサムネイル画像を多次元に配置するための構成とその動作について説明する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
次に、本発明の第４実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、特徴量を軸として多次元空間に組織標本画像のサムネイル画像を配置して表示する点で異なる。本実施形態においては、特徴量を軸として組織標本画像のサムネイル画像を多次元に配置するための構成とその動作について説明する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医がその経験と能力とに応じて、診断対象とする組織標本画像を表示位置から容易に判断することができるので、迅速で正確な診断が可能となる。
《情報処理システムの構成》
図１５は、本実施形態に係る情報処理システム１５００の構成を示すブロック図である。図１５において、図２および図３と異なる特徴的な構成は、表示位置設定部１５２０と、サムネイル配置画像送信部１５２４である。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
図１５は、本実施形態に係る情報処理システム１５００の構成を示すブロック図である。図１５において、図２および図３と異なる特徴的な構成は、表示位置設定部１５２０と、サムネイル配置画像送信部１５２４である。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
本実施形態の表示位置設定部１５２０は、多次元のサムネイル画像配置部１５２２と表示画面フォーマットＤＢ１５２３とを有する。表示画面フォーマットＤＢ１５２３は、表示画面上のどこに、どの方向を特徴量の軸としてサムネイル画像を配置するかを定めるフォーマットを保持している（図示せず）。多次元のサムネイル画像配置部１５２２は、表示画面フォーマットＤＢ１５２３から読み出したフォーマットと、多次元配置テーブル１５２２ａとを使用し、各特徴量を軸としてその特徴量の大小に従ってサムネイル画像を多次元に配置する。なお、実際の表示画面では、３次元を超える多次元では表示が病理医２４０の診断支援にならない可能性があるので、２次元又は３次元表示とすることが好ましい。
サムネイル配置画像送信部１５２４は、多次元のサムネイル画像配置部１５２２により生成されたサムネイル配置画像に基づいてサムネイル配置データ１５２４ａを対応する通信端末２３０に送信する。
（通信端末の表示画面）
図１６は、本実施形態に係る通信端末２３０の表示画面を示す図である。なお、図１６の表示画面のフォーマットは一例であって、通信端末２３０やアプリケーション、あるいは病理医２４０の要望によって、表示画面フォーマットＤＢ１５２３から選択される。
図１６は、本実施形態に係る通信端末２３０の表示画面を示す図である。なお、図１６の表示画面のフォーマットは一例であって、通信端末２３０やアプリケーション、あるいは病理医２４０の要望によって、表示画面フォーマットＤＢ１５２３から選択される。
図１６においては、２つのエリアが表示されている。左側のエリアは、図４と同様の、通信端末２３０から送信したスライド画像を表示するスライド画像エリア４１０である。右側のエリアは、あらかじめ設定された特徴量を軸としてその大小に従って２次元（又は３次元）にサムネイル画像が配置されたサムネイル配置エリア１６２０である。
図１６には、特徴量１を横軸に特徴量２を縦軸に取ったサムネイル画像の２次元配置が図示されている。軸となる特徴量は、例えば、特徴量１を核異型度（図６Ａ参照）とし、特徴量２を構造（腺管）異型度（図６Ｃ参照）とすることができる。さらに、３次元配置とする場合は、特徴量３を３Ｄ表示による遠近軸とすることが可能である。この場合の特徴量３としては、例えば、粘液の度合い（図６Ｄ参照）とすることができる。なお、軸とする特徴量はこれに限定されない。
（多次元配置テーブル）
図１７Ａは、本実施形態に係る多次元配置テーブル１５２２ａの構成を示すブロック図である。
図１７Ａは、本実施形態に係る多次元配置テーブル１５２２ａの構成を示すブロック図である。
多次元配置テーブル１５２２ａは、各グループＩＤ１７０１内において、各組織標本画像を識別する画像ＩＤ１７０２に対応付けて、サムネイル画像１７０３と、特徴量１スコアおよび対応する横軸配置位置１７０４、特徴量２スコアおよび対応する縦軸配置位置１７０５を記憶する。３次元の場合には、さらに、特徴量３スコアおよび対応する３次元配置位置１７０６を記憶する。
（サムネイル配置データ）
図１７Ｂは、本実施形態に係るサムネイル配置データ１５２４ａの構成を示す図である。なお、図１７Ｂにおいては、サムネイル配置画像送信部１５２４が、図１６に示した１画面を送信する場合を説明する。サムネイル配置画像送信部１５２４は、サムネイル配置エリア１６２０に表示するサムネイル配置画像のみを送信して、通信端末２３０で他のエリアに表示する画像と合成してもよい。また、図１７Ｂにおいて、図１０との相違点は送信データのみであるので、他の構成には図１０と同じ参照番号を付して説明は省略する。
図１７Ｂは、本実施形態に係るサムネイル配置データ１５２４ａの構成を示す図である。なお、図１７Ｂにおいては、サムネイル配置画像送信部１５２４が、図１６に示した１画面を送信する場合を説明する。サムネイル配置画像送信部１５２４は、サムネイル配置エリア１６２０に表示するサムネイル配置画像のみを送信して、通信端末２３０で他のエリアに表示する画像と合成してもよい。また、図１７Ｂにおいて、図１０との相違点は送信データのみであるので、他の構成には図１０と同じ参照番号を付して説明は省略する。
表示画面データである送信データ１７１４は、図１６の左側のエリアに表示されるスライド画像エリア４１０の表示データ１０２１と、図１６の右側のエリアに表示される２次元または３次元の軸を表示する表示データ１７２２と、図１６の右側のエリアに配置されるサムネイル画像の表示データ１７２３とを含む。
《情報処理装置の処理手順》
図１８は、本実施形態に係る情報処理装置１５１０の処理手順を示すフローチャートである。このフローチャートは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用しながら実行し、図１５の情報処理装置１５１０の機能構成部を実現する。なお、第２実施形態の図１２と同様の処理は図示しない、あるいは同じステップ番号を付して説明を省略する。
図１８は、本実施形態に係る情報処理装置１５１０の処理手順を示すフローチャートである。このフローチャートは、図１１のＣＰＵ１１１０がＲＡＭ１１４０を使用しながら実行し、図１５の情報処理装置１５１０の機能構成部を実現する。なお、第２実施形態の図１２と同様の処理は図示しない、あるいは同じステップ番号を付して説明を省略する。
まず、ステップＳ１２１１において、通信端末２３０からスライド画像を受信したか否かが判定される。また、ステップＳ１８３１において、通信端末２３０から多次元サムネイル表示の要求があったか否かが判定される。ここで、ステップＳ１２１１、及びステップＳ１８３１の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
スライド画像の受信であればステップＳ１２１３に進んで、情報処理装置１５１０は、以下ステップＳ１２２３までを実行する。次にステップＳ１８２５において、情報処理装置１５１０は、解析によりスコアが付けられた特徴量の中から、表示の軸とする特徴量を選択する。続いて、ステップＳ１８２７において、情報処理装置１５１０は、表示画面フォーマットＤＢ１７２３を参照して、各軸とする特徴量のスコアに従ってサムネイル配置画像を生成する。ステップＳ１８２９において、情報処理装置１５１０は、生成されたサムネイル配置画像に対応するサムネイル配置データ１５２４ａを、スライド画像を受信した通信端末２３０に送信する。
一方、通信端末２３０から多次元サムネイル表示の要求があった場合にはステップＳ１２２１に進んで、以下、ステップＳ１２２１からステップＳ１８２９を実行してサムネイル配置画像を生成し、多次元サムネイル表示を要求した通信端末２３０にサムネイル配置データ１５２４ａを送信する。
［第５実施形態］
次に、本発明の第５実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第４実施形態と比べると、多次元に配置する特徴量の軸を病理医が通信端末から選択可能である点で異なる。本実施形態においては、軸とする特徴量を設定する構成について説明する。その他の構成および動作は、第４実施形態と同様であるため、その詳しい説明を省略する。
次に、本発明の第５実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第４実施形態と比べると、多次元に配置する特徴量の軸を病理医が通信端末から選択可能である点で異なる。本実施形態においては、軸とする特徴量を設定する構成について説明する。その他の構成および動作は、第４実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医がその経験と能力とに応じて、診断対象とする組織標本画像を選択するための軸となる特徴量を設定することができるので、生体部位や症状に適応した迅速で正確な診断が可能となる。
《情報処理システムの構成》
図１９は、本実施形態に係る情報処理システム１９００の構成を示すブロック図である。図１９において、第４実施形態の図１５と異なる特徴的な構成は、特徴量選択情報受付部１９２７と、特徴量選択部１９２６とである。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
図１９は、本実施形態に係る情報処理システム１９００の構成を示すブロック図である。図１９において、第４実施形態の図１５と異なる特徴的な構成は、特徴量選択情報受付部１９２７と、特徴量選択部１９２６とである。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
特徴量選択情報受付部１９２７は、病理医２４０によって設定された多次元表示の軸とする特徴量の選択指示を通信端末２３０から受け付ける。特徴量選択部１９２６は、特徴量選択情報受付部１９２７が受け付けた選択指示に従って特徴量を選択することで、病理医２４０が所望とする特徴量の軸によるサムネイル画像の多次元表示を行なう。
［第６実施形態］
次に、本発明の第６実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、各組織標本画像の絶対的評価を色で病理医に報知する点で異なる。本実施形態においては、配色するための構成について説明する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
次に、本発明の第６実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態と比べると、各組織標本画像の絶対的評価を色で病理医に報知する点で異なる。本実施形態においては、配色するための構成について説明する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医に、診断対象とすべき組織標本画像の順位を報知すると共に、その組織標本画像の病理的緊急度が色で報知されるので、患者の状態に適応した迅速で正確な診断が可能となる。
《情報処理システムの構成》
図２０は、本実施形態に係る情報処理システム２０００の構成を示すブロック図である。図２０において、第２実施形態の図２と異なる特徴的な構成は、サムネイル配色部２０２８と配色ＤＢ２０２９とオプションの配色指示情報受付部２０３０である。また、これらの構成の追加によって、表示位置設定部２０２０が変更されている。表示位置設定部２０２０においては、サムネイルリスト画像生成部２０２２が相違する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
図２０は、本実施形態に係る情報処理システム２０００の構成を示すブロック図である。図２０において、第２実施形態の図２と異なる特徴的な構成は、サムネイル配色部２０２８と配色ＤＢ２０２９とオプションの配色指示情報受付部２０３０である。また、これらの構成の追加によって、表示位置設定部２０２０が変更されている。表示位置設定部２０２０においては、サムネイルリスト画像生成部２０２２が相違する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
配色ＤＢ２０２９は、各サムネイル画像に対して色相や色の輝度等を配色する配色グループを格納している。サムネイル配色部２０２８は、配色ＤＢ２０２９を参照して、順位付け部２２１で順位付けされたサムネイル画像の特徴量のスコアに対応する配色グループを読出す。そして、サムネイルリスト画像生成部２０２２は、読み出された配色グループに従い、各サムネイル画像の配色を行なう。これにより、相対的な順位のみでなく特徴量のスコアの絶対値を病理医２４０が認識可能とする。また、オプションの配色指示情報受付部２０３０は、各サムネイルを色相によって配色するか、色の輝度によって配色するかといった設定を病理医２４０が指示可能とするための構成である。
表示位置設定部２０２０のサムネイルリスト画像生成部２０２２は、上述したように、サムネイル配色部２０２８が特徴量スコアに応じて配色ＤＢ２０２９から読み出した配色グループに従って、各サムネイル画像を配色したサムネイルリスト画像を生成する。なお、色分けされたサムネイルリスト画像は、例えば、第２実施形態の図９に示すようなデータに、さらに色データが追加されたものである。
（配色ＤＢ）
図２１は、本実施形態に係る配色ＤＢ２０２９の構成を示す図である。
図２１は、本実施形態に係る配色ＤＢ２０２９の構成を示す図である。
配色ＤＢ２０２９は、特徴量スコアの範囲に対応する色相を示す、第１色相グループ２１０１や第２色相グループ２１０２などを記憶している。また、配色ＤＢ２０２９は、同様に、１つの色の輝度値として、例えば、赤（Ｒ）の輝度値２１０３、緑（Ｇ）の輝度値２１０４、青（Ｂ）の輝度値２１０５を記憶している。情報処理装置２０１０は、例えば、各特徴量スコアである第１特徴量スコア２１０６、第２特徴量スコア２１０７、第ｎ特徴量スコア２１０８の範囲に応じて、それぞれ異なる色相や輝度の色を配色する。また、情報処理装置２０１０は、複数の特徴量を基に得られた評価スコア２１０９の範囲に応じて、それぞれ異なる色相や輝度の色を配色することもできる。
なお、赤（Ｒ）の輝度値２１０３、緑（Ｇ）の輝度値２１０４、青（Ｂ）の輝度値２１０５は、３つの特徴量スコアの範囲にそれぞれ対応させれば、色味の違いから３つの特徴量スコアが認識可能となる。
［第７実施形態］
次に、本発明の第７実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第４実施形態と比べると、特徴量を軸とする多次元の位置への表示に加えて、各組織標本画像の絶対的評価を色で病理医に報知する点で異なる。本実施形態においては、配色するための構成について説明する。その他の構成および動作は、第４実施形態と同様であるため、その詳しい説明を省略する。
次に、本発明の第７実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第４実施形態と比べると、特徴量を軸とする多次元の位置への表示に加えて、各組織標本画像の絶対的評価を色で病理医に報知する点で異なる。本実施形態においては、配色するための構成について説明する。その他の構成および動作は、第４実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医に、診断対象とすべき組織標本画像の複数の特徴量を表示位置で報知すると共に、その組織標本画像の病理的緊急度が色で報知されるので、患者の状態に適応した迅速で正確な診断が可能となる。
《情報処理システムの構成》
図２２は、本実施形態に係る情報処理システム２２００の構成を示すブロック図である。図２２において、第４実施形態の図１５と異なる特徴的な構成は、サムネイル配色部２２２８と配色ＤＢ２２２９とオプションの配色指示情報受付部２２３０である。また、これらの構成の追加によって、表示位置設定部２２２０が変更されている。表示位置設定部２２２０においては、順位付け部２２２１と順位付けテーブル２２２１ａが追加され、多次元のサムネイル画像配置部２２２２と多次元配置テーブル２２２２ａが相違する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
図２２は、本実施形態に係る情報処理システム２２００の構成を示すブロック図である。図２２において、第４実施形態の図１５と異なる特徴的な構成は、サムネイル配色部２２２８と配色ＤＢ２２２９とオプションの配色指示情報受付部２２３０である。また、これらの構成の追加によって、表示位置設定部２２２０が変更されている。表示位置設定部２２２０においては、順位付け部２２２１と順位付けテーブル２２２１ａが追加され、多次元のサムネイル画像配置部２２２２と多次元配置テーブル２２２２ａが相違する。その他の構成および動作は、第２実施形態と同様であるため、その詳しい説明を省略する。
ここで、サムネイル配色部２２２８、配色ＤＢ２２２９、配色指示情報受付部２２３０については、その構成が第６実施形態のサムネイル配色部２０２８、配色ＤＢ２０２９、配色指示情報受付部２０３０と同様であるので、説明は省略する。また、表示位置設定部２２２０に追加された順位付け部２２２１と順位付けテーブル２２２１ａとは、第２実施形態と同様であるので説明は省略する。本実施形態では、この順位付け部２２２１の順位がサムネイル配色部２２２８に通知されてサムネイル画像への配色が決定する。
表示位置設定部２２２０の多次元のサムネイル画像配置部２２２２は、サムネイル配色部２２２８がサムネイル画像の特徴量スコアに応じて配色ＤＢ２０２９から読み出した配色グループに従って、当該サムネイル画像を配色し、多次元にサムネイル画像を配置する。なお、色分けされたサムネイル配置画像については、例えば、第４実施形態の図１７に示すようなデータに、さらに色データが追加されたものである。
［第８実施形態］
次に、本発明の第８実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態および第４実施形態と比べると、順位付けによる位置表示と特徴量を軸とする多次元の位置への表示とを、病理医が選択可能とした点で異なる。本実施形態においては、病理医が選択するための構成について説明する。その他の構成および動作は、第２実施形態または第４実施形態と同様であるため、その詳しい説明を省略する。
次に、本発明の第８実施形態に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、上記第２実施形態および第４実施形態と比べると、順位付けによる位置表示と特徴量を軸とする多次元の位置への表示とを、病理医が選択可能とした点で異なる。本実施形態においては、病理医が選択するための構成について説明する。その他の構成および動作は、第２実施形態または第４実施形態と同様であるため、その詳しい説明を省略する。
本実施形態によれば、病理医が、順位付けによる位置表示と特徴量を軸とする多次元の位置への表示とを選択できるので、病理医の経験や能力に応じて患者の状態に適応した迅速で正確な診断が可能となる。
（通信端末の表示画面）
図２３は、本実施形態に係る通信端末２３０の表示画面示す図である。なお、図２３の表示画面のフォーマットは一例であって、通信端末２３０やアプリケーション、あるいは病理医２４０の要望によって任意に選択されてもよい。
図２３は、本実施形態に係る通信端末２３０の表示画面示す図である。なお、図２３の表示画面のフォーマットは一例であって、通信端末２３０やアプリケーション、あるいは病理医２４０の要望によって任意に選択されてもよい。
図２３は、第２実施形態の図４に示すような画面や第４実施形態の図１６に示すような画面を表示する前に、図４の順位リスト表示を行うか、又は図１６の多次元表示を行うかを選択するための画面である。図２３の表示画面は、受信したスライド画像を表示するスライド画像エリア４１０と、順位リスト表示を行うか、又は多次元表示を行うかを選択指示するための表示フォーマットエリア２３１０とを有する。そして、表示フォーマットエリア２３１０で、順位リスト表示が選択されるとサムネイルリストエリア４２０が表示され、多次元表示が選択されるとサムネイル配置エリア１６２０が表示される。
表示フォーマットエリア２３１０は、上述したように、順位リスト表示を行うか、または多次元表示を行うかを選択指示する指示ボタン２３１１、色分けをする場合の設定ボタン２３１２、オプションである模様分けの設定ボタン２３１３が含まれる。また、指示および選択を有効にするＯＫボタン２３１４と、指示および設定のクリアあるいは前の画面に戻るための戻るボタン２３１５とが含まれる。なお、表示フォーマットエリア２３１０の構成は本例に限定されない。
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。
以下、参考形態の例を付記する。
１．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
を備えることを特徴とする情報処理装置。
２．
前記特徴量は、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数／割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むことを特徴とする１．に記載の情報処理装置。
３．
前記縮小画像はサムネイル画像であることを特徴とする１．または２．に記載の情報処理装置。
４．
前記表示位置設定手段は、前記各組織標本画像が有する特徴量に基づいて前記各組織標本画像の順位を付ける順位付け手段を有し、
前記各組織標本画像の縮小画像を前記順位付け手段により付けられた順位に従って表示する表示位置を設定することを特徴とする１．乃至３．のいずれか１つに記載の情報処理装置。
５．
前記順位付け手段は、前記各組織標本画像が有する複数の特徴量の重み付け和の値の順に順位付けすることを特徴とする４．に記載の情報処理装置。
６．
前記各組織標本画像の順位を付ける順位付け基準の設定を受け付ける順位付け基準受付手段をさらに備え、
前記順位付け手段は、前記順位付け基準受付手段が受け付けた順位付け基準と前記各組織標本画像が有する特徴量とに基づいて前記各組織標本画像の順位を付けることを特徴とする４．に記載の情報処理装置。
７．
前記表示位置設定手段は、前記各組織標本画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを特徴とする１．乃至３．のいずれか１つに記載の情報処理装置。
８．
前記複数の特徴量を選択する特徴量選択手段をさらに備えることを特徴とする７．に記載の情報処理装置。
９．
前記複数の組織標本画像を含む複数のスライド画像をネットワークを介して受信するスライド画像受信手段と、
前記各組織標本画像の縮小画像を表示位置を示す情報を伴ってネットワークを介して送信する送信手段と、
をさらに備えることを特徴とする１．乃至８．のいずれか１つに記載の情報処理装置。
１０．
前記送信手段は、前記縮小画像に対応する前記組織標本画像を読み込んだスライド画像および該スライド画像上の位置を識別する情報を前記縮小画像に対応付けて送信することを特徴とする９．に記載の情報処理装置。
１１．
前記送信手段が送信した縮小画像への選択情報を受信する選択情報受信手段と、
前記受信した選択情報が選択する縮小画像を拡大表示すべく指示する拡大表示手段と、
をさらに備えることを特徴とする９．または１０．に記載の情報処理装置。
１２．
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段をさらに備えることを特徴とする１．乃至１１．のいずれか１つに記載の情報処理装置。
１３．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
を含むことを特徴とする情報処理装置の制御方法。
１４．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
１５．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記表示位置設定手段が設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示手段と、
を備えることを特徴とする情報処理システム。
１６．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
を含むことを特徴とする情報処理方法。
以下、参考形態の例を付記する。
１．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
を備えることを特徴とする情報処理装置。
２．
前記特徴量は、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数／割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むことを特徴とする１．に記載の情報処理装置。
３．
前記縮小画像はサムネイル画像であることを特徴とする１．または２．に記載の情報処理装置。
４．
前記表示位置設定手段は、前記各組織標本画像が有する特徴量に基づいて前記各組織標本画像の順位を付ける順位付け手段を有し、
前記各組織標本画像の縮小画像を前記順位付け手段により付けられた順位に従って表示する表示位置を設定することを特徴とする１．乃至３．のいずれか１つに記載の情報処理装置。
５．
前記順位付け手段は、前記各組織標本画像が有する複数の特徴量の重み付け和の値の順に順位付けすることを特徴とする４．に記載の情報処理装置。
６．
前記各組織標本画像の順位を付ける順位付け基準の設定を受け付ける順位付け基準受付手段をさらに備え、
前記順位付け手段は、前記順位付け基準受付手段が受け付けた順位付け基準と前記各組織標本画像が有する特徴量とに基づいて前記各組織標本画像の順位を付けることを特徴とする４．に記載の情報処理装置。
７．
前記表示位置設定手段は、前記各組織標本画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを特徴とする１．乃至３．のいずれか１つに記載の情報処理装置。
８．
前記複数の特徴量を選択する特徴量選択手段をさらに備えることを特徴とする７．に記載の情報処理装置。
９．
前記複数の組織標本画像を含む複数のスライド画像をネットワークを介して受信するスライド画像受信手段と、
前記各組織標本画像の縮小画像を表示位置を示す情報を伴ってネットワークを介して送信する送信手段と、
をさらに備えることを特徴とする１．乃至８．のいずれか１つに記載の情報処理装置。
１０．
前記送信手段は、前記縮小画像に対応する前記組織標本画像を読み込んだスライド画像および該スライド画像上の位置を識別する情報を前記縮小画像に対応付けて送信することを特徴とする９．に記載の情報処理装置。
１１．
前記送信手段が送信した縮小画像への選択情報を受信する選択情報受信手段と、
前記受信した選択情報が選択する縮小画像を拡大表示すべく指示する拡大表示手段と、
をさらに備えることを特徴とする９．または１０．に記載の情報処理装置。
１２．
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段をさらに備えることを特徴とする１．乃至１１．のいずれか１つに記載の情報処理装置。
１３．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
を含むことを特徴とする情報処理装置の制御方法。
１４．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
１５．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記表示位置設定手段が設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示手段と、
を備えることを特徴とする情報処理システム。
１６．
生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
を含むことを特徴とする情報処理方法。
この出願は、２０１１年８月２３日に出願された日本出願特願２０１１−１８２０４１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
Claims (19)
- 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
を備え、
前記表示位置設定手段は、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定する、
ことを特徴とする情報処理装置。 - 前記複数の特徴量を選択する特徴量選択手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
- 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段と、
を備えることを特徴とする情報処理装置。 - 前記特徴量は、癌細胞の分化の程度を表わす分化度と、癌細胞の病理組織学的悪性度評価であるグレードと、細胞核の大きさや形状による評価である核異型度と、腺管形成の程度を表わす構造異型度と、細胞核の核分裂の数／割合と、粘膜や腺から分泌される粘液の度合いと、印環細胞癌の可能性と、そのいずれかの組み合わせと、を含むことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
- 前記縮小画像はサムネイル画像であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
- 前記表示位置設定手段は、前記各組織標本画像が有する特徴量に基づいて前記各組織標本画像の順位を付ける順位付け手段を有し、
前記各組織標本画像の縮小画像を前記順位付け手段により付けられた順位に従って表示する表示位置を設定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。 - 前記順位付け手段は、前記各組織標本画像が有する複数の特徴量の重み付け和の値の順に順位付けすることを特徴とする請求項６に記載の情報処理装置。
- 前記各組織標本画像の順位を付ける順位付け基準の設定を受け付ける順位付け基準受付手段をさらに備え、
前記順位付け手段は、前記順位付け基準受付手段が受け付けた順位付け基準と前記各組織標本画像が有する特徴量とに基づいて前記各組織標本画像の順位を付けることを特徴とする請求項６に記載の情報処理装置。 - 前記複数の組織標本画像を含む複数のスライド画像をネットワークを介して受信するスライド画像受信手段と、
前記各組織標本画像の縮小画像を表示位置を示す情報を伴ってネットワークを介して送信する送信手段と、
をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。 - 前記送信手段は、前記縮小画像に対応する前記組織標本画像を読み込んだスライド画像および該スライド画像上の位置を識別する情報を前記縮小画像に対応付けて送信することを特徴とする請求項９に記載の情報処理装置。
- 前記送信手段が送信した縮小画像への選択情報を受信する選択情報受信手段と、
前記受信した選択情報が選択する縮小画像を拡大表示すべく指示する拡大表示手段と、
をさらに備えることを特徴とする請求項９または１０に記載の情報処理装置。 - 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
を含み、
前記表示位置設定ステップは、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを含む、
ことを特徴とする情報処理装置の制御方法。 - 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法であって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
を含むことを特徴とする情報処理装置の制御方法。 - 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップであって、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定するステップと、
をコンピュータに実行させることを特徴とする制御プログラム。 - 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
をコンピュータに実行させることを特徴とする制御プログラム。 - 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記表示位置設定手段が設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示手段と、
を備え、
前記表示位置設定手段は、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定する、
ことを特徴とする情報処理システム。 - 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理システムであって、
前記撮像した組織標本画像を取得する取得手段と、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出し手段と、
前記組織標本画像切り出し手段が切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定手段と、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分け手段と、
を備えることを特徴とする情報処理システム。 - 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
を含み、
前記表示位置設定ステップは、前記各組織標本画像の縮小画像の表示位置を、前記各組織標本画像が有する複数の特徴量を軸とする多次元空間に配置するように表示位置を設定することを含む、
ことを特徴とする情報処理方法。 - 生体組織を撮像した組織標本画像に基づく診断を支援する情報処理方法であって、
前記撮像した組織標本画像を取得する取得ステップと、
複数の前記組織標本画像が含まれる複数のスライド画像から、前記組織標本画像を個々に分けて切り出す組織標本画像切り出しステップと、
前記組織標本画像切り出しステップにおいて切り出した各組織標本画像が有する特徴量に基づいて、前記各組織標本画像の縮小画像を表示する表示画面における表示位置を設定する表示位置設定ステップと、
前記表示位置設定ステップにおいて設定した表示画面上の表示位置に、前記各組織標本画像の縮小画像を表示する表示ステップと、
前記複数のスライド画像が複数の患者または複数の組織から採取した組織標本画像を含む場合に、前記複数の組織標本画像を同一患者の関連組織から採取した組織標本画像グループにグループ分けするグループ分けステップと、
を含むことを特徴とする情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013529876A JP5862671B2 (ja) | 2011-08-23 | 2012-08-22 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011182041 | 2011-08-23 | ||
| JP2011182041 | 2011-08-23 | ||
| JP2013529876A JP5862671B2 (ja) | 2011-08-23 | 2012-08-22 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
| PCT/JP2012/005265 WO2013027399A1 (ja) | 2011-08-23 | 2012-08-22 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2013027399A1 JPWO2013027399A1 (ja) | 2015-03-05 |
| JP5862671B2 true JP5862671B2 (ja) | 2016-02-16 |
Family
ID=47746159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013529876A Active JP5862671B2 (ja) | 2011-08-23 | 2012-08-22 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20140193052A1 (ja) |
| JP (1) | JP5862671B2 (ja) |
| WO (1) | WO2013027399A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5862671B2 (ja) * | 2011-08-23 | 2016-02-16 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
| CN104981798B (zh) * | 2012-12-06 | 2018-06-08 | 通用电气医疗集团生物科学公司 | 生物标志表达的选择和显示 |
| JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| WO2015040990A1 (ja) * | 2013-09-19 | 2015-03-26 | 学校法人慶應義塾 | 疾患分析装置、制御方法、及びプログラム |
| US11232565B2 (en) * | 2014-04-03 | 2022-01-25 | Koninklijke Philips N.V. | Examining device for processing and analyzing an image |
| EP3239287A4 (en) * | 2014-12-26 | 2018-08-15 | The University of Tokyo | Analysis device, analysis method, analysis program, cell manufacturing method and cells |
| CN109585015A (zh) * | 2019-01-21 | 2019-04-05 | 兰州大学 | 一种淋巴瘤病理类型智能分类系统和方法 |
| CN110689958A (zh) * | 2019-09-09 | 2020-01-14 | 杭州憶盛医疗科技有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| JP7431592B2 (ja) | 2020-01-29 | 2024-02-15 | 株式会社Ｓｃｒｅｅｎホールディングス | 画像処理装置、画像処理システムおよび画像処理方法 |
| US20220413682A1 (en) * | 2021-06-28 | 2022-12-29 | Gestalt Diagnostics, LLC | Methods, apparatuses, and computer-readable media for enhancing digital pathology platform |
| USD1027977S1 (en) | 2021-06-28 | 2024-05-21 | Gestalt Diagnostics, LLC | Display screen or portion thereof having a graphical user interface |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6259807B1 (en) * | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
| ATE407360T1 (de) * | 1998-02-25 | 2008-09-15 | Us Health | Verfahren und vorrichtung zur vorbereitung von gewebeproben für parallele analysen |
| US20040085443A1 (en) * | 2000-12-13 | 2004-05-06 | Kallioniemi Olli P | Method and system for processing regions of interest for objects comprising biological material |
| US7885448B2 (en) * | 2001-03-19 | 2011-02-08 | Dmetrix, Inc. | Diagnostic scanning microscope for information-enriched qualitative histopathology |
| ATE441857T1 (de) * | 2001-07-10 | 2009-09-15 | Univ Leland Stanford Junior | Verfahren und zusammensetzungen zum nachweis des aktivierungszustands multipler proteine in einzelzellen |
| EP1451358A2 (en) * | 2001-11-20 | 2004-09-01 | Genentech, Inc. | Cell and tissue arrays and microarrays and methods of use |
| JP4046161B2 (ja) * | 2002-10-29 | 2008-02-13 | 独立行政法人放射線医学総合研究所 | 標本画像データ処理方法及び標本検査システム |
| JP4231915B2 (ja) * | 2002-10-29 | 2009-03-04 | 独立行政法人放射線医学総合研究所 | 標本検査方法及びシステム |
| US7483554B2 (en) * | 2003-11-17 | 2009-01-27 | Aureon Laboratories, Inc. | Pathological tissue mapping |
| CA2667611C (en) * | 2006-11-07 | 2013-01-08 | Qualcomm Incorporated | Method and apparatus for serving radio network subsystem relocation in wireless communication systems |
| KR100829213B1 (ko) * | 2006-12-06 | 2008-05-14 | 송승민 | 레시피언트 블록의 틀 및 이의 용도 |
| US7826652B2 (en) * | 2006-12-19 | 2010-11-02 | Cytyc Corporation | Method for forming an optimally exposed image of cytological specimen |
| JP5059545B2 (ja) * | 2007-10-23 | 2012-10-24 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| JP5033580B2 (ja) * | 2007-10-31 | 2012-09-26 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| US8483803B2 (en) * | 2008-09-15 | 2013-07-09 | Varian Medical Systems, Inc. | Systems and methods for tracking and targeting object in a patient using imaging techniques |
| US8405392B2 (en) * | 2008-12-19 | 2013-03-26 | Sloan Kettering Institute For Cancer Research | Corrected nuclear magnetic resonance imaging using magnetization transfer |
| JP5438962B2 (ja) * | 2008-12-25 | 2014-03-12 | シスメックス株式会社 | 細胞画像表示装置 |
| JP5907732B2 (ja) * | 2009-01-14 | 2016-04-26 | ザ ユナイテッド ステイツ オブ アメリカ， アズ リプレゼンテッド バイ ザ セクレタリー， デパートメント オブ ヘルス アンド ヒューマン サービシーズ | 比に基づく生体マーカーおよびそれを使用する方法 |
| EP2383569B1 (en) * | 2009-01-27 | 2019-06-19 | Osaka University | Image analysis apparatus, image analysis method, image analysis program and recording medium |
| JP5387147B2 (ja) * | 2009-06-03 | 2014-01-15 | 日本電気株式会社 | 病理画像診断システム、病理画像処理方法、病理画像診断プログラム |
| JP5498129B2 (ja) * | 2009-11-09 | 2014-05-21 | オリンパス株式会社 | バーチャル顕微鏡システム |
| JP5862671B2 (ja) * | 2011-08-23 | 2016-02-16 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム |
-
2012
- 2012-08-22 JP JP2013529876A patent/JP5862671B2/ja active Active
- 2012-08-22 WO PCT/JP2012/005265 patent/WO2013027399A1/ja active Application Filing
- 2012-08-22 US US14/239,801 patent/US20140193052A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2013027399A1 (ja) | 2015-03-05 |
| US20140193052A1 (en) | 2014-07-10 |
| WO2013027399A1 (ja) | 2013-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5862671B2 (ja) | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム | |
| JP6643379B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20130088512A1 (en) | Examination information display device and method | |
| JP6348504B2 (ja) | 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法 | |
| US8194954B2 (en) | Medical report system, and medical report making apparatus and method | |
| JP6134315B2 (ja) | 画像データにおける所見の解剖学的タグ付けの方法 | |
| JP6023189B2 (ja) | 一連の調査の画像データ内における発見の解剖学的タグ付け | |
| WO2014103664A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| WO2015146520A1 (ja) | 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム | |
| US20040114714A1 (en) | Distributed architecture for mammographic image acquisition and processing | |
| JP6198729B2 (ja) | 解剖学的タグ付けを用いた臨床発見管理によって容易化された検査レビュー | |
| US8566727B2 (en) | Method and system for automating a user interface | |
| JP5257958B2 (ja) | 画像表示装置、画像表示システムおよび画像表示方法 | |
| JP2007521850A (ja) | 高スループットイメージング環境のためのワークフロー最適化 | |
| JP2007287018A (ja) | 診断支援システム | |
| JP2009018048A (ja) | 医用画像表示装置、方法及びプログラム | |
| EP1654626A2 (en) | Methods and system for intelligent qualitative and quantitative analysis for medical diagnosis | |
| JPWO2012043499A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体 | |
| CN102573641A (zh) | 图像处理装置及图像处理方法 | |
| JPWO2013024600A1 (ja) | 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム | |
| CN110111876A (zh) | 信息处理装置及信息处理方法 | |
| JP6498018B2 (ja) | 情報処理装置、制御方法およびプログラム | |
| JP2004181041A (ja) | 画像解析装置、画像解析装置用機能マップ作成手段、画像解析方法および画像解析プログラム | |
| JP5702943B2 (ja) | 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体 | |
| DE202019006040U1 (de) | Multimodalitätsaufhängungsprotokolle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5862671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |