JP2024504958A - 組織検体画像の生成方法、及びこれを行うコンピューティングシステム - Google Patents
組織検体画像の生成方法、及びこれを行うコンピューティングシステム Download PDFInfo
- Publication number
- JP2024504958A JP2024504958A JP2023542991A JP2023542991A JP2024504958A JP 2024504958 A JP2024504958 A JP 2024504958A JP 2023542991 A JP2023542991 A JP 2023542991A JP 2023542991 A JP2023542991 A JP 2023542991A JP 2024504958 A JP2024504958 A JP 2024504958A
- Authority
- JP
- Japan
- Prior art keywords
- tissue
- tissue specimen
- contours
- contour
- specimen image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 230000001575 pathological effect Effects 0.000 description 9
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
組織検体のスライド画像から他組織検体であると判断される組織検体領域を除去する方式により組織画像を生成する方法、及びこれを行うコンピューティングシステムが開示される。本発明の一態様によると、組織検体画像の生成方法であって、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭(contour)を抽出するステップと、抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップと、を含む、組織検体画像の生成方法が提供される。
Description
本発明は、生体組織検体の画像を生成する方法、及びこれを行うコンピューティングシステムに関する。より詳しくは、組織検体のスライド画像から他組織検体であると判断される組織検体領域を除去する方式により組織画像を生成する方法、及びこれを行うコンピューティングシステムに関する。
病理学又は病理科で行う主なタスクの1つは、患者の生体組織のスライド画像を読み取り、特定の疾患に対する状態又は徴候を判断する診断を行うことである。従来の病理診断方法は、検体から製作された診断用病理スライド画像を光学顕微鏡を介して病理専門医が目視で観察及び読取りする方式でなされていた。コンピュータに接続された顕微鏡カメラを活用して病理スライドをデジタル画像に変換した後、モニターで観察して読み取る方式がデジタル病理学の始まりといえる。近年、デジタルスライドスキャナが登場し、病理スライド全体を1つのデジタル画像に変換して病理スライド画像で製作した後、これをコンピュータモニターを介して観察して読み取る方式が広く普及されている。
また、最近、機械学習の発達により、画像を認識又は分類するなどのタスクをコンピュータシステムによって自動化しようとする試みが盛んに行われている。特に、機械学習の一種であるニューラルネットワーク(例えば、畳み込みニューラルネットワーク(CNN)など)を用いて熟練した医療関係者が行っていた診断を自動化するための試みがなされているが、一般に生体組織画像を用いるニューラルネットワークを介する診断は生体画像を用いる。すなわち、該当の生体画像に対して熟練した医療関係者は、特定の疾患の状態(例えば、疾患が発現したか否か)をアノテーション(annotation)し、このようなアノテーションされた複数の画像を学習データとして用いてニューラルネットワークを学習するようになる。
一方、図1に示すように、1枚のガラススライドに複数の組織検体を載せて病理スライドを製作する場合があり、このような方法で製作された病理スライドの場合、これを光学顕微鏡を介して目視で検査することに大きな問題はない。ところで、これをデジタル化して各組織検体単位でアルゴリズム分析又は人工知能による分析を行う場合には、分析対象となる画像内に他組織の検体部分が含まれることがあり、診断モデルを正しく学習できないか、分析の結果が正確ではなくなる。例えば、多くの生体組織を載せて製作したガラススライドで生成された病理スライド画像の場合、組織検体単位で自動で画像を分割する過程で自動分割アルゴリズムの限界又は誤差によって他組織検体が含まれることがある。又は、手動で組織検体単位で画像を分割する場合でも、組織検体領域を四角形や楕円など簡単な形態でのみ指定できる場合、同様に他組織検体が含まれるという問題がある。
従って、組織検体単位で分割された画像に他組織検体が含まれているかどうかを確認し、これを除去することができる方法が必要である。
本発明が達成しようとする技術的な課題は、組織検体のスライド画像を入力し、他組織検体であると判断される組織検体領域を除去する方式により組織検体画像を生成する方法、及びこれを行うコンピューティングシステムを提供することである。
本発明の一態様によると、組織検体画像の生成方法であって、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭(contour)を抽出するステップと、抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップと、を含む、組織検体画像の生成方法が提供される。
一実施形態において、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップは、前記複数の輪郭のうちで該当する輪郭の中心点と前記組織検体画像の中心点との距離が最も近い輪郭を前記主組織輪郭として決定するステップを含んでもよい。
一実施形態において、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップは、前記複数の輪郭のうちで前記組織検体画像のアウトラインに隣接する境界隣接輪郭を決定するステップと、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップ(ここで、前記除去対象輪郭は、前記境界隣接輪郭のうちで主組織輪郭でないものである)と、を含んでもよい。
一実施形態において、前記組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップは、前記組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される前記組織検体画像に対応するバイナリマスク画像を生成するステップと、前記バイナリマスクに基づいて前記複数の輪郭を抽出するステップと、を含んでもよい。
一実施形態において、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、前記組織検体画像のうちで前記除去対象輪郭に該当する領域を前記組織検体画像の背景色に置き換えるステップを含んでもよい。
一実施形態において、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、前記組織検体画像のうちで前記複数の輪郭のいずれかにも該当しない領域の平均色を前記組織検体画像の背景色として決定するステップをさらに含んでもよい。
本発明の他の一態様によると、データ処理装置に設置され、上述の方法を行うための媒体に記録されたコンピュータプログラムが提供される。
本発明の他の一態様によると、上述の方法を行うためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体が提供される。
本発明の他の一態様によると、組織検体画像の生成システムであって、
プロセッサと、コンピュータプログラムを記憶するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記組織検体画像の生成システムに組織検体画像の生成方法を実行させ、前記組織検体画像の生成方法は、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップと、抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップと、を含む、組織検体画像の生成システムが提供される。
一実施形態において、前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップは、前記複数の輪郭のうちで該当する輪郭の中心点と前記組織検体画像の中心点との距離が最も近い輪郭を前記主組織輪郭として決定するステップを含んでもよい。
一実施形態において、前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップは、前記複数の輪郭のうちで前記組織検体画像のアウトラインに隣接する境界隣接輪郭を決定するステップと、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップ(ここで、前記除去対象輪郭は、前記境界隣接輪郭のうちで主組織輪郭でないものである)と、を含んでもよい。
一実施形態において、前記組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップは、前記組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される前記組織検体画像に対応するバイナリマスク画像を生成するステップと、前記バイナリマスクに基づいて前記複数の輪郭を抽出するステップと、を含んでもよい。
一実施形態において、前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、前記組織検体画像のうちで前記除去対象輪郭に該当する領域を前記組織検体画像の背景色に置き換えるステップを含んでもよい。
本発明の技術的思想によると、組織検体のスライド画像を入力し、他組織検体であると判断される組織検体領域を除去する方式により組織検体画像を生成する方法、及びこれを行うコンピューティングシステムを提供することができる。
また、本発明の一実施形態による組織検体画像を生成する方法で生成された画像により、人工ニューラルネットワークをより正確に学習することができるようになる効果がある。
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明を提供する。
本発明は、様々な変換を加えることができ、様々な実施形態を有することができるので、特定の実施形態を図面に示し、詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神及び技術範囲に含まれる全ての変換、等価物ないし代替物を含むものとして理解されたい。本発明の説明において、関連する公知技術についての具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明を省略する。
第1、第2などの用語は様々な構成要素を説明するために使用することができるが、構成要素は用語によって限定されるべきではない。第1、第2などの用語は特別な順序を表すものではなく、ある構成要素を他の構成要素から区別する目的でのみ使用される。
本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味がない限り、複数の表現を含む。
本明細書において、「含む」又は「有する」などの用語は、本明細書に記載の特徴、数字、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものが存在することを指定するものであり、1つ又はそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものの存在又は追加の可能性を事前に除外しないものとして理解されたい。
また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも1つのまた他の構成要素を介して、データを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、ある構成要素はまた他の構成要素を介することなく、他の構成要素にデータを伝送することを意味する。
以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳しく説明する。各図に示されている同じ参照符号は同じ部材を示す。
図2は、本発明の実施形態による組織検体画像の生成方法を実現するための概略的なシステム構成を説明するための図である。
図2を参照すると、本発明の技術的思想による組織検体画像の生成方法は、組織検体画像の生成システム100によって行うことができる。
一実施形態において、組織検体画像の生成システム100は、所定のサーバ10に設置され、本発明の技術的思想を実現することができる。サーバ10は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置を意味し、一般にネットワークを介してクライアントが接続可能なデータ処理装置だけでなく、パーソナルコンピュータ、携帯端末などのように特定のサービスを実行可能ないかなる装置もサーバとして定義できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
組織検体画像の生成システム100は、所定のニューラルネットワーク200に生成された組織検体画像を入力することで、ニューラルネットワーク200を学習するか、予め学習されたニューラルネットワーク200が組織検体画像から所定の判断が可能になる。ニューラルネットワーク200は、病理検体に対する診断情報、予後情報及び/又は治療方法に対する反応情報を提供するための人工ニューラルネットワークであってもよく、ニューラルネットワーク200によって出力された結果は、検体に対する各種の判断(例えば、疾患の発現有無、予後、治療方法に対する判断など)を行うために用いることができる。
ニューラルネットワーク200は、人間のニューロンの動作原理に基づいて人工的に構築したニューラルネットワークであり、多層パーセプトロンモデルを含み、人工ニューラルネットワークを定義する一連の設計事項を表す情報の集合を意味することができる。ニューラルネットワーク200は、人工知能、機械学習又はディープラーニング分野で広く知られている畳み込みニューラルネットワーク(CNN)を含むことができるが、これらに限定されない。
ニューラルネットワーク200と組織検体画像の生成システム100とを含むサーバ10は、疾患を診断するための診断システム、又は医師が疾患を診断するために必要な情報を提供するための診断支援システムであってもよい。ニューラルネットワーク200と組織検体画像の生成システム100とは、1つの物理装置、すなわちサーバ10に備えられてもよいが、実施形態によって互いに異なる物理装置に備えられてもよく、必要に応じて様々な変形が可能であることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
診断システム10は、ニューラルネットワーク200を学習させるために、所定の端末20、20-1と通信を行うことができる。端末20、20-1は、ニューラルネットワーク200を学習させるために、複数の学習データをニューラルネットワーク200に伝送することができ、ニューラルネットワーク200は、受信した学習データを用いて学習を行うことができる。
また、端末20、20-1は、学習されたニューラルネットワーク200を用いて疾患の診断を行うために、診断対象となる生体画像を診断システム10に出力することができる。
一方、図2では、組織検体画像の生成システム100がサーバ10に設置されるサブシステムの形態で実現される例を示したが、実施形態によっては、これとは異なり、組織検体画像の生成システム100を独立した形態の単一システムで実現できることは言うまでもない。この場合、組織検体画像の生成システム100は、本発明の技術的思想を実現するための演算能力を有するデータ処理装置であるコンピューティングシステムであってもよく、一般にネットワークを介してクライアントが接続可能なデータ処理装置であるサーバだけでなく、パーソナルコンピュータや携帯端末などのようなコンピュータ装置を含んでもよい。
組織検体画像の生成システム100は、病理検体画像を生成することができる。
組織検体又は病理検体は、人体の様々な臓器から採取した生検、及び手術によって切除した生体組織であってもよい。組織検体画像は、病理検体をガラススライド形態にし、これをスキャンしてデジタル画像の形態に変換したスライド画像であってもよく、又はスライド画像を所定の自動分割アルゴリズムや手動で分割した画像であってもよい。
病理検体でガラススライドを製作する過程において、1つのスライドに複数の検体を載せて製作する場合があり、このように製作されたスライドをデジタル画像に変換すると、複数の異なる組織が1つの画像に含まれることがある。また、このように製作されたスライドを変換した後、複数の検体の画像に分割しても、1つの主な組織以外に他組織の画像が1つの画像内に含まれる可能性がある。組織検体画像の生成システム100は、他組織検体であると判断される組織検体領域を除去する方式によって組織画像を生成することができる。
図3は、本発明の一実施形態による組織検体画像の生成方法を説明するためのフローチャートである。
図3を参照すると、組織検体画像の生成システム100は、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出することができる(S100)。
一実施形態において、組織検体画像の生成システム100は、バイナリマスキングにより輪郭を抽出することができ、その例が図4に示されている。
図4を参照すると、組織検体画像の生成システム100は、組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される組織検体画像に対応するバイナリマスク画像を生成することができる(S101)。例えば、バイナリマスク画像は、組織検体画像のうちで組織のある部分が1で構成され、組織のない部分は0で構成された画像であってもよい。
図7aは、組織検体画像の一例を示す図であり、図7bは、組織検体画像に対応するバイナリマスク画像の一例を示す図である。
一実施形態において、組織検体画像の生成システム100は、予め学習された生体組織領域判断用ニューラルネットワークを用いて生体組織領域を特定し、特定された生体組織領域と非生体組織領域を区分してバイナリマスク画像を生成することができ、又は公知の様々な方法により生体組織領域を特定することができる。
もし、組織検体画像がHSV(Hue-Saturation-Value)色モデルで構成された画像である場合、一実施形態による組織検体画像の生成システム100は、HSV色モデルに基づく下記のような方法でバイナリマスク画像を生成することができる。
一実施形態において、組織検体画像の生成システム100は、組織検体画像に対応するS空間に対する画像二値化を行うことで、第1の二値化結果を生成することができる。このとき、スライドに対応するS空間は、スライドに対応するHSVモデルの彩度値(Saturation)からなる空間である。画像二値化方法として大津の二値化処理(Otsu Thresholding)を用いることができる。大津の二値化処理は、コンピュータビジョンや画像処理の分野で用いられるクラスタリングベースの画像閾値処理法である。
また、組織検体画像の生成システム100は、スライドに対応する(1-V)空間に対する画像二値化を行うことで、第2の二値化結果を生成することができる。このとき、スライドに対応するV空間は、スライドに対応するHSVモデルの明度値(Value)からなる空間(すなわち、w×hの大きさを有しており、Vチャネルの値(明度値)からなるマトリックス(wは画像の幅、hは画像の高さ))であり、(1-V)空間は、w×hの大きさを有し、1で満たされたマトリックスからVチャネルの値を引いた空間であってもよい。
その後、組織検体画像の生成システム100は、第1の二値化結果及び第2の二値化結果に基づいて、組織検体画像に対応するバイナリマスク画像を生成することができる。第1の二値化結果及び第2の二値化結果は、組織検体画像の各画素に対応するバイナリ値(例えば、0又は1、或いは0又は255)を含むことができ、組織検体画像の生成システム100は、組織検体画像の各画素に対して、画素に対応する第1の二値化結果のバイナリ値又は画素に対応する第1の二値化結果のバイナリ値が1(又は255)の場合、画素に対応するバイナリマスク画像の上の画素を組織画素(組織に該当する画素)と判断し、そうでない場合(すなわち、バイナリ値が0の場合)は、画素に対応するバイナリマスク画像の上の画素を非組織画素(組織に該当しない画素)と判断することで、組織検体画像に対応するバイナリマスク画像を生成することができる。要約すると、組織検体画像の生成システム100は、S空間に対する画像二値化結果と、(1-V)空間に対する画像二値化結果との論理和演算によってバイナリマスク画像を生成することができる。
一方、組織検体画像の生成システム100は、バイナリマスクに基づいて複数の輪郭を抽出することができる(S102)。
組織検体画像の生成システム100は、Suzuki、S.とAbe.Kが提案した輪郭抽出方法(Topological Structural Analysis of Digitized Binary Images by Border Following.CVGIP 30 1、pp32-46(1985))など公知の様々な輪郭抽出方法により、バイナリマスクに基づいて複数の輪郭を抽出することができ、その他にも座標列の集合で構成された輪郭を抽出できるアルゴリズムであれば何でも用いることができる。
また、図3を参照すると、組織検体画像の生成システム100は、抽出された複数の輪郭それぞれの中心点座標を算出することができる。もし、組織検体画像にM個の組織がある場合、組織検体画像の生成システム100は、第1の輪郭の中心点座標~第Mの輪郭の中心点座標を算出することができる(S110、S115)。
組織検体画像の生成システム100は、組織検体画像の中心点座標と複数の輪郭それぞれの中心点座標とに基づいて、複数の輪郭のうちで主組織輪郭を決定することができる(S120)。
S120ステップのより詳細な例が図5に示されている。図5を参照すると、組織検体画像の生成システム100は、組織検体画像の中心点と各輪郭(すなわち、第1の輪郭ないし第Mの輪郭)の間の距離を算出することができる(S121、S122)。
その後、組織検体画像の生成システム100は、複数の輪郭のうちで該当する輪郭の中心点と組織検体画像の中心点との距離が最も近い輪郭を主組織輪郭として決定することができる(S123)。
また、図3を参照すると、組織検体画像の生成システム100は、複数の輪郭のうちで主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去することができる(S130)。
S130ステップの具体的な例が図6に示されている。図6を参照すると、組織検体画像の生成システム100は、複数の輪郭のうちで組織検体画像のアウトラインに隣接する境界隣接輪郭を決定することができる(S131)。
また、組織検体画像の生成システム100は、境界隣接輪郭のうちで主組織輪郭でないものを除去対象輪郭として決定することができる(S132)。
その後、組織検体画像の生成システム100は、組織検体画像から除去対象輪郭に該当する領域を除去することができる(S131)。
一実施形態において、組織検体画像の生成システム100は、組織検体画像のうちで除去対象輪郭に該当する領域を組織検体画像の背景色に置き換えることで、除去対象輪郭に該当する領域を除去することができ、このとき、複数の輪郭のいずれかにも該当しない領域の平均色を組織検体画像の背景色として決定することができる。
図7cは、図7aの組織検体画像から除去対象輪郭に該当する領域(境界隣接輪郭のうちで主組織輪郭でないもの)を除去した後の生成画像を示す。
実施形態によっては、図6とは異なり、組織検体画像の生成システム100は、主組織検体を除く残りの検体を全て除去してもよく、主組織検体に対応する輪郭座標の中心点座標と、残りの検体それぞれに対応する輪郭の中心点座標とを比較して、中心点座標の間の距離が所定の限界値を超過する検体のみを除去してもよい。
図8は、本発明の一実施形態による組織検体画像の生成システム100の概略的な構成を示す図である。
組織検体画像の生成システム100は、本発明の技術的思想を実現するために必要なハードウェアリソース(resource)及び/又はソフトウェアを備える論理的な構成を意味することができ、必ずしも1つの物理的な構成要素又は1つの装置を意味するわけではない。すなわち、組織検体画像の生成システム100は、本発明の技術的思想を実現するために備えられるハードウェア及び/又はソフトウェアの論理的な結合を意味することができ、必要に応じて互いに離隔した装置に設置され、それぞれの機能を行うことで本発明の技術的思想を実現するための論理的な構成の集合として実現することもできる。また、組織検体画像の生成システム100は、本発明の技術的思想を実現するためのそれぞれの機能又は役目毎に別に実現される構成の集合を意味することもできる。組織検体画像の生成システム100の各構成は、互いに異なる物理装置に位置することもでき、同じ物理装置に位置することもできる。また、実施形態によっては、組織検体画像の生成システム100の各構成要素を構成するソフトウェア及び/又はハードウェアの組み合わせも互いに異なる物理装置に位置し、互いに異なる物理装置に位置した構成が互いに有機的に結合してそれぞれのモジュールを実現することもできる。
また、本明細書においてモジュールとは、本発明の技術的思想を行うためのハードウェア、及びハードウェアを駆動するためのソフトウェアの機能的、構造的結合を意味することができる。例えば、モジュールは、所定のコードと、所定のコードが実行されるためのハードウェアリソースの論理的な単位を意味することができ、必ずしも物理的に接続されたコード又は一種類のハードウェアを意味するわけではないことは、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
図8を参照すると、組織検体画像の生成システム100は、抽出モジュール110、算出モジュール120、決定モジュール130、及び除去モジュール140を含んでもよい。本発明の実施形態によっては、上述の構成要素のうちで一部の構成要素は必ずしも本発明の実現に必須な構成要素に該当しないこともあり、また、実施形態によって、組織検体画像の生成システム100は、これより多くの構成要素を含むこともできることは言うまでもない。例えば、組織検体画像の生成システム100は、外部装置と通信するための通信モジュール(図示せず)、データを保存するための記憶モジュール(図示せず)、組織検体画像の生成システム100の構成要素及びリソースを制御するための制御モジュール(図示せず)などをさらに含んでもよい。
抽出モジュール110は、組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出することができる。
一実施形態において、抽出モジュール110は、組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される組織検体画像に対応するバイナリマスク画像を生成し、バイナリマスクに基づいて複数の輪郭を抽出することができる。
算出モジュール120は、抽出された複数の輪郭それぞれの中心点座標を算出することができる。
決定モジュール130は、組織検体画像の中心点座標と複数の輪郭それぞれの中心点座標とに基づいて、複数の輪郭のうちで主組織輪郭を決定することができる。
一実施形態において、決定モジュール130は、複数の輪郭のうちで該当する輪郭の中心点と組織検体画像の中心点との距離が最も近い輪郭を主組織輪郭として決定することができる。
除去モジュール140は、複数の輪郭のうちで主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去することができる。
一実施形態において、除去モジュール140は、複数の輪郭のうちで組織検体画像のアウトラインに隣接する境界隣接輪郭を決定し、組織検体画像から除去対象輪郭に該当する領域を除去することができる。このとき、除去対象輪郭は、境界隣接輪郭のうちで主組織輪郭でないものであってもよい。
一実施形態において、除去モジュール140は、組織検体画像のうちで除去対象輪郭に該当する領域を組織検体画像の背景色に置き換える方式によって、組織検体画像から除去対象輪郭に該当する領域を除去することができる。このとき、組織検体画像の背景色は、組織検体画像のうちで複数の輪郭のいずれかにも該当しない領域の平均色として決定することができる。
一方、実施形態によって、組織検体画像の生成システム100は、プロセッサと、プロセッサによって実行されるプログラムを記憶するメモリと、を含んでもよい。この場合、組織検体画像の生成システム100は、図9に示すような構成を有することができる。図9は、本発明の実施形態による組織検体画像の生成システム100の概略的な構成を説明するための図である。
組織検体画像の生成システム100は、本発明の技術的思想を実現するためのプログラムが格納されるメモリ102と、メモリ102に記憶されたプログラムを行うためのプロセッサ101と、を備えることができる。
プロセッサ101は、組織検体画像の生成システム100の実施形態によって、CPU、APU、モバイルプロセッサなど様々な名称で命名することができることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。プロセッサは、シングルコアCPU又はマルチコアCPUを含んでもよい。また、組織検体画像の生成システム100は、複数の物理装置が有機的に結合して実現することもでき、このような場合、プロセッサ101は、物理装置毎に少なくとも1つ備えられて本発明の組織検体画像の生成システム100を実現できることを、本発明の技術分野における平均的な専門家であれば容易に推論することができるであろう。
メモリ102は、プログラムが格納され、プログラムを駆動させるためにプロセッサがアクセス可能ないかなる形態の記憶装置で実現されてもよい。メモリ102は、高速ランダムアクセスメモリを含むことができ、1つ以上の磁気ディスク記憶装置、フラッシュメモリ装置、又はその他不揮発性固体メモリ装置のような不揮発性メモリを含むこともできる。プロセッサ及びその他構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。また、ハードウェアにおける実施形態によって、メモリ102は、1つの記憶装置でなく複数の記憶装置で実現することもできる。またメモリ102は、主記憶装置だけでなく、一時記憶装置を含むこともできる。また、揮発性メモリ又は不揮発性メモリで実現することもでき、プログラムが格納されてプロセッサによって駆動できるように実現される全ての形態の情報記憶手段を含む意味として定義することができる。
プログラムは、プロセッサ101によって実行される場合、組織検体画像の生成システム100に上述の組織検体画像の生成方法を実行させることができる。
一方、本発明の実施形態による方法は、コンピュータで読み取り可能なプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に格納でき、本発明の実施形態による制御プログラム及び対象プログラムもコンピュータで読み取り可能な記録媒体に格納することができる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータが記憶されるあらゆる種類の記録装置を含む。
記録媒体に記録されるプログラム命令は、本発明のために特に設計及び構成されたものなどであってもよく、ソフトウェア分野における当業者に公知として使用可能なものであってもよい。
コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、プロッピーディスク及び磁気テープのような磁気媒体(magnetic media)、CD-ROM、DVDのような光記録媒体(optical media)、光学ディスク(floptical disk)のような磁気-光媒体(magneto-optical media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を記憶および実行するように特に構成されたハードウェア装置が含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でコンピュータが読み取り可能なコードを記憶及び実行することができる。
プログラム命令の例としては、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えば、コンピュータによって実行することができる高級言語コードも含まれる。
上述のハードウェア装置は、本発明の動作を行うために、1つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。
上述した本発明の説明は例示のためのものであり、本発明が属する技術分野における通常の知識を有する者であれば本発明の技術的思想や必須な特徴を変更することなく、他の具体的な形態に容易に変形が可能であることを理解することができるであろう。従って、上記で説明した実施形態は全ての点で例示的なものであり、限定的なものではないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することができ、同様に分散されたと記載されている構成要素も組み合わせた形で実施することができる。
本発明の範囲は、上述の詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲そしてその均等概念から導出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。
本発明は、組織検体画像の生成方法、及びこれを行うコンピューティングシステムに用いることができる。
Claims (13)
- 組織検体画像の生成方法であって、
組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭(contour)を抽出するステップと、
抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、
前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、
前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップと、
を含む、組織検体画像の生成方法。 - 前記組織検体画像の中心点座標と、前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップは、
前記複数の輪郭のうちで該当する輪郭の中心点と前記組織検体画像の中心点との距離が最も近い輪郭を前記主組織輪郭として決定するステップを含む、請求項1に記載の組織検体画像の生成方法。 - 前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップは、
前記複数の輪郭のうちで前記組織検体画像のアウトラインに隣接する境界隣接輪郭を決定するステップと、
前記組織検体画像から除去対象輪郭に該当する領域を除去するステップ(ここで、前記除去対象輪郭は、前記境界隣接輪郭のうちで主組織輪郭でないものである)と、
を含む、請求項1に記載の組織検体画像の生成方法。 - 前記組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップは、
前記組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される前記組織検体画像に対応するバイナリマスク画像を生成するステップと、
前記バイナリマスク 画像に基づいて前記複数の輪郭を抽出するステップと、
を含む、請求項1に記載の組織検体画像の生成方法。 - 前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、
前記組織検体画像のうちで前記除去対象輪郭に該当する領域を前記組織検体画像の背景色に置き換えるステップを含む、請求項1に記載の組織検体画像の生成方法。 - 前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、
前記組織検体画像のうちで前記複数の輪郭のいずれかにも該当しない領域の平均色を前記組織検体画像の背景色として決定するステップをさらに含む、請求項5に記載の組織検体画像の生成方法。 - データ処理装置に設置され、請求項1ないし請求項6のいずれか一項に記載の方法を行うための記録媒体に記録されたコンピュータプログラム。
- 請求項1ないし請求項6のいずれか一項に記載の方法を行うためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
- 組織検体画像の生成システムであって、
プロセッサと、コンピュータプログラムを記憶するメモリと、を含み、
前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記組織検体画像の生成システムに組織検体画像の生成方法を実行させ、
前記組織検体画像の生成方法は、
組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップと、
抽出された前記複数の輪郭それぞれの中心点座標を算出するステップと、
前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップと、
前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップと、
を含む、組織検体画像の生成システム。 - 前記組織検体画像の中心点座標と前記複数の輪郭それぞれの中心点座標とに基づいて、前記複数の輪郭のうちで主組織輪郭を決定するステップは、
前記複数の輪郭のうちで該当する輪郭の中心点と前記組織検体画像の中心点との距離が最も近い輪郭を前記主組織輪郭として決定するステップを含む、請求項9に記載の組織検体画像の生成システム。 - 前記複数の輪郭のうちで前記主組織輪郭を除く残りの輪郭の少なくとも一部に該当する領域を除去するステップは、
前記複数の輪郭のうちで前記組織検体画像のアウトラインに隣接する境界隣接輪郭を決定するステップと、
前記組織検体画像から除去対象輪郭に該当する領域を除去するステップ(ここで、前記除去対象輪郭は前記境界隣接輪郭のうちで主組織輪郭でないものである)と、
を含む、請求項9に記載の組織検体画像の生成システム。 - 前記組織検体画像に含まれた複数の組織領域のそれぞれに対応する複数の輪郭を抽出するステップは、
前記組織検体画像に含まれた複数の組織領域と非組織領域の値がバイナリ値で区分される前記組織検体画像に対応するバイナリマスク画像を生成するステップと、
前記バイナリマスク画像に基づいて前記複数の輪郭を抽出するステップと、
を含む、請求項9に記載の組織検体画像の生成システム。 - 前記組織検体画像から除去対象輪郭に該当する領域を除去するステップは、
前記組織検体画像のうちで前記除去対象輪郭に該当する領域を前記組織検体画像の背景色に置き換えるステップを含む、請求項1に記載の組織検体画像の生成システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0008312 | 2021-01-20 | ||
KR1020210008312A KR102304609B1 (ko) | 2021-01-20 | 2021-01-20 | 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템 |
PCT/KR2022/000972 WO2022158843A1 (ko) | 2021-01-20 | 2022-01-19 | 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024504958A true JP2024504958A (ja) | 2024-02-02 |
Family
ID=77914650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023542991A Pending JP2024504958A (ja) | 2021-01-20 | 2022-01-19 | 組織検体画像の生成方法、及びこれを行うコンピューティングシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240087133A1 (ja) |
EP (1) | EP4266247A1 (ja) |
JP (1) | JP2024504958A (ja) |
KR (1) | KR102304609B1 (ja) |
CN (1) | CN116745809A (ja) |
WO (1) | WO2022158843A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102304609B1 (ko) * | 2021-01-20 | 2021-09-24 | 주식회사 딥바이오 | 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5344073B2 (ja) * | 2012-09-14 | 2013-11-20 | 日本電気株式会社 | 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム |
JP2018128294A (ja) * | 2017-02-07 | 2018-08-16 | 株式会社島津製作所 | 関心領域追跡装置 |
JP6710373B2 (ja) * | 2017-03-30 | 2020-06-17 | 国立研究開発法人産業技術総合研究所 | 超音波画像診断支援方法、およびシステム |
JP7098601B2 (ja) * | 2017-03-31 | 2022-07-11 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP7150462B2 (ja) * | 2018-04-25 | 2022-10-11 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
KR102304609B1 (ko) * | 2021-01-20 | 2021-09-24 | 주식회사 딥바이오 | 조직 검체 이미지 정제 방법, 및 이를 수행하는 컴퓨팅 시스템 |
-
2021
- 2021-01-20 KR KR1020210008312A patent/KR102304609B1/ko active IP Right Grant
-
2022
- 2022-01-19 US US18/273,033 patent/US20240087133A1/en active Pending
- 2022-01-19 EP EP22742819.0A patent/EP4266247A1/en active Pending
- 2022-01-19 JP JP2023542991A patent/JP2024504958A/ja active Pending
- 2022-01-19 WO PCT/KR2022/000972 patent/WO2022158843A1/ko active Application Filing
- 2022-01-19 CN CN202280011049.XA patent/CN116745809A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
KR102304609B1 (ko) | 2021-09-24 |
WO2022158843A1 (ko) | 2022-07-28 |
CN116745809A (zh) | 2023-09-12 |
US20240087133A1 (en) | 2024-03-14 |
EP4266247A1 (en) | 2023-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110490850B (zh) | 一种肿块区域检测方法、装置和医学图像处理设备 | |
WO2021093448A1 (zh) | 图像处理方法、装置、服务器、医疗图像处理设备及存储介质 | |
CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
KR102155381B1 (ko) | 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램 | |
JP7422235B2 (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
US20210090248A1 (en) | Cervical cancer diagnosis method and apparatus using artificial intelligence-based medical image analysis and software program therefor | |
US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
CN111275686A (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
EP3971762A1 (en) | Method, device and system for processing image | |
CN112334990A (zh) | 自动宫颈癌诊断系统 | |
CN110648318A (zh) | 用于皮肤病的辅助分析方法及装置、电子设备、存储介质 | |
KR20190087681A (ko) | 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 | |
WO2024074921A1 (en) | Distinguishing a disease state from a non-disease state in an image | |
CN115187566A (zh) | 基于mra影像的颅内动脉瘤检测方法及装置 | |
JP2024504958A (ja) | 組織検体画像の生成方法、及びこれを行うコンピューティングシステム | |
CN112288697B (zh) | 用于量化异常程度的方法、装置、电子设备及可读存储介质 | |
KR20210033902A (ko) | 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램 | |
US20220328186A1 (en) | Automatic cervical cancer diagnosis system | |
CN111339993A (zh) | 一种x射线图像金属检测方法和系统 | |
WO2021246013A1 (ja) | 画像診断方法、画像診断支援装置、及び計算機システム | |
JP2024509105A (ja) | Turpの病理画像から前立腺癌を検出するための人工ニューラルネットワークを学習する方法、及びこれを行うコンピューティングシステム | |
CN113902743A (zh) | 一种基于云端计算的糖尿病视网膜病变的识别方法及装置 | |
Sankaran | An improved multipath residual CNN-based classification approach for periapical disease prediction and diagnosis in dental radiography | |
CN113706449B (zh) | 基于病理图像的细胞分析方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230808 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240524 |