JP7403192B2 - スライド画像に含まれた生体組織の長さを測定する方法、及びそれを行うコンピューティングシステム - Google Patents

スライド画像に含まれた生体組織の長さを測定する方法、及びそれを行うコンピューティングシステム Download PDF

Info

Publication number
JP7403192B2
JP7403192B2 JP2022574308A JP2022574308A JP7403192B2 JP 7403192 B2 JP7403192 B2 JP 7403192B2 JP 2022574308 A JP2022574308 A JP 2022574308A JP 2022574308 A JP2022574308 A JP 2022574308A JP 7403192 B2 JP7403192 B2 JP 7403192B2
Authority
JP
Japan
Prior art keywords
patches
graph
nodes
slide image
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022574308A
Other languages
English (en)
Other versions
JP2023530870A (ja
Inventor
ウィゴ ムン
ミナ チョ
テヨン カク
ソンウ キム
Original Assignee
ディープ バイオ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープ バイオ インク filed Critical ディープ バイオ インク
Publication of JP2023530870A publication Critical patent/JP2023530870A/ja
Application granted granted Critical
Publication of JP7403192B2 publication Critical patent/JP7403192B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、スライド画像に含まれた生体組織の長さを測定する方法、及びそれを行うコンピューティングシステムに関する。
病理学又は病理科で行われる主な業務の1つは、患者の生体画像(例えば、患者である生体組織スライド)を読み、特定疾病の状態や兆候を判断する診断を行うことである。このような診断は、長年にわたって経験豊富な医療従事者の経験と知識に依存する方法である。最近の傾向は、生体組織スライドの代わりに、これをデジタルイメージングによって生成したスライド画像を読み取る方法がますます増加している。
一方、ほとんどの診断実務では、病理学者が顕微鏡と測定ツール(例えば、定規)によりスライド画像で組織のサイズを手動で測定する方式を主に用いているが、スライド画像上における生体組織は直線状ではなく非常に不規則な曲線状を有しているため、組織を測定する病理学者によって組織のサイズが異なるように測定される場合があり、同じ病理学者が同じ組織を測定するにもかかわらず、測定ごとに組織のサイズが異なる場合があるという問題がある。すなわち、生体スライド画像による病理診断(例えば、前立腺癌の組織検査など)において、生体組織や病変が現れる病変組織のサイズは非常に重要な要素として扱われるにもかかわらず、組織のサイズを正確に測定することが非常に難しいという問題がある。
本発明はこのような問題を解決しようとする発明であり、本発明が達成しようとする技術的課題は、スライド画像に含まれた生体組織の長さを正確かつ客観的に測定する方法を提供することである。
本発明の一態様によると、スライド画像に含まれた生体組織の長さを測定する方法であって、コンピューティングシステムが、前記スライド画像を所定のサイズを有する複数のパッチに分割するステップ(ここで、前記複数のパッチのそれぞれは、前記スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)と、前記コンピューティングシステムが、前記スライド画像に対応するグラフを生成するステップ(ここで、前記グラフは、前記複数のパッチのうち生体組織を含むパッチのそれぞれに対応するノードを含み、上下、左右又は対角線方向に互いに隣接した任意の2つのパッチに生体組織がわたっている場合、前記互いに隣接した2つのパッチに対応する2つのノードはエッジで連結される)と、前記グラフに含まれた各エッジに関して、前記エッジの重み値を設定するステップ、2以上のノードを含む前記グラフの連結成分(connected component)のそれぞれに対して、前記連結成分に含まれたすべてのノード対の間の最短経路を検出し、検出されたすべてのノード対の間の最短経路のうちで長さの最も長い最長の最短経路を判断するステップと、前記グラフを構成する連結成分それぞれの最長の最短経路に基づいて、前記スライド画像に含まれた生体組織の長さを算出するステップと、を含む方法が提供される。
一実施形態において、前記エッジの重み値を設定することは、以下の[数1]によって前記エッジの重み値Wを算出することを含んでいてもよい。
[数1]
W=A/{E(v1)×E(v2)}
(ここで、v1及びv2は、前記エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
Figure 0007403192000001
であり、E(x)は、前記グラフ上のノードxに連結されたエッジの数である。)
一実施形態において、前記スライド画像に含まれた生体組織の少なくとも一部は病変組織であり、前記エッジの重み値を設定することは、以下の[数2]によって前記エッジの重み値Wを算出することを含んでもよい。
[数2]
W=A/[{E(v1)×E(v2)}×{C(v1)×C(v2)}]
(ここで、v1及びv2は、前記エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
Figure 0007403192000002
であり、E(x)は、前記グラフ上のノードxに連結されたエッジの数であり、C(y)は、前記グラフ上のノードyに対応するパッチが病変組織を含んでいない場合には1、含んでいる場合にはαである(ここで、αは1より大きい所定の実数である)。)
一実施形態において、前記複数のパッチを2値化するステップと、2値化された前記複数のパッチのそれぞれについて、2値化された前記パッチの各エッジライン及び各角に生体組織を表すピクセルがあるか否かに基づいて、前記パッチに隣接したパッチに生体組織がわたっているか否かを判断するステップと、を含んでいてもよい。
一実施形態において、前記スライド画像に含まれた生体組織の少なくとも一部は病変組織であり、前記スライド画像に含まれた生体組織領域をマスキングしたティッシュマスクを生成するステップと、前記スライド画像に含まれた病変組織をマスキングした病変マスクを作成するステップと、前記ティッシュマスク及び前記病変マスクに基づいて、前記複数のパッチに生体組織又は病変組織が含まれるか否かを判断するステップと、をさらに含んでいてもよい。
本発明の他の態様によると、スライド画像に含まれた病変組織の長さを測定する方法であって、コンピューティングシステムが、前記スライド画像を所定のサイズを有する複数のパッチに分割するステップ(ここで、前記複数のパッチのそれぞれは、前記スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)と、前記コンピューティングシステムが、前記スライド画像に対応するグラフを生成するステップ(ここで、前記グラフは、前記複数のパッチのうち病変組織を含むパッチのそれぞれに対応するノードを含み、上下、左右又は対角線方向に互いに隣接した任意の2つのパッチに病変組織がわたっている場合、前記互いに隣接した2つのパッチに対応する2つのノードはエッジで連結される)と、前記グラフに含まれた各エッジに関して、前記エッジの重み値を設定するステップ、2以上のノードを含む前記グラフの連結成分(connected component)のそれぞれに対して、前記連結成分に含まれたすべてのノード対の間の最短経路を検出し、検出されたすべてのノード対の間の最短経路のうちで長さの最も長い最長の最短経路を判断するステップと、前記グラフを構成する連結成分それぞれの最長の最短経路に基づいて、前記スライド画像に含まれた病変組織の長さを算出するステップと、を含む方法が提供される。
本発明の他の態様によると、データ処理装置にインストールされ、上述の方法を行うために記録されたコンピュータプログラムが提供される。
本発明の他の態様によると、コンピューティングシステムであって、プロセッサと、コンピュータプログラムを記憶するメモリと、を含み、前記コンピュータプログラムは、前記プロセッサによって実行される場合、前記コンピューティングシステムに前記の方法を実行させるコンピューティングシステムが提供される。
本発明の他の態様によると、スライド画像に含まれた生体組織の長さを測定する方法を行うコンピューティングシステムであって、前記スライド画像を所定のサイズを有する複数のパッチに分割する分割モジュール(ここで、前記複数のパッチのそれぞれは、前記スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)と、前記スライド画像に対応するグラフを生成するグラフ生成モジュール(ここで、前記グラフは、前記複数のパッチのうち生体組織を含むパッチのそれぞれに対応するノードを含み、上下、左右又は対角線方向に互いに隣接した任意の2つのパッチに生体組織がわたっている場合、前記互いに隣接した2つのパッチに対応する2つのノードはエッジで連結される)と、前記グラフに含まれた各エッジに関して、前記エッジの重み値を設定する重み値設定モジュール、2以上のノードを含む前記グラフの連結成分(connected component)のそれぞれに対して、前記連結成分に含まれたすべてのノード対の間の最短経路を検出し、検出されたすべてのノード対の間の最短経路のうちで長さの最も長い最長の最短経路を判断する最短経路判断モジュールと、前記グラフを構成する連結成分それぞれの最長の最短経路に基づいて、前記スライド画像に含まれた生体組織の長さを算出する算出モジュールと、を含むコンピューティングシステムが提供される。
一実施形態において、前記重み値設定モジュールは、下記[数3]によって前記エッジの重み値Wを算出することができる。
[数3]
W=A/{E(v1)×E(v2)}
(ここで、v1及びv2は、前記エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
Figure 0007403192000003
であり、E(x)は、前記グラフ上のノードxに連結されたエッジの数である。)
一実施形態において、前記スライド画像に含まれた生体組織の少なくとも一部は病変組織であり、前記重み値設定モジュールは、下記[数4]によって前記エッジの重み値Wを算出することができる。
[数4]
W=A/[{E(v1)×E(v2)}×{C(v1)×C(v2)}]
(ここで、v1及びv2は、前記エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
Figure 0007403192000004
であり、E(x)は、前記グラフ上のノードxに連結されたエッジの数であり、C(y)は、前記グラフ上のノードyに対応するパッチが病変組織を含んでいない場合は1、含んでいる場合はαである(ここで、αは1より大きい所定の実数である)。)
一実施形態において、前記複数のパッチを2値化する画像処理モジュールと、2値化された前記複数のパッチのそれぞれについて、2値化された前記パッチの各エッジライン及び各角に生体組織を表すピクセルがあるか否かに基づいて、前記パッチに隣接したパッチに生体組織がわたっているか否かを判断する判断モジュールと、をさらに含んでいてもよい。
一実施形態において、前記スライド画像に含まれた生体組織の少なくとも一部は病変組織であり、前記スライド画像に含まれた生体組織領域をマスキングしたティッシュマスクを生成し、前記スライド画像に含まれた病変組織をマスキングした病変マスクを生成する画像処理モジュールと、前記ティッシュマスク及び前記病変マスクに基づいて、前記複数のパッチに生体組織又は病変組織が含まれるか否かを判断する判断モジュールと、をさらに含んでいてもよい。
本発明の他の態様によると、スライド画像に含まれた病変組織の長さを測定する方法を行うコンピューティングシステムであって、前記スライド画像を所定のサイズを有する複数のパッチに分割する分割モジュール(ここで、前記複数のパッチのそれぞれは、前記スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)と、前記スライド画像に対応するグラフを生成するグラフ生成モジュール(ここで、前記グラフは、前記複数のパッチのうち病変組織を含むパッチのそれぞれに対応するノードを含み、上下、左右又は対角線方向に互いに隣接した任意の2つのパッチに病変組織がわたっている場合、前記互いに隣接した2つのパッチに対応する2つのノードはエッジで連結される)と、前記グラフに含まれた各エッジに関して、前記エッジの重み値を設定する重み値設定モジュール、2以上のノードを含む前記グラフの連結成分(connected component)のそれぞれに対して、前記連結成分に含まれたすべてのノード対の間の最短経路を検出し、検出されたすべてのノード対の間の最短経路のうちで長さの最も長い最長の最短経路を判断する最短経路判断モジュールと、前記グラフを構成する連結成分それぞれの最長の最短経路に基づいて、前記スライド画像に含まれた病変組織の長さを算出する算出モジュールと、を含むコンピューティングシステムが提供される。
本発明の技術的思想によると、スライド画像に含まれた生体組織又は病変組織の長さを正確かつ客観的に測定する方法を提供することができる。
本発明の詳細な説明で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。
本発明の一実施形態による生体組織長測定方法の一例を示すフローチャートである。 本発明の一実施形態による生体組織長測定方法の具体的な実施過程を説明するための図である。 本発明の一実施形態による生体組織長測定方法の具体的な実施過程を説明するための図である。 本発明の一実施形態による生体組織長測定方法の具体的な実施過程を説明するための図である。 本発明の一実施形態による生体組織長測定方法の具体的な実施過程を説明するための図である。 本発明の一実施形態による生体組織長測定方法の具体的な実施過程を説明するための図である。 本発明の一実施形態による生体組織長測定方法の具体的な実施過程を説明するための図である。 本発明の一実施形態による生体組織長測定方法の具体的な実施過程を説明するための図である。 本発明の一実施形態によるコンピューティングシステムがグラフのエッジを生成する方法を説明するための図である。 生成されるグラフが2つ以上の連結要素を含む例を説明するための図である。 グラフに含まれる各エッジの重み値を設定する実施形態について説明するための図である。 本発明の一実施形態によるコンピューティングシステムの概略構成を示すブロック図である。 本発明の一実施形態によるコンピューティングシステムが生体スライド画像に含まれた生体組織の長さを測定する過程の一例を示す図である。 本発明の一実施形態によるコンピューティングシステムが生体スライド画像に含まれた生体組織の長さを測定する過程の一例を示す図である。 本発明の一実施形態によるコンピューティングシステムが生体スライド画像に含まれた生体組織の長さを測定する過程の一例を示す図である。 本発明の一実施形態によるコンピューティングシステムが生体スライド画像に含まれた生体組織の長さを測定する過程の一例を示す図である。 本発明の一実施形態によるコンピューティングシステムが生体スライド画像に含まれた生体組織の長さを測定する過程の一例を示す図である。
本発明は、様々な変換を加えることができ、様々な実施形態を有してもよいので、特定の実施形態を図面に示し、詳細な説明に詳細に説明する。しかしながら、これは本発明を特定の実施形態に限定することを意図するものではなく、本発明の精神及び技術的範囲に含まれるすべての変換、等価物から代替物を含むことを理解されたい。本発明の説明において、関連する公知技術の具体的な説明が本発明の要旨を不明瞭にすると判断される場合、その詳細な説明は省略する。
第1、第2などの用語は様々な構成要素を説明するために使用することができるが、上記構成要素は上記用語によって限定されるべきではない。上記用語は、ある構成要素を他の構成要素から区別する目的でのみ使用される。
本出願で使用される用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに異なるように意味しない限り、複数の表現を含む。
本明細書において、「含む」又は「有する」などの用語は、本明細書に記載の特徴、数、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものが存在することを指定するものであり、1つ又はそれ以上の他の特徴、数、ステップ、動作、構成要素、部品、又はそれらを組み合わせたものの存在又は追加の可能性を事前に除外しないことを理解されたい。
また、本明細書において、ある構成要素が他の構成要素にデータを「伝送」する場合、構成要素は、他の構成要素に直接データを伝送することもでき、少なくとも1つの別の構成要素を介して、データを他の構成要素に伝送することもできることを意味する。逆に、ある構成要素が他の構成要素にデータを「直接伝送」する場合、構成要素からまた他の構成要素を介することなく他の構成要素にデータを伝送することを意味する。
以下、添付の図面を参照して本発明の実施形態を中心に本発明を詳細に説明する。各図に示されている同じ参照符号は同じ部材を示す。
本発明の一実施形態によるコンピューティングシステムは情報処理装置であってもよい。コンピューティングシステム100は、デスクトップコンピュータ、ラップトップコンピュータ、サーバなどの処理システムであってもよく、携帯電話、衛星電話、無線電話、SIP(Session Initiation Protocol)、WLL(Wireless Local Loop)ステーション、スマートフォン、タブレットPC、PDA(Personal Digital Assistant)などのハンドヘルド装置を含む処理装置であってもよい。
コンピューティングシステムは、スライド画像に含まれた生体組織の長さを測定する方法(以下、「生体組織長測定方法」という)を行うことができる。
図1は、コンピューティングシステムが行う生体組織長測定方法の一例を示すフローチャートである。
コンピューティングシステムはスライド画像を受信してもよい(S100)。スライド画像は、生体組織を撮影した画像であってもよい。例えば、スライド画像は、所定の疾患(例えば癌)の病変の有無を判断するために生体組織を撮影した病理スライド画像であってもよい。
コンピューティングシステムは、スライド画像を所定のサイズを有する複数のパッチに分割してもよい(S110)。複数のパッチのそれぞれは、スライド画像をN×M格子に分割したもののいずれであってもよい(ここで、N及びMはそれぞれ2以上の整数である)。
複数のパッチのそれぞれは、同じサイズの正方形の形態であってもよい。
図2aはスライド画像の一例を示す図であり、図2bは、図2aのスライド画像をパッチに分割したものを表す一例を示す図である。コンピューティングシステム100が図2aに示すようなスライド画像10を入力される場合、分割モジュール110は、これを図2bに示すように、5×8の格子状20に分割して40個のパッチ(例えば21)を形成することができる。スライドの各パッチ(例えば、21)は同じサイズを有してもよい。
コンピューティングシステムは、スライド画像で生体組織を検出することができ、実施形態によって、スライド画像で所定の疾患による病変を含む生体組織である病変組織を検出することができる(S120)。本明細書において、画像に含まれた生体組織を検出するとは、当該画像のうち生体組織が撮影された領域を検出するか、又は当該画像を構成する複数のパッチのうち生体組織が撮影された領域を含むパッチを判断することを意味し、画像に含まれた病変組織を検出するとは、当該画像のうち病変組織が撮影された領域を検出するか、又は当該画像を構成する複数のパッチのうち病変組織が撮影されたパッチを判断することを意味することができる。
一実施形態において、コンピューティングシステムは、コンピュータビジョンに関連する技術である画像二値化によってスライド画像に含まれた生体組織を検出することができる。より具体的には、コンピューティングシステムは、スライド画像に対するノイズフィルタリング及び/又はミディアンブラーなどの前処理を行い、それをグレースケールに変換し、変換された画像に対する境界化(thresholding)を行うことによって、画素を所定の境界値に基づいて区分することによって二値化を行うことができる。実施形態によって、コンピューティングシステムは、スライド画像を分割したパッチごとに2値化を行うことができ、このようにして図2bのパッチ20を2値化した結果を図2cに示す。
これに加えて、コンピューティングシステムが生体組織を検出する様々な実施形態があり得る。例えば、コンピューティングシステムは、生体組織を検出できるように予め学習された人工知能ネットワークを用いて、スライド画像に含まれた生体組織を検出することができる。
一方、コンピューティングシステムは、上述の2値化技術又は予め学習された人工知能ネットワークを用いてスライド画像から病変組織を検出することができる。
また図1を参照すると、コンピューティングシステムは、スライド画像に対応するグラフ(特に無方向グラフ)を生成することができる(S130)。
より具体的には、コンピューティングシステムは、グラフのノードを生成することができる。コンピューティングシステムは、スライド画像を構成する各パッチに対応するノードを生成することができる(S131)。図2dは、図2bのパッチ20のそれぞれに対応するノード40を示す図である。
さらに、コンピューティングシステムは、グラフのエッジを生成することができる。コンピューティングシステムは、上下、左右、又は対角線方向に互いに隣接する任意の2つのパッチに生体組織がわたっている場合、互いに隣接する2つのパッチに対応する2つのノードはエッジで連結することができる。
例えば、コンピューティングシステムは、パッチの上/下/左/右のエッジラインをスキャンして、パッチに隣接したパッチに生体組織がわたっているか否かを判断することができる。すなわち、コンピューティングシステムは、パッチの各エッジラインをスキャンし、該当エッジラインの少なくとも一部に生体組織を表すピクセルが形成されている場合、該当エッジを共有する隣接パッチとそのパッチに生体組織がわたっていると判断することができる。
図3は、コンピューティングシステムがグラフのエッジを生成する方法を説明するための図である。図3aはスライド画像の各パッチを示し、図3bは図3aのパッチの一部である(2,2)番目のパッチ、(2,3)番目のパッチ、(3,2)番目のパッチ、及び(3,3)番目のパッチが示されており、図3cは、図3bに対応するノード、及びコンピューティングシステムによって生成された各ノードのエッジを示す。
図3bの例において、(2,2)番目のパッチには、上端、下端、右側のエッジラインに生体組織を示す画素(太線で示されている)が形成されているので、コンピューティングシステムは(2,2)番目のパッチとその上に隣接する(1,2)番目のパッチ、(2,2)番目のパッチとその下に隣接する(3,2)番目のパッチ、(2,2)番目のパッチとその右に隣接する(2,3)番目のパッチに生体組織がわたっていると判断することができ、図3cに示すように、ノード(2:2)とノード(1:2)をエッジで連結し、ノード(2:2)とノード(3:2)をエッジで連結し、ノード(2:2)とノード(2:3)をエッジで連結してもよい。
また、コンピューティングシステムは、パッチの各角とそれに面する対角線方向隣接パッチの角に生体組織を表すピクセルが形成されている場合、両方のパッチに生体組織がわたっていると判断することができる。
図3bの例において、(2,2)番目のパッチの右下端の角と、これと対向する(3,3)番目のパッチの左上端の角に生体組織を表すピクセルが形成されているので、コンピューティングシステムは図3cに示すように、(2,2)番目のパッチに対応するノード(2:2)と、(3,3)番目のパッチに対応するノード(3:3)とをエッジで連結することができる。
同様に、コンピューティングシステムは、ノード(2:3)、ノード(3:2)、及びノード(3:3)のエッジを判断することができる。
上述のように図3dのノードをエッジで連結したグラフ50が図2eに示されている。一方、コンピューティングシステムは、他のどのノードとも連結されていない独立ノードを除去してスライドに対応するグラフを生成してもよく、図2eのグラフから独立ノードが除去されたグラフ60が図2fに示されている。
一方、スライド画像によっては、コンピューティングシステムが生成するグラフが2つ以上の連結要素を含んでいてもよい。仮に、スライド画像が図4aに示すようなパッチで構成されている場合、コンピューティングシステムは図4bのグラフから独立ノードを除去し、図4cに示すように2つの連結要素を含むグラフを生成することができる。
また図1を参照すると、コンピューティングシステムは、グラフに含まれる各エッジの重み値を設定することができ(S140)、これについて図5を参照して説明する。図5の例において、各ノードの配置はそれに対応するパッチの配置と同じであると仮定する。
一実施形態において、コンピューティングシステムは、上下左右に隣接したパッチに対応するノードを連結するエッジの場合、重み値を1に設定し、対角線方向に隣接したパッチに対応するノードを連結するエッジの場合には重み値を
Figure 0007403192000005
に設定することができ、その例を図5aに示す。図5aに示すように、エッジ(V1,V2)、(V1,V3)、(V3,V4)は、該当エッジが上下又は左右に隣接したパッチに対応するノードを連結しているため、重み値が1に設定され、エッジは対角線方向に隣接したパッチに対応するノードを連結しているため、重み値が
Figure 0007403192000006
に設定される。
別の実施形態では、コンピューティングシステムは、エッジによって連結される2つのノードのそれぞれの隣接ノードの数をさらに考慮して重み値を設定することができる(ここで、隣接ノードは該当ノードとエッジを介して連結されているノードであり、隣接ノードの数は、該当ノードが有しているエッジの数と同じである。)これは、後で説明する最長の最短経路が可能なかぎり生体組織の中間を通過できるようにするためである。隣接ノードの数を考慮した重み値設定方法では、下記[数1]によりエッジの重み値Wを決定することができ、その例を図5bに示す。
[数1]
W=A/{E(v1)×E(v2)}
(ここで、v1及びv2は、エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
Figure 0007403192000007
であり、E(x)は、ノードxに連結されたエッジの数(つまり、ノードvの隣接ノードの数である)である)
図5bに示すように、ノードV1は4つの隣接ノード(すなわち、4つのエッジ)を有し、ノードV2は1つの隣接ノードを有し、ノードV3は3つの隣接ノードを有し、ノードV4は、2つの隣接ノードを有するとすると、図5bの各エッジは、次のような重み値を有してもよい。
一方、スライド画像に含まれた生体組織の少なくとも一部が病変組織である場合、コンピューティングシステムは、エッジによって連結された2つのノードに対応するパッチが病変組織を含むか否かをさらに考慮して重み値を設定することができる。生体組織が病変組織を含む場合、必ず病変組織を含めて生体組織の長さを測定しなければならないためである。
パッチが病変組織を含むか否かを考慮した重み値設定方法では、下記[数2]によりエッジの重み値Wを決定することができ、その例を図5cに示す。
[数2]
W=A/{C(v1)*C(v2)}
(ここで、v1及びv2は、エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
Figure 0007403192000009
であり、C(x)は、グラフ上の任意のノードvに対応するパッチが病変組織を含んでいない場合は1、含んでいる場合はαである(ここで、αは1より大きい所定の実数であり、以下ではαが2であると仮定する))
図5cに示すように、ノードV1及びV4に病変組織が含まれている場合、図5cの各エッジは以下の重み値を有してもよい。
一方、他の実施形態では、コンピューティングシステムは、隣接ノードの数とパッチが病変組織を含むか否かを考慮して重み値を設定してもよい。この場合、コンピューティングシステムは、以下の[数4]によってエッジの重み値Wを決定することができ、その例を図5dに示す。
[数4]
W=A/{E(v1)×E(v2)}/{C(v1)×C(v2)}
ノードV1及びV4に病変組織が含まれており、各ノードの隣接ノードの数が図5dのようであるとすると、図5dの各エッジは次のような重み値を有してもよい。
また図1を参照すると、コンピューティングシステムは、2つ以上のノードを含むグラフの連結成分のそれぞれについて、連結成分に含まれるすべてのノード対の間の最短経路を検出し、検出されたすべてのノード対の間の最短経路のうち最も長さの長い最長の最短経路を判断することができる(S150)。
一実施形態において、コンピューティングシステムは、Floyd-Warshallアルゴリズムを用いて最長の最短経路を判断することができる。すなわち、コンピューティングシステムは、連結成分に含まれる各ノード対の間の最短経路を算出し、そのうち最も長い距離を有する最短経路である最長の最短経路を判断することができる。図2gは、図2fに示すグラフの最長の最短経路を示す図である。
また図1を参照すると、コンピューティングシステムは、グラフを構成する連結成分それぞれの最長の最短経路に基づいてスライド画像に含まれた生体組織の長さを算出することができる。
一実施形態において、コンピューティングシステムは、各連結成分の最長の最短経路上のすべてのエッジの長さを、該当エッジによって連結される2つのノードに対応するパッチの配置に従って1又は
Figure 0007403192000012
に設定し、各最長の最短経路の長さを再計算した後、再計算された長さに上下又は左右に隣接したパッチ間の実際の距離を掛けることによって、生体組織の実際の長さを算出することができる。
一実施形態において、コンピューティングシステムは、各連結成分の最長の最短経路の距離をすべて合計し、合計された値に基づいて生体組織全体の長さを算出し、それをコンピューティングシステムの外部に出力することができる。別の実施形態において、コンピューティングシステムは、すべての連結成分の最長の最短経路のそれぞれの距離に基づいて、スライド画像に含まれた生体組織に含まれる各断片の長さを算出し、それをコンピューティングシステムの外部に出力してもよい。
図6は、本発明の一実施形態によるコンピューティングシステム100の概略構成を示すブロック図である。
図6を参照すると、コンピューティングシステム100は、分割モジュール110、グラフ生成モジュール120、重み値設定モジュール130、最短経路判断モジュール140、算出モジュール150を含んでいてもよい。さらに、コンピューティングシステム100は、画像処理モジュール160、判断モジュール170、及び/又は診断モジュール180をさらに含んでいてもよい。実施形態によって、コンピューティングシステム100は、図6に示される構成のうちの一部のみを含んでもよく、それより多くの構成を含んでいてもよい。例えば、コンピューティングシステム100は、ネットワークを介して外部システムと通信できる少なくとも1つの通信モジュール、又はコンピューティングシステム100に含まれる他の構成要素の機能及び/又はリソースを制御できる制御モジュール、各種情報を記憶できる記憶モジュール、ユーザとインターフェースして、外部から情報を受け取ったり外部に情報を出力することができる入出力モジュールなどをさらに含んでいてもよい。
コンピューティングシステム100は、本発明の技術的思想を実現するために必要なハードウェアリソース及び/又はソフトウェアを備えることができ、必ずしも1つの物理的構成要素を意味するか、又は1つの装置を意味するわけではない。すなわち、コンピューティングシステム100は、本発明の技術的思想を実現するために備えられたハードウェア及び/又はソフトウェアの論理的結合を意味することができ、必要に応じては互いに離隔した装置にインストールされ、各機能を行うことによって本発明の技術的思想を実現するための論理構成の集合として実現されてもよい。さらに、コンピューティングシステム100は、本発明の技術的思想を実現するための各機能又は役割によって別々に実現される構成の集合を意味してもよい。
本明細書においてモジュールとは、本発明の技術的思想を行うためのハードウェアと、ハードウェアを駆動するためのソフトウェアとの機能的、構造的結合を意味してもよい。例えば、モジュールは、所定のコードと、所定のコードが実行されるためのハードウェアリソースの論理的な単位を意味することができ、必ずしも物理的に連結されたコードを意味するか、又は一種のハードウェアを意味するものではないことは、本発明の技術分野における平均的専門家は容易に推論できる。
分割モジュール110は、スライド画像を所定のサイズを有する複数のパッチに分割することができる。このとき、複数のパッチのそれぞれは、スライド画像をN×M格子に分割したもののいずれか1つであり(N及びMはそれぞれ2以上の整数である)、同一サイズの正方形の形態であってもよい。
スライド画像に含まれた生体組織の少なくとも一部は病変組織であってもよく、診断モジュール180は、スライド画像又は複数のパッチのそれぞれに所定の疾患による病変があるか否かを判断してもよい。あるいは、診断モジュール180は、スライド画像又は複数のパッチのそれぞれにおいて病変組織を検出することができる。
一実施形態において、画像処理モジュール160は複数のパッチを2値化することができ、判断モジュール170は2値化された複数のパッチのそれぞれに対して、2値化されたパッチの各エッジライン及び各角に生体組織を表すピクセルが存在するか否かに基づいて、パッチに隣接したパッチに生体組織がわたっているか否かを判断することができる。
別の実施形態では、画像処理モジュール160は、スライド画像に含まれた生体組織領域をマスキングしたティッシュマスクを生成し、スライド画像に含まれた病変組織をマスキングした病変マスクを生成することができ、判断モジュール170は、ティッシュマスク及び病変マスクに基づいて、複数のパッチに生体組織又は病変組織が含まれるか否かを判断することができる。
一方、グラフ生成モジュール120は、スライド画像に対応するグラフを生成することができる。グラフ生成モジュール120が生成するグラフは、複数のパッチのうち生体組織を含むパッチのそれぞれに対応するノードを含み、上下、左右又は対角線方向に互いに隣接する任意の2つのパッチに生体組織がわたっている場合、互いに隣接する2つのパッチに対応する2つのノードをエッジで連結することができる。
重み値設定モジュール130は、グラフに含まれる各エッジについて、エッジの重み値を設定してもよい。
一実施形態において、重み値設定モジュール130は、以下の[数5]によってエッジの重み値Wを算出することができる。
[数5]
W=A/{E(v1)×E(v2)}
(ここで、v1及びv2は、エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
Figure 0007403192000013
であり、E(x)は、グラフ上のノードxに連結されたエッジの数である)
別の一実施形態において、重み値設定モジュールは、下記[数6]によってエッジの重み値Wを算出することができる。
[数6]
W=A/[{E(v1)×E(v2)}×{C(v1)×C(v2)}]
(ここで、v1及びv2は、エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
Figure 0007403192000014
であり、E(x)は、グラフ上のノードxに連結されたエッジの数であり、C(y)は、グラフ上のノードyに対応するパッチが病変組織を含んでいない場合は1、含んでいる場合はαである(ここで、αは1より大きい所定の実数である))
一方、最短経路判断モジュール140は、2つ以上のノードを含むグラフの連結成分のそれぞれについて、連結成分に含まれた全てのノード対の間の最短経路を検出し、検出された全てのノード対の間の最短経路のうち長さの最も長い最長の最短経路を判断することができ、算出モジュール150は、グラフを構成する連結成分それぞれの最長の最短経路に基づいて、スライド画像に含まれた生体組織の長さを算出することができる。
図7は、コンピューティングシステムが生体スライド画像に含まれた生体組織の長さを測定する過程の一例を示す図である。
図7aに示すようなスライド画像が入力されると、コンピューティングシステム100は、図7bに示すように、スライド画像に含まれた生体組織領域をマスキングしたティッシュマスクを生成し、図7cに示すように、スライド画像に含まれた病変組織をマスキングした病変マスクを生成することができる。
コンピューティングシステム100は、スライド画像を複数のパッチに分割し、スライド画像に対応するグラフを図7dのように生成することができる。
その後、コンピューティングシステムは、図7dのグラフ内の各連結要素の最長の最短経路を判断することができる。図7eには、各連結要素の最長の最短経路がスライド画像に重なって示されている。
一方、上述した生体組織の長さ測定方法は、非常に容易に病変組織の長さを測定する方法として応用することができる。すなわち、本発明の一実施形態による病変組織の長さ測定方法を行うために、コンピューティングシステムは、スライド画像を所定のサイズを有する複数のパッチに分割することができる(ここで、複数のパッチのそれぞれは、スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)。
コンピューティングシステムは、スライド画像に対応するグラフを生成することができる。このとき、グラフは、複数のパッチのうち病変組織を含むパッチのそれぞれに対応するノードを含み、上下、左右又は対角線方向に互いに隣接する任意の2つのパッチに病変組織がわたっている場合、互いに隣接する2つのパッチに対応する2つのノードはエッジで連結することができる。
さらに、コンピューティングシステムは、グラフに含まれる各エッジについて、エッジの重み値を設定することができる。この場合、コンピューティングシステムは、エッジによって連結された2つのノードの隣接ノードの数を考慮して該当エッジの重み値を設定することができ、これに関しては上述した通りである。
コンピューティングシステムは、2つ以上のノードを含むグラフの連結成分の各々に対して、連結成分に含まれるすべてのノード対の間の最短経路を検出し、検出されたすべてのノード対の間の最短経路のうち長さの最も長い最長の最短経路を判断することができる。
コンピューティングシステムは、グラフを構成する連結成分それぞれの最長の最短経路に基づいて、スライド画像に含まれた病変組織の長さを算出することができる。
一方、実施形態によって、コンピューティングシステム100は、少なくとも1つのプロセッサと、プロセッサによって実行されるプログラムを記憶するメモリとを含んでいてもよい。プロセッサは、シングルコアCPU又はマルチコアCPUを含んでいてもよい。メモリは、高速ランダムアクセスメモリを含むことができ、1つ以上の磁気ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体状態メモリデバイスなどの不揮発性メモリを含んでいてもよい。プロセッサ及び他の構成要素によるメモリへのアクセスは、メモリコントローラによって制御することができる。
一方、本発明の一実施形態による生体組織/病変組織の長さ測定方法は、コンピュータ読み取り可能なプログラム命令の形態で実現され、コンピュータ読み取り可能な記録媒体に記憶することができる。コンピュータが読み取り可能な記録媒体は、コンピューティングシステムによって読み取ることができるデータが記憶されるあらゆる種類の記録装置を含む。
記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構成されたものであってもよく、ソフトウェア分野の当業者に公知として使用可能なものであってもよい。
コンピュータで読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、磁気テープなどの磁気媒体(magnetic media)、CD-ROM、DVDなどの光記録媒体(optical media)、フロプティカルディスク(floptical disk)などの磁気光学媒体(magneto-optical media)、及びROM、RAM、フラッシュメモリなどのプログラム命令を記憶して行うように特別に構成されたハードウェア装置が含まれる。また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピューティングシステムに分散され、分散方式でコンピュータが読み取り可能なコードを記憶して行うことができる。
プログラム命令の例には、コンパイラによって作成されるような機械語コードだけでなく、インタプリタなどを用いて電子的に情報を処理する装置、例えばコンピュータによって実行され得る高級言語コードも含まれる。
上述のハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアモジュールとして動作するように構成することができ、その逆も同様である。
上述した本発明の説明は例示のためのものであり、本発明が属する技術分野の通常の知識を有する者であれば本発明の技術的思想や必須の特徴を変更することなく他の具体的な形態に容易に変形が可能であることが理解できるであろう。したがって、上記で説明した実施形態はすべての点で例示的なものであり、限定的なものではないと理解すべきである。例えば、単一の形態で説明されている各構成要素は分散して実施することができ、同様に分散されたものと記載されている構成要素も組み合わせた形で実施することができる。
本発明の範囲は、上記の詳細な説明よりは後述の特許請求の範囲によって示され、特許請求の範囲の意味及び範囲及びその均等概念から導き出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。
スライド画像に含まれた生体組織の長さを測定する方法、及びそれを行うコンピューティングシステム。

Claims (14)

  1. スライド画像に含まれた生体組織の長さを測定する方法であって、
    コンピューティングシステムが、前記スライド画像を所定のサイズを有する複数のパッチに分割するステップ(ここで、前記複数のパッチのそれぞれは、前記スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)と、
    前記コンピューティングシステムが、スライド画像に対応するグラフを生成するステップ(ここで、前記グラフは、前記複数のパッチのうち生体組織を含むパッチのそれぞれに対応するノードを含み、上下、左右、又は対角線方向に互いに隣接する任意の2つのパッチに生体組織がわたっている場合、前記互いに隣接する2つのパッチに対応する2つのノードはエッジで連結される)と、
    前記グラフに含まれる各エッジについて、前記エッジの重み値を設定するステップと、
    2つ以上のノードを含む前記グラフの連結成分(connected component)のそれぞれについて、前記連結成分に含まれた全てのノード対の間の最短経路を検出し、検出された全てのノード対の間の最短経路のうちで長さの最も長い最長の最短経路を判断するステップと、
    前記グラフを構成する連結成分それぞれの最長の最短経路に基づいて、前記スライド画像に含まれた生体組織の長さを算出するステップと、
    を含む、方法。
  2. 前記エッジの重み値を設定するステップは、
    下記[数1]によって前記エッジの重み値Wを算出するステップを含む、請求項1に記載の方法。
    [数1]
    W=A/{E(v1)×E(v2)}
    (ここで、v1及びv2は、前記エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
    Figure 0007403192000015
    であり、E(x)は、前記グラフ上のノードxに連結されたエッジの数である)
  3. 前記スライド画像に含まれた生体組織の少なくとも一部は病変組織であり、
    前記エッジの重み値を設定するステップは、
    下記[数2]によって前記エッジの重み値Wを算出するステップを含む、請求項1に記載の方法。
    [数2]
    W=A/[{E(v1)×E(v2)}×{C(v1)×C(v2)}]
    (ここで、v1及びv2は、前記エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
    Figure 0007403192000016
    であり、E(x)は、前記グラフ上のノードxに連結されたエッジの数であり、C(y)は、前記グラフ上のノードyに対応するパッチが病変組織を含んでいない場合には1、含んでいる場合にはαである(ここで、αは1より大きい所定の実数である))
  4. 前記複数のパッチを二値化するステップと、
    2値化された前記複数のパッチのそれぞれについて、2値化された前記パッチの各エッジライン及び各角に生体組織を表すピクセルが存在するか否かに基づいて、前記パッチに隣接したパッチに生体組織がわたっているか否かを判断するステップと、
    をさらに含む、請求項1に記載の方法。
  5. 前記スライド画像に含まれた生体組織の少なくとも一部は病変組織であり、
    前記スライド画像に含まれた生体組織領域をマスキングしたティッシュマスクを生成するステップと、
    前記スライド画像に含まれた病変組織をマスキングした病変マスクを生成するステップと、
    前記ティッシュマスク及び前記病変マスクに基づいて、前記複数のパッチに生体組織又は病変組織が含まれるか否かを判断するステップと、
    をさらに含む、請求項1に記載の方法。
  6. スライド画像に含まれた病変組織の長さを測定する方法であって、
    コンピューティングシステムが、前記スライド画像を所定のサイズを有する複数のパッチに分割するステップ(ここで、前記複数のパッチのそれぞれは、前記スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)と、
    前記コンピューティングシステムが、スライド画像に対応するグラフを生成するステップ(ここで、前記グラフは、前記複数のパッチのうち病変組織を含むパッチのそれぞれに対応するノードを含み、上下、左右、又は対角線方向に互いに隣接する任意の2つのパッチに病変組織がわたっている場合、前記互いに隣接する2つのパッチに対応する2つのノードはエッジで連結される)と、
    前記グラフに含まれる各エッジについて、前記エッジの重み値を設定するステップと、
    2つ以上のノードを含む前記グラフの連結成分(connected component)のそれぞれに対して、前記連結成分に含まれたすべてのノード対の間の最短経路を検出し、検出されたすべてのノード対の間の最短経路のうちで長さの最も長い最長の最短経路を判断するステップと、
    前記グラフを構成する連結成分それぞれの最長の最短経路に基づいて、前記スライド画像に含まれた病変組織の長さを算出するステップと、
    を含む、方法。
  7. データ処理装置にインストールされ、請求項1又は請求項6に記載の方法を行うために記録されたコンピュータプログラム。
  8. コンピューティングシステムであって、
    プロセッサと、
    コンピュータプログラムを格納するメモリと、
    を含み、
    前記コンピュータプログラムは、前記プロセッサによって実行されると、前記コンピューティングシステムが請求項1ないし請求項6のいずれか一項に記載の方法を行うことを可能にする、コンピューティングシステム。
  9. スライド画像に含まれた生体組織の長さを測定する方法を行うコンピューティングシステムであって、
    前記スライド画像を所定のサイズを有する複数のパッチに分割する分割モジュール(ここで、前記複数のパッチのそれぞれは、前記スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)と、

    前記スライド画像に対応するグラフを生成するグラフ生成モジュール(ここで、前記グラフは、前記複数のパッチのうち生体組織を含むパッチのそれぞれに対応するノードを含み、上下、左右、又は対角線方向に互いに隣接する任意の2つのパッチに生体組織がわたっている場合、前記互いに隣接する2つのパッチに対応する2つのノードはエッジで連結される)と、
    前記グラフに含まれる各エッジについて、前記エッジの重み値を設定する重み値設定モジュールと、
    2つ以上のノードを含む前記グラフの連結成分(connected component)のそれぞれに対して、前記連結成分に含まれたすべてのノード対の間の最短経路を検出し、検出されたすべてのノード対の間の最短経路のうちで長さの最も長い最長の最短経路を判断する最短経路判断モジュールと、
    前記グラフを構成する連結成分それぞれの最長の最短経路に基づいて、前記スライド画像に含まれた生体組織の長さを算出する算出モジュールと、
    を含む、コンピューティングシステム。
  10. 前記重み値設定モジュールは、
    下記[数3]により前記エッジの重み値Wを算出する、請求項9に記載のコンピューティングシステム。
    [数3]
    W=A/{E(v1)×E(v2)}
    (ここで、v1及びv2は、前記エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
    Figure 0007403192000017
    であり、E(x)は、前記グラフ上のノードxに連結されたエッジの数である)
  11. 前記スライド画像に含まれた生体組織の少なくとも一部は病変組織であり、
    前記重み値設定モジュールは、
    下記[数4]により前記エッジの重み値Wを算出する、請求項9に記載のコンピューティングシステム。
    [数4]
    W=A/[{E(v1)×E(v2)}×{C(v1)×C(v2)}]
    (ここで、v1及びv2は、前記エッジによって連結される2つのノードであり、Aは、ノードv1及びv2のそれぞれに対応するパッチが上下又は左右に隣接する場合には1、対角線方向に隣接する場合には
    Figure 0007403192000018
    であり、E(x)は、前記グラフ上のノードxに連結されたエッジの数であり、C(y)は、前記グラフ上のノードyに対応するパッチが病変組織を含んでいない場合は1、含んでいる場合はαである(ここで、αは1より大きい所定の実数である))
  12. 前記複数のパッチを2値化する画像処理モジュールと、
    2値化された前記複数のパッチのそれぞれについて、2値化された前記パッチの各エッジライン及び各角に生体組織を表すピクセルが存在するか否かに基づいて、前記パッチに隣接したパッチに生体組織がわたっているか否かを判断する判断モジュールと、
    をさらに含む、請求項9に記載のコンピューティングシステム。
  13. 前記スライド画像に含まれた生体組織の少なくとも一部は病変組織であり、
    前記スライド画像に含まれた生体組織領域をマスキングしたティッシュマスクを生成し、前記スライド画像に含まれた病変組織をマスキングした病変マスクを生成する画像処理モジュールと、
    前記ティッシュマスク及び前記病変マスクに基づいて、前記複数のパッチに生体組織又は病変組織が含まれるか否かを判断する判断モジュールと、
    をさらに含む、請求項9に記載のコンピューティングシステム。
  14. スライド画像に含まれた病変組織の長さを測定する方法を行うコンピューティングシステムであって、
    前記スライド画像を所定のサイズを有する複数のパッチに分割する分割モジュール(ここで、前記複数のパッチのそれぞれは、前記スライド画像をN×M格子に分割したもののいずれか1つであり、N及びMはそれぞれ2以上の整数である)と、
    前記スライド画像に対応するグラフを生成するグラフ生成モジュール(ここで、前記グラフは、前記複数のパッチのうち病変組織を含むパッチのそれぞれに対応するノードを含み、上下、左右、又は対角線方向に互いに隣接する任意の2つのパッチに病変組織がわたっている場合、前記互いに隣接する2つのパッチに対応する2つのノードはエッジで連結される)と、
    前記グラフに含まれる各エッジについて、前記エッジの重み値を設定する重み値設定モジュールと、
    2つ以上のノードを含む前記グラフの連結成分(connected component)のそれぞれについて、前記連結成分に含まれた全てのノード対の間の最短経路を検出し、検出された全てのノード対の間の最短経路のうちで長さの最も長い最長の最短経路を判断する最短経路判断モジュールと、
    前記グラフを構成する連結成分それぞれの最長の最短経路に基づいて、前記スライド画像に含まれた病変組織の長さを算出する算出モジュールと、
    を含む、コンピューティングシステム。

JP2022574308A 2020-06-16 2021-06-16 スライド画像に含まれた生体組織の長さを測定する方法、及びそれを行うコンピューティングシステム Active JP7403192B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0072958 2020-06-16
KR1020200072958A KR102177951B1 (ko) 2020-06-16 2020-06-16 슬라이드 이미지에 포함된 생체 조직의 길이를 측정하는 방법 및 이를 수행하는 컴퓨팅 시스템
PCT/KR2021/007532 WO2021256846A1 (ko) 2020-06-16 2021-06-16 슬라이드 이미지에 포함된 생체 조직의 길이를 측정하는 방법 및 이를 수행하는 컴퓨팅 시스템

Publications (2)

Publication Number Publication Date
JP2023530870A JP2023530870A (ja) 2023-07-20
JP7403192B2 true JP7403192B2 (ja) 2023-12-22

Family

ID=73398770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022574308A Active JP7403192B2 (ja) 2020-06-16 2021-06-16 スライド画像に含まれた生体組織の長さを測定する方法、及びそれを行うコンピューティングシステム

Country Status (6)

Country Link
US (1) US20230306624A1 (ja)
EP (1) EP4152260A4 (ja)
JP (1) JP7403192B2 (ja)
KR (1) KR102177951B1 (ja)
CN (1) CN115917599A (ja)
WO (1) WO2021256846A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102177951B1 (ko) * 2020-06-16 2020-11-12 주식회사 딥바이오 슬라이드 이미지에 포함된 생체 조직의 길이를 측정하는 방법 및 이를 수행하는 컴퓨팅 시스템
KR102699637B1 (ko) * 2024-02-14 2024-08-28 주식회사 에이비스 복수의 바이옵시 조직 절편들을 포함하는 슬라이드 이미지로부터의 절편 데이터 획득 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011517358A (ja) 2009-04-22 2011-06-02 ペキン ユニバーシティ 対話型多ラベル付け画像分割のための連結性類似度に基づくグラフ学習法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701138B2 (ja) * 2011-04-19 2015-04-15 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
KR101514795B1 (ko) * 2013-08-19 2015-04-23 재단법인 아산사회복지재단 혈관의 정량화 방법
WO2019110567A1 (en) * 2017-12-05 2019-06-13 Ventana Medical Systems, Inc. Method of computing tumor spatial and inter-marker heterogeneity
JP2020077388A (ja) * 2018-09-28 2020-05-21 医療法人社団皓有会 運動解析装置
KR102177951B1 (ko) * 2020-06-16 2020-11-12 주식회사 딥바이오 슬라이드 이미지에 포함된 생체 조직의 길이를 측정하는 방법 및 이를 수행하는 컴퓨팅 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011517358A (ja) 2009-04-22 2011-06-02 ペキン ユニバーシティ 対話型多ラベル付け画像分割のための連結性類似度に基づくグラフ学習法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐藤 美恵,外4名,情報の可視化 情報の可視化 木構造的形状に対する正確な骨格線抽出アルゴリズム,映像情報メディア学会誌 第54巻 第12号,日本,(社)映像情報メディア学会 THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS,2000年,第54巻

Also Published As

Publication number Publication date
EP4152260A1 (en) 2023-03-22
WO2021256846A1 (ko) 2021-12-23
EP4152260A4 (en) 2024-06-26
KR102177951B1 (ko) 2020-11-12
US20230306624A1 (en) 2023-09-28
CN115917599A (zh) 2023-04-04
JP2023530870A (ja) 2023-07-20

Similar Documents

Publication Publication Date Title
Wang et al. Smartphone-based wound assessment system for patients with diabetes
JP7134017B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
JP7403192B2 (ja) スライド画像に含まれた生体組織の長さを測定する方法、及びそれを行うコンピューティングシステム
JP5683888B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6564018B2 (ja) 放射線画像の肺野セグメンテーション技術及び骨減弱技術
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5931418B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN109124662B (zh) 肋骨中心线检测装置及方法
US8682048B2 (en) Image processing device, image processing method, computer-readable recording device
Mirzaalian Dastjerdi et al. Measuring surface area of skin lesions with 2D and 3D algorithms
EP3047455A1 (en) Method and system for spine position detection
BR112021013021A2 (pt) Dispositivo portátil para aquisição de dados antropométricos, e método de coleta de dados antropométricos
JP5935061B2 (ja) 骨粗鬆症診断支援装置、骨粗鬆症診断支援プログラム、及び骨密度変化部位特定方法
Yao et al. Employing topographical height map in colonic polyp measurement and false positive reduction
JP2019149094A (ja) 診断支援システム、診断支援方法、及びプログラム
JP2010271921A (ja) 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム
WO2021197176A1 (en) Systems and methods for tumor characterization
WO2021039454A1 (ja) 画像処理装置、放射線撮影システム、画像処理方法及びプログラム
US8165375B2 (en) Method and system for registering CT data sets
JP2022133479A (ja) 予後推定装置及び予後推定方法
JP7277536B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20240054643A1 (en) Image processing apparatus, image processing method, and recording medium
Khan et al. Transformative Deep Neural Network Approaches in Kidney Ultrasound Segmentation: Empirical Validation with an Annotated Dataset

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231205

R150 Certificate of patent or registration of utility model

Ref document number: 7403192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150