JP2023504901A - 病変が占める体表面積の割合に基づいて皮膚疾患の重症度を判定する方法 - Google Patents

病変が占める体表面積の割合に基づいて皮膚疾患の重症度を判定する方法 Download PDF

Info

Publication number
JP2023504901A
JP2023504901A JP2022534623A JP2022534623A JP2023504901A JP 2023504901 A JP2023504901 A JP 2023504901A JP 2022534623 A JP2022534623 A JP 2022534623A JP 2022534623 A JP2022534623 A JP 2022534623A JP 2023504901 A JP2023504901 A JP 2023504901A
Authority
JP
Japan
Prior art keywords
image
segmentation
training set
lesion
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022534623A
Other languages
English (en)
Other versions
JPWO2021116909A5 (ja
Inventor
チェン,ヤンキン
タン,チャールズ
ジェイ. ムノズ‐エリアス,エルネスト
Original Assignee
ヤンセン バイオテツク,インコーポレーテツド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤンセン バイオテツク,インコーポレーテツド filed Critical ヤンセン バイオテツク,インコーポレーテツド
Publication of JP2023504901A publication Critical patent/JP2023504901A/ja
Publication of JPWO2021116909A5 publication Critical patent/JPWO2021116909A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

機械学習技術を使用して、体表面積(BSA)スコアを自動的に計算する画像処理方法が提供される。Felzenszwalb画像セグメンテーションアルゴリズムは、複数のトレーニングセット画像のそれぞれにおいて提案領域を定義するために使用される。トレーニングセット画像は、オーバーセグメント化され、次いで、複数のオーバーセグメント化されたトレーニングセット画像のそれぞれの各提案領域が、病変又は非病変として手動で分類される。次いで、畳み込みニューラルネットワーク(CNN)は、複数のトレーニングセット画像のそれぞれにおいて手動で分類された提案領域を使用してトレーニングされる。次いで、トレーニングされたCNNを試験画像に使用して、BSAスコアを計算する。

Description

乾癬などの皮膚疾患の疾患重症度評価は、病変及び炎症が占める体表面積の割合(即ち、BSAスコア)を計算することを含む。以下、病変及び炎症を集合的に「病変」と呼ぶ。BSAは、人体の測定又は計算された表面積である。
乾癬は、健康な正常皮膚とは異なる赤い炎症領域として現れる自己免疫皮膚疾患である。乾癬の疾患重症度測定の重要な部分は、「病変」と呼ばれる炎症領域が占める体表面積の割合を監視することである。プラーク乾癬の場合、2つの主要な疾患測定は、BSA及びPASI(乾癬面積及び重症度指数)であり、これらの両方は、疾患の進行及び治療効果を監視するために使用される割合スコアを計算することを含む(A Bozek,A.Reich(2017)。3つの乾癬評価ツールの信頼性:乾癬面積及び重症度指数、体表面積、及び医師の全体的評価。Adv Clin Exp Med.2017年8月;26(5):851~856.doi:10.17219/acem/69804)。現在、これらの割合は、医師のオフィスにおいて皮膚科医又は看護師によって評価されることが多い。現行の乾癬疾患スコアによる主要な問題は、それらが人間の先入観を伴う不正確で雑な評価であることである。更に、PASIスコア全体を得るための割合を計算するプロセスは、面倒で時間がかかる。もう1つの臨床的必要性は、現在、患部の領域が広く、2~10mmのサイズに及ぶ多数の炎症性病変で占められて、目視での測定が困難である滴状乾癬の場合、BSA手段が存在しないことである。
したがって、計算方法を使用して皮膚炎症を監視するためのより客観的かつ定量的な方法が必要とされている。本発明は、そのような必要性に応えるものである。
機械学習技術を使用してBSAスコアを自動的に計算する画像処理方法が提供される。Felzenszwalb画像セグメンテーションアルゴリズムは、複数のトレーニングセット画像のそれぞれにおいて提案領域を定義するために使用される。トレーニングセット画像は、オーバーセグメント化(「過剰分割」)され、次いで、複数のオーバーセグメント化されたトレーニングセット画像のそれぞれの各提案領域が、病変又は非病変として手動で分類される。次いで、畳み込みニューラルネットワーク(CNN)は、複数のトレーニングセット画像のそれぞれにおいて手動で分類された提案領域を使用してトレーニングされる。次いで、トレーニングされたCNNを試験画像に使用して、BSAスコアを計算する。また、本発明には、本方法、例えば、関連技術分野で知られているような方法を実施するためのコンピュータ関連デバイス又は媒体と関連して使用されるコンピュータ命令によって駆動されるデバイス(又はコンピュータシステム)も含まれる。
本特許又は出願書類は、カラーで作成した少なくとも1つの図面を含む。カラー図面を備える、本特許又は特許出願公開のコピーは、申請すれば、必要な手数料を支払うことにより、特許庁によって提供される。
上記の概要、及び本発明の好ましい実施形態の以下の詳細な説明は、添付の図面と併せて読むことでより理解が深まるであろう。本発明を説明する目的のために、図面は、現在好ましい実施形態を示す。しかしながら、本発明は、示される正確な構成及び手段に限定されない。
Felzenszwalb、Quickshift、SLIC、及びCompact watershed法を使用した乾癬画像セグメンテーションを示す。 Felzenszwalb法によって正しくセグメント化された乾癬画像を示す。 以下の3つの異なるタイプの不正確にセグメント化された乾癬画像:アンダーセグメントされた、オーバーセグメント化された、及び画像全体がセグメント化されたものを示す。 CNNフィルタがどのようにFelzenszwalbセグメンテーション結果を改善するかを示す。 画像のアンダーセグメンテーションを示す。 画像のオーバーセグメンテーションを示す。 本発明の好ましい一実施形態による、病変が占めるBSAの割合に基づいて、皮膚疾患の重症度を判定するためのコンピュータで処理される方法のフローチャートである。 図6を実行するためのシステムソフトウェア及びハードウェアの概略図である。 図6を実行するためのシステムソフトウェア及びハードウェアの概略図である。
特定の用語は、便宜上、本明細書で使用され、本発明の限定として解釈されるべきではない。
I.概要
図6は、病変が占めるBSAの割合に基づいて、皮膚疾患(例えば、乾癬)の重症度を判定するためのコンピュータで処理される方法のフローチャートである。図7A及び図7Bは、図6を実行するためのシステムソフトウェア及びハードウェアの概略図である。
図6、図7A、及び図7Bを参照すると、本方法は、以下のように動作する。
工程600:Felzenszwalbセグメンテーションアルゴリズム(FSA)を使用して体表面積の複数のトレーニングセット画像に対して画像セグメンテーションを実行し、複数のトレーニングセット画像のそれぞれにおいて提案領域を出力する。体表面積の複数のトレーニングセット画像のそれぞれには、皮膚疾患が含まれる。この画像セグメンテーション工程は、図7Aに示されるプロセッサ700によって実行される。
工程602:複数のトレーニングセット画像のそれぞれをオーバーセグメント化する。この工程もまた、プロセッサ700によって実行される。
工程604:複数のオーバーセグメント化されたトレーニングセット画像のそれぞれの各提案領域を病変又は非病変として手動で分類する。この工程は、図7Aに示される1つ以上の人間による分類702によって実行される。
工程606:複数のトレーニングセット画像のそれぞれにおいて手動で分類された提案領域を使用して、ニューラルネットワークをトレーニングする。この工程は、図7Aに示されるニューラルネットワーク704によって実行される。
工程608:Felzenszwalbセグメンテーションアルゴリズムを使用して、皮膚疾患を含む体表面積の試験画像について画像セグメンテーションを実行し、体表面積の試験画像内の領域を出力する。この画像セグメンテーション工程は、図7Bに示されるプロセッサ700’によって実行される。プロセッサ700’は、プロセッサ700と同じであってもよく、又は異なるプロセッサであってもよい。
工程610:試験画像をオーバーセグメント化する。この工程もまた、プロセッサ700’によって実行される。
工程612:図7Bの704’としてラベル付けされたトレーニング済みのニューラルネットワークは、ここでトレーニングされていることを除いて、図7Aのニューラルネットワーク704と同じニューラルネットワークであるため、オーバーセグメント化された試験画像の領域をこのトレーニングされたニューラルネットワークに入力する。
工程614:トレーニングされたニューラルネットワーク704’を使用して、非病変領域を識別し、非病変領域をオーバーセグメント化された試験画像からフィルタリングし、オーバーセグメント化された試験画像の残りの領域が病変領域として分類される。
工程616:オーバーセグメント化された試験画像の分類された病変領域の面積、及びオーバーセグメント化された試験画像の識別された非病変領域の面積を使用して、病変が占める試験画像中のBSAの割合を計算する。この工程は、プロセッサ700”で実行される。プロセッサ700”は、プロセッサ700又はプロセッサ700’と同じであってもよく、又は異なるプロセッサであってもよい。
II.詳細な開示
以下の詳細な開示は、本発明をもたらす実験プロセスについて記載し、他のアプローチよりも成功したアプローチを説明する。
本発明は、画像セグメンテーションの課題である体表面積の計算を扱う。画像セグメンテーションは、コンピュータビジョンにおいて必要不可欠な問題の1つになっており、デジタル画像を複数のセグメントに分割することによって、画像データを意味のあるまとまりに編成するプロセスとして定義される。患者の乾癬疾患の体表面積を効果的に計算することができる一連の画像セグメンテーション方法を調査した。本発明の好ましい実施形態は、Felzenszwalb画像セグメンテーションアルゴリズム[3]、及び畳み込みニューラルネットワーク(A.Krizhevsky,I.Sutskever,G.E.Hinton(2012)「Imagenet classification with deep convolutional neural networks」、「Advances in Neural Information Processing」(NeurIPS)、2012)を、Felzenszwalbセグメンテーション結果を改善するための偽陽性フィルタとして使用する。
いくつかの画像処理方法を試験して、インターネットからダウンロードされた117個の滴状乾癬及び尋常性乾癬の画像に適用された機械学習技術を使用して、BSAスコアを自動的に計算した。いくつかの他の教師なしセグメンテーション方法と比較して、Felzenszwalb画像セグメンテーションアルゴリズムは、病変面積対非病変面積の最も高い割合の正確なセグメンテーションを生成し、画像の56%が良好なセグメンテーションを有する一方で、画像の44%はアンダーセグメント化又はオーバーセグメント化されている。セグメンテーション結果を改善するために、ビジュアルジオメトリグループ(VGG)アーキテクチャに影響を受けた畳み込みニューラルネットワーク(CNN)が実行され、Felzenszwalbアルゴリズムの提案領域から偽陽性病変を更にフィルタリングする。CNNのトレーニングデータは、Felzenszwalbアルゴリズムから出力された、人間がキュレートした病変領域及び非病変領域のデータセットから構成された。CNNは、病変と非病変とを分類する際に90%の5分割交差検証試験の精度スコアを達成した。このCNNフィルタは、Felzenszwalbアルゴリズムと一緒に適用され、トレーニングデータの77%又は86個の滴状乾癬画像のうち67個を正確にセグメント化した。この方法は、患者及び医師のための乾癬などの皮膚疾患の疾患重症度測定及び遠隔監視のデジタル化に有用である。
乾癬の画像データ
データセットを収集するために、滴状乾癬の約300個の画像及び慢性尋常性乾癬の100個の画像をGoogle画像から集めた。不正確な及び/又は誤解を招く画像データをフィルタリングし、滴状乾癬の86個の画像及び慢性尋常性乾癬の31個の最終データセットを残した。
乾癬画像セグメンテーション方法
5つの異なる画像セグメンテーションアルゴリズムを試験し、全て、Pythonでscikit-learn(サイキット・ラーン)及びOpenCVライブラリを使用して実行した。5つの試験されたアルゴリズムは、Felzenszwalb、Quickshift、SLIC、Compact watershed、及び大津の閾値処理アルゴリズムであった(D.Liu,B.Soran,G.Petrie,及びL.Shapiroのレビュー「A review of computer vision segmentation algorithms」、講義メモ、53、2012を参照されたい)。結合画像の例を視覚的に検査した後、Felzenszwalb法(P.F.Felzenszwalb及びD.P.Huttenlocher(2004)「Efficient Graph-Based Image Segmentation」、International Journal of Computer Vision 59(2)、167~181)が、格段に最も有望なセグメンテーションをもたらすことが明らかになった。
図1は、4つの異なるセグメンテーションアルゴリズムの出力画像を示す。黄色の境界は、アルゴリズムによって提唱(提案)された領域のセグメンテーションをマークする。これらの試験の後、全ての画像をFelzenszwalbアルゴリズムでセグメント化することを決定した。
乾癬セグメンテーション及びバイナリ分類フィルタリングアルゴリズム
Felzenszwalbセグメンテーション結果を強化するために、セグメンテーションから偽陽性を除去する畳み込みニューラルネットワークフィルタに基づいて、新しいアルゴリズムを使用した。このアルゴリズムは、現在、画像セグメンテーションの課題に取り組む際の最新技術となっている領域ベースの畳み込みニューラルネットワーク(R-CNN)から着想を得ており、それとの類似性を有する。アルゴリズムは以下の通りである:
1.Felzenszwalbセグメンテーションアルゴリズムからの提案領域の中で病変と非病変とを区別するためにニューラルネットワークをトレーニングする。
2.k値パラメータを最適閾値に増加させることによって画像をオーバーセグメント化する(k=250)。
3.ニューラルネットワークを使用して、Felzenszwalbセグメンテーションによって提案された非病変をフィルタリングする。
工程2で画像をオーバーセグメント化することにより、ほとんどの病変がセグメンテーションの内部に含まれるように確保する。次いで、過剰な非病変又は偽陽性をフィルタリングするために、工程1からの予めトレーニングされたニューラルネットワークを使用して、工程3において非病変領域と病変領域とを区別する。
トレーニングデータ
Felzenszwalbセグメンテーションアルゴリズムから出力された提案領域(k値は250に設定された)を使用して画像をオーバーセグメント化することによって、可能な限り多くの真の陽性病変領域を含む。次に、約30個の滴状乾癬画像を選択し、約3000個の提案領域の画像を生成した。次いで、3000個の提案領域のそれぞれを、病変又は非病変として手動で(人間により)分類した。このデータセットの精度を検証するために、プロセスを3回繰り返した。多くの皮膚、黒色背景領域、ネックレス、ノイズなどが占める巨大領域では、これらの非病変のいくつかは特定が容易であった。陰影、不十分な照明、瘢痕などの領域を含むその他の領域は、病変と非病変とを区別することが困難であった。主なエラーの原因は、データセットの不適合と、これらの病変と非病変との分類が困難な領域とに起因すると考えられる。これは、バイナリ分類結果が、修正されたアメリカ国立標準技術研究所(MNIST)又はカナダ先端研究機構(CIFAR)データセットにおいて見られる最新技術結果に依然として近づいていない理由に関する説明であり得る。
バイナリ分類ニューラルネットワーク実験
ニューラルネットワークモデルをトレーニングするために、以下に記載されるものと同様の手順に従った。
最初に、全ての提案領域入力を、opencvライブラリからのキュービック補間法を使用して、全ての画像を特定の一定の画素サイズにサイズ変更することによって前処理した。次に、モデルアーキテクチャ(高密度ニューラルネットワーク対畳み込みニューラルネットワーク、隠れ層サイズ、バッチ正規化)、パラメータ(学習率)、及び入力画像補間画素サイズ(4×4、8×8、16×16、32×32、64×64)を含む、ニューラルネットワークモデルの様々なパラメータを変更した。最後に、全てのモデルを、80:20のトレーニング-試験データ分割比で試験して、それぞれのモデルの精度、対数損失、及び平均二乗誤差スコアを判定した。これは、データの80%を使用してモデルを構築し、残りのデータの20%(モデルによっては見られなかった)を使用してモデルの予測強度を評価したことを意味する。
選択された最終CNNモデルは、VGGアーキテクチャに着想を得、バッチ正規化を使用せず、より小さい隠れ層(隠れ層の数及び隠れ層の幅の両方)を有し、1e-4の学習率を有し、Adam最適化手法を使用した。(Adamは、深層ニューラルネットワークをトレーニングするために具体的に設計された適応学習率最適化アルゴリズムである)。最終モデルの精度を確保するために、このモデルを5分割交差検証で試験し、94%の平均5分割トレーニング精度スコア及び90%の平均5分割試験精度スコアを得た。
精度の結果を向上させる事柄
ニューラルネットワークのバイナリ分類精度を大幅に改善する3つのアプローチが存在した。
第1のアプローチは、入力画像の形状を一定の16×16画素サイズに補間することであった。最初に、画像がサイズ64×64に設定されたとき、分類精度は、60%の極めて低い率の前後を上下した。画像のサイズが低下するにつれて、標準的な小さな高密度ニューラルネットワークは、最適な16×16の画像サイズに達するまで、次第に良好な分類性能を達成することが見出された。この理由は、ほとんどの提案領域が約16×16サイズであったことであり得る。したがって、より多くの情報を補間することで、領域が誤解を招く情報を得ることになり、より少ない情報を補間することで、領域が貴重な情報を失うことになり得る。
第2のアプローチは、高密度ニューラルネットワークとは対照的に、畳み込みニューラルネットワークを使用することであった。畳み込みニューラルネットワークは、無数の理由により、画像分類タスクにおいて高密度ニューラルネットワークよりも良好に機能することがよく知られている。
第3のアプローチは、畳み込みニューラルネットワークモデルアーキテクチャを構築するときに「少なければ少ないほど効果を増す」ことであった。例えば、隠れ層サイズが低減されたとき、より速いトレーニング時間及びより正確な試験検証スコアが得られた。具体的には、第1の高密度層の隠れサイズを低減することで、それによって有意な数のパラメータを低減することが特に重要であった。これは、過剰なパラメータがモデルが良好に導き出されることを回避し、過剰適合作用を引き起こす場合があるという事実に起因し得る。この過剰適合の問題は、大きなVGGモデルにおけるトレーニング検証スコアと試験検証スコアの間のほぼ10%の精度損失に最もよく見て取れる。
セグメンテーションの結果に影響を及ぼさない又は悪化させる事柄
いくつかのアプローチは精度の結果を改善しなかった。より具体的には、3つのアプローチは、モデルにごくわずかの影響しか及ぼさなかった、又は悪影響を及ぼした。
第1に、VGGモデルに見られるようなバッチ正規化層を追加することは、結果を改善すると思われたが、特定の論文(S.Santurkar、D.Tsipras、A.Ilyas,A.Madry(2018)「How Does Batch Normalization Help Optimization?」、「Advances in Neural Information Processing」(NeurIPS)、2018)に示されるように、バッチ正規化は全てのケースにおいて分類精度を向上させないようである。
第2に、学習率を調整しても、性能は向上しなかった。0.01、0.001、0.0003、及び0.0001の学習率を試験した後、学習率は、0.001、0.0003、及び0.0001の学習率パラメータの性能結果に無視できるほどの差しかもたらさないことが分かった。
第3に、より深くより広いネットワークは、モデルの精度を向上させなかった。より大きな高密度ニューラルネットワークモデル及び畳み込みニューラルネットワークモデルは、試行された単純な小さなVGGモデルよりも、交差検証試験で実際に最大10%も劣ったようであった。これは、アジャイル開発原理の基礎原理-単純さ-を裏付けていると思われる。
結果と考察
i.画像セグメンテーションアルゴリズムの利点と欠点
5つの異なるアルゴリズムで画像の小さなサンプルを試験した後、図1に示すように、Felzenszwalbアルゴリズムが他の5つの教師なしアルゴリズムよりもはるかに優れた結果をもたらすことが明らかになった。この方法の重要な特徴は、高変動領域内の詳細を無視しつつ、低変動画像領域内の詳細を保持できることである。この方法はまた、実行時間O(n log n)で高速(512×512画像で1秒未満)である(nは画素数である)。これらの観察に基づいて、Felzenszwalb法が、乾癬画像に適用される主要な方法であると選択された。
ii.Felzenszwalb画像セグメンテーションスコアリングメトリック及び結果
図2は、良好な画像セグメンテーションの一例を示す。良好な画像セグメンテーションは、通常の医師が当然分類すべきであった、明らかに重大な病変部を見逃していない画像セグメンテーションとして定義される。
図3は、不正確な画像セグメンテーションの3つの例を示す。第1の画像は、アンダーセグメント化された領域の一例である。この問題を軽減するには、k値パラメータを減少させる必要がある。第2の画像は、オーバーセグメント化された領域の一例である。この問題を軽減するには、k値パラメータを増加させる必要がある。最後の例は、病変として分類される巨大領域の例である。これを軽減するには、k値パラメータを増加させる必要がある。図5A及び5Bも、アンダーセグメンテーション及びオーバーセグメンテーションの例を示す。
基本Felzenszwalbアルゴリズムは、88個の入力画像から49個を良好なセグメンテーションでセグメント化することができ、88個の入力画像のうち30個がアンダーセグメント化され、88個の入力画像のうち9個がオーバーセグメント化された。BSAスコアの計算は、各セグメンテーション結果の最後に生成された。
iii.ニューラルネットワークベースのフィルタリング結果
25個の異なるニューラルネットワークモデルを、異なるパラメータ、アーキテクチャ、及び入力サイズで試験した。各モデルの試験精度を計算した。より小さい画像サイズの設定、より小さいVGGベースの畳み込みニューラルネットワークの選択、及び1e-4の学習率は、0.9の最高試験精度で最良のモデルを生成する。
iv.畳み込みニューラルネットワークフィルタ及びFelzenszwalb画像セグメンテーション結果
畳み込みニューラルネットワークによってフィルタリングされたFelzenszwalb画像セグメンテーションを実施した後、86個の画像のうち67個が良好なセグメンテーションを提供し、86個の画像のうちの16個がアンダーセグメント化され、86個の画像のうち3個がオーバーセグメント化された。滴状乾癬の不正確な表示により、2つの入力画像が元のFelzenszwalb画像セグメンテーションセットから除去された。セグメント化結果を改善する畳み込みニューラルネットワークの例は、図4の画像に見ることができる。
図4の左側の画像では、畳み込みニューラルネットワークは、アームの左側の大きな領域、全ての背景白色領域、及び非病変として手動で分類された多くの小さなノイズ領域をフィルタリングすることができた。より良好なトレーニングデータ及びより広範なトレーニングにより、ニューラルネットワークモデルは、更により良好なフィルタリング結果を達成することができ、偽陽性非病変を除くためのFelzenszwalbセグメンテーションアルゴリズムの有効な補足として使用することができる。
結論
回想すると、Felzenszwalb画像セグメンテーションアルゴリズムは、患者の病変の体表面積を効果的に計算することができる良好な基本診断アルゴリズムを提供したことが分かった。畳み込みニューラルネットワークは、良好なトレーニングデータセットを与えられたときに、Felzenszwalbセグメンテーション出力から提案された病変と非病変とを高精度で分類できることも発見された。これらの2つの結果を組み合わせると、畳み込みニューラルネットワークフィルタと組み合わされたFelzenszwalb画像セグメンテーションアルゴリズムは、画像セグメンテーションと、それにより乾癬疾患の体表面積スコアを計算することによって、優れた基本診断を行うことが立証された。
上記のBSA計算方法を使用して、デジタル化乾癬疾患スコア計算システムを生成することができる。例えば、フルPASIスコアリングシステムを自動化するために、身体前部、背中、前脚、後脚、及び頭部領域の5つの入力画像で同様の畳み込みニューラルネットワークをトレーニングすることにより、0~72の重症度インデックスPASIスコアを出力することができる。そのようなコンピュータシステムは、近年(C.Fink、L.Uhlmann、C.Klose,et al(2018)「Automated,computer-guided PASI measurements by digital image analysis versus conventional physicians’PASI calculations:study protocol for a comparative,single-centre,observational study BMJ Open 2018;8:e 018461.doi:10.1136/bmjopen-2017-018461)で提案されたように、乾癬などの皮膚疾患の診断及び監視において、医師がより良好かつ迅速に、より情報を得たうえで決定を下すのを助けることができる。
当業者は、広い発明概念から逸脱することなく、上で説明される実施形態に変更を行うことができることを理解するであろう。したがって、本発明は、開示された特定の実施形態に限定されるのではなく、本発明の趣旨及び範囲内にある修正を包含するものであることが理解される。

Claims (6)

  1. 病変が占める体表面積(BSA)の割合に基づいて皮膚疾患の重症度を判定するためのコンピュータで処理される方法であって、
    (a)Felzenszwalbセグメンテーションアルゴリズムを使用して、BSAの複数のトレーニングセット画像に対して画像セグメンテーションを実行することであって、BSAの前記複数のトレーニングセット画像のそれぞれが皮膚疾患を含み、前記Felzenszwalbセグメンテーションアルゴリズムを使用して実行される前記画像セグメンテーションが、前記複数のトレーニングセット画像のそれぞれにおいて提案領域を出力する、ことと、
    (b)前記複数のトレーニングセット画像のそれぞれをオーバーセグメント化することと、
    (c)前記複数のオーバーセグメント化されたトレーニングセット画像のそれぞれの前記提案領域のそれぞれを病変又は非病変として手動で分類することと、
    (d)前記複数のトレーニングセット画像のそれぞれにおいて、手動で分類された前記提案領域を使用して、ニューラルネットワークをトレーニングすることと、
    (e)前記Felzenszwalbセグメンテーションアルゴリズムを使用して、皮膚疾患を含むBSAの試験画像に対して画像セグメンテーションを実行することであって、前記Felzenszwalbセグメンテーションアルゴリズムを使用して実行される前記画像セグメンテーションが、前記BSAの前記試験画像内の領域を出力する、ことと、
    (f)前記試験画像をオーバーセグメント化することと、
    (g)オーバーセグメント化された前記試験画像の前記領域をトレーニングされた前記ニューラルネットワークに入力することと、
    (h)トレーニングされた前記ニューラルネットワークを使用して、オーバーセグメント化された前記試験画像から非病変領域を識別し、フィルタリングすることであって、オーバーセグメント化された前記試験画像の残りの領域が病変領域として分類される、ことと、
    (i)オーバーセグメント化された前記試験画像の分類された前記病変領域の面積、及びオーバーセグメント化された前記試験画像の識別された前記非病変領域の面積を使用して、病変が占める前記試験画像中のBSAのパーセントを計算することと、を含む、方法。
  2. 前記トレーニングセット画像及び前記試験画像は両方とも、前記k値パラメータを約250に増加させることによってオーバーセグメント化される、請求項1に記載の方法。
  3. 前記ニューラルネットワークが、畳み込みニューラルネットワークである、請求項1に記載の方法。
  4. 前記トレーニング工程(e)の前に、前記複数のトレーニングセット画像を約16×16画素の画像補間サイズにサイズ変更し、前記工程(g)の前に、前記試験画像を約16×16画素の画像補間サイズにサイズ変更する、請求項1に記載の方法。
  5. 前記皮膚疾患が、乾癬である、請求項1に記載の方法。
  6. 請求項1に記載の方法によって実行される、コンピュータシステム。
JP2022534623A 2019-12-09 2020-12-08 病変が占める体表面積の割合に基づいて皮膚疾患の重症度を判定する方法 Pending JP2023504901A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962945642P 2019-12-09 2019-12-09
US62/945,642 2019-12-09
PCT/IB2020/061648 WO2021116909A1 (en) 2019-12-09 2020-12-08 Method for determining severity of skin disease based on percentage of body surface area covered by lesions

Publications (2)

Publication Number Publication Date
JP2023504901A true JP2023504901A (ja) 2023-02-07
JPWO2021116909A5 JPWO2021116909A5 (ja) 2023-12-14

Family

ID=76209792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534623A Pending JP2023504901A (ja) 2019-12-09 2020-12-08 病変が占める体表面積の割合に基づいて皮膚疾患の重症度を判定する方法

Country Status (10)

Country Link
US (2) US11538167B2 (ja)
EP (1) EP4073752A4 (ja)
JP (1) JP2023504901A (ja)
KR (1) KR20220108158A (ja)
CN (1) CN114830173A (ja)
AU (1) AU2020401794A1 (ja)
BR (1) BR112022011111A2 (ja)
CA (1) CA3164066A1 (ja)
IL (1) IL293654A (ja)
WO (1) WO2021116909A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4073752A4 (en) * 2019-12-09 2024-01-03 Janssen Biotech, Inc. METHOD FOR DETERMINING THE SEVERITY OF A SKIN DISEASE USING THE PERCENTAGE OF BODY SURFACE COVERED BY LESIONS
US11659998B2 (en) 2020-03-05 2023-05-30 International Business Machines Corporation Automatic measurement using structured lights
US11484245B2 (en) * 2020-03-05 2022-11-01 International Business Machines Corporation Automatic association between physical and visual skin properties
CN114581709A (zh) * 2022-03-02 2022-06-03 深圳硅基智能科技有限公司 识别医学图像中的目标的模型训练、方法、设备及介质
CN114882018B (zh) * 2022-06-30 2022-10-25 杭州咏柳科技有限公司 一种基于图像的银屑病严重程度的评估系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454046B2 (en) * 2005-09-20 2008-11-18 Brightex Bio-Photonics, Llc Method and system for analyzing skin conditions using digital images
MY145600A (en) * 2010-03-29 2012-03-01 Inst Of Technology Petronas Sdn Bhd A methodology and apparatus for objective assessment and rating of psoriasis lesion thickness using digital imaging
US8705860B2 (en) * 2011-03-14 2014-04-22 Microsoft Corporation Grouping variables for fast image labeling
US8879855B2 (en) * 2012-08-17 2014-11-04 Nec Laboratories America, Inc. Image segmentation for large-scale fine-grained recognition
CN105009174B (zh) * 2013-01-08 2018-08-03 新加坡科技研究局 用于评估组织纤维化的方法及系统
US20140316235A1 (en) * 2013-04-18 2014-10-23 Digimarc Corporation Skin imaging and applications
CN104346801B (zh) * 2013-08-02 2018-07-20 佳能株式会社 图像构图评估装置、信息处理装置及其方法
US9286537B2 (en) * 2014-01-22 2016-03-15 Cognizant Technology Solutions India Pvt. Ltd. System and method for classifying a skin infection
SG10201405182WA (en) * 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
WO2018107371A1 (zh) * 2016-12-13 2018-06-21 上海联影医疗科技有限公司 图像搜索系统及方法
CN108230294B (zh) * 2017-06-14 2020-09-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
US20190108912A1 (en) * 2017-10-05 2019-04-11 Iquity, Inc. Methods for predicting or detecting disease
US11010902B2 (en) * 2018-06-04 2021-05-18 University Of Central Florida Research Foundation, Inc. Capsules for image analysis
WO2020146489A1 (en) * 2019-01-08 2020-07-16 The Rockefeller University Hyperspectral imaging in automated digital dermoscopy screening for melanoma
US20220222816A1 (en) * 2019-04-29 2022-07-14 UCB Biopharma SRL Medical image analysis system and method for identification of lesions
US11341635B2 (en) * 2019-10-31 2022-05-24 Tencent America LLC Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion
EP4073752A4 (en) * 2019-12-09 2024-01-03 Janssen Biotech, Inc. METHOD FOR DETERMINING THE SEVERITY OF A SKIN DISEASE USING THE PERCENTAGE OF BODY SURFACE COVERED BY LESIONS

Also Published As

Publication number Publication date
CA3164066A1 (en) 2021-06-17
EP4073752A1 (en) 2022-10-19
US20210174512A1 (en) 2021-06-10
WO2021116909A1 (en) 2021-06-17
US11915428B2 (en) 2024-02-27
IL293654A (en) 2022-08-01
US11538167B2 (en) 2022-12-27
US20230060162A1 (en) 2023-03-02
AU2020401794A1 (en) 2022-07-28
EP4073752A4 (en) 2024-01-03
BR112022011111A2 (pt) 2022-08-23
KR20220108158A (ko) 2022-08-02
CN114830173A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
JP2023504901A (ja) 病変が占める体表面積の割合に基づいて皮膚疾患の重症度を判定する方法
US9710908B2 (en) Method and system for assessing fibrosis in a tissue
Qian et al. An integrated method for atherosclerotic carotid plaque segmentation in ultrasound image
Singadkar et al. Automatic lung segmentation for the inclusion of juxtapleural nodules and pulmonary vessels using curvature based border correction
Garcia-Uceda et al. Automatic airway segmentation from computed tomography using robust and efficient 3-D convolutional neural networks
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
CN112767407A (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
Du et al. Automated coronary artery tree segmentation in coronary CTA using a multiobjective clustering and toroidal model-guided tracking method
Huang et al. Fast detection method for prostate cancer cells based on an integrated ResNet50 and YoloV5 framework
Guo et al. A bone age assessment system for real-world X-ray images based on convolutional neural networks
Mastouri et al. A morphological operation-based approach for Sub-pleural lung nodule detection from CT images
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
Abdalbagi et al. Bata-unet: Deep learning model for liver segmentation
Shao et al. A segmentation method of airway from chest CT image based on VGG-Unet neural network
Karwoski et al. Processing of CT images for analysis of diffuse lung disease in the lung tissue research consortium
Thamizhvani et al. Psoriasis Skin Disease Identification Using Support Vector Machine (SVM) Image Classification and Determining the Growth Rate
Huang et al. BronchusNet: Region and Structure Prior Embedded Representation Learning for Bronchus Segmentation and Classification
JP2023548041A (ja) 医用画像において少なくとも1つの管状構造のセグメンテーション及び識別を行うための方法及びシステム
Cao et al. Automatic lung segmentation algorithm on chest X-ray images based on fusion variational auto-encoder and three-terminal attention mechanism. Symmetry 2021; 13 (5): 814
Suganyadevi et al. SEGMENTATION OF KIDNEY STONE REGION IN ULTRA SOUND IMAGEBY USING REGION PARTITION AND MOUNTING SEGMENTATION ALGORITHM (RPM)
EA045294B1 (ru) Способ определения степени тяжести кожного заболевания на основании процентного значения площади поверхности тела, покрытой очагами поражения
Kunpeng et al. Automatic lung field segmentation based on the U-net deep neural network
Kermi et al. A deep learning-based 3D CNN for automated Covid-19 lung lesions segmentation from 3D chest CT scans
Lin et al. Automatic segmentation of glands in infrared meibomian gland image
Zhang et al. [Retracted] Extraction and Visualization of Ocular Blood Vessels in 3D Medical Images Based on Geometric Transformation Algorithm

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231205