JP2023519657A - 医用画像処理方法およびシステムならびにデータ処理方法 - Google Patents

医用画像処理方法およびシステムならびにデータ処理方法 Download PDF

Info

Publication number
JP2023519657A
JP2023519657A JP2022552299A JP2022552299A JP2023519657A JP 2023519657 A JP2023519657 A JP 2023519657A JP 2022552299 A JP2022552299 A JP 2022552299A JP 2022552299 A JP2022552299 A JP 2022552299A JP 2023519657 A JP2023519657 A JP 2023519657A
Authority
JP
Japan
Prior art keywords
medical image
image
interest
processing
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022552299A
Other languages
English (en)
Other versions
JP7564228B2 (ja
Inventor
マ・ジャンキャン
タン・ジェ
スー・ミンフェン
リュー・シャンルイ
グオ・ウェンチャオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2023519657A publication Critical patent/JP2023519657A/ja
Application granted granted Critical
Publication of JP7564228B2 publication Critical patent/JP7564228B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【解決手段】本願は、医用画像を処理するための方法、デバイス、および、システムを開示している。方法は、１または複数のプロセッサによって、第１医用画像を取得し、第１医用画像は対象臓器の表現を含み、１または複数のプロセッサによって、第１機械学習モデルに少なくとも部分的に基づいて第１医用画像を処理することを備える。第１医用画像に関連付けられている分類結果と、第１医用画像内の対象領域の第１画像とは、第１機械学習モデルを用いた第１医用画像の前記処理に少なくとも部分的に基づいて取得される。【選択図】図２

Description

他の出願の相互参照
本願は、２０２０年３月３１日出願の「ＭＥＤＩＣＡＬ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＡＮＤ ＤＡＴＡ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ」と題する中国特許出願第２０２０１０２４４９３７．９号の優先権を主張し、当該出願は、すべての目的のために参照により本明細書に組み込まれる。
本願は、医療分野に関する。特に、本願は、医用画像処理方法およびシステムならびにデータ処理方法に関する。
医用画像の処理は、一般に、分類ネットワークを用いて医用画像の分類結果を取得し、セグメンテーションネットワークを用いて医用画像から病変領域を抽出することを含む。
しかしながら、医用画像を処理するための処理方法は、一般に、分類ネットワークおよびセグメンテーションネットワークの別個のトレーニングを必要とする。分類ネットワークは、医用画像にわたる人間の臓器の特徴に関係しており、病変領域に焦点を当てることができない。したがって、分類ネットワークは、（例えば、病変ネットワークを正確に認識することに関して）比較的低い認識精度を有する。さらに、セグメンテーションデータのピクセルレベルでのラベリングが困難であり、存在する（例えば、生成される）セグメンテーションデータは比較的少ない。したがって、比較的少ないセグメンテーションデータを用いたセグメンテーションネットワークのトレーニングの結果として、セグメンテーションネットワークの処理精度が低くなる。
上述の問題に対処するのに有効な解決法はまだ提示されていない。
以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。
ここで説明する図面は、本外の理解を深めるよう意図されており、本願の一部を形成する。本願の実施形態およびそれらの記載は、本願を説明するよう意図されており、本願の不適切な限定となるものではない。以下の図面が含まれる。
本願の様々な実施形態に従って、医用画像処理方法を実施するためのコンピュータ端末を示すハードウェア構造ブロック図。
本願の様々な実施形態に従って、医用画像を処理するための方法を示すフローチャート。
本願の様々な実施形態に従って、医用画像を処理するための方法を示すフローチャート。
本願の様々な実施形態に従って、医用画像を処理するための方法を示すフローチャート。
本願の様々な実施形態に従って、医用画像を処理することに関連して用いられるインターフェースを示す図。
本願の様々な実施形態に従って、医用画像を処理するための方法を示すフローチャート。
本願の様々な実施形態に従って、医用画像を処理することに関連して用いられるインターフェースを示す図。
本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されているプロセッサ）を含め、様々な形態で実施されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成されている一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書で用いられているように、「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するよう構成されている１または複数のデバイス、回路、および／または、処理コアを指す。
以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。
当業者が本願をよりよく理解できるように、本願の実施形態の図面に照らして本願の実施形態における技術的スキームを明確かつ完全に説明する。明らかに、記載されている実施形態は、本願の実施形態の一部にすぎず、すべての実施形態ではない。さらなる創造的努力が費やされない限り、本願における実施形態に基づいて当業者によって得られるすべての他の実施形態は、本願の保護の範囲内に含まれる。
本願の記載、特許請求の範囲、および、図面における「第１」、「第２」などの用語は、類似した対象を区別するために用いられ、必ずしも特定の配列または順序を記載するために用いられるものではないことを理解されたい。このように用いられるデータは、必要に応じて交換されてもよいことを理解されたい。したがって、本明細書に記載されている本願の実施形態は、本明細書に図示または記載されている以外の配列で実施されてもよい。さらに、「備える」および「有する」という用語ならびにそれらの変化形は、非排他的であることを意図されている。例えば、一連の工程またはユニットを含む処理、方法、システム、製品、または、装置は、明示的に列挙されたそれらの工程またはユニットに限定される必要はなく、明示的に列挙されていない他の工程またはユニット、もしくは、これらの処理、方法、製品、または、装置に内在する他の工程またはユニットも含みうる。
本明細書で用いられているように、「端末」とは、一般に、１または複数のプロセッサを備えたデバイスを指す。端末は、ネットワークシステム内で（例えば、ユーザによって）利用され、１または複数のサーバと通信するために利用されるデバイスでありうる。本開示の様々な実施形態によれば、端末は、通信機能をサポートする構成要素を備えてよい。例えば、端末は、スマートフォン、サーバ、共用モバイルバッテリのマシン、情報センタ（交通または気象などの情報を提供する１または複数のサービスなど）、タブレットデバイス、携帯電話、ビデオ電話、電子書籍リーダ、デスクトップコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯型マルチメディアプレーヤ（ＰＭＰ）、携帯型メディカルデバイス、カメラ、ウェアラブルデバイス（例えば、ヘッドマウントデバイス（ＨＭＤ）、電子衣服、電子装具、電子ネックレス、電子アクセサリ、電子タトゥー、または、スマートウォッチ）、自動販売機などのキオスク、スマート家電、車載移動局などであってよい。端末は、様々なオペレーティングシステムを実行できる。
本明細書で用いられているように、クライアントとは、サーバと通信する端末を指す。クライアントは、端末上で実行する１または複数のアプリケーションによって端末上に実装されてよい。例えば、クライアントとは、１または複数のネットワークを介してサーバと通信するモバイル端末を指す。モバイル端末は、モバイル端末で１または複数の動作を実行することに関連してサーバと通信するアプリケーション（例えば、クライアントアプリケーション）を実行できる。クライアントは、情報をサーバへ通信できる。いくつかの実施形態において、クライアントからサーバへ通信される情報は、１または複数の要求などを含む。クライアントは、サーバから（例えば、１または複数のネットワークとの通信を介して）情報を受信してもよい。いくつかの実施形態において、クライアントがサーバから受信する情報は、医用画像などの画像に関して実行された画像解析に関する情報を含む。例えば、画像解析に関する情報は、画像の分類、および／または、画像（例えば、医用画像）に少なくとも部分的に基づいて決定された対象データの識別を含む。
本明細書で用いられているように、強化学習とは、期待される利益を得るために環境に基づいた行動を取ることのできるタイプの学習を指す。
本明細書で用いられているように、エンコーダ・デコーダモデルとは、深層学習におけるモデルフレームワークを指す。エンコーダ・デコーダモデルは、２つの部分（すなわち、エンコーダネットワークおよびデコーダネットワーク）に分けることができる。
本明細書で用いられているように、ＵＮｅｔとは、畳み込みニューラルネットワークを指す。ＵＮｅｔは、２つの部分（すなわち、特徴抽出に関連して用いられる前半部分、および、アップサンプリングに関連して用いられる後半部分）に分けることができる。
本明細書で用いられているように、ピラミッド・シーン・パーシング・ネットワーク（ＰＳＰＮｅｔ）とは、グローバルコンテキスト情報機能を利用するために異なる領域に基づいてコンテキスト情報を集約するネットワークを指す。
本明細書で用いられているように、ＤｅｅｐＬａｂＶ３＋（ＤｅｅｐＬａｂ）とは、深層畳み込みニューラルネットワーク（ＤＣＮＮ）および確率的グラフィカルモデル（ＤｅｎｓｅＣＲＦ）を組み合わせた方法を指す。ＤｅｅｐＬａｂは、Ａｔｒｏｕｓ空間ピラミッドプーリングモジュールを提示する。Ａｔｒｏｕｓ空間ピラミッドプーリングモジュールは、特徴を取得するために、マルチスケール畳み込み特徴を探し、画像層に基づいてグローバルバックグラウンドを符号化することに関連して用いられる。
本明細書で用いられているように、ｒｅｓｎｅｘｔとは、均質なニューラルネットワークを指す。ｒｅｓｎｅｘｔは、同じ位相構造を用いる複数のブランチを備える。各ブランチによって生成される特徴マップのチャネルの数は、ｎである。
本明細書で用いられているように、Ａｔｒｏｕｓ空間ピラミッドプーリング（ＡＳＰＰ）構造とは、マルチスケール情報を用いてセグメンテーション結果をさらに強化するモジュールを指す。
本明細書で用いられているように、剛体変換とは、オブジェクトの位置（平行移動変換）および方向（回転変換）のみが変更されるが形状は変化しないオブジェクトの変換を指す。
本明細書で用いられているように、アフィン変換とは、グラフィックの任意の傾斜と、２方向でのグラフィックの任意の拡大または縮小とを含む変換を指す。
様々な実施形態によると、医用画像が、医用画像を分類する情報を提供することに関連して処理される。医用画像は、対象データ（医用画像の特定の領域に関する情報など）を取得するために処理されてよい。いくつかの実施形態において、医用画像の処理は、１または複数の病変領域および／または臓器領域（例えば、人間の臓器領域）を抽出する工程を備える。１または複数の病変領域および／または臓器領域の抽出は、医用画像のセグメンテーションと、医用画像または医用画像のセグメント化された部分の定量的解析とに少なくとも部分的に基づいてよい。様々な実施形態によると、医用画像の処理は、少なくとも医用イメージングによって患者の正確な診断（例えば、患者の病状の判断）を容易にしうる。医師またはその他の医療専門家は、患者を診断しおよび／または特定された病状に対して治療法を決定することに関連して、医用画像の処理の結果を利用できる。例えば、定量的結果は、医師が患者の病状を判断し、病状に基づいて適切な治療を提供するのに役立ちうる。
現在の医用イメージング技術では、医用画像タイプ識別およびターゲットセグメンテーションネットワークモデルは、互いに独立している。現在の医用イメージング技術は、一般に、２つの独立したネットワーク（すなわち、分類ネットワークおよびセグメンテーションネットワーク）のトレーニングを必要とする。ネットワークの各々について、以下でさらに論じる。
分類ネットワークは、主に、医用画像のカテゴリを決定するために用いられ、セグメンテーションネットワークは、病変領域を抽出するために用いられる。しかしながら、現在の技術は、分類ネットワークおよびセグメンテーションネットワークが医用画像テクスチャ特徴に関して統合されているという事実を考慮に入れていない。分類ネットワークがカテゴリ評価を行う際の主な根拠は、一般に、病変領域のテクスチャ特徴である。しかしながら、純粋な分類ネットワークは、病変領域に焦点を合わせる（例えば、特定する）ことが困難である。結果として、（例えば、純粋な分類ネットワークを用いて病変領域を特定する）現在の医用イメージング技術に従ってトレーニングされたモデルは、比較的低い認識精度を有する。
セグメンテーションネットワークは、一般に、二次元ニューラルネットワーク画像に基づいて実装される。しかしながら、セグメンテーションネットワークは、三次元空間関係を考慮していないので、セグメンテーションの精度は比較的低い。
さらに、現在の医用イメージングおよび診断の技術によれば、経過観察時に、医師は、一般に、異なる時期の患者の別々の医用画像を見る必要があり、病変領域がどのように変化してきたのかを分析する必要がある。全体のプロセスは、比較的時間がかかり、比較的非効率的である。
上述の問題を解決するために、医用画像処理法が、本願の一実施形態に従って提供されている。図面内のフローチャートに図示されている工程は、命令を実行できるコンピュータのグループなど、コンピュータシステムにおいて実行されうることに注意されたい。さらに、論理的順序がフローチャートに図示されているが、図示または記載されている工程は、いくつかの状況において、本明細書に記載されている以外の順序で実行されてもよい。
図１は、本願の様々な実施形態に従って、医用画像処理方法を実施するためのコンピュータ端末を示すハードウェア構造ブロック図である。
様々な実施形態によれば、端末１００は、図２の処理２００、図３の処理３００、図４の処理４００、図５のインターフェース５００、図６の処理６００、および／または、図７のインターフェース７００、の少なくとも一部を実装する。
図１に示すように、端末１００は、１または複数のプロセッサ１０２（図では、１０２ａ、１０２ｂ、・・・、１０２ｎと示されている）を備えてよい。プロセッサ１０２は、マイクロプロセッサ（ＭＣＵ）またはプログラマブルロジックデバイス（ＦＰＧＡ）などの処理手段を含みうるが、これらに限定されない。端末１００は、データ（例えば、情報、実行可能な命令、医療情報、医療情報の定量的解析に関するデータ、など）を格納するためのメモリ１０４と、通信機能のための通信モジュール１０６と、を備えてよい。端末１００は、ディスプレイデバイス、入力／出力インターフェース（Ｉ／Ｏインターフェース）、ユニバーサルシリアルバス（ＵＳＢ）ポート（バスポートの中の１つのポートとして備えられてよい）、ネットワークインターフェース、電源、および／または、カメラを備えてよい。図１の端末１００は、例示であり、上述の電子デバイスの構造に制約を課すものではない。例えば、端末１００は、図１に示すよりも多いまたは少ない構成要素を備えてもよいし、図１に示す構成とは異なる構成を有してもよい。
１または複数のプロセッサ１０２および／またはその他のデータ処理回路は、一般に、本明細書では「データ処理回路」と呼ばれうることに注意されたい。データ処理回路の全部または一部が、ソフトウェア、ハードウェア、ファームウェア、または、それらの任意の組みあわせとして実施されてよい。さらに、データ処理回路は、単一の独立した処理モジュールであってもよいし、端末１００と完全にまたは部分的に一体化された他の構成要素のいずれかであってもよい。本願の様々な実施形態のデータ処理回路は、或る種のプロセッサ制御（例えば、インターフェースに接続するための可変抵抗端末パスの選択）として用いられる。
メモリ１０４は、アプリケーションソフトウェアのソフトウェアプログラムおよびモジュールを格納するために用いられてよい（例えば、本願の様々な実施形態に従って医用画像を処理するための方法に対応するプログラム命令／データ格納手段）。メモリ１０４に格納されているソフトウェアプログラムおよびモジュールの実行に関連して、プロセッサ１０２は、様々な関数アプリケーションよびデータ処理を実行する（例えば、プロセッサは、本願の様々な実施形態に従って医用画像を処理するための方法を実行する）。メモリ１０４は、高速ランダムアクセスメモリを含みうる。メモリ１０４は、１または複数の磁気ストレージデバイス、フラッシュメモリ、または、その他の不揮発性ソリッドステートメモリなど、不揮発性メモリを含む。いくつかの実施形態において、メモリ１０４は、プロセッサ１０２に対してリモートに配置されたメモリを含む。かかるリモートメモリは、１または複数のネットワークを介して端末１００に接続されていてよい。上述のネットワークの例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、および、それらの組み合わせを含むが、これらに限定されない。
通信モジュール１０６は、情報（医用画像、医用画像に関する情報、など）を、ネットワーク（例えば、有線ネットワークおよび／または無線ネットワーク）を介して受信および／または送信するよう構成されていてよい。ネットワークの例は、無線ネットワーク（Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、セルラーネットワーク、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線ワイドエリアネットワーク（ＷＷＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、など）を含む。いくつかの実施形態において、通信モジュール１０６は、ネットワークインターフェースコントローラ（ＮＩＣ）を備えており、これは、基地局などを介して他のネットワークに接続することにより、インターネットと通信することができる。いくつかの実施形態において、通信モジュール１０６は、高周波（ＲＦ）モジュールを備えており、そのモジュールは、インターネットと無線通信するよう構成されている。
ディスプレイデバイスは、例えば、タッチスクリーン液晶ディスプレイ（ＬＣＤ）であってよい。液晶ディスプレイは、ユーザが、端末１００（例えば、モバイル端末）のユーザインターフェースと相互作用することを可能にしうる。いくつかの実施形態において、ディスプレイデバイスは、医用画像および／または医用画像の定量的解析に関する情報（例えば、対象領域など）が提供されるユーザインターフェースを表示するように制御される。ディスプレイデバイスは、端末１００に一体化されてもよいし、端末１００へ動作可能に接続されてもよい。
様々な実施形態によれば、端末１００は、ハードウェア構成要素（例えば、回路を含む）、ソフトウェア構成要素（例えば、コンピュータ読み取り可能な媒体に格納されているコンピュータコードを含む）、もしくは、ハードウェア構成要素およびソフトウェア構成要素の両方の組みあわせ、を備える。図１は、上述のコンピュータデバイス（またはモバイルデバイス）内に存在しうる構成要素のタイプを提示する目的で示した特定の具体的な実施形態の一例にすぎないことに注意されたい。
様々な実施形態が、医用画像を処理するための方法を提供している。いくつかの実施形態において、医用画像は、医用画像に定量的解析を実行することに関連して処理される。例えば、医用画像は、１または複数の対象領域（例えば、病変領域および／または臓器領域）を決定するために処理されてよい。対象領域に関する情報は、端末上のユーザインターフェースを介してユーザに提供されてよい。
図２は、本願の様々な実施形態に従って、医用画像を処理するための方法を示すフローチャートである。
様々な実施形態によると、処理２００が、図１の端末１００によって実行される。図５のインターフェース５００および／または図７のインターフェース７００が、処理２００に関連して実装されてよい。
工程２１０において、第１医用画像が取得される。いくつかの実施形態において、第１医用画像を取得する工程は、ユーザによるアップロードを通して第１医用画像を受信する工程を含む。第１医用画像は、診断装置（例えば、ｘ線装置、磁気共鳴イメージング装置、コンピュータ断層撮影スキャン、など）から取得されてよい。第１医用画像は、サーバ（例えば、医用画像のデータベースを格納しているサーバ）などのデータストレージから取得されてもよい。
いくつかの実施形態において、第１医用画像は、対象臓器の表現を含む。対象臓器が、コンピュータによって識別されてよく、および／または、対象臓器の示唆が、ユーザによって（例えば、端末上に提供されているユーザインターフェースを介して）提供されてよい。一例として、対象臓器は、患者（例えば、人間、動物、生物、など）の体内の人間の臓器である。対象臓器の例は、脳、心臓、肺、などを含む。
いくつかの実施形態において、第１医用画像は、医用イメージング技術で取得された対象臓器の画像に対応する。第１医用画像は、医用イメージング技術から直接的に、または、第１医用画像が格納されているストレージ（例えば、医用イメージング技術が第１医用画像を格納するストレージ）へアクセスすることで間接的に、取得されてよい。一例として、医用イメージング技術は、Ｘ線、ガンマ線、核磁気共鳴、または、超音波であってよいが、それらに限定されない。様々な医用イメージング技術が、異なる対象臓器に対応する医用画像をキャプチャするために用いられてよい。本願は、この点で具体的な制約を課さない。本願の実施形態は、肺である対象臓器の例と、ＣＴ（コンピュータ断層撮影）画像である第１医用画像とを用いて説明されている。
工程２２０において、第１医用画像が処理される。様々な実施形態によると、第１医用画像の処理は、第１機械学習モデルを用いて第１医用画像を処理する工程を含む。第１機械学習モデルは、第１医用画像に関する分類結果を生成することに関連して第１医用画像を処理してよい。
工程２３０において、分類結果が取得される。いくつかの実施形態において、分類結果は、処理された第１画像に少なくとも部分的に基づいて取得される。いくつかの実施形態において、分類結果は、第１機械学習モデルの出力である。分類結果は、データストレージ（第１医用画像が格納されているデータストレージなど）に格納されてよい。例えば、分類結果は、ネットワークストレージに（例えば、データベースに）格納されてよい。
工程２４０において、対象領域の第１画像が取得される。いくつかの実施形態において、対象領域の第１画像は、処理された第１画像に少なくとも部分的に基づいて取得される。いくつかの実施形態において、対象領域の第１画像は、第１機械学習モデルの出力である。対象領域の第１画像は、データストレージ（第１医用画像が格納されているデータストレージなど）に格納されてよい。例えば、対象領域の第１画像は、ネットワークストレージに（例えば、データベースに）格納されてよい。
様々な実施形態によると、第１機械学習モデルは、分類結果および第１画像を取得するために、第１医用画像を取得し、第１医用画像をエンコーダネットワークへ入力し、対象領域に関する特徴情報を取得し、対象領域に関する特徴情報を分類ネットワークおよびデコーダネットワークへ別々に入力するよう構成されている。
様々な実施形態に従って、第１機械学習モデルは、第１医用画像を処理して、第１医用画像の分類結果と第１医用画像内の対象領域の第１画像とを取得するために用いられる。第１機械学習モデルは、分類結果および第１画像を取得するために、第１医用画像を取得し、第１医用画像をエンコーダネットワークへ入力し、対象領域に関する特徴情報を取得し、対象領域に関する特徴情報を分類ネットワークおよびデコーダネットワークへ別々に入力することを含む（例えば、分類結果は、分類ネットワークから取得され、対象領域の第１画像は、デコーダネットワークから取得される）。いくつかの実施形態において、エンコーダネットワークは、畳み込みニューラルネットワークを含む。
様々な実施形態によると、第１機械学習モデルは、トレーニング済みモデルまたは強化学習モデルである。本願の実施形態において、トレーニング済みモデルの例は、説明のために用いられている。第１機械学習モデルは、「エンコーダ・デコーダ」構造を用いてよく、エンコーダネットワークの後に、デコーダネットワークと並列の分類ネットワークへ接続してよい。例えば、ネットワークモデルは、「エンコーダ・デコーダ」構造を用いてよく、エンコーダネットワークからの出力は、分類ネットワークおよびデコーダネットワークが並列で動作するように、分類ネットワークおよびデコーダネットワークの両方への入力に対応してよい。別の例として、エンコーダネットワークからの出力は、分類ネットワークおよびデコーダネットワークが並列で動作するように、分類ネットワークおよびデコーダネットワークの両方への入力へ動作可能に接続されてもよい（例えば、エンコーダからの出力は、分類ネットワークおよび／またはデコーダネットワークへ入力される前に、別の処理モジュールに入力されてよい）。いくつかの実施形態において、エンコーダネットワークおよびデコーダネットワークの一方または両方が、三次元畳み込み層を用いる。一例として、エンコーダネットワークおよびデコーダネットワークの両方が、三次元畳み込み層を用いる。例えば、第１機械学習モデルは、三次元ネットワークモデルであってよい。いくつかの実施形態において、エンコーダネットワークは、ｒｅｓｎｅｘｔ５０ネットワークアーキテクチャを用いる。デコーダネットワークは、ＡＳＰＰ構造およびアップサンプリング層を備えてよく、分類ネットワークは、一連の畳み込み層およびグローバルプーリング層を備えてよい。ただし、エンコーダネットワーク、デコーダネットワーク、および、分類ネットワークは、上述のものには限定されない。
様々な実施形態によると、分類結果（例えば、第１医用画像の処理から取得された結果）は、１セットの１または複数の分類を含む。１または複数の分類のセットは、ユーザ（例えば、医用画像をアップロードするユーザ）、管理者、などによって構成されてよい。いくつかの実施形態において、１または複数の分類のセットは、医用画像のタイプ、対象臓器のタイプ、または、（ユーザインターフェースへの入力を通してユーザによって選択されてよい）所望の解析／診断のタイプに対する１セットの１または複数の分類のマッピングに少なくとも部分的に基づいて予め設定される。いくつかの実施形態において、分類結果は、対象臓器に対して予め設定された分類結果を含んでよい（例えば、対象臓器に対する分類結果のマッピングが予め格納されている）。一例として、肺の医用画像の場合に、分類結果は、罹患肺画像、正常肺画像、などを含みうるが、これらに限定されない。分類結果（例えば、特定の対象臓器に関連付けられている１または複数の分類のセット）は、実際のニーズ、好み、などに従いうる。
様々な実施形態によると、対象領域は、対象臓器の病変の可能性がある（対応する臓器の）領域に対応する。いくつかの実施形態において、対象領域は、対象臓器から抽出される特定領域に対応する。対象領域は、医用画像の処理のパラメータを決定（例えば、定義）することに関連してユーザによって設定されうる。
様々な実施形態によると、共同マルチタスク分類／セグメンテーションネットワークモデルが、予め構築（例えば、定義）される。例えば、かかるモデルは、第１医用画像の処理または取得に先立って構築されてよい。モデルは、複数の医用画像の処理に関連して更新されてよい（例えば、モデルによって処理される各医用画像として、モデルは、絶えず改善／更新されてよい）。ネットワークモデルは、「エンコーダ・デコーダ」構造を用いてよく、エンコーダネットワークからの出力は、分類ネットワークおよびデコーダネットワークが並列で動作するように、分類ネットワークおよびデコーダネットワークの両方への入力に対応してよい。いくつかの実施形態において、第１医用画像が取得されたことに応じて、第１医用画像は、第１機械学習モデル（例えば、共同マルチタスク分類／セグメンテーションネットワーク）に入力される。適切な分類結果が、分類ネットワークブランチを通して出力されてよく、対象領域の画像（例えば、対象領域の第１画像）が、デコーダネットワークブランチを通して出力されてよい。
様々な実施形態によると、第１医用画像を取得したことに応じて、第１機械学習モデルは、第１医用画像を処理して分類結果と対象領域の第１画像とを取得するために用いられ、それにより画像分類および領域セグメンテーションの目標が達成される。分類結果および第１画像は、同時に（例えば、同時期に）取得されてよい。いくつかの実施形態において、分類ネットワークおよびセグメンテーションネットワークを組み合わせることにより、分類ネットワークが分類処理時に対象領域に重点を置くことが可能になる。分類ネットワークおよびセグメンテーションネットワークの組みあわせを利用することは、処理の精度および効率を改善するため、関連技術における医用画像処理の低精度の技術的課題を解決する。
様々な実施形態によると、第１機械学習モデルは、第１医用画像を処理する前にトレーニングされる。第１機械学習モデルは、第１医用画像が処理されたことに応じて、更新されてよい。いくつかの実施形態において、処理２００は、さらに、複数のトレーニングサンプル（または複数のタイプのトレーニングサンプル）を取得する工程と、複数のトレーニングサンプルに少なくとも部分的に基づいて第１機械学習モデルをトレーニングする工程と、を備える。例えば、処理２００は、複数の第１トレーニングサンプルおよび複数の第２トレーニングサンプルを取得する工程を備えてよい。各第１トレーニングサンプルは、対象臓器を含む医用画像と、医用画像の分類ラベルと、医用画像内の対象領域のラベル情報とを含んでよく、各第２トレーニングサンプルは、対象臓器を含む医用画像と、医用画像の分類ラベルとを含んでよい。処理２００は、さらに、第１機械学習モデルをトレーニングする工程を備える。第１機械学習モデルのトレーニングは、所定のモデルをトレーニングして第１機械学習モデル（または更新された第１機械学習モデル）を取得するために、複数の第１トレーニングサンプルおよび複数の第２トレーニングサンプルの利用を交互に行う工程を備える。様々な実施形態によると、第１トレーニングサンプルは、１または複数の分類ラベルを含み、第２トレーニングサンプルは、１または複数の分類ラベルと、複数の対象領域ラベルとを含む。
第１トレーニングデータ（例えば、第１トレーニングサンプル）および第２トレーニングデータ（例えば、第２トレーニングサンプル）内の医用画像は、トレーニング結果を強化するために様々なチャネル（病院および画像保管通信システム（ＰＡＣＳ）企業など）を通して収集された匿名データであってよい。各医用画像は、異なる病状に従って分類ラベルを手動で割り当てられてよく、対象領域も同様にラベル付けされてよい。
ピクセルレベル対象領域のラベル付けは比較的困難であるので、対象領域マーキングを含むトレーニングサンプルの数は、比較的限定される。様々な実施形態によると、モデルトレーニングを実施して処理精度を改善することに関連して、トレーニングデータは、２つのタイプのデータに分割されてよい。一方のタイプのデータは、分類ラベルのみを含むデータ（例えば、上述の第１トレーニングデータまたは第１トレーニングサンプル）に対応し、他方のタイプのデータは、分類ラベルおよび対象領域ラベルを含むデータ（例えば、上述の第２トレーニングデータまたは第２トレーニングサンプル）に対応する。いくつかの実施形態において、モデル（例えば、第１機械学習モデル）は、反復処理に従ってトレーニングされる。
様々な実施形態によると、異なる損失関数が、分類ネットワークおよびデコーダネットワークのトレーニングを実行するために用いられる。例えば、モデルのトレーニングは、分類ネットワークおよびデコーダネットワークを処理することに関連して、異なる損失関数を交互に／順に用いる工程を含んでよい。反復トレーニングアプローチでは、すべてのラベル付けされたデータが用いられてよく、画像分類および領域セグメンテーションが、より意味のある特徴の抽出を相互に促進することで、分類精度およびセグメンテーション精度を向上させうる。さらに、（モデルのトレーニングの）反復処理および／または交互トレーニング処理は、分類ネットワークに対象領域へ重点を置かせ、分類結果の説明値を改善しうる。
図３は、本願の様々な実施形態に従って、医用画像を処理するための方法を示すフローチャートである。
様々な実施形態によると、処理３００が、図１の端末１００によって実行される。図５のインターフェース５００および／または図７のインターフェース７００が、処理３００に関連して実装されてよい。
処理３００は、一例として、肺のＣＴ画像の文脈で説明されている。図３に示すように、患者のＣＴ画像を取得したことに応じて、対応する医用画像が、対象領域セグメンテーションモジュールに入力される。セグメンテーションモジュールは、エンコーダネットワークと、分類ネットワークと、デコーダネットワークと、を備えてよい。分類ネットワークおよびデコーダネットワークは、並列でエンコーダネットワークと接続されてよい（例えば、エンコーダネットワークの出力に接続されてよい）。いくつかの実施形態において、エンコーダネットワークは、医用画像を抽出して処理する。例えば、エンコーダネットワークは、対象領域特徴を抽出し、対象領域特徴は、分類ネットワークおよび／またはデコーダネットワークに入力される。対象領域特徴を受信したことに応じて、分類ネットワークは、対象領域特徴を処理し、画像分類結果を取得する。分類ネットワークによる処理と並行して（例えば、同時に）、デコーダネットワークは、対象領域特徴を処理し、対象領域の画像（例えば、対象領域の第１画像）を抽出する。対象領域の画像は、格納され、および／または、ユーザインターフェースを介してユーザに提供されてよい。例えば、医師または医療従事者が、分類ネットワークおよび／またはデコーダネットワークからの出力に関する情報を見ることができ、患者の病状を速やかに判断することができ、それにより、医師または医療従事者は、病状が深刻またはさらには重篤になることを防ぐために早期の介入および治療を実行することが可能になり、ひいては、死亡率を下げることができる。
様々な実施形態によると、第１医用画像内の対象領域の第１画像を取得した後、方法は、さらに、第２機械学習モデルを用いて、第１医用画像を処理して対象臓器の第２画像を取得する工程を備える。第２機械学習モデルは、第１医用画像を取得し、第１医用画像を対象臓器セグメンテーションモジュールに入力し、対象臓器の画像を取得することを含む。いくつかの実施形態において、対象臓器セグメンテーションモジュールは、第２画像を取得して、第１医用画像および第２画像に少なくとも部分的に基づいて、対象臓器における対象領域の第１割合を取得するために、第１医用画像をエンコーダネットワークに入力し、対象臓器に関する特徴情報を取得し、対象臓器に関する特徴情報をデコーダネットワークに入力することを含め、第１医用画像を処理する。
いくつかの実施形態において、定量的解析が、対象領域に対して実行される。定量的解析の結果は、医師または医療従事者に提供されてよい。例えば、結果は、（例えば、ディスプレイモジュールに表示された）ユーザインターフェースを介して提供されてよい。いくつかの実施形態において、定量的解析は、対応する治療計画を採用することに対応する推奨を含みまたは提供される。上述の第１割合は、対象臓器の割合としての対象領域のサイズ（例えば、対象臓器のサイズに対する対象領域のサイズの比）であってよい。様々なその他の割合が、（例えば、１または複数のその他の特徴（長さ、体積、質量、色、など）を用いて）対象臓器に対する対象領域に基づいて決定されてもよい。
関連技術に従ったスキームのセグメンテーション精度が低いことは、対象領域および対象臓器領域の不正確なセグメンテーションにつながる。現在のセグメンテーション技術では、比較的正確なセグメンテーション結果は取得できない。上述の課題を解決するために、様々な実施形態が、第１機械学習モデルおよび第２機械学習モデルを実装する。第１機械学習モデルと同様に、第２機械学習モデルは、トレーニング済みモデルまたは強化学習モデルであってよい。例示のために、トレーニング済みモデルの例が本明細書に記載されている。トレーニング済みモデルおよび／または強化学習モデルは、「エンコーダ・デコーダ」構造を用いてよい。「エンコーダ・デコーダ」構造は、一般的なネットワーク（ＵＮｅｔ、ＰＳＰＮｅｔ、または、ＤｅｅｐＬａｂＶ３＋など）を変形することによって得られてよい。いくつかの実施形態において、第２機械学習モデル内のエンコーダネットワークおよびデコーダネットワークは、三次元畳み込み層を利用する。したがって、第１機械学習モデルおよび第２機械学習モデルは、三次元ネットワークになってよい。
様々な実施形態によると、同じ医用画像が、２つのモデル（例えば、第１機械学習モデルおよび第２機械学習モデル）に入力されるので、対象領域および臓器領域の抽出に関する類似性が実現される。したがって、第２機械学習モデル内のエンコーダネットワークおよび第１機械学習モデル内のエンコーダネットワークは、重み付けパラメータを共有し、したがって、ネットワークトレーニングの加速を達成しうる。例えば、第１機械学習モデルおよび第２機械学習モデルをまとめてトレーニングするのに用いられる処理リソースおよび／または処理時間は少ない。
様々な実施形態によると、共同マルチタスク分類／セグメンテーションネットワークを備えた第１機械学習モデルおよびセグメンテーションネットワークを備えた第２機械学習モデルが、医用画像の取得前に構築（例えば、決定／トレーニング、など）されてよい。２つのモデルは、「エンコーダ・デコーダ」構造を用いてよい。２つのモデルは、第１機械学習モデルエンコーダネットワークの後の分類ネットワークへの並列接続を有してよい（例えば、第１機械学習モデルのエンコーダネットワークは、第１モデルの分類ネットワークおよび第２機械学習モデルの分類ネットワークに入力される入力を有してよい）。様々な実施形態によると、第１医用画像を取得したことに応じて、第１医用画像は、第１機械学習モデルおよび第２機械学習モデルに入力される。対象領域は、第１機械学習モデルのデコーダネットワークによって抽出されてよく、対象臓器領域は、第２機械学習モデルのデコーダネットワークによって抽出されてよい。対象領域定量化の結果が、２つの領域の間の所定の特徴の比（対象領域と対象臓器領との間のサイズの比など）を計算することによってさらに取得されてもよい。
引き続き肺のＣＴ画像を例として、以下では、図３における本願の様々な実施形態の詳細な説明を提供する。図３に示すように、患者のＣＴ画像の各取得に続いて、画像は、対象領域セグメンテーションモジュールおよび対象臓器セグメンテーションモジュールに入力されてよい。対象領域セグメンテーションモジュールおよび対象臓器セグメンテーションモジュールは、（例えば、並列で）画像を別々に処理し、対応する患者の肺の病変領域および肺領域を別々に抽出する。システムは、肺内の病変領域のサイズの定量的結果を取得することに関連して、病変領域と肺領域との間のサイズ比を計算してよい。定量的結果は、医師または医療従事者が、患者の病状を迅速かつ正確に決定し、病状に基づいて適切な治療を提供するのを支援しうる。
いくつかの実施形態において、方法は、さらに、対象臓器を含む第２医用画像を取得する工程と、第１機械学習モデルを用いて、第２医用画像を処理して、第２医用画像内の対象領域の第３画像を取得する工程と、第２機械学習モデルを用いて、第２医用画像を処理して、対象臓器の第４画像を取得する工程と、第３画像および第４画像に少なくとも部分的に基づいて対象臓器における対象領域の第２割合を取得する工程と、を備える。
治療プロセス中、患者は、特許の病状がどのように変化したのかを判断するために、定期的な経過観察を求めうる。しかしながら、現在の患者経過観察解析は、完全に医師または医療従事者による観察を通して行われる。医師は、異なる期間からの医用画像を個々に見てその中の病変領域を見出し、病変領域の変化を分析する必要がある。医師は、しばしば、医用画像の観察に１０～１５分間を必要とし、同時に複数の医用画像を観察する場合には、さらに多くの時間を費やす。その結果、比較的効率が低く、比較的精度が低くなる。
様々な実施形態は、上述の課題を解決し、（例えば、患者の第２医用画像を読み取り／取得し、第１医用画像の処理に関連して用いられたのと同じ方法を用いて第２画像を処理するように）同じ方法を用いて患者に対応する医用画像を処理することに少なくとも部分的に基づいて、医師による治療効果の評価を容易にする。第２医用画像は、第２医用画像における対象領域および対象臓器領域を取得するために、第１機械学習モデルおよび第２機械学習モデルを用いて別々に処理されてよい。対象領域の第２割合は、２つの領域の間のサイズの比を計算することに少なくとも部分的に基づいて決定されてよい。したがって、医師は、対象領域の定量的結果を迅速に決定できる。これは、医師による大量の画像読み取り時間を節約し、労働コストを削減し、効率を高める。いくつかの実施形態において、第１医用画像および第２画像を対比する比較値が計算されおよび／またはユーザ（例えば、医師または医療従事者）に提供される。比較値の計算および／または提示は、第１医用画像と第２医用画像との間のより効率的な分析または比較をユーザに提供し、人的エラーの可能性を低減する。いくつかの実施形態において、患者の１セットの医用画像での傾向に関する定性的および／または定量的情報が、決定されおよび／またはユーザに提供される。したがって、ユーザは、患者の病状、現在の治療の効果、および／または、経時的にどのように病状が変化したか、を迅速に評価できる。
いくつかの実施形態において、処理時間をさらに節約するために、医用画像および対象領域割合は、医用画像の各処理後に格納され、したがって、第２割合および第２医用画像を取得することが可能になる。医用画像、対象領域、対象臓器領域、および／または、対象領域割合は、（例えば、患者に対応するカルテまたは電子カルテを介してアクセス可能な方法で）患者に関連付けられて格納されてよい。
いくつかの実施形態において、医用画像を処理するための方法は、対象臓器を含む第２医用画像を取得した後に、第３機械学習モデルを用いて、第１医用画像および第２医用画像を処理して、第１医用画像と第２医用画像との間の変形関係を取得する工程を備える。第３機械学習モデルは、第１医用画像および第２医用画像を取得し、第１医用画像および第２医用画像を複数の剛性ネットワーク（例えば、２つの剛性ネットワーク）に入力することを含んでよい。剛性ネットワークは、第１医用画像の第１剛体パラメータおよび第２医用画像の第２剛体パラメータを取得することを含め、第１医用画像および第２医用画像を処理してよい。第１剛体パラメータおよび第２剛体パラメータを取得したことに応じて、第１剛体パラメータおよび第２剛体パラメータは、変形関係（例えば、第２医用画像と第１医用画像との間および／または第２剛体パラメータと第１剛体パラメータとの間の変化に関する１または複数の値）を取得することに関連して、アフィン格子ネットワークに入力されてよい。いくつかの実施形態において、医用画像の処理は、第２医用画像に対応する登録画像を取得するために、変形関係に少なくとも部分的に基づいて第２医用画像を処理する工程を含む。第１機械学習モデルおよび第２機械学習モデルは、登録画像を処理して、（例えば、第１機械学習モデルによって取得される）第３画像および（例えば、第２機械学習モデルによって取得される）第４画像を取得するために別々に用いられてよい。
同じ患者に対して異なる時点に取得された医用画像は、しばしば異なっている。結果として、セグメンテーションによって取得される対象領域が異なる。したがって、医師は、異なる時点の対象領域を視覚的に分析することよって、患者の病状がどのように変化したのかを判断することができない。
上述の課題を解決するために、様々な実施形態は、登録ネットワーク（例えば、上述の第３機械学習モデル）を含む。異なる時期の医用画像が、このネットワークに入力されてよく、異なる時期の医用画像は、医用画像の剛体パラメータを決定するために、同じ構造を有する剛性ネットワークによって処理されてよい。剛体パラメータは、１セットの医用画像の間の変形関係を取得するために、アフィン格子ネットワークを用いて処理されてよい。例えば、アフィン格子ネットワークの利用に少なくとも部分的に基づいた剛体パラメータの処理は、医用画像の間の変形場（例えば、医用画像の間の変形関係）を決定する工程を含む。
いくつかの実施形態において、第１医用画像を取得した後に、（例えば、患者の）第２医用画像が取得される。第２医用画像は、第１医用画像と同じ患者の同じ臓器に対応してよい。第１医用画像および第２医用画像は、異なる時点にキャプチャされてよい（例えば、第１医用画像は、患者が治療を始める前にキャプチャされてよく、第２医用画像は、治療が開始された後にキャプチャされてよい）。第３機械学習モデルが、第１医用画像および第２医用画像を処理して２つの医用画像の間の変形関係を取得するために用いられてよい。第１医用画像と第２医用画像との間の変形関係に関する情報は、第１医用画像と第２医用画像との間の変化または差異の程度および／またはタイプの示唆を含んでよい。様々な実施形態によると、第１医用画像と第２医用画像との間の変形関係を決定したことに応じて、第２医用画像は、登録画像を取得するために、変形関係に少なくとも部分的に基づいて処理される。
引き続き肺のＣＴ画像を例として、以下では、図３における本願の様々な実施形態の詳細な説明を提供する。図３に示すように、患者のＣＴ画像の各取得後に、患者の別のＣＴ画像が取得されてよく、２つのＣＴ画像は、剛体登録ネットワークに入力されてよい。（例えば、２つのＣＴ画像が入力される）剛体登録ネットワークのためのモジュールが、２つのＣＴ画像の間の変形関係を取得するために、２つのＣＴ画像を処理する。第２医用画像（例えば、第２ＣＴ画像）は、変形関係に少なくとも部分的に基づいて処理されてよい。第２医用画像に対応する登録ネットワークが、変形関係を用いた第２医用画像の処理に少なくとも部分的に基づいて取得されてよい。変形関係および登録ネットワークの決定は、医師がＣＴ画像における病変領域を見ることで、対応する患者の病状がどのように変化したのかを判断する際の簡便性および精度を高める。
図４は、本願の様々な実施形態に従って、医用画像を処理するための方法を示すフローチャートである。
工程４１０において、第１医用画像が取得される。いくつかの実施形態において、第１医用画像を取得する工程は、ユーザによるアップロードを通して第１医用画像を受信する工程を含む。第１医用画像は、端末上でユーザに提供されているユーザインターフェースを介してユーザによってアップロードされてよい。第１医用画像は、診断装置（例えば、ｘ線装置、磁気共鳴イメージング装置、コンピュータ断層撮影スキャン、など）から取得されてよい。第１医用画像は、サーバ（例えば、医用画像のデータベースを格納しているサーバ）などのデータストレージから取得されてもよい。
様々な実施形態に従って、ユーザは、患者、医師、または、患者へ医療サービス（例えば、診断サービス、治療サービス、など）を提供することに関連して医用画像を見るその他の医療従事者である。いくつかの実施形態において、ユーザは、様々な他の役割を有する個人であってもよい。
いくつかの実施形態において、第１医用画像は、対象臓器の表現を含む。対象臓器が、コンピュータによって識別されてよく、および／または、対象臓器の示唆が、ユーザによって（例えば、端末上に提供されているユーザインターフェースを介して）提供されてよい。一例として、対象臓器は、患者（例えば、人間、動物、生物、など）の体内の臓器である。対象臓器の例は、脳、心臓、肺、などを含む。
いくつかの実施形態において、第１医用画像は、医用イメージング技術で取得された対象臓器の画像に対応する。第１医用画像は、医用イメージング技術から直接的に、または、第１医用画像が格納されているストレージ（例えば、医用イメージング技術が第１医用画像を格納するストレージ）へアクセスすることで間接的に、取得されてよい。一例として、医用イメージング技術は、Ｘ線、ガンマ線、核磁気共鳴、または、超音波であってよいが、それらに限定されない。様々な医用イメージング技術が、異なる対象臓器に対応する医用画像をキャプチャするために用いられてよい。本願は、この点で具体的な制約を課さない。
工程４２０において、第１医用画像が処理される。様々な実施形態によると、第１医用画像の処理は、第１機械学習モデルを用いて第１医用画像を処理する工程を含む。第１機械学習モデルは、第１医用画像に関する分類結果を生成することおよび／または対象領域の第１画像を生成（例えば、取得）することに関連して、第１医用画像を処理してよい。
工程４３０において、分類結果および／または対象領域の第１画像が取得される。いくつかの実施形態において、分類結果および／または対象領域の第１画像は、処理された第１画像に少なくとも部分的に基づいて取得される。対象領域の第１画像は、第１医用画像内の特定領域（例えば、対象領域）に対応していてよい。いくつかの実施形態において、分類結果および／または対象領域の第１画像は、第１機械学習モデルの出力に対応する。分類結果および／または対象領域の第１画像は、データストレージ（第１医用画像が格納されているデータストレージなど）に格納されてよい。例えば、分類結果は、ネットワークストレージに（例えば、データベースに）格納されてよい。
様々な実施形態によると、第１機械学習モデルは、分類結果および第１画像を取得するために、第１医用画像を取得し、第１医用画像をエンコーダネットワークへ入力し、対象領域に関する特徴情報を取得し、対象領域に関する特徴情報を分類ネットワークおよびデコーダネットワークへ別々に入力するよう構成されている。
いくつかの実施形態において、分類結果および／または対象領域の第１画像は、図２の処理２００の工程２３０および２４０に関連して上述したように取得される。例えば、処理４００の工程４２０は、処理２００の工程２２０に対応してよい。
工程４４０において、分類結果および／または対象領域の第１画像が提供される。いくつかの実施形態において、分類結果および／または対象領域の第１画像は、（例えば、端末（端末１００など）上のディスプレイに表示されている）ユーザインターフェースを介してユーザに提供される。分類結果および／または第１画像は、ユーザの電子カルテに関するアプリケーションのユーザインターフェースに表示されてよい。いくつかの実施形態において、分類結果および／または第１画像を提供する工程は、対応するファイルを電子メールまたはその他の電子メッセージにコピーする工程と、かかるメールをユーザ（例えば、患者、臨床医、医師、など）に送信する工程と、を含む。
様々な実施形態によると、第１機械学習モデルは、トレーニング済みモデルまたは強化学習モデルである。本願の実施形態において、トレーニング済みモデルの例は、説明のために用いられている。第１機械学習モデルは、「エンコーダ・デコーダ」構造を用いてよく、その構造に従って、エンコーダネットワークからの出力は、分類ネットワークおよびデコーダネットワークが並列で動作するように、分類ネットワークおよびデコーダネットワークの両方への入力に対応してよい。いくつかの実施形態において、エンコーダネットワークおよびデコーダネットワークの一方または両方が、三次元畳み込み層を用いる。一例として、エンコーダネットワークおよびデコーダネットワークの両方が、三次元畳み込み層を用いる。例えば、第１機械学習モデルは、三次元ネットワークモデルであってよい。いくつかの実施形態において、エンコーダネットワークは、ｒｅｓｎｅｘｔ５０ネットワークアーキテクチャを用いる。デコーダネットワークは、ＡＳＰＰ構造およびアップサンプリング層を備えてよく、分類ネットワークは、一連の畳み込み層およびグローバルプーリング層を備えてよい。ただし、エンコーダネットワーク、デコーダネットワーク、および、分類ネットワークは、上述のものには限定されない。
様々な実施形態によると、インターフェースが、ユーザに提供される。インターフェースは、端末（例えば、端末１００などの端末のディスプレイデバイス、または、端末へ動作可能に接続されているディスプレイデバイス）を介してユーザに表示されるグラフィカルユーザインターフェースであってよい。グラフィカルユーザインターフェースは、医療サービス、電子カルテ、などを提供することに関するアプリケーションのためのインターフェースであってよい。
図５は、本願の様々な実施形態に従って、医用画像を処理することに関連して用いられるインターフェースを示す図である。
様々な実施形態によると、インターフェース５００は、図１の端末１００によって実装される。インターフェース５００は、図２の処理２００、図３の処理３００、図４の処理４００、および／または、図６の処理６００に関連して実装されてよい。インターフェース５００は、図４の処理４００の工程４４０によって呼び出され、または、その工程に関連して用いられてよい。
図５に示すように、インターフェース５００は、医用画像が入力（または選択）されてよいエリア５２０および／または結果表示エリア５５０を備えてよい。インターフェース５００は、選択された時に、実行されるべき１または複数の機能またはプロセスを呼び出す選択可能な要素５３０および／または要素５４０を備えてよい。要素５３０は、（例えば、医用画像の処理を呼び出すために）定量的処理に対応していてよい。要素５４０は、（例えば、２つの医用画像の間の比較を呼び出すために）画像比較に対応していてよい。
いくつかの実施形態において、医用画像は、エリア５２０とのユーザ相互作用（例えば、エリア５２０に対するユーザ入力）を通して取得される。一例として、インターフェース５００は、１または複数の選択可能な要素を備えてよく、要素に関して、ユーザは、医用画像、または、医用画像に対して実行される機能を選択してよい。いくつかの実施形態において、インターフェース５００は、ユーザ入力を介した選択に応じて、ユーザが医用画像をアップロードするのを容易にするよう構成されている要素５１０を備える。一例として、要素５１０の選択に応じて、ユーザが所望の医用画像を選択するためにファイルシステムを閲覧することを可能にする別のインターフェースまたはウィンドウ（例えば、フローティング要素）が表示されてよい。別の例として、要素５１０の選択に応じて、ユーザが所望の医用画像を選択する元となる１セットの複数の画像の利用を提供する別のインターフェースまたはウィンドウ（例えば、フローティング要素）が表示されてもよい。様々な実施形態によると、医用画像をアップロードする目的を達成するために、ユーザは、「医用画像をアップロード」（例えば、要素５１０）をクリックすることによって、アップロードの必要のある医用画像を選択してよく、または、ユーザは、破線で囲んだボックス（エリア５２０）内に医用画像ファイルを直接的にドラッグしてもよい。
様々な実施形態によると、分類結果および／または対象領域画像は、結果表示エリア５５０に表示される。一例として、結果表示エリア５５０は、ユーザが見る時に便利なように、右側に表示されてよい。インターフェース５００は、ユーザ（例えば、医師または医療従事者）が、医用画像（例えば、対象臓器または対象領域など、医用画像の一部）および／または医用画像の定量的解析に関する情報へ便利にアクセスして閲覧するのを支援するために、患者に関する情報および結果表示エリア５５０を表示してよい。
説明のために、医師であるユーザの例を挙げる。患者の医用画像を取得した後、医師は、医用画像をアップロードし、表示エリアに表示された分類結果および対象領域を閲覧しうる。したがって、医師は、分類結果および対象領域に基づいて、患者の病状を判断し、治療の提案を提供することができる。
一例として、ユーザが患者である場合、ユーザが患者の医用画像を取得した後、患者は、医用画像を（例えば、図５のインターフェース５００のエリア５２０に）アップロードし、表示領域（例えば、インターフェース５００のエリア５５０）に表示された分類結果および対象領域を閲覧してよい。したがって、患者は、患者自身の病状の或る程度の理解を得ることができ、それに基づいて、すみやかに治療のために病院に行くことができる。インターフェース５００は、患者が、診断検査（例えば、ＣＴスキャン）の結果を見て、診断検査の結果内の異常（または異常のないこと）に関する或る程度の情報を得られるようにする。同様に、医療従事者（例えば、医師）は、インターフェース５００を用いて、定量的解析の結果（例えば、分類結果、対象領域の画像、および／または、１セットの医用画像での変形関係に関する情報、など）をすみやかに見ることができる。
様々な実施形態によると、第１機械学習モデルは、複数の第１トレーニングサンプルおよび複数の第２トレーニングサンプルの利用を交互に行って所定のモデルをトレーニングすることによって取得（例えば、設定および／または更新）される。各第１トレーニングサンプルは、対象臓器を含む医用画像と、医用画像の分類ラベルと、医用画像内の対象領域のラベル情報とを含んでよく、各第２トレーニングサンプルは、対象臓器を含む医用画像と、医用画像の分類ラベルとを含んでよい。処理２００は、さらに、第１機械学習モデルをトレーニングする工程を備える。第１機械学習モデルをトレーニングする工程は、所定のモデルをトレーニングして第１機械学習モデル（または更新された第１機械学習モデル）を取得するために、複数の第１トレーニングサンプルおよび複数の第２トレーニングサンプルの利用を交互に行う工程を備える。様々な実施形態によると、第１トレーニングサンプルは、１または複数の分類ラベルを含み、第２トレーニングサンプルは、１または複数の分類ラベルと、複数の対象領域ラベルとを含む。
いくつかの実施形態において、ユーザによって（例えば、図５のインターフェース５００に）入力された第１要求を受信したことに応えて、第１医用画像と、対象臓器における対象領域の第１割合が提供される。第１医用画像、および／または、対象領域の第１割合は、インターフェース５００のエリア５５０内など、インターフェース内に提供されてよい。第１割合は、対象臓器の第１画像および第２画像に少なくとも部分的に基づいて取得されてよい。第２画像は、第２機械学習モデルを用いて第１医用画像を処理することに少なくとも部分的に基づいて取得されてよい。
様々な実施形態によると、医用画像（または、経時的な同じ臓器の一連の医用画像など、１セットの医用画像）の解析が、ユーザ要求に応じて実行されてよい。一例として、ユーザは、医用画像の解析を実行するためのユーザ要求をインターフェース５００に入力してよい。図５に示すように、インターフェース５００は、実行される解析を選択するために（例えば、選択された医用画像の解析を実行するためにどの機能が呼び出されるのかに応じて）ユーザ入力が入力されうる要素５３０および／または５４０を備えてよい。上述の第１要求（例えば、それに応じて、第１医用画像、および、対象臓器の中の対象領域の第１割合が提供される）は、医用画像の少なくとも一部の解析の結果（例えば、対象領域の定量的結果）を見たいユーザによって入力される処理要求であってよい。例えば、図５に示すように、インターフェース５００は、「定量的処理」とラベル付け（または他の方法でそれに対応付け）されてよい選択可能な要素５３０を備える。ユーザは、要素５３０をクリックまたは他の方法で選択することに少なくとも部分的に基づいて、「定量的処理」を呼び出すことができる。対象領域の第１割合は、インターフェース５００上の結果表示エリア（例えば、エリア５５０）に表示されてよい。いくつかの実施形態において、ユーザが「定量的処理」を呼び出したことに応じて、対象領域の第１割合がエリア５５０に提供される。特定の医用画像に関する定量的解析の結果が、（例えば、要素５３０の選択に先立って）予め格納されていてよく、要素５３０の選択は、定量的解析の結果が予め格納されているストレージなどから、対象領域の第１割合（または定量的解析の結果に関するその他の情報）の取得を引き起こしてよい。第１割合は、臓器全体の割合としての対象領域のサイズに対応してよい。別の例として、第１割合は、臓器（例えば、臓器全体）に関する特徴値に対する対象領域に関する特徴値の比であってもよい。
第２機械学習モデルは、「エンコーダ・デコーダ」構造を用いてよい。いくつかの実施形態において、「エンコーダ・デコーダ」構造は、ＵＮｅｔ、ＰＳＰＮｅｔ、または、ＤｅｅｐＬａｂＶ３＋などのネットワークを変形することに少なくとも部分的に基づいて得られる。第２機械学習モデル内のエンコーダネットワークおよびデコーダネットワークは、第１機械学習モデルおよび第２機械学習モデルが三次元ネットワークになるように、三次元畳み込み層を用いてよい。
いくつかの実施形態において、医用画像を処理するための方法は、（例えば、画像を処理するための）第２要求を取得する工程を備える。第２要求は、ユーザによってインターフェース５００に入力されてよい。第２要求を受信したことに応じて、第２医用画像が取得される。例えば、第２医用画像は、医用画像のデータベースから取得されてよく、インターフェース５００を介して（例えば、選択、または、インターフェース５００のエリア５２０にドラッグアンドドロップすることで）ユーザによってアップロードされてよく、もしくは、別の方法でユーザによって選択されてよい。第２医用画像は、対象臓器を含む。例えば、第２医用画像は、第１医用画像に含まれているのと同じ臓器の画像を含んでよい。第２医用画像は解析されてよく、（例えば、対象臓器における）対象領域の第２割合が決定されてよい。第２医用画像と、対象臓器における対象領域の第２割合は、インターフェース５００の結果表示エリア５５０内に表示するなどして、提供されてよい。様々な実施形態によると、第２割合は、第２医用画像内の対象領域の第３画像と、対象臓器の第４画像とに少なくとも部分的に基づいて取得される。第３画像は、第２医用画像の定量的解析に少なくとも部分的に基づいて取得されてよい。例えば、第１機械学習モデルが、第２医用画像を処理して第３画像を取得するために用いられてよい。同様に、第４画像は、第２医用画像の定量的解析に少なくとも部分的に基づいて取得されてよい。例えば、第２機械学習モデルが、第２医用画像を処理して第４画像を取得するために用いられてよい。
様々な実施形態によると、医用画像（または、経時的な同じ臓器の一連の医用画像など、１セットの医用画像）の解析が、ユーザ要求に応じて実行されてよい。一例として、ユーザは、医用画像の解析を実行するためのユーザ要求をインターフェース５００に入力してよい。図５に示すように、インターフェース５００は、実行される解析を選択するために（例えば、選択された医用画像の解析を実行するためにどの機能が呼び出されるのかに応じて）ユーザ入力が入力されうる要素５３０および／または５４０を備えてよい。第２要求は、第２医用画像を閲覧しおよび／または第２医用画像を第１医用画像とを比較するための要求に対応してよい。例えば、ユーザは、処理要求を入力してよい。いくつかの実施形態において、第２要求は、「画像比較」に対応する要素５４０の選択に対応する。要素５４０の選択に応じて、画像比較の結果が、結果表示エリア５５０に提供される。画像比較の結果は、要素５４０の選択に応じて生成されてよく（例えば、解析は、第２要求に応じて処理されてよい）、または、画像比較の結果は、要素５４０の選択前に予め格納されていてもよく、その時、要素５４０の選択は、結果のリトリーブに対応してよい。いくつかの実施形態において、要素５４０の選択に応じて、第２医用画像と、対象臓器の第２割合が、結果表示エリア５５０に表示される。
様々な実施形態によると、医用画像を処理するための方法は、第２医用画像に対応する登録画像を提供（例えば、提示、表示、など）する工程を備える。登録画像は、第１医用画像および第２医用画像の解析ならびに／もしくは第１医用画像と第２医用画像との間の差に少なくとも部分的に基づいていてよい。例えば、登録画像は、第１医用画像と第２医用画像との間の変形関係に少なくとも部分的に基づいて、第２医用画像を処理することによって取得されてよい。いくつかの実施形態において、変形関係は、第３機械学習モデルを用いて第１医用画像および第２医用画像を処理することに少なくとも部分的に基づいて取得される。
第３機械学習モデルは、予め構築された登録ネットワークであってよい。異なる時期の医用画像が、この予め構築されたネットワークに入力されてよく、異なる時期の医用画像は、医用画像の剛体パラメータを決定するために、同じ構造を有する剛性ネットワークによって処理されうる。剛体パラメータは、医用画像の間の変形場（例えば、医用画像の間の変形関係）を決定することに関連して、アフィン格子ネットワークを用いて処理されてよい。
いくつかの実施形態において、第１医用画像および登録画像は、結果表示エリア５５０に（例えば、同時に）提供される。第１医用画像および登録画像は、結果表示エリア５５０内に並べて提供されてよい。第１医用画像および登録画像を並べた表示は、対象領域がどのように変化したのかをユーザが評価（例えば、判断）することを可能にするように、より便利な表示を提供する。いくつかの実施形態において、第１画像および／または登録画像を提供することに加えて、画像または画像の比較に関する定量的および／または定性的な情報が提供される（例えば、臓器の形状、サイズ、色、識別の変化など）。いくつかの実施形態において、第１割合は、第１医用画像上に提供され、第２割合は、登録画像上に提供される。
図６は、本願の様々な実施形態に従って、医用画像を処理するための方法を示すフローチャートである。
様々な実施形態によると、処理６００が、図１の端末１００によって実行される。図５のインターフェース５００および／または図７のインターフェース７００が、処理６００に関連して実装されてよい。
工程６１０において、データソースが取得される。データソースは、ユーザによって入力されてよい。例えば、ユーザは、データソースを選択または別の方法で提供するために、１または複数の入力をインターフェースに提供してよい。
いくつかの実施形態において、データソースは、第１医用画像に対応する。第１医用画像を取得する工程は、ユーザによるアップロードを通して第１医用画像を受信する工程を含んでよい。第１医用画像は、診断装置（例えば、ｘ線装置、磁気共鳴イメージング装置、コンピュータ断層撮影スキャン、など）から取得されてよい。第１医用画像は、サーバ（例えば、医用画像のデータベースを格納しているサーバ）などのデータストレージから取得されてもよい。
いくつかの実施形態において、データソースは、医用画像（例えば、第１医用画像）に対応する。医用画像は、対象臓器の表現を含んでよい。対象臓器が、コンピュータによって識別されてよく、および／または、対象臓器の示唆が、ユーザによって（例えば、端末上に提供されているユーザインターフェースを介して）提供されてよい。一例として、対象臓器は、患者（例えば、人間、動物、生物、など）の体内の人間の臓器である。対象臓器の例は、脳、心臓、肺、などを含む。
いくつかの実施形態において、データソース（例えば、第１医用画像）は、医用イメージング技術で取得された対象臓器の画像に対応する。第１医用画像は、医用イメージング技術から直接的に、または、第１医用画像が格納されているストレージ（例えば、医用イメージング技術が第１医用画像を格納するストレージ）へアクセスすることで間接的に、取得されてよい。一例として、医用イメージング技術は、Ｘ線、ガンマ線、核磁気共鳴、超音波、などであってよいが、それらに限定されない。様々な医用イメージング技術が、異なる対象臓器に対応する医用画像をキャプチャするために用いられてよい。本願は、この点で具体的な制約を課さない。本願の実施形態は、肺である対象臓器の例と、ＣＴ（コンピュータ断層撮影）画像である第１医用画像とを用いて説明されている。
工程６２０において、対象プロセスが選択される。いくつかの実施形態において、対象プロセスは、データソースを解析するための処理である（例えば、第１医用画像に実行される定量的解析の選択）。対象プロセスは、ユーザによる１または複数の入力（ユーザインターフェースへの入力など）に少なくとも部分的に基づいて選択されてよい。
対象プロセスは、処理アルゴリズムに対応してよい。対象プロセスは、システムによって提供された複数の解析プロセス（例えば、処理アルゴリズム）の中から選択されてよい。異なる解析プロセス（例えば、処理アルゴリズム）が、異なるイメージング技術で取得された医用画像のために予め提供されてよい。例えば、イメージング技術に対する解析プロセスのマッピングが格納されていてよい。イメージング技術に対応する解析プロセスのグループが、イメージング技術に対する解析プロセスのマッピングに基づいて決定されてよい。医用画像（例えば、データソース）をキャプチャすることに関連して用いられる画像技術の決定に応じて、ユーザが、解析プロセスのグループ内の一部のプロセスの中から対象プロセスを選択することを可能にするために、解析プロセスのグループ内の少なくとも一部のプロセスがユーザに提供される。解析プロセスは、特定のイメージング技術からキャプチャされた画像を解析するための既存のプロセスを含んでよい。異なる解析プロセスは、異なる処理時間、精度、などを有する。
工程６３０において、データソースは、対象プロセスに少なくとも部分的に基づいて処理される。例えば、対象プロセスが、データソースを処理し、データソースの分類結果とデータソース内の対象データとを取得するために用いられる。いくつかの実施形態において、対象プロセスは、データソースを処理して分類結果および対象データを取得するために、第１機械学習モデルを呼び出す（例えば、起動する）工程を含む。
様々な実施形態によると、第１機械学習モデルは、トレーニング済みモデルまたは強化学習モデルである。本願の実施形態において、トレーニング済みモデルの例は、説明のために用いられている。第１機械学習モデルは、「エンコーダ・デコーダ」構造を用いてよく、エンコーダネットワークの後に、デコーダネットワークと並列の分類ネットワークへ接続してよい。例えば、ネットワークモデルは、「エンコーダ・デコーダ」構造を用いてよく、エンコーダネットワークからの出力は、分類ネットワークおよびデコーダネットワークが並列で動作するように、分類ネットワークおよびデコーダネットワークの両方への入力に対応してよい。いくつかの実施形態において、エンコーダネットワークおよびデコーダネットワークの一方または両方が、三次元畳み込み層を用いてよい。一例として、エンコーダネットワークおよびデコーダネットワークの両方が、三次元畳み込み層を用いる。例えば、第１機械学習モデルは、三次元ネットワークモデルであってよい。いくつかの実施形態において、エンコーダネットワークは、ｒｅｓｎｅｘｔ５０ネットワークアーキテクチャを用いる。デコーダネットワークは、ＡＳＰＰ構造およびアップサンプリング層を備えてよく、分類ネットワークは、一連の畳み込み層およびグローバルプーリング層を備えてよい。ただし、エンコーダネットワーク、デコーダネットワーク、および、分類ネットワークは、上述のものには限定されない。
工程６４０において、分類結果および対象データが提供される。いくつかの実施形態において、分類結果および対象データは、端末のグラフィカルユーザインターフェースを介して提供される。分類結果および対象データは、ユーザ（患者、医師、または、その他の医療従事者、など）に提供されてよい。
いくつかの実施形態において、ユーザは、図６の処理６００の実施に関連してインターフェースを提供されてよい。
図７は、本願の様々な実施形態に従って、医用画像を処理することに関連して用いられるインターフェースを示す図である。
様々な実施形態によると、インターフェース７００が、図１の端末１００によって実装される。インターフェース７００は、図２の処理２００、図３の処理３００、図４の処理４００、および／または、図６の処理６００に関連して実装されてよい。
図７に示すように、インターフェース７００は、データソースが入力（または選択）されるエリア（例えば、データソース選択エリア）および／または結果表示エリア７８０を備えてよい。インターフェース７００は、さらに、対象プロセスが（例えば、１または複数の入力を介して）選択されるエリア７４０（例えば、プロセス選択エリア）を備えてよい。
インターフェース７００は、選択可能な要素７２０および／または要素７３０を備えてよく、要素を用いて、１または複数のデータソースが選択されてよい。要素７２０および／または要素７３０の選択は、データソースが選択される元となる１セットの医用画像をユーザに提供してよい。一例として、要素７２０および／または要素７３０の選択に応じて、ファイルシステムが、データソースの格納されているディレクトリにナビゲートするために、ユーザによってアクセスされおよび／またはユーザに提供されてよい。いくつかの実施形態において、データソースの選択は、ユーザが、医用画像を要素７２０および／または７３０の上にドラッグするなど、１または複数の医用画像をデータソース選択エリア（例えば、エリア７１０）にドラッグアンドドロップすることを含む。要素７３０は、定量的処理が選択または決定される（例えば、それにより、医用画像の処理を呼び出すための入力が入力されてよい）エリア（または、そのエリアを備えた要素）に対応していてよい。要素７４０は、画像比較が選択または決定される（例えば、それにより、２つの医用画像の間の比較を呼び出すための入力が入力されてよい）エリア（または、そのエリアを備えた要素）に対応していてよい。
様々な実施形態によると、インターフェース７００は、ユーザに提供され、ユーザは、処理すべきデータソースをデータソース選択エリアから選択してよく、ユーザによって選択されたデータソースの格納位置および具体的なタイプが、このエリアに表示されてよい。データソースの選択に応じて、ユーザは、データソースに適合する少なくとも１つの解析プロセスをプロセス選択エリアで見ることができる。例えば、データソースの選択に応じて、データソースに対応する解析プロセスのグループが決定されてよい。データソースに対応する解析プロセスのグループの決定は、データソースに関連付けられているイメージング技術を決定し、イメージング技術に少なくとも部分的に基づいて解析プロセスのグループを決定することを含んでよい。例えば、イメージング技術に対する解析プロセスのマッピングが格納されていてよい。イメージング技術に対応する解析プロセスのグループが、イメージング技術に対する解析プロセスのマッピングに基づいて決定されてよい。医用画像（例えば、データソース）をキャプチャすることに関連して用いられる画像技術の決定に応じて、ユーザが、解析プロセスのグループ内の一部のプロセスの中から対象プロセスを選択することを可能にするために、解析プロセスのグループ内の少なくとも一部のプロセスがユーザに提供される。解析プロセスのグループ内の少なくとも一部のプロセスが、プロセス選択エリア７４０を介してユーザに提供されてよい。いくつかの実施形態において、解析プロセスのグループ内の少なくとも一部のプロセスを提供することは、対応する解析プロセスに関する名称７６０、処理時間、位置７５０、価格７７０、および、その他の情報の表示を提供することを含む。いくつかの実施形態において、解析プロセスの一部は、プロセス選択エリア７４０内のドロップダウンメニューに提供される。いくつかの実施形態において、解析プロセスの一部は、対応するラジアルボタンと共に提供される。ドロップダウンメニューまたはラジアルボタンによる解析プロセスの選択に応じて、プロセス選択エリアは、解析プロセスに対応する名称、処理時間、価格、および、対応する解析プロセスに関するその他の情報を反映するように更新されてよい。ユーザは、ユーザのニーズに合った解析プロセスを選択することにより、対象プロセスを取得しうる。
対象プロセスの選択に応じて、ユーザによって選択された対象プロセスが、データソースを処理するために用いられる。データソース（例えば、医用画像）の処理からの結果が、結果表示エリア７８０に提供されてよい。いくつかの実施形態において、データソースおよびその解析からの結果が、結果表示エリア７８０に提供される。
いくつかの実施形態において、ユーザによって選択される対象プロセスを決定することは、データソースのデータタイプに対応する少なくとも１つの解析プロセスを取得し、少なくとも１つの解析プロセス（例えば、解析プロセスの表示）を提供し、ユーザによる（例えば、インターフェース７００への）選択入力を受信し、選択入力に少なくとも部分的に基づいて少なくとも１つの解析プロセスの中から対象プロセスを決定することを含む。
異なる解析プロセスが、データソースの異なるタイプに対して予め設定（例えば、規定）されてよい。例えば、医用画像の分類およびセグメンテーションを説明のための例とすると、従来の特徴ベースの抽出方法または二次元中立ネットワーク画像セグメンテーション方法が提供されてよい。本願の実施形態によって提供される第１機械学習モデルに対応する処理方法も提供されてよい。
（例えば、対象プロセスの選択に対応する）選択入力は、ユーザが解析プロセスをクリックすることによって生成されたクリック信号であってよい。いくつかの実施形態において、クリック信号を取得したことに応じて、（例えば、クリック位置に基づいてユーザによってクリックされた）クリック信号に対応する解析プロセスが決定されてよく、対象プロセスがそれに対応して取得される。
いくつかの実施形態において、解析プロセスの処理情報が提供される。処理情報は、処理デバイス、処理時間、および、リソース転送量、の内の少なくとも１つを含む。ユーザは、処理情報に少なくとも部分的に基づいて、対象プロセスの選択を行ってよい。
（例えば、対象プロセスを実行するために用いられる）処理デバイスは、ローカルデバイスおよびクラウドデバイスを含んでよい。処理時間は、データソースを処理してユーザに対応する結果を生成するために解析プロセスが必要とする時間であってよい。リソース転送量は、処理アルゴリズムを用いてデータソースを処理するために支払う価格を意味しうる。
様々なユーザの利便性のために、様々な実施形態によると、ユーザは、異なる解析プロセスに適合された選択オプションを提供されてよい。例えば、ローカルデバイス対クラウドデバイスの場合、ローカルデバイス解析プロセスのオプションが限られており、かかる解析プロセスは、処理精度が限られうる。したがって、ローカルデバイス上で実行される処理アルゴリズムの価格が低くてよく、クラウドデバイス上で実行される処理アルゴリズムの価格が高くてよい。別の例として、異なる解析プロセスの処理時間は異なりうる。したがって、短い処理時間を有する解析プロセスに対応する価格が、より高くてよい。
様々な実施形態によると、第１機械学習モデルは、複数の第１トレーニングサンプルおよび複数の第２トレーニングサンプルの利用を交互に行って所定のモデルをトレーニングすることによって取得される。各第１トレーニングサンプルは、対象臓器を含む医用画像と、医用画像の分類ラベルと、医用画像における対象領域のラベル情報と、を含んでよい。各第２トレーニングサンプルは、対象臓器を含む医用画像と、医用画像の分類ラベルと、を含んでよい。
様々な実施形態によると、端末が、図２の処理２００、図３の処理３００、図４の処理４００、および／または、図６の処理６００、の少なくとも一部を実装してよい。端末は、図５のインターフェース５００および／または図７のインターフェース７００を実装してよい。端末は、コンピュータ端末のグループの中のコンピュータ端末デバイスであってよい。いくつかの実施形態において、端末は、モバイル端末である。
いくつかの実施形態において、端末は、コンピュータネットワークの複数のネットワークデバイスの中の少なくとも１つのネットワークデバイスに配置される。
メモリは、ソフトウェアプログラムおよびモジュール（例えば、医用画像を処理するための方法）、手段、および、データ処理方法に対応するプログラム命令／モジュールを格納するために用いられてよい。メモリに格納されているソフトウェアプログラムおよびモジュールを実行することにより、プロセッサは、様々な機能アプリケーションおよびデータ処理を実行する（例えば、本明細書に記載の医用画像の処理およびデータ処理を実施する）。メモリは、高速ランダムアクセスメモリを含みうる。メモリは、さらに、１または複数の磁気ストレージデバイス、フラッシュメモリ、または、その他の不揮発性ソリッドステートメモリなど、不揮発性メモリを含みうる。いくつかの実施形態において、メモリは、さらに、プロセッサに対してリモートに配置されたメモリを含む。かかるリモートメモリは、ネットワークを介して端末に接続されてよい。上述のネットワークの例は、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、および、それらの組み合わせを含むが、これらに限定されない。
プロセッサは、通信モジュールを介して、対象臓器を含む第１医用画像を取得する工程と、第１機械学習モデルを用いて、第１医用画像を処理して第１医用画像の分類結果と第１医用画像における対象領域の第１画像とを取得する工程と、を実行するために、メモリに格納されている情報およびアプリケーションを呼び出してよい。第１機械学習モデルは、第１医用画像を取得し、第１医用画像をエンコーダネットワークに入力し、対象領域に関する特徴情報を取得し、分類結果および第１画像を取得するために対象領域に関する特徴情報を分類ネットワークおよびデコーダネットワークへ別々に入力することに関連して用いられる。
上述の様々な実施形態は、説明を簡単にするために一連の動作の組みあわせとして提示されているが、本願は、記載されている動作シーケンスによって限定されない。工程の一部は、本願に従って、別のシーケンスを用いてもよいし、同時に実施されてもよい。さらに、様々な実施形態に関連して記載されている動作およびモジュールの内のいくつかは、本願によって必ずしも必要とされない。
上記の実装例の記載を通して、様々な実施形態は、ソフトウェアおよび汎用ハードウェアプラットフォームを用いて実装されてよい。ハードウェアが、図２の処理２００および／または図３の処理３００など、様々な実施形態を実施するために用いられてよい。様々な実施形態を実施することに関連して用いられるコンピュータソフトウェア製品は、記憶媒体（ＲＯＭ／ＲＡＭ、磁気ディスク、および、光学ディスクなど）に格納され、端末装置（携帯電話、コンピュータ、サーバ、または、ネットワーク装置であってよい）に、本願の実施形態に記載された方法を実行させるために用いられる特定の数の命令を含みうる。
本願によって提供されたいくつかの実施形態において、開示された技術的内容は、他の方法で実施されてもよいことを理解されたい。上述した手段の実施形態は、単に例示である。例えば、ユニットへの分割は、単に論理機能による分割である。実際に実装される場合、他の形態の分割もありうる。例えば、複数のユニットまたは構成要素が、別のシステムに組み合わせまたは一体化されてもよく、また、一部の特徴が省略されるかまたは実行されなくてもよい。また、表示または論じられているものの間の結合もしくは直接的な結合または通信接続は、いくつかのインターフェースを通していてもよい。ユニットまたはモジュールの間の間接的な結合または通信接続は、電気的または別の方法であってよい。
別個の構成要素として記載されたユニットは、物理的に離れていても離れていなくてもよく、ユニットとして図示された構成要素は、物理的ユニットであってもなくてもよい。それらは、１つの場所に配置されてもよいし、複数のネットワークユニットにわたって分散されてもよい。本実施形態の具現化スキームは、実際のニーズに従って、ユニットの一部またはすべてを選択することによって実現できる。
さらに、本願の各実施形態の各機能ユニットは、処理ユニットに統合されてよく、また、各ユニットは、独立した物理的存在を有してもよい。また、２以上のユニットが１つのユニットに統合されてもよい。上述した統合ユニットは、ハードウェアの形態で実装されてもよいし、ソフトウェア機能ユニットの形態で実装されてもよい。
統合ユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または利用される場合、それらは、コンピュータ読み取り可能な媒体に格納されてよい。かかる理解に基づいて、本願の技術的スキームは、本質的であるか従来技術に寄与する部分であるかに関わらず、また、技術的スキームの全部であるか一部であるかに関わらず、ソフトウェア製品の形態で具現化されうることが明らかになる。これらのソフトウェア製品は、記憶媒体に格納され、本願の様々な実施形態によって記載されている方法の中の工程の全部または一部を（パーソナルコンピュータ、サーバ、または、ネットワークデバイスであってよい）コンピュータデバイスに実行させるためのいくつかの命令を含む。上述した記憶媒体は、ＵＳＢフラッシュドライブ、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、モバイルハードドライブ、磁気または光学ディスク、もしくは、プログラムコードを格納できる様々な他の媒体、を含む。
以上は、本願の好ましい実施形態にすぎない。当業者であれば、特定の改良および追加を行うこともでき、これらの改良および追加も、本願の原理から逸脱しない限りは、本願の保護範囲内にあるとみなされるべきであることに注意されたい。
上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。

Claims (20)

  1. 方法であって、
    １または複数のプロセッサによって、ユーザからの入力に少なくとも部分的に基づいてデータソースを受信し、
    前記１または複数のプロセッサによって、前記データソースの解析に関連して用いられる対象プロセスを決定し、前記対象プロセスは、前記ユーザによる選択入力に少なくとも部分的に基づいて決定され、
    前記１または複数のプロセッサによって、前記対象プロセスに少なくとも部分的に基づいて前記データソースを処理し、
    前記データソースの分類結果および前記データソース内の対象データは、前記データソースの前記処理に少なくとも部分的に基づいて取得され、
    前記対象プロセスは、前記分類結果および前記対象データを取得するために、前記データソースを処理することに関連して、第１機械学習モデルを呼び出すよう構成されており、
    前記１または複数のプロセッサによって、前記分類結果および前記対象データを出力すること、
    を備える、方法。
  2. 請求項１に記載の方法であって、対象プロセスを決定することは、
    前記データソースのデータタイプに対応する少なくとも１つの解析プロセスを取得し、
    前記少なくとも１つの解析プロセスに関する情報をユーザインターフェース上で出力し、
    前記１または複数のプロセッサによって、前記ユーザによる選択入力を受信し、前記選択入力は、解析プロセスの選択に対応し、
    前記選択入力を受信したことに応じて、前記１または複数のプロセッサによって、前記選択入力に少なくとも部分的に基づいて前記少なくとも１つの解析プロセスの中から前記対象プロセスを決定すること、
    を備える、方法。
  3. 請求項２に記載の方法であって、さらに、
    前記１または複数のプロセッサによって、前記対象プロセスに関する処理情報を出力することを備え、
    前記処理情報は、処理デバイス、処理時間、および、リソース転送量、の内の少なくとも１つを含む、方法。
  4. 請求項１に記載の方法であって、
    前記第１機械学習モデルは、複数の第１トレーニングサンプルおよび複数の第２トレーニングサンプルの利用を交互に行うことに少なくとも部分的に基づいて所定のモデルをトレーニングすることによって取得され、
    各第１トレーニングサンプルは、データと、前記データの分類ラベルと、前記データ内の対象データのラベル情報と、を含み、
    各第２トレーニングサンプルは、データと、前記データの分類ラベルと、を含む、方法。
  5. 方法であって、
    １または複数のプロセッサによって、第１医用画像を取得し、前記第１医用画像は、対象臓器の表現を含み、
    前記１または複数のプロセッサによって、第１機械学習モデルに少なくとも部分的に基づいて前記第１医用画像を処理すること、
    を備え、
    前記第１医用画像に関連付けられている分類結果および前記第１医用画像内の対象領域の第１画像は、前記第１機械学習モデルを用いた前記第１医用画像の前記処理に少なくとも部分的に基づいて取得され、
    前記第１機械学習モデルは、
    第１医用画像を取得して、前記第１医用画像をエンコーダネットワークに入力し、
    前記対象領域に関連付けられている特徴情報を取得し、
    前記対象領域に関連付けられている前記特徴情報を分類ネットワークおよびデコーダネットワークに別々に入力し、
    前記分類ネットワークおよび前記デコーダネットワークによる前記特徴情報の処理に少なくとも部分的に基づいて、前記分類結果と、前記対象領域の前記第１画像とを取得するよう構成されている、方法。
  6. 請求項５に記載の方法であって、さらに、
    複数の第１トレーニングサンプルおよび複数の第２トレーニングサンプルを取得し、
    各第１トレーニングサンプルは、対象臓器の表現を含む医用画像と、前記医用画像の分類ラベルと、前記医用画像内の前記対象領域のラベル情報と、を含み、
    各第２トレーニングサンプルは、前記対象臓器の表現を含む医用画像と、前記医用画像の前記分類ラベルと、を含み、
    所定のモデルをトレーニングして前記第１機械学習モデルを取得するために、前記複数の第１トレーニングサンプルおよび前記複数の第２トレーニングサンプルの利用を交互に行うこと、
    を備える、方法。
  7. 請求項５に記載の方法であって、さらに、
    前記１または複数のプロセッサによって、第２機械学習モデルに少なくとも部分的に基づいて前記第１医用画像を処理し、
    前記第２機械学習モデルを用いた前記第１医用画像の前記処理は、前記対象領域の前記第１画像が取得された後に実行され、
    前記対象臓器の第２画像が、前記第２機械学習モデルを用いた前記第１医用画像の前記処理に少なくとも部分的に基づいて取得され、
    前記第２機械学習モデルは、
    前記第１医用画像を取得し、
    前記第１医用画像をエンコーダネットワークに入力し、
    前記対象臓器に関する特徴情報を取得し、
    前記対象臓器に関する前記特徴情報をデコーダネットワークに入力し、
    前記デコーダネットワークによる前記特徴情報の処理に少なくとも部分的に基づいて前記第２画像を取得するよう構成され、
    前記第１画像および前記第２画像に少なくとも部分的に基づいて、前記対象臓器内の前記対象領域の第１割合を取得すること、
    を備える、方法。
  8. 請求項７に記載の方法であって、前記第１割合は、前記第１画像と前記第２画像との間の差異または変化に少なくとも部分的に基づいて決定される、方法。
  9. 請求項７に記載の方法であって、さらに、
    前記１または複数のプロセッサによって、前記対象臓器の表現を含む第２医用画像を取得し、
    前記１または複数のプロセッサによって、前記第１機械学習モデルに少なくとも部分的に基づいて前記第２医用画像を処理し、前記第２医用画像内の前記対象領域の第３画像が、前記第１機械学習モデルを用いた前記第２医用画像の前記処理に少なくとも部分的に基づいて取得され、
    前記１または複数のプロセッサによって、前記第２機械学習モデルに少なくとも部分的に基づいて前記第２医用画像を処理し、前記対象臓器の第４画像が、前記第２機械学習モデルを用いた前記第２医用画像の前記処理に少なくとも部分的に基づいて取得され、
    前記１または複数のプロセッサによって、前記対象臓器内の前記対象領域の第２割合を取得することを備え、前記第２割合は、前記第３画像および前記第２画像に少なくとも部分的に基づいて取得される、方法。
  10. 請求項９に記載の方法であって、さらに、
    前記１または複数のプロセッサによって、第３機械学習モデルに少なくとも部分的に基づいて前記第１医用画像および前記第２医用画像を処理し、
    前記第１医用画像および前記第２医用画像を処理することは、前記第１医用画像と前記第２医用画像との間の変形関係を取得することを含み、
    前記第３機械学習モデルは、
    前記第１医用画像および前記第２医用画像を取得し、
    前記第１医用画像および前記第２医用画像を少なくとも２つの剛性ネットワークへ別々に入力し、
    前記第１医用画像の第１剛体パラメータおよび前記第２医用画像の第２剛体パラメータを取得し、
    前記第１剛体パラメータおよび前記第２剛体パラメータをアフィン格子ネットワークに入力し、
    前記第１剛体パラメータおよび前記第２剛体パラメータを用いた前記アフィン格子ネットワークの処理に少なくとも部分的に基づいて前記変形関係を取得するよう構成され、
    前記第２医用画像の処理に基づいて、前記第２医用画像に対応する登録画像を取得し、前記第２医用画像の前記処理は、前記変形関係に少なくとも部分的に基づいており、
    前記第１機械学習モデルおよび前記第２機械学習モデルに少なくとも部分的に基づく前記登録画像の別個の処理に少なくとも部分的に基づいて、前記第３画像および前記第４画像を取得すること、
    を備える、方法。
  11. 請求項７に記載の方法であって、前記第２機械学習モデル内の前記エンコーダネットワークおよび前記第１機械学習モデル内の前記エンコーダネットワークは、重み付けパラメータを共有する、方法。
  12. 請求項７に記載の方法であって、前記エンコーダネットワークおよび前記デコーダネットワークの両方が、三次元畳み込み層を用いる、方法。
  13. 医用画像処理方法であって、
    １または複数のプロセッサによって、対象臓器の表現を含む第１医用画像を受信し、前記第１医用画像は、端末によって提供されているインターフェースを介してアップロードされ、
    前記１または複数のプロセッサによって、前記第１医用画像の分類結果と、前記第１医用画像内の対象領域の第１画像とを出力し、前記分類結果および前記第１画像は、第１機械学習モデルを用いた前記第１医用画像の処理に少なくとも部分的に基づいて取得される、
    ことを備える、方法。
  14. 請求項１３に記載の方法であって、さらに、
    前記１または複数のプロセッサによって、第１要求を受信し、前記第１要求は、前記インターフェースを介して前記端末に入力され、
    前記第１要求を受信したことに応じて、前記１または複数のプロセッサによって、前記第１医用画像と、前記対象臓器内の前記対象領域の第１割合とを出力し、
    前記第１割合は、前記対象臓器の前記第１画像および第２画像に少なくとも部分的に基づいて取得され、
    前記第２画像は、第２機械学習モデルを用いて前記第１画像を処理することに少なくとも部分的に基づいて取得される、
    ことを備える、方法。
  15. 請求項１４に記載の方法であって、さらに、
    前記１または複数のプロセッサによって、第２要求を受信し、前記第２要求は、前記インターフェースを介して前記端末に入力され、
    前記第２要求を受信したことに応じて、前記対象臓器の表現を含む第２医用画像を取得し、
    前記１または複数のプロセッサによって、前記第２医用画像と、前記対象臓器内の前記対象領域の第２割合とを出力し、
    前記第２割合は、前記第２医用画像内の前記対象領域の第３画像と、前記対象臓器の第４画像とに少なくとも部分的に基づいて取得され、
    前記第３画像は、第１機械学習モデルを用いて前記第２医用画像を処理することに少なくとも部分的に基づいて取得され、
    前記第４画像は、前記第２機械学習モデルを用いて前記第２医用画像を処理することに少なくとも部分的に基づいて取得される、
    ことを備える、方法。
  16. 請求項１５に記載の方法であって、さらに、
    前記第２医用画像に対応する登録画像を提供することを備え、
    前記登録画像は、前記第１医用画像と前記第２医用画像との間の変形関係に基づいて前記第２医用画像を処理することに少なくとも部分的に基づいて取得され、
    前記変形関係は、第３機械学習モデルを用いて前記第１医用画像および前記第２医用画像を処理することに少なくとも部分的に基づいて取得される、方法。
  17. 請求項１６に記載の方法であって、
    前記第１医用画像および前記登録画像は、前記インターフェース上に並べて出力され、
    前記第１割合は、前記第１医用画像上に提示され、
    前記第２割合は、前記登録画像上に提示される、方法。
  18. コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
    １または複数のプロセッサによって、ユーザからの入力に少なくとも部分的に基づいてデータソースを受信するためのコンピュータ命令と、
    前記１または複数のプロセッサによって、前記データソースの解析に関連して用いられる対象プロセスを決定するためのコンピュータ命令と、前記対象プロセスは、前記ユーザによる選択入力に少なくとも部分的に基づいて決定され、
    前記１または複数のプロセッサによって、前記対象プロセスに少なくとも部分的に基づいて前記データソースを処理するためのコンピュータ命令と、
    前記データソースの分類結果および前記データソース内の対象データは、前記データソースの前記処理に少なくとも部分的に基づいて取得され、
    前記対象プロセスは、前記分類結果および前記対象データを取得するために前記データソースを処理することに関連して、第１機械学習モデルを呼び出すよう構成され、
    前記１または複数のプロセッサによって、前記分類結果および前記対象データを出力するためのコンピュータ命令と、
    を備える、コンピュータプログラム製品。
  19. コンピュータプログラム製品であって、持続性のコンピュータ読み取り可能な記憶媒体内に具現化され、
    １または複数のプロセッサによって、第１医用画像を取得するためのコンピュータ命令と、前記第１医用画像は、対象臓器の表現を含み、
    前記１または複数のプロセッサによって、第１機械学習モデルに少なくとも部分的に基づいて前記第１医用画像を処理するためのコンピュータ命令と、を備え、
    前記第１医用画像に関連付けられている分類結果と、前記第１医用画像内の対象領域の第１画像とが、前記第１機械学習モデルを用いた前記第１医用画像の前記処理に少なくとも部分的に基づいて取得され、
    前記第１機械学習モデルは、
    前記第１医用画像を取得して、前記第１医用画像をエンコーダネットワークに入力し、
    前記対象領域に関連付けられている特徴情報を取得し、
    前記対象領域に関連付けられている前記特徴情報を分類ネットワークおよびデコーダネットワークに別々に入力し、
    前記分類ネットワークおよび前記デコーダネットワークによる前記特徴情報の処理に少なくとも部分的に基づいて、前記分類結果と、前記対象領域の前記第１画像とを取得するよう構成されている、コンピュータプログラム製品。
  20. 医用画像処理システムであって、
    １または複数のプロセッサであって、
    第１医用画像を取得し、
    前記第１医用画像は、対象臓器の表現を含み、
    第１機械学習モデルに少なくとも部分的に基づいて前記第１医用画像を処理し、
    前記第１医用画像に関連付けられている分類結果と、前記第１医用画像内の対象領域の第１画像とが、前記第１機械学習モデルを用いた前記第１医用画像の前記処理に少なくとも部分的に基づいて取得され、
    前記第１機械学習モデルは、
    前記第１医用画像を取得して、前記第１医用画像をエンコーダネットワークに入力し、
    前記対象領域に関連付けられている特徴情報を取得し、
    前記対象領域に関連付けられている前記特徴情報を分類ネットワークおよびデコーダネットワークに別々に入力し、
    前記分類ネットワークおよび前記デコーダネットワークによる前記特徴情報の処理に少なくとも部分的に基づいて、前記分類結果と、前記対象領域の前記第１画像とを取得するよう構成されている、１または複数のプロセッサと、
    前記１または複数のプロセッサに接続され、前記１または複数のプロセッサに命令を提供するよう構成されている１または複数のメモリと、
    を備える、システム。
JP2022552299A 2020-03-31 2021-03-24 医用画像処理方法およびシステムならびにデータ処理方法 Active JP7564228B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN202010244937.9A CN113469180A (zh) 2020-03-31 2020-03-31 医学图像的处理方法和系统、数据处理方法
CN202010244937.9 2020-03-31
US17/210,250 2021-03-23
US17/210,250 US20210303935A1 (en) 2020-03-31 2021-03-23 Medical image processing method and system and data processing method
PCT/US2021/023954 WO2021202203A1 (en) 2020-03-31 2021-03-24 Medical image processing method and system and data processing method

Publications (2)

Publication Number Publication Date
JP2023519657A true JP2023519657A (ja) 2023-05-12
JP7564228B2 JP7564228B2 (ja) 2024-10-08

Family

ID=77856094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022552299A Active JP7564228B2 (ja) 2020-03-31 2021-03-24 医用画像処理方法およびシステムならびにデータ処理方法

Country Status (5)

Country Link
US (1) US20210303935A1 (ja)
EP (1) EP4128133A1 (ja)
JP (1) JP7564228B2 (ja)
CN (1) CN113469180A (ja)
WO (1) WO2021202203A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187239B (zh) * 2021-11-23 2024-08-20 复旦大学附属华山医院 结合影像组学和空间分布特征的医学图像分析方法及系统
US11983920B2 (en) * 2021-12-20 2024-05-14 International Business Machines Corporation Unified framework for multigrid neural network architecture
KR20230100205A (ko) * 2021-12-28 2023-07-05 삼성전자주식회사 영상 처리 방법 및 장치
CN115116091A (zh) * 2022-06-27 2022-09-27 中山市中医院 一种臀部构角区域识别处理方法和装置
CN115018809B (zh) * 2022-06-28 2024-09-10 华中科技大学 Ct图像的靶区分割识别方法及系统
CN114864056B (zh) * 2022-07-07 2022-11-01 北京鹰瞳科技发展股份有限公司 用于对医学图像推理模型进行管理的方法及相关产品
CN115831324B (zh) * 2022-11-29 2023-12-15 浙江医准智能科技有限公司 一种医学图像筛选方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350919A1 (en) * 2015-06-01 2016-12-01 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
WO2020026223A1 (en) * 2018-07-29 2020-02-06 Zebra Medical Vision Ltd. Systems and methods for automated detection of visual objects in medical images

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US10169871B2 (en) * 2016-01-21 2019-01-01 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US10842379B2 (en) * 2016-01-29 2020-11-24 Siemens Healthcare Gmbh Multi-modality image fusion for 3D printing of organ morphology and physiology
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
KR20190060606A (ko) * 2017-11-24 2019-06-03 삼성전자주식회사 의료 영상 진단 장치 및 방법
US10593051B2 (en) * 2017-12-20 2020-03-17 International Business Machines Corporation Medical image registration guided by target lesion
CN108109152A (zh) * 2018-01-03 2018-06-01 深圳北航新兴产业技术研究院 医学图像分类和分割方法和装置
US20230218169A1 (en) * 2018-03-30 2023-07-13 A-Moy Limited Brain imaging system and brain imaging method
CN109214349B (zh) * 2018-09-20 2021-08-06 天津大学 一种基于语义分割增强的物体检测方法
CN109447169B (zh) * 2018-11-02 2020-10-27 北京旷视科技有限公司 图像处理方法及其模型的训练方法、装置和电子系统
CN109886273B (zh) * 2019-02-26 2022-12-16 四川大学华西医院 一种cmr图像分割分类系统
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
JP7342950B2 (ja) * 2019-07-18 2023-09-12 株式会社島津製作所 細胞画像解析方法および細胞画像解析装置
CN110414428A (zh) * 2019-07-26 2019-11-05 厦门美图之家科技有限公司 一种生成人脸属性信息识别模型的方法
CN110706207A (zh) * 2019-09-12 2020-01-17 上海联影智能医疗科技有限公司 图像量化方法、装置、计算机设备和存储介质
CN110647926B (zh) * 2019-09-17 2024-08-09 腾讯科技（深圳）有限公司 医学影像流识别方法、装置、电子设备和存储介质
CN110852285B (zh) * 2019-11-14 2023-04-18 腾讯科技（深圳）有限公司 对象检测方法、装置、计算机设备和存储介质
EP4073755A1 (en) * 2019-12-13 2022-10-19 Siemens Healthcare GmbH Compensation of organ deformation for medical image registration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350919A1 (en) * 2015-06-01 2016-12-01 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
WO2020026223A1 (en) * 2018-07-29 2020-02-06 Zebra Medical Vision Ltd. Systems and methods for automated detection of visual objects in medical images

Also Published As

Publication number Publication date
WO2021202203A1 (en) 2021-10-07
CN113469180A (zh) 2021-10-01
US20210303935A1 (en) 2021-09-30
JP7564228B2 (ja) 2024-10-08
EP4128133A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
JP7564228B2 (ja) 医用画像処理方法およびシステムならびにデータ処理方法
US20190172199A1 (en) Integration of medical software and advanced image processing
US7747050B2 (en) System and method for linking current and previous images based on anatomy
US7590440B2 (en) System and method for anatomy labeling on a PACS
US8165368B2 (en) Systems and methods for machine learning based hanging protocols
JP7564229B2 (ja) データ処理方法、手段、および、システム
US20140341449A1 (en) Computer system and method for atlas-based consensual and consistent contouring of medical images
JP6845071B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP2018175864A (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US20240266028A1 (en) Device, system, and method for determining a reading environment by synthesizing downstream needs
WO2010029470A1 (en) System and method for processing medical images
WO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
Xue Auto-ROI System: Automatic Localization of ROI in Gigapixel Whole-slide Images
CN114334093A (zh) 图像序列处理方法、装置、计算设备及存储介质
CN115619705A (zh) 用于识别医学图像数据集中的切片的方法和系统
CN102609175A (zh) 使用略图导航器施加序列级操作和比较图像的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240926