JP7014910B2 - 画像処理のためのシステム及び方法 - Google Patents

画像処理のためのシステム及び方法 Download PDF

Info

Publication number
JP7014910B2
JP7014910B2 JP2020531487A JP2020531487A JP7014910B2 JP 7014910 B2 JP7014910 B2 JP 7014910B2 JP 2020531487 A JP2020531487 A JP 2020531487A JP 2020531487 A JP2020531487 A JP 2020531487A JP 7014910 B2 JP7014910 B2 JP 7014910B2
Authority
JP
Japan
Prior art keywords
sub
image
images
deep learning
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020531487A
Other languages
English (en)
Other versions
JP2021506021A (ja
Inventor
チュアンフェン リュウ
Original Assignee
シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド filed Critical シャンハイ・ユナイテッド・イメージング・ヘルスケア・カンパニー・リミテッド
Publication of JP2021506021A publication Critical patent/JP2021506021A/ja
Priority to JP2022006250A priority Critical patent/JP7248832B2/ja
Application granted granted Critical
Publication of JP7014910B2 publication Critical patent/JP7014910B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
本願は、2017年12月7日出願の中国特許出願第201711288530.0号の優先権を主張するものであり、その内容全体が参照により本明細書に援用される。
本開示は、概して、画像処理に関連し、より具体的には、画像処理のための深層学習モデルを訓練するためのシステム及び方法に関する。
深層学習モデルは、画像処理において用いられる。例えば、深層学習モデルは、画像分割、画像分類、画像認識において採用される。深層学習モデルは、画像処理前に訓練される。深層学習モデルは、1以上のサンプル画像に基づいて訓練される。したがって、グラフィックプロセッシングユニット(GPU)において相対的に大きいサイズを有するサンプル画像に基づいて深層学習モデルを訓練するシステム及び方法を開発することが望まれている。
本開示の一態様では、方法が提供される。前記方法は、各々が少なくとも1つのプロセッサ及びストレージを有する少なくとも1つの機械で実施されてもよい。前記方法は、訓練された深層学習モデルを決定するステップと、入力画像を取得するステップと、前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するステップと、を含んでもよい。前記訓練された深層学習モデルは、処理に従って取得されてもよい。前記処理は、予備深層学習モデルを取得するステップ、サンプル画像を取得するステップ、前記サンプル画像に基づいて複数のサブ画像を生成するステップ、及び前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するステップのうちの1以上を含む。
本開示の別の態様では、システムが提供される。前記システムは、少なくとも1つのプロセッサと、命令を格納するように構成されるストレージと、を含んでもよく、前記少なくとも1つのプロセッサは、前記命令を実行するときに、前記システムに、訓練された深層学習モデルを決定させ、入力画像を取得させ、前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成させるように構成されてもよい。前記訓練された深層学習モデルは、処理に従って取得されてもよい。前記処理は、予備深層学習モデルを取得することと、サンプル画像を取得することと、前記サンプル画像に基づいて複数のサブ画像を生成することと、前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練することと、を含んでもよい。
本開示の更に別の態様では、非一時的コンピュータ可読媒体が提供される。前記非一時的コンピュータ可読媒体は、命令を格納するように構成され、前記命令は、少なくとも1つのプロセッサによって実行されたとき、前記少なくとも1つのプロセッサに方法を実施させる。前記方法は、訓練された深層学習モデルを決定するステップ、入力画像を取得するステップ、及び前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するステップのうちの1以上を含んでもよい。前記訓練された深層学習モデルは、処理に従って取得されてもよい。前記処理は、予備深層学習モデルを取得するステップ、サンプル画像を取得するステップ、前記サンプル画像に基づいて複数のサブ画像を生成するステップ、及び前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するステップのうちの1以上を含んでもよい。
本開示の更に別の態様では、システムが提供される。前記システムは、少なくとも1つのプロセッサと、命令を格納するように構成されるストレージと、を含んでもよい。前記システムは、訓練された深層学習モデルを決定するように構成されるモデル決定モジュールと、入力画像、予備深層学習モデル及びサンプル画像を取得するように構成されるデータ取得モジュールと、前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するように構成される画像処理モジュールと、前記サンプル画像に基づいて複数のサブ画像を生成するように構成されるサブ画像生成ユニットと、前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するように構成されるモデル訓練ユニットと、のうちの1以上を更に含んでもよい。
一部の実施形態では、前記複数のサブ画像のうちの少なくとも2つは、前記サンプル画像の同一部分を共有してもよい。
一部の実施形態では、前記サンプル画像に基づいて前記複数のサブ画像を生成することは、前記同一部分の幅を決定することと、前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定することと、前記同一部分の幅、及び前記複数のサブ画像の各々のサイズ又は前記サブ画像の数のうちの少なくとも1つに基づいて前記複数のサブ画像を生成することと、のうちの1以上を含んでもよい。
一部の実施形態では、前記予備深層学習モデルは、少なくとも1つの畳み込みニューラルネットワーク(CNN)を含んでもよい。前記少なくとも1つのCNNは、少なくとも1つのカーネルを含んでもよい。前記同一部分の幅を決定することは、前記少なくとも1つのカーネルのサイズに基づいて前記サンプル画像の前記同一部分の幅を決定することを含んでもよい。
一部の実施形態では、前記サンプル画像の前記同一部分の幅を決定することは、前記サンプル画像の前記同一部分の幅に対応するピクセル又はボクセルの数を基準値R以上として決定することを含んでもよい。前記基準値Rは、前記少なくとも1つのカーネルの幅、又は前記少なくとも1つのカーネルを含む少なくとも1つのダウンサンプリングレイヤの数のうちの少なくとも1つに関連されてもよい。
一部の実施形態では、前記サンプル画像に基づいて前記複数のサブ画像を生成することは、拡張データを得るために、前記サンプル画像、又は1以上の方向に沿う前記複数のサブ画像の1以上でデータエクステンションを行うことを更に含んでもよい。前記拡張データに対応するピクセル/ボクセルの幅は、前記基準値Rの2分の1以上であってもよい。
一部の実施形態では、前記基準値Rは、以下の式によって求められ、
Figure 0007014910000001

ここで、Pは、Si+1(1+Pi+1)に等しく、iは、1より大きい整数であり、Nは、1以上のカーネルを含むダウンサンプリングレイヤの数であり、N番目のレイヤは、出力レイヤであり、PN-1は、Sに等しく、Sは、(W-1)/2に等しく、jは、1より大きい整数であり、Wは、j番目のレイヤにおけるカーネルの最大幅を示してもよい。
一部の実施形態では、前記複数のサブ画像は、第1のサブ画像、第2のサブ画像及び第3のサブ画像を含んでもよい。前記第1のサブ画像及び前記第2のサブ画像は、第1の同一部分を共有してもよい。前記第1のサブ画像及び前記第3のサブ画像は、第2の同一部分を共有してもよい。
一部の実施形態では、前記第1の同一部分は、前記第2の同一部分の第2の幅と同一の第1の幅を有してもよい。
一部の実施形態では、前記予備深層学習モデルを訓練することは、グラフィックプロセッシングユニット(GPU)によって前記予備深層学習モデルを訓練することを含んでもよい。
一部の実施形態では、前記GPUによって前記予備深層学習モデルを訓練することは、第1のサブ画像を前記GPUにロードすること、更新された深層学習モデルを得るために、前記第1のサブ画像を用いて前記予備深層学習モデルを訓練すること、第2のサブ画像を前記GPUにロードすること、訓練された深層学習モデルを得るために、前記第2のサブ画像を用いて前記更新された深層学習モデルを訓練すること、のうちの1以上を含んでもよい。
一部の実施形態では、前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定することは、前記サンプル画像のサイズ及び前記GPUの利用可能なメモリスペースに基づいて、前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定することを含んでもよい。
一部の実施形態では、前記訓練された深層学習モデルに基づいて前記入力画像を処理することは、前記入力画像を分割することを含んでもよい。前記処理結果は、前記分割に基づく分割画像を含んでもよい。
一部の実施形態では、前記複数のサブ画像の少なくとも2つは、同一サイズを有してもよい。
一部の実施形態では、前記複数のサブ画像は、同一サイズを有してもよい。
更なる特徴は、以下の説明に部分的に記載され、以下及び添付の図面を検討したときに当業者に部分的に明らかになるか、又は実施例の生産又は運用により習得されてもよい。本開示の特徴は、以下に論じられる詳細な実施例に示される方法論、人工物、及び組み合わせの様々な態様の実践又は使用によって実現及び達成されてもよい。
本開示は、例示的な実施形態の観点で更に説明される。これらの例示的な実施形態は、図面を参照しながら詳細に説明される。これらの実施形態は、非限定的な例示的実施形態であり、同様の参照番号は、図面のいくつかの図を通じて同様の構造を表す。
図1Aは、本開示の一部の実施形態に係る例示的なイメージングシステムを示す概略図である。 図1Bは、本開示の一部の実施形態に係る例示的なイメージングシステムを示す概略図である。 図2は、本開示の一部の実施形態に係る、処理装置が実装されるコンピュータ装置の例示的なハードウェア及び/又はソフトウェア構成要素を示す概略図である。 図3は、本開示の一部の実施形態に係る、端末が実装されるモバイル装置の例示的なハードウェア及び/又はソフトウェア構成要素を示す概略図である。 図4Aは、本開示の一部の実施形態に係る、例示的な処理装置を示す概略図である。 図4Bは、本開示の一部の実施形態に係る、入力画像を処理するための例示的な処理を示すフローチャートである。 図5Aは、本開示の一部の実施形態に係る、例示的なモデル決定モジュールを示すブロック図である。 図5Bは、本開示の一部の実施形態に係る、訓練された深層学習モデルを決定するための例示的な処理を示すフローチャートである。 図6は、本開示の一部の実施形態に係る、1以上のサンプル画像に基づいて複数のサブ画像を生成する例示的な処理を示すフローチャートである。 図7は、本開示の一部の実施形態に係る、予備深層学習モデルを訓練する例示的な処理を示すフローチャートである。 図8Aは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図8Bは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図8Cは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図8Dは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図8Eは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図8Fは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図8Gは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図8Hは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図8Iは、本開示の一部の実施形態に係る、2Dサンプル画像の複数の例示的なサブ画像を示す概略図である。 図9は、本開示の一部の実施形態に係る、2Dサンプル画像の複数のサブ画像の同一の例示的な部分を示す概略図である。 図10Aは、本開示の一部の実施形態に係る、GPUに関連する例示的なハードウェア試験情報を示す図である。 図10Bは、本開示の一部の実施形態に係る、GPUに関連する例示的なハードウェア試験情報を示す図である。
以下の詳細な説明では、関連出願の十分な理解を提供するために、多数の具体的な詳細が例示によって述べられる。しかし、本願は、このような詳細なしに実施されてもよいことが当業者にとって明示的であるべきである。他の例では、既知の方法、工程、システム、コンポーネント、及び/又は回路は、本願の不要で不明瞭な態様を避けるために、詳細なしに、相対的にハイレベルで説明されている。開示される実施形態に対する様々な変更は、当業者にとって明示的に明らかであり、本明細書で定義される一般概念は、本願の趣旨及び範囲から逸脱しない限り、他の実施形態及び用途に適用されてもよい。よって、本願は、示される実施形態に限定されないが、特許請求の範囲と一致する最も広い範囲と一致される。
本明細書で用いられる用語「システム」、「エンジン」、「ユニット」、「モジュール」及び/又は「ブロック」は、昇順で異なるレベルの異なるコンポーネント、エレメント、パーツ、セクション又はアセンブリを区別するための1つの方法である。しかし、用語は、それらが同一の目的を実現するために他の表現によって取って代わられてもよい。
一般的に、本明細書で用いられる単語「モジュール」、「ユニット」又は「ブロック」は、ハードウェア又はファームウェアで具現化されるロジック、又はソフトウェア命令の集合を示す。本明細書で説明されるモジュール、ユニット又はブロックは、任意のタイプの非一時的なコンピュータ可読媒体又は他のストレージ装置に格納されてもよい。一部の実施形態では、ソフトウェアモジュール/ユニット/ブロックは、実行可能なプログラムにコンパイル及びリンクされてもよい。ソフトウェアモジュールは、他のモジュール/ユニット/ブロック又はそれら自体から呼び出し可能であることができる、及び/又は検出されたイベント又はインタラプトに応答して呼び出されることができることが理解されるであろう。コンピューティング装置(例えば、図2に示されるプロセッサ210)上で実行するために構成されるフトウェアモジュール/ユニット/ブロックは、コンパクトディスク、デジタルビデオディスク、フラッシュドライブ、磁気ディスク又は他の有形媒体等のようなコンピュータ可読媒体上、又はデジタルダウンロード(及び実行前に、インストール、展開又は復号を必要とする圧縮又はインストール可能なフォーマットで本来格納されうる)として提供されてもよい。このようなソフトウェアコードは、コンピューティング装置によって実行するために、実行するコンピューティング装置のストレージ装置に部分的又は完全に格納されてもよい。ソフトウェア命令は、EPROM等のようなファームウェアに組み込まれてもよい。ハードウェアモジュール/ユニット/ブロックは、ゲート及びフリップフロップ等のような結合されたロジックコンポーネントに含まれてもよい、及び/又はプログラマブルゲートアレイ又はプロセッサ等のようなプログラム可能なユニットに含まれうることが更に理解されるであろう。モジュール/ユニット/ブロック又は本明細書で説明されるコンピューティング装置の機能は、ソフトウェアモジュール/ユニット/ブロックとして実装されてもよいが、ハードウェア又はファームウェアで表されてもよい。概して、本明細書で説明されるモジュール/ユニット/ブロックは、それらの物理的な組織又は記憶装置に関わらず、他のモジュール/ユニット/ブロックと組み合わせられる、又はサブモジュール/サブユニット/サブブロックに分割される、論理的なモジュール/ユニット/ブロックを示す。詳細な説明は、システム、エンジン又はその一部に適用されてもよい。
ユニット、モジュール又はブロックが、他のユニット、モジュール又はブロック「上にある」、「に接続される」、「と通信される」、「に結合される」として示されるとき、他に明確に示されていない限り、他のユニット、モジュール又はブロックに直接接続、接続、結合又は通信する、若しくは、介在するユニット、エンジン、モジュール又はブロックが存在してもよい。本明細書で用いられるように、用語「及び/又は」は、関連する列挙された項目の1以上の任意及び全ての組み合わせを含む。
本明細書で用いられる用語は、特定の実施例及び実施形態を説明するためだけのものであり、限定的となることは意図されない。本明細書で用いられるように、単数形「a」、「an」及び「the」は、他に明確に示されていない限り、複数形態も含むことが意図されてもよい。用語「含む」及び/又は「備える」は、本開示で用いられるとき、整数、装置、態様、状態特性、ステップ、要素、動作、及び/又は構成要素の存在を特定するが、1以上の他の整数、装置、態様、特徴、ステップ、要素、動作、構成要素及び/又はそのグループの存在又は追加を排除するものではないことが更に理解されるであろう。
一部の実施形態では、イメージングシステムは、ディジタルサブトラクション血管造影(DSA)、磁気共鳴画像(MRI)、磁気共鳴血管造影(MRA)、コンピュータ断層撮影(CT)、コンピュータ断層撮影血管造影(CTA)、超音波スキャニング(US)、陽電子放出断層撮影(PET)、単光子放射型コンピュータ断層撮影(SPECT)、CT-MR、CT-PET、CE-SPECT、DSA-MR、PET-MR、PET-US、SPECT-US、TMS(transcranial magnetic stimulation)-MR、US-CT、US-MR、X線-CT、X線-MR、X線-ポータル、X線-US、ビデオ-CT、Vide-US又は同様のもの、又はそれらの組み合わせを含む1以上のモダリディを含んでもよい。一部の実施形態では、対象領域は、臓器、組織、物体、病変、腫瘍、又は同様のもの、又はその組み合わせであってもよい。単に例として、対象領域は、頭部、胸部、肺、肋骨、椎骨、胸膜、縦隔、腹部、大腸、小腸、膀胱、胆嚢、三焦、骨盤腔、背骨、四肢、骨格、血管、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、画像は、2D画像及び/又は3D画像を含んでもよい。2D画像では、その最小の区別可能な要素は、ピクセルと呼ばれる。3D画像では、その最小の区別可能な要素は、ボクセル(「a volumetric pixel」又は「a volume pixel」)と呼ばれる。一部の実施形態では、3D画像は、一連の2Dスライス又は2Dレイヤとしてもみなされてもよい。
簡略化のために、物体(例えば、被験者(例えば患者)の組織、臓器、腫瘍)に対応する画像又はその一部(例えば、画像における関心領域(region of interest(ROI))は、物体の、物体を含む、又は物体自体の画像又はその一部(例えばROI)として示されてもよい。例えば、肋骨に対応するROIは、ROIが肋骨を含むものとして説明されてもよい。別の例として、肋骨の画像又は肋骨を含む画像は、肋骨画像又は単に肋骨と呼ばれてもよい。簡略化のために、物体に対応する画像の一部は、物体が処理される(例えば、抽出、分割)として説明されてもよい。例えば、肋骨に対応する画像の一部が画像の残りの部分から抽出されていることは、肋骨が抽出されていると説明されてもよい。
本開示の一態様は、画像処理(例えば画像セグメンテーション)のための深層学習モデルを訓練するシステム及び方法に関する。深層学習モデルを訓練するために、システムは、予備深層学習モデルを取得し、少なくとも1つのサンプル画像を取得し、少なくとも1つのサンプル画像に基づいて複数のサブ画像を生成し、訓練された深層学習モデルを得るために、複数のサブ画像を用いて予備深層学習モデルを訓練してもよい。各サブ画像は、1以上の他のサブ画像としてサンプル画像の同一部分を有してもよい。サブ画像は、決定された同一部分の幅、及び決定されたサブ画像の数(又は決定された各サブ画像のサイズ)に基づいて生成されてもよい。
説明の目的のために、以下の記載は、訓練された深層学習モデルを得るために、訓練処理に関して提供される。本開示の範囲を限定することが意図されないことが理解される。当業者にとって、特定量の変動、変更及び/又は修正は、本開示の指針の下に推論されてもよい。それらの変動、変更及び/又は修正は、本開示の範囲を逸脱するものではない。
図1A及び1Bは、本開示の一部の実施形態に係る例示的なイメージングシステムを示す概略図である。図1に示すように、イメージングシステム100は、スキャナ110と、ネットワーク120と、1以上の端末130と、処理装置140と、ストレージ装置150と、を含んでもよい。イメージングシステム100の構成要素は、1以上の可変な手法で接続されてもよい。単に例として、図1Aに示すように、スキャナ110は、ネットワーク120を通じて処理装置140に接続されてもよい。別の例として、スキャナ110は、処理装置140に直接的に接続されてもよい。更に別の例として、ストレージ装置150は、直接的に又はネットワーク120を通じて処理装置140に接続されてもよい。更に別の例として、端末130は、直接的に又はネットワーク120を通じて処理装置140に接続されてもよい。
スキャナ110は、物体を走査し、物体に関する走査されたデータを生成する。一部の実施形態では、スキャナ110は、医療イメージング装置であってもよく、例えば、PET装置、SPECT装置、CT装置、MRI装置又は同様のもの又はその組み合わせ(例えばPET-CT装置、PET-MRI装置又はSPECT-MRI装置)であってもよい。スキャナ110は、ガントリー111と、検出器112と、検出領域113と、テーブル114と、を含んでもよい。一部の実施形態では、スキャナ110は、放射性走査源115も含んでもよい。ガントリー111は、検出器112及び放射性走査源115を支持してもよい。物体は、走査のためにテーブル114上に配置されてもよい。本開示では、「物体」及び「被写体」は、互いに交換可能に用いられる。放射性走査源115は、物体に放射線を放出してもよい。一部の実施形態では、検出器112は、検出領域113から放出された放射イベント(例えば、ガンマ光子)を検出してもよい。一部の実施形態では、スキャナ110は、MRI走査装置であってもよく、検出器112は、無線周波数(RF)信号を検出及び/又は受信する電気回路を含んでもよい。
ネットワーク120は、イメージングシステム100のための情報及び/又はデータの交換を容易にしうる適切なネットワークを含んでもよい。一部の実施形態では、イメージングシステム100の1以上の構成要素(例えば、スキャナ110、端末130、処理装置140、ストレージ装置150)は、ネットワーク120を介してイメージングシステム100の1以上の他の構成要素と情報及び/又はデータを伝達してもよい。例えば、処理装置140は、ネットワーク120を介してスキャナ110から画像データを得てもよい。別の例として、処理装置140は、ネットワーク120を介して端末130からユーザ指示を得てもよい。ネットワーク120は、パブリックネットワーク(例えば、インターネット)、プライベートネットワーク(例えば、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN))、有線ネットワーク(例えばイーサネットネットワーク)、無線ネットワーク(例えば802.11ネットワーク、Wi-Fiネットワーク)、セルラーネットワーク(例えばロングタームエボリューション(LTE)ネットワーク)、フレームリレーネットワーク、バーチャルプライベートネットワーク(“VPN”)、衛星ネットワーク、電話ネットワーク、ルーター、ハブ、スイッチ、サーバコンピュータ、及び/又はその組み合わせであってもよい、及び/又は含んでもよい。単に例として、ネットワーク120は、ケーブルネットワーク、ワイヤラインネットワーク、ファイバーオプティックネットワーク、遠距離通信ネットワーク、イントラネット、無線ローカルエリアネットワーク(WLAN)、メトロポリタンエリアネットワーク(MAN)、公衆交換電話網(public telephone switched network (PSTN))、Bluetooth(登録商標)ネットワーク、ZigBee(登録商標)ネットワーク、近距離無線通信(NFC)ネットワーク、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、ネットワーク120は、1以上のネットワークアクセスポイントを含んでもよい。例えば、ネットワーク120は、データ及び/情報を交換するために、それを介してイメージングシステム100の1以上の構成要素がネットワーク120に接続されてもよい基地局及び/又はインターネット相互接続点等のような有線及び/又は無線ネットワークアクセスポイントを含んでもよい。
端末130は、モバイル装置131、タブレットコンピュータ132、ラップトップコンピュータ133、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、モバイル装置131は、スマートホームデバイス、ウェアラブルデバイス、モバイルデバイス、仮想現実デバイス、拡張現実デバイス、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、スマートホームデバイスは、スマート照明デバイス、インテリジェント家電の制御デバイス、スマート監視デバイス、スマートテレビ、スマートビデオカメラ、インターフォン、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、ウェアラブルデバイスは、ブレスレット、履物、眼鏡、ヘルメット、腕時計、衣服、バックパック、スマートアクセサリ、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、モバイル装置は、モバイルフォン、パーソナルデジタルアシスタント(PDA)、ゲーミングデバイス、ナビゲーションデバイス、販売時点管理(POS)デバイス、ラップトップ、タブレットコンピュータ、デスクトップ、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、仮想現実デバイス及び/又は拡張現実デバイスは、仮想現実ヘルメット、仮想現実眼鏡、仮想現実パッチ、拡張現実ヘルメット、拡張現実眼鏡、拡張現実パッチ、又は同様のもの、又はその組み合わせを含んでもよい。例えば、仮想現実デバイス及び/又は拡張現実デバイスは、Google Glass(登録商標)、Oculus Rift(登録商標)、Hololens(登録商標)、Gear VR(登録商標)を含んでもよい。一部の実施形態では、端末130は、処理装置140の一部であってもよい。
処理装置140は、スキャナ110、端末130及び/又はストレージ装置150から得られるデータ及び/又は情報を処理してもよい。一部の実施形態では、処理装置140は、単一サーバ又はサーバグループであってもよい。サーバグループは、中央集権化又は分散化されてもよい。一部の実施形態では、処理装置140は、ローカル又はリモートであってもよい。例えば、処理装置140は、ネットワーク120を介してスキャナ110、端末130及び/又はストレージ装置150に格納された情報及び/又はデータにアクセスしてもよい。別の例として、処理装置140は、格納された情報及び/又はデータにアクセスするために、スキャナ110、端末130及び/又はストレージ装置150に直接接続されてもよい。一部の実施形態では、処理装置140は、クラウドプラットフォーム上に実装されてもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウド、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、処理装置140は、図2に示されるような1以上の構成要素を有するコンピューティング装置200によって実施されてもよい。一部の実施形態では、処理装置140又は処理装置140の一部は、スキャナ110に一体化されてもよい。
ストレージ装置150は、データ、命令及び/又は他の情報を格納してもよい。一部の実施形態では、ストレージ装置150は、端末130及び/又は処理装置140から得られたデータを格納してもよい。一部の実施形態では、ストレージ装置150は、処理装置140が、本開示に記載される例示的な方法を行うために実行又は使用するデータ及び/又は命令を格納してもよい。一部の実施形態では、ストレージ装置150は、マスストレージ、リムーバブルストレージ、揮発性読出し書込み用メモリ、読出し用メモリ(ROM)、又は同様のもの、又はその組み合わせを含んでもよい。例示的なマスストレージは、磁気ディスク、光学ディスク、ソリッドステートディスク等を含んでもよい。例示的なリムーバブルストレージは、フラッシュドライブ、フロッピーディスク、光学ディスク、メモリカード、ジップディスク、磁気テープ等を含んでもよい。例示的な揮発性読出し書込み用メモリは、ランダムアクセスメモリ(RAM)を含んでもよい。例示的なRAMは、ダイナミックRAM(DRAM)、double date rate synchronous dynamic RAM(DDR SDRAM)、静的RAM(SRAM)、サイリスタRAM(T-RAM)、及びゼロ-キャパシタRAM(Z-RAM)等を含んでもよい。例示的なROMは、マスクROM(MROM)、プログラマブルROM(PROM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、コンパクトディスクROM (CD-ROM)、及びデジタルバーサタイルディスクROM等を含んでもよい。一部の実施形態では、ストレージ装置150は、クラウドプラットフォーム上に実装されてもよい。単に例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウド、又は同様のもの、又はその組み合わせを含んでもよい。
一部の実施形態では、ストレージ装置150は、イメージングシステム100の1以上の他の構成要素(例えば、処理装置140、端末130)と通信するためにネットワーク120に接続されてもよい。イメージングシステム100の1以上の構成要素は、ネットワーク120を介してストレージ装置150に格納されたデータ又は命令にアクセスしてもよい。一部の実施形態では、ストレージ装置150は、イメージングシステム100の1以上の他の構成要素(例えば、処理装置140、端末130)と通信するために直接接続されてもよい。一部の実施形態では、ストレージ装置150は、処理装置140の一部であってもよい。
図2は、本開示の一部の実施形態に係る、処理装置140が実装されたコンピューティング装置の例示的なハードウェア及び/又はソフトウェア構成要素を示す概略図である。図2に示すように、コンピューティング装置200は、プロセッサ210、ストレージ220、入力/出力(I/O)230、通信ポート240を含んでもよい。
プロセッサ210は、本明細書に記載の技術に従って、コンピュータ命令(例えば、プログラムコード)を実行し、処理装置140の機能を行ってもよい。コンピュータ命令は、例えば、本明細書に記載の特定の機能を行う、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャ、モジュール、及び機能を含んでもよい。例えば、プロセッサ210は、スキャナ110、端末130、ストレージ装置150及び/又はイメージングシステム100の他の構成要素から得られた画像データを処理してもよい。一部の実施形態では、プロセッサ210は、マイクロコントローラ、マイクロプロセッサ、縮小命令セットコンピュータ(RISC)、特定用途向け集積回路(ASICs)、特定用途向け命令セットプロセッサ(ASIP)、中央処理装置(CPU)、画像処理装置(GPU)、物理処理装置(PPU)、マイクロコントローラユニット、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、advanced RISC machine(ARM)、プログラマブルロジックデバイス(PLD)、1以上の機能を実行可能な回路又はプロセッサ、又は同様のもの、又はその組み合わせを含むもの、等のような1以上のハードウェアプロセッサを含んでもよい。
一部の実施形態では、プロセッサ210におけるGPUは、画像処理のために構成されてもよい。GPUは、1以上のラスタオペレーションユニット(ROPs)、バスインターフェース、1以上のシェーダー又は同様のものを含んでもよい。GPUは、ディスプレイ装置(例えば、I/O230のディスプレイ装置)に出力するために意図されるフレームバッファにおいて1以上の画像の形成を促進するための1以上の電子回路を含んでもよい。一部の実施形態では、GPUは、深層学習モデルのための1以上の訓練処理における画像処理を行ってもよい。GPUは、訓練処理に含まれる1以上の畳み込み演算(例えば、多重行列乗算)を行ってもよい。例示的なGPUの製造元は、NVIDIA、Intel、AMD等を含む。なお、本開示における用語「グラフィック処理(graphics processing)」及び「画像処理(image processing)」は、異なっていることを留意すべきである。画像処理は、1以上の画像処理のための全体処理(例えば、画像セグメンテーション、画像分類、画像レジストレーション、画像ヒュージョン)を示す。上述されたようにグラフィック処理は、1以上の画像により深層学習モデルに用いられる1以上の畳み込み演算を含んでもよい。一部の実施形態では、グラフィック処理は、深層学習モデル訓練の一部であってもよい。一部の実施形態では、グラフィック処理は、深層学習モデルに基づく画像処理の一部であってもよい。
単に例として、1つのみのプロセッサがコンピューティング装置200において説明されてもよい。しかし、本開示におけるコンピューティング装置200もまた複数のプロセッサを含んでもよく、よって、本開示において記載されるような1つのプロセッサにより行われるオペレーション及び/又はステップもまた、複数のプロセッサによって共同で又は別々に行われてもよいことを留意すべきである。
ストレージ220は、スキャナ110、端末130、ストレージ装置150及び/又はイメージングシステム100の他の構成要素から得られたデータ/情報を格納してもよい。一部の実施形態では、ストレージ220は、マスストレージ、リムーバブルストレージ、揮発性読出し書込み用メモリ、読出し用メモリ(ROM)、又は同様のもの、又はその組み合わせを含んでもよい。例示的なマスストレージは、磁気ディスク、光学ディスク、ソリッドステートディスク等を含んでもよい。リムーバブルストレージは、フラッシュドライブ、フロッピーディスク、光学ディスク、メモリカード、ジップディスク、磁気テープ等を含んでもよい。揮発性読出し書込み用メモリは、ランダムアクセスメモリ(RAM)を含んでもよい。RAMは、ダイナミックRAM(DRAM)、double date rate synchronous dynamic RAM(DDR SDRAM)、静的RAM(SRAM)、サイリスタRAM(T-RAM)、及びゼロ-キャパシタRAM (Z-RAM)等を含んでもよい。ROMは、マスクROM(MROM)、プログラマブルROM(PROM)、消去可能プログラマブルROM(EPROM)、電気的消去可能プログラマブルROM(EEPROM)、コンパクトディスクROM(CD-ROM)、及びデジタルバーサタイルディスクROM等を含んでもよい。一部の実施形態では、ストレージ220は、本開示に記載される例示的な方法を行うために1以上のプログラム及び/又は命令を格納してもよい。例えば、ストレージ220は、正規化アイテムを求めるために処理装置140のためのプログラムを格納してもよい。
I/O230は、信号、データ、情報等を入力及び/又は出力してもよい。一部の実施形態では、I/O230は、処理装置140とのユーザインタラクションを可能にしてもよい。一部の実施形態では、I/O230は、入力装置及び出力装置を含んでもよい。入力装置の例は、キーボード、マウス、タッチスクリーン、マイクロフォン、又は同様のもの、又はその組み合わせを含んでもよい。出力装置の例は、ディスプレイ装置、ラウドスピーカー、プリンタ、プロジェクタ、又は同様のもの、又はその組み合わせを含んでもよい。ディスプレイ装置の例は、液晶ディスプレイ(LCD)、発光ダイオードベースのディスプレイ、フラットパネルディスプレイ、湾曲ディスプレイ、テレビジョンディスプレイ、陰極線管(CRT)、タッチスクリーン、又は同様のもの、又はその組み合わせを含んでもよい。
通信ポート240は、データ通信を容易にするためにネットワーク(例えば、ネットワーク120)に接続されてもよい。通信ポート240は、処理装置140と、スキャナ110、端末130及び/又はストレージ装置150との間の接続を確立してもよい。接続は、有線接続、無線接続、データ伝送及び/又は受信を可能にする他の通信接続、及び/又はそれらの接続の組み合わせであってもよい。有線接続は、例えば、電気ケーブル、光学ケーブル、電話ケーブル、又は同様のもの、又はその組み合わせを含んでもよい。無線接続は、例えば、Bluetooth(登録商標)リンク、Wi-Fi(登録商標)リンク、WiMax(登録商標)リンク、WLANリンク、ZigBeeリンク、モバイルネットワークリンク(例えば、3G、4G、5G)、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、通信ポート240は、RS232、RS485等のような標準化された通信ポートであってもよい、及び/又は含んでもよい。一部の実施形態では、通信ポート240は、特別に設計された通信ポートであってもよい。例えば、通信ポート240は、digital imaging and communications in medicine(DICOM)プロトコルに従って設計されてもよい。
図3は、本開示の一部の実施形態に係る、端末130が実装されるモバイル装置300の例示的なソフトウェア及び/又はソフトウェア構成要素を示す概略図である。図3に示すように、モバイル装置300は、通信プラットフォーム310、ディスプレイ320、グラフィックプロセッシングユニット(GPU)330、中央演算処理装置(CPU)340、I/O350、メモリ360及びストレージ390を含んでもよい。一部の実施形態では、これに限定されないがシステムバス又はコントローラ(図示せず)を含む任意の他の適切な構成要素もモバイル装置300に含まれてもよい。一部の実施形態では、モバイルオペレーティングシステム370(例えば、iOS(登録商標)、Android(登録商標)、Windows Phone(登録商標))、及び1以上のアプリケーション380は、CPU340によって実行されるために、ストレージ390からメモリ360にロードされてもよい。アプリケーション380は、画像処理に関する情報又は処理装置140からの他の情報を受信及びレンダリングするためのブラウザ又は他の適切なモバイルアプリケーションを含んでもよい。情報ストリームを有するユーザインタラクションは、I/O350を介して実現され、ネットワーク120を介して処理装置140及び/又はイメージングシステム100の他のコンポーネントに提供されてもよい。
一部の実施形態では、GPU330は、グラフィックプロセッシングのために構成されてもよい。GPU330は、1以上のラスターオペレーティングユニット(ROPs)、バスインターフェース、1以上のシェーダー又は同様のものを含んでもよい。GPU330は、ディスプレイ装置(例えば、ディスプレイ320)への出力を意図するフレームバッファにおいて1以上の画像の形成を加速するために1以上の電子回路を含んでもよい。一部の実施形態では、GPU330は、深層学習モデルを訓練するために1以上の訓練処理においてグラフィックプロセッシングを行ってもよい。GPU330は、訓練処理において含まれる1以上の畳み込み演算(例えば、多重行列乗算)を行ってもよい。GPU330の例示的な製造元は、NVIDIA、Intel、AMD等を含んでもよい。
本開示において記載される様々なモジュール、ユニット及びそれらの機能を実施するために、コンピュータハードウェアプラットフォームは、本明細書に記載の要素の1以上のためのハードウェアプラットフォームとして用いられてもよい。ユーザインターフェース要素を有するコンピュータは、パーソナルコンピュータ(PC)又は他の種類のワークステーション又は端末装置を実施するために用いられてもよい。コンピュータは、また、適切にプログラムされる場合、サーバとして用いられてもよい。
図4Aは、本開示の一部の実施形態に係る、例示的な処理装置を示す概略図である。処理装置140は、データ取得モジュール402、モデル決定モジュール404及び画像処理モジュール406を含んでもよい。処理装置140の少なくとも一部は、図2に示されるコンピューティング装置200又は図3に示されるモバイル装置300上に実装されてもよい。
データ取得モジュール402は、データを取得する。データは、画像データ、画像データを処理するための1以上の命令、画像データを処理するための1以上のパラメータ、又はイメージングシステム100の1以上の構成要素(例えば、処理装置140)の性能状態に関するデータを含んでもよい。例えば、データ取得モジュール402は、図2に示されるコンピューティング装置200のGPU、又は図3に示されるモバイル装置300のGPU300の利用可能なメモリスペースに関するデータを取得してもよい。一部の実施形態では、データ取得モジュール402は、イメージングシステム100の内部データソース(例えば、スキャナ110又はストレージ装置150)又はネットワークを介してイメージングシステム100に接続された外部データソース(例えば、クラウドプラットフォーム上にあるデータベース)から画像データを取得してもよい。
画像データは、オブジェクトに関連してもよい。一部の実施形態では、画像データは、オブジェクトのボディ全体の完全なスキャニングによって生成されてもよく、生成される画像データは、オブジェクトのボディ全体に関する情報を含んでもよい。一部の実施形態では、画像データは、オブジェクトの1以上の部分をスキャンすることによって生成されてもよく、生成される画像データは、オブジェクトの1以上の部分に関する情報を含んでもよい。1以上の部分は、胸部、胴、上肢、下肢、頭部、器官、組織等を含んでもよい。画像データは、2D画像データ又は3D画像データであってもよい。3D画像データは、複数のボクセルを含んでもよい。2D画像データは、複数のピクセルを含んでもよい。画像データは、MRI画像データ、CT画像データ、X線画像データ、超音波画像データ、PET画像データ、又は同様のもの、又はその組み合わせを含んでもよい。画像データは、スキャナ110によって生成された元データ、元データに基づいて生成される画像、画像生成のためのパラメータ、又は同様のもの、又はその組み合わせを含んでもよい。一部の実施形態では、画像データは、1以上のサンプル画像に関する訓練データを含んでもよい。データ取得モジュール402は、さらなる処理のために処理装置140の1以上の他のモジュール(例えば、モデル決定モジュール404)又は1以上のユニット(例えば、図5に示されるモデル訓練ユニット)に訓練データを送信してもよい。
モデル決定モジュール404は、1以上のモデル(例えば、1以上の訓練された深層学習モデル)を決定してもよい。一部の実施形態では、モデル決定モジュール404は、訓練データに基づく深層学習モデルを訓練することによって、訓練された深層学習モデルを決定してもよい。一部の実施形態では、深層学習モデルは、1以上のディープニューラルネットワーク(DNNs)を含んでもよい。一部の実施形態では、DNNは、マルチレイヤ構造を含んでもよい。一部の実施形態では、モデル決定モジュール404は、訓練データの1以上の特徴を深層学習モデルに学習させ、マルチレイヤ構造の1以上のレイヤ(又は1以上のパラメータ)を調整してもよい。画像処理のために、訓練データは、1以上のサンプル画像に関連してもよい。一部の実施形態では、サンプル画像は、相対的に大きいサイズを有し、モデル決定モジュール404は、サンプル画像に基づく複数のサブ画像を生成し、サブ画像に対応する訓練データを得てもよい。一部の実施形態では、訓練された深層学習モデルは、イメージングシステム100の内部及び/又は外部の1以上のプロセッサによって生成されても良く、モデル決定モジュール404は、訓練された深層学習モデルを直接得てもよい。一部の実施形態では、モデル決定モジュール404は、図5Aで説明されるように、1以上のユニットを含んでもよい。
画像処理モジュール406は、1以上の画像を処理してもよい。一部の実施形態では、画像処理モジュール406は、訓練された深層学習モデルに基づいて画像を処理してもよい。例えば、画像処理モジュール406は、画像(例えば、入力画像)を、訓練された深層学習モデルにもたらし、訓練された深層学習モデルにおけるマルチレイヤ構造の1以上の(例えば全ての)レイヤ上で入力画像を処理し、処理結果を生成してもよい。画像処理モジュール406は、訓練された深層学習モデルにおいて1以上のアルゴリズムに基づいて入力画像を処理してもよい。処理は、画像セグメンテーション、画像分類、画像認識、画像品質改善、又は同様のもの、又はその組み合わせを含んでもよい。例えば、一部の実施形態では、入力画像は、関心領域(region of interest(ROI))を含んでもよく、画像処理モジュール406は、訓練された深層学習モデルに基づいて入力画像からROIを分割又は抽出してもよい。別の例として、画像処理モジュール406は、訓練された深層学習モデルに基づいて、入力画像が属する、予め設定されたグループを決定してもよい。更に別の例として、入力画像は、ROI(例えば、人間の顔)を含んでもよく、画像処理モジュール406は、訓練された深層学習モデルに基づいてROIを有する人物を認識してもよい。また、更に別の例として、入力画像は、相対的に低品質の画像であってもよく、画像処理モジュール406は、訓練された深層学習モデルに基づいて画像品質を改善してもよい。
図4Bは、本開示の一部の実施形態に係る、入力画像を処理する例示的な処理を示すフローチャートである。一部の実施形態では、入力画像を処理するために図4Bに示される処理400の1以上のオペレーションは、図1に示されるイメージングシステム100において実施されてもよい。例えば、図4Bに示される処理400は、命令の形態でストレージ装置150に格納され、処理装置140(例えば、図2に示されるコンピューティング装置200のプロセッサ210、図3に示されるモバイル装置300のCPU340)によって呼び出し及び/又は実行されてもよい。別の例として、処理400の一部は、スキャナ110上で実施されてもよい。以下に提示される、例示の処理の動作は、例示を目的とするものである。一部の実施形態では、処理は、記載されていない1以上の追加の動作で達成されてもよく、及び/又は、記載されている動作のうちの1以上がなくてもよい。更に、図4Bに図示され、以下に説明されるようなプロセスの動作の順序は、限定することを意図していない。
401において、処理装置140(例えば、モデル決定モジュール404)は、訓練された深層学習モデルを決定してもよい。深層学習モデルは、入力画像データに基づいて出力結果(例えば、画像処理結果)を生成するために用いられる1以上のアルゴリズムを含んでもよい。一部の実施形態では、深層学習モデルは、1以上のディープニューラルネットワーク(DNN)、1以上のディープボルツマンマシン(DBM)、1以上のスタックドオートエンコーダ、1以上のディープスタッキングネットワーク(DSN)等を含んでもよい。DNNは、コンボリューションニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、ディープブリーフネットワーク(DBN)等を含んでもよい。一部の実施形態では、DNNは、マルチレイヤ構造を含んでもよい。訓練された深層学習モデルは、訓練データ(例えば、1以上のサンプル画像)を用いて訓練された深層学習モデルを示してもよい。訓練された深層学習モデルに基づく画像処理の精度が、実際の使用の要求を満たすように、訓練された深層学習モデルは、深層学習モデルのアルゴリズム(例えばDNN)に関連する1以上の相対的に最適化されたパラメータを含んでもよい。一部の実施形態では、モデル決定モジュール404は、訓練データに基づいて深層学習モデルを訓練することによって、訓練された深層学習モデルを決定してもよい。一部の実施形態では、モデル決定モジュール404は、訓練データの1以上の特徴を深層学習モデルに学習させ、マルチレイヤ構造の1以上のレイヤ(又は1以上のパラメータ)を調整してもよい。一部の実施形態では、サンプル画像は、相対的に大きいサイズを有し、モデル決定モジュール404は、サンプル画像に基づいて複数のサブ画像を生成し、サブ画像に対応する訓練データを得てもよい。一部の実施形態では、訓練された深層学習モデルは、イメージングシステム100の内部及び/又は外部の1以上の他のプロセッサによって生成されてもよく、モデル決定モジュール404は、訓練された深層学習モデルを直接得てもよい。訓練された深層学習モデルの決定の更なる詳細は、本開示の他の記載(例えば、図5B及び7及びその説明)にある。
403において、処理装置140(例えば、データ取得モジュール402)は、入力画像を取得してもよい。一部の実施形態では、動作403は、動作401の前に行われてもよい。一部の実施形態では、入力画像は、深層学習モデルを訓練するために用いられるサンプル画像の少なくとも1つと同様のサイズのレベルを有してもよい。一部の実施形態では、データ取得モジュール402は、イメージングシステム100のスキャナ110、ストレージ装置150、及び/又は端末130から入力画像を取得してもよい。一部の実施形態では、データ取得モジュール402は、通信ポート240を介してコンピューティング装置200のI/O230、及び/又は通信プラットフォーム310を介してモバイル装置300のI/O350から入力画像を取得してもよい。一部の実施形態では、データ取得モジュール402は、ネットワーク120を介してイメージングシステム100に接続される外部データソースから入力画像を取得してもよい。イメージングシステム100の内部及び/又は外部の1以上のプロセッサは、データ取得モジュール402が入力画像を取得する前及び/又は後に、入力画像を前処理してもよい。前処理は、画像正規化、画像再構築、画像平滑化、抑制、弱体化、ノイズ低減、ディティール低減、変異(例えばグレーレベル変異)低減、リサイジング、又は同様のもの、又はその組み合わせを含んでもよい。例えば、入力画像は、前処理において、定められたスケールにリサイズされてもよい。定められたスケールは、入力画像の元のスケールよりも大きい又は小さくてもよい。
405において、処理装置140(例えば、画像処理モジュール406)は、401において決定された、訓練された深層学習モデルに基づいて入力画像を処理することによって処理結果を生成してもよい。画像処理モジュール406は、入力画像を、訓練された深層学習モデルにもたらし、訓練された深層学習モデルにおけるマルチレイヤ構造を1以上の(例えば、全ての)レイヤにおいて入力画像を処理し、及び/又は処理結果を生成してもよい。画像処理モジュール406は、訓練された深層学習モデルにおける1以上のアルゴリズムに基づいて入力画像を処理してもよい。処理は、画像セグメンテーション、画像分類、画像認識、画像品質改善、又は同様のもの、又はその組み合わせを含んでもよい。例えば、一部の実施形態では、入力画像は、関心領域(ROI)を含んでもよく、画像処理モジュール406は、訓練された深層学習モデルに基づいて入力画像からROIを分割する又は抽出してもよい。画像セグメンテーションのために、処理結果は、セグメンテーションに基づく分割画像(例えば、1以上の分割された肋骨を含む画像)を含んでもよい。別の例として、画像処理モジュール406は、訓練された深層学習モデルに基づいて、入力画像が属する、予め設定されたグループを決定してもよい。更に別の例として、入力画像は、ROI(例えば、人間の顔)を含んでもよく、画像処理モジュール406は、訓練された深層学習モデルに基づいてROIを所有する人物を認識してもよい。また、更に別の例として、入力画像は、相対的に低品質の画像であってもよく、画像処理モジュール406は、訓練された深層学習モデルに基づいて画像品質を改善してもよい。
図5Aは、本開示の一部の実施形態に係る、例示的なモデル決定モジュールを示すブロック図である。モデル決定モジュール404は、サブ画像生成ユニット502と、モデル訓練ユニット504と、を含んでもよい。モデル決定モジュール404の少なくとも一部は、図2に示されるコンピューティング装置200又は図3に示されるモバイル装置300上に実装されてもよい。
サブ画像生成ユニット502は、1以上のサンプリングに基づいて複数のサブ画像を生成してもよい。一部の実施形態では、サブ画像は、1以上の他のサブ画像として、サンプル画像の1以上の同一部分を有してもよい。2以上のサブ画像によって共有される同一部分は、サンプル画像における各ピクセル/ボクセルが、後続の訓練処理に含まれうることを確実にしてもよい。サブ画像生成ユニット502は、決定された同一部分の幅、決定されたサブ画像の数、及び/又は決定された各サブ画像のサイズに基づいてサブ画像を生成してもよい。一部の実施形態では、複数のサブ画像の少なくとも2つは、同一サイズを有してもよい。一部の実施形態では、複数のサブ画像は、同一サイズを有してもよい。
モデル訓練ユニット504は、1以上のモデル(例えば、1以上の深層学習モデル)を訓練してもよい。一部の実施形態では、モデル訓練ユニット504は、訓練された深層学習モデルを得るために、複数のサブ画像を用いてモデルを訓練してもよい。モデル訓練ユニット504は、サブ画像を予備深層学習モデルにもたらし、予備深層学習モデルを訓練してもよい。一部の実施形態では、モデル訓練ユニット504は、全てのサブ画像が訓練に用いられるまで、1以上の訓練処理を行ってもよい。一部の実施形態では、モデル訓練ユニット504は、各訓練処理において、更新された深層学習モデルを生成してもよい。例えば、モデル訓練ユニット504は、第1の訓練処理のために、一度にサブ画像の1以上を予備深層学習モデルにもたらし、第1の更新された深層学習モデルを生成し、その後、第2の訓練処理のために、一度に1以上の他のサブ画像を第1の更新された深層学習モデルにもたらし、第2の更新された深層学習モデルを生成してもよい。なお、訓練処理の回数は、単に例示の目的のために提供され、本開示の範囲を限定するためのものではない。
図5Bは、本開示の一部の実施形態に係る、訓練された深層学習モデルを決定するための例示的な処理を示すフローチャートである。一部の実施形態では、訓練された深層学習モデルを決定するための図5Bに示される処理500の1以上の動作は、図1に示されるイメージングシステム100で実施されてもよい。例えば、図5Bに示される処理500は、命令の形式でストレージ装置150に格納されてもよく、処理装置140(例えば、図2に示されるコンピューティング装置200のプロセッサ210、図3に示されるモバイル装置300のCPU340)によって呼びされる及び/又は実行されてもよい。別の例として、処理500の一部は、スキャナ110上で実施されてもよい。一部の実施形態では、処理500の1以上の動作は、イメージングシステム100の内部及び/又は外部の1以上のプロセッサによって行われてもよい。例えば、動作507は、イメージングシステム100の外部のプロセッサによって行われてもよい。以下に表される図示された処理の動作は、例示的であることが意図される。一部の実施形態では、処理は、記載されない1以上の追加動作、及び/又は説明されない動作の1以上により実現されてもよい。また、図5Bに示され、以下に記載される処理の動作の順序は、限定的なものを意図しない。
501において、処理装置140(例えば、データ取得モジュール402)は、予備深層学習モデルを取得してもよい。一部の実施形態では、動作501は、動作503及び/又は動作505の後に行われてもよい。予備深層学習モデルは、訓練される深層学習モデルを示してもよい。予備深層学習モデルは、マルチレイヤ構造を含んでもよい。予備深層学習モデルは、例えば、ディープブリーフネットワーク、コンボリューショナルニューラルネットワーク、コンボリューショナルディープブリーフネットワーク、ディープボルツマンマシン、スタックドオートエンコーダ、ディープスタッキングネットワーク、ディープコーディングネットワーク、ディープカーネルマシン、又は同様のもの、又はその組み合わせのような1以上のディープニューラルネットワークを含んでもよい。予備深層学習モデルは、1以上のモデルパラメータを含んでもよい。一部の実施形態では、モデルパラメータは、1以上の初期値を有してもよい。一部の実施形態では、モデルパラメータの初期値は、イメージングシステム100によって決定されたデフォルト値であってもよく、端末130を介してユーザ又はオペレータによって予め設定されてもよい。一部の実施形態では、データ取得モジュール402は、ストレージ装置150、端末130及び/又は外部データソース(図示せず)から初期値を取得してもよい。
単に例として、予備深層学習モデルは、予備コンボリューショナルニューラルネットワーク(CNN)を含んでもよい。予備深層学習モデルは、1以上の予備コンボリューションレイヤを含んでもよい。予備コンボリューションレイヤは、1以上のカーネル及び1以上の活性化関数を含んでもよい。カーネルは、特定のサイズの行列(例えば、3×3行列、5×5行列、3×5行列、5×7行列)を示してもよく、これは、1以上の要素を含んでもよい。カーネルは、入力画像により畳み込まれてもよく、特徴は、入力画像から抜き出されてもよい。特徴マップは、入力画像がカーネルにより畳み込まれた後に、生成されてもよい。なお、カーネルのサイズに対する数は、単に例示の目的のために提供され、本開示の範囲を限定するものではないことを留意すべきである。カーネルは、コンボリューショナルニューラルネットワークの1以上の畳み込み演算で用いられてもよい。活性化関数は、特徴マップを処理するために用いられる関数を示す。一部の実施形態では、活性化関数は、特徴マップに非線形性を導入してもよい。一部の実施形態では、予備深層学習モデルは、また、完全接続されたレイヤ及び/又は完全接続されたレイヤの予備的な重み行列を含んでもよい。完全接続されたレイヤは、特定の数のノードを含むレイヤを示し、各ノードは、以前のレイヤにおける全てのノードに接続される。完全接続されたレイヤは、重み行列を含んでもよい。重み行列は、完全接続されたレイヤの各ノード間及び以前のレイヤの各ノード間の接続を表してもよい。
一部の実施形態では、データ取得モジュール402は、イメージングシステム100のストレージ装置150及び/又は端末130から予備深層学習モデルを取得してもよい。一部の実施形態では、データ取得モジュール402は、通信ポート240を介してコンピューティング装置200のI/O230及び/又は通信プラットフォーム310を介してモバイル装置300のI/O350から予備深層学習モデルを取得してもよい。一部の実施形態では、予備深層学習モデルは、ネットワーク120を介してイメージングシステム100に接続される外部データソースから取得されてもよい。
503において、処理装置140(例えば、データ取得モジュール402)は、1以上のサンプル画像を取得してもよい。一部の実施形態では、動作503は、動作501の前に行われてもよい。一部の実施形態では、データ取得モジュール402は、深層学習モデルの意図された使用に基づいてサンプル画像を取得してもよい。一部の実施形態では、データ取得モジュール402は、深層学習モデルの意図された使用に基づいてサンプル画像に関する予め決定された情報を取得してもよい。サンプル画像に関する予め決定された情報は、サンプル画像の予め決定されたROI、サンプル画像の分類情報等を含んでもよい。例えば、深層学習モデルが画像セグメンテーションのために意図される場合、データ取得モジュール402は、事前に分割されている関心領域(ROI)を含むサンプル画像を取得してもよい。別の例として、深層学習モデルが画像分類のために意図される場合、データ取得モジュール402は、事前に決定されている分類情報を含むサンプル画像を取得してもよい。一部の実施形態では、サンプル画像は、1以上のポジティブサンプル画像及び1以上のネガティブサンプル画像を含んでもよい。一部の実施形態では、画像セグメンテーションのために、ポジティブサンプル画像は、適切に分割されたROIを含んでもよく、一方、ネガティブサンプル画像は、ROIを含まない、又は不適切に分割された領域を含んでもよい。例えば、肋骨セグメンテーションのために、ポジティブサンプル画像は、適切に分割された肋骨を含んでもよく、一方、ネガティブサンプル画像は、肋骨を含まない、又は分割された、肋骨に接合される椎骨を含んでもよい。
一部の実施形態では、データ取得モジュール402は、イメージングシステム100のスキャナ110、ストレージ装置150、及び/又は端末130から取得してもよい。一部の実施形態では、データ取得モジュール402は、通信ポート240を介してコンピューティング装置200のI/O230及び/又は通信プラットフォーム310を介してモバイル装置300のI/O350から予備深層学習モデルを取得してもよい。一部の実施形態では、データ取得モジュール402は、ネットワーク120を介してイメージングシステム100に接続される外部データソースからサンプル画像を取得してもよい。
505において、処理装置140(例えば、サブ画像生成ユニット502)は、503において取得されたサンプル画像に基づいて複数のサブ画像を生成してもよい。一部の実施形態では、サブ画像は、1以上の他のサブ画像として、サンプル画像の1以上の同一部分を有してもよい。2以上のサブ画像によって共有される同一部分は、サンプル画像における各ピクセル/ボクセルが、後続の訓練処理に含まれうることを確実にしてもよい。サブ画像生成ユニット502は、決定された同一部分の幅、決定されたサブ画像の数、及び/又は決定された各サブ画像のサイズに基づいてサブ画像を生成してもよい。一部の実施形態では、複数のサブ画像の少なくとも2つは、同一サイズを有してもよい。一部の実施形態では、複数のサブ画像は、同一サイズを有してもよい。サブ画像の生成の更なる説明は、本開示の他の箇所(例えば、図6及びその説明)において見出される。
507において、処理装置140(例えば、モデル訓練ユニット504)は、訓練された深層学習モデルを得るために、505において生成された複数のサブ画像に基づいて予備深層学習モデルを訓練してもよい。一部の実施形態では、モデル訓練ユニット504の1以上の動作は、図2に示されるコンピューティング装置200のGPU又は図3に示されるモバイル装置300のGPU330上で実施されてもよい。モデル訓練ユニット504は、サブ画像を予備深層学習モデルにもたらし、予備深層学習モデルを訓練してもよい。一部の実施形態では、モデル訓練ユニット504は、全てのサブ画像が訓練に使用されるまで1以上の訓練処理を行ってもよい。一部の実施形態では、モデル訓練ユニット504は、各訓練処理において、更新された深層学習モデルを生成してもよい。例えば、モデル訓練ユニット504は、第1の訓練処理のために、一度にサブ画像の1以上を予備深層学習モデルにもたらし、第1の更新された深層学習モデルを生成し、その後、第2の訓練処理のために、一度に1以上の他のサブ画像を第1の更新された深層学習モデルにもたらし、第2の更新された深層学習モデルを生成してもよい。一部の実施形態では、訓練処理の1以上の繰り返しは、全てのサブ画像が訓練に用いられるまで行われてもよく、訓練された深層学習モデルが得られてもよい。なお、訓練処理の回数は、単に例示の目的のために提供され、本開示の範囲を限定するものではないことを留意すべきである。
訓練処理において、モデル訓練ユニット504は、深層学習モデル(例えば、予備的な又は更新された深層学習モデル)の初期レイヤにおける複数のサブ画像の1以上のサブ画像を処理してもよく、処理結果は、予備的な又は更新された深層学習モデルの次のレイヤのための入力データの機能を果たしてもよい。モデル訓練ユニット504は、以前のレイヤから得られた予備的な又は更新された深層学習モデルの各レイヤの入力データを処理してもよい。モデル訓練ユニット504は、予備的な又は更新された深層学習モデルの最後のレイヤから出力を生成してもよい。最後のレイヤから生成された出力は、深層学習モデル、サブ画像が深層学習モデルの全てのレイヤを通過した後に生成された画像等に関する1以上の更新されたモデルパラメータを含んでもよい。一部の実施形態では、モデル訓練ユニット504は、サブ画像の予め決定された情報と出力とを比較してもよい。一部の実施形態では、モデル訓練ユニット504は、新たに更新された深層学習モデルを得るために、比較の結果に基づいて、予備的な又は更新された深層学習モデルのモデルパラメータを更新し、そうすることによって、新たに更新された深層学習モデルは、以前の深層学習モデル(例えば、予備的な又は更新された深層学習モデル)よりも予め決定された情報に近い出力を生成するために用いられてもよい。
単に例として、予備深層学習モデルは、画像セグメンテーションのためのCNNを含み、モデル訓練ユニット504は、以下に説明される例示的な訓練処理を行ってもよい。CNNの1以上のモデルパラメータは、初期値を有してもよい。モデルパラメータは、各コンボリューションレイヤのカーネル、各コンボリューションレイヤの活性化関数、完全接続されたレイヤの重み行列を含んでもよい。モデル訓練ユニット504は、サブ画像を予備深層学習モデルにもたらしてもよい。サブ画像は、対応するサンプル画像から以前に分割されているROIの一部を含んでもよい。コンボリューションレイヤにおいて、モデル訓練ユニット504は、サブ画像に対応する特徴画像を得るために、コンボリューションレイヤのカーネル及び活性化関数を用いてサブ画像に基づいて畳み込み演算及び最大プーリング演算を行ってもよい。モデル訓練ユニット504は、セグメンテーション結果を得るために、完全接続されたレイヤの重み行列を用いて特徴画像を処理してもよい。モデル訓練ユニット504は、セグメンテーション結果と、サブ画像において以前に分割されたROIの一部との差を求めてもよい。モデル訓練ユニット504は、また、求められた差に基づいて予備深層学習モデルのモデルパラメータを更新してもよい。一部の実施形態では、モデル訓練ユニット504は、更に、上述されたものと同様の手法で以前に更新された深層学習モデルを更新してもよい。例えば、モデル訓練ユニット504は、何回も例示的な訓練処理を繰り返してもよく、そうすることによって、複数のサブ画像は、訓練のために異なる回数用いられてもよい。よって、モデル訓練ユニット504は、対応する更新されたモデルパラメータを有する訓練された深層学習モデルを得てもよい。訓練処理の更なる説明は、本開示の他の箇所(例えば、図7及びその説明)で見出される。
図6は、本開示の一部の実施形態に係る1以上のサンプル画像に基づいて複数のサブ画像を生成する例示的な処理を示すフローチャートである。一部の実施形態では、複数のサブ画像を生成する図6に示される処理600の1以上の動作は、図1に示されるイメージングシステム100で実施されてもよい。例えば、図6に示される処理600は、命令の形式でストレージ装置150に格納され、処理装置140(例えば、図2に示されるコンピューティング装置200のプロセッサ210、図3に示されるモバイル装置300のCPU340)によって呼び出される及び/又は実行されてもよい。別の例として、処理600の一部は、スキャナ110上で実施されてもよい。一部の実施形態では、処理600の1以上の動作は、イメージングシステム100の内部及び/又は外部の1以上のプロセッサによって行われてもよい。一部の実施形態では、図5Bに示される動作505は、処理600に従って行われてもよい。以下に表される図示された処理の動作は、例示的であることが意図される。一部の実施形態では、処理は、記載されない1以上の追加動作、及び/又は説明されない動作の1以上により実現されてもよい。また、図6に示され、以下に記載される処理の動作の順序は、限定的なものを意図しない。
601において、処理装置140(例えば、データ取得モジュール402)は、1以上のサンプル画像を取得してもよい。サンプル画像を取得するための動作601は、動作503に従って行われてもよく、本明細書では繰り返されない。一部の実施形態では、503において取得されたサンプル画像は、以下の動作の1以上で用いられ、よって、動作601は省略されてもよい。
603において、処理装置140(例えば、サブ画像生成ユニット502)は、複数のサブ画像の数及び/又は複数のサブ画像の各々のサイズを決定してもよい。一部の実施形態では、サブ画像生成ユニット502は、イメージングシステム100のデフォルト設定又は端末130を介したユーザ又はオペレータによるプリセットに従って複数のサブ画像の数及び/又は複数のサブ画像の各々のサイズを決定してもよい。一部の実施形態では、サブ画像生成ユニット502は、サンプル画像のサイズ及び/又はグラフィックプロセッシングユニット(GPU)(例えば、プロセッサ210のGPU、GPU330)の利用可能なスペースに基づいて、複数のサブ画像の数及び/又は複数のサブ画像の各々のサイズを決定してもよい。GPUは、1以上のグラフィックス演算を行うように設計されたプロセッサを示す。一部の実施形態では、グラフィックス演算は、画像(例えば、サブ画像)及びカーネルに基づいて畳み込み演算(すなわち、多重行列乗算)を含んでもよい。GPUの更なる説明は、本開示の他の箇所(例えば、図2及び3及びその説明)で見出される。
一部の実施形態では、GPUは、一度に相対的に大きいサイズのサンプル画像を処理することができず、よって、GPUは、深層学習モデルの訓練を実現できない。一部の実施形態では、相対的に大きいサイズとは、GPUの利用可能なメモリスペースに近い又はGPUの利用可能なメモリスペースよりも大きいサイズを示す。したがって、サンプル画像は、GPUにおける処理を促進するためにダウンスケールされる必要がある。一部の実施形態では、サブ画像生成ユニット502は、サンプル画像に基づいて複数のサブ画像を生成してもよい。複数のサブ画像の各々は、GPUにおいて処理されるために適切なサイズを有してもよい。一部の実施形態では、サブ画像生成ユニット502は、GPUの利用可能なメモリスペースに基づいてGPUで処理されるために適したサブ画像のサイズ範囲を決定してもよい。サブ画像の各々は、サイズ範囲内のサイズを有してもよい。一部の実施形態では、サブ画像生成ユニット502は、GPUの利用可能なメモリスペースに基づいてサイズ閾値を決定してもよい。サイズ閾値は、GPUにおいて処理されるために適切なサブ画像の最も大きい画像サイズであってもよい。サイズ閾値は、GPUの利用可能なメモリスペースのパーセンテージに関連する値を有してもよい。例えば、パーセンテージは、10%、20%、30%、40%、50%、60%、70%、80%、90%又は同様のものであってもよい。一部の実施形態では、サイズ閾値、サイズ範囲、及び/又はパーセンテージは、デフォルト値に基づいて決定されてもよい。一部の実施形態では、デフォルト値は、イメージングシステム100によって決定されてもよく、端末130を介してユーザ又はオペレータによってプリセットされてもよい。一部の実施形態では、サブ画像生成ユニット502は、サイズ範囲及び/又はサイズ閾値に基づいてサブ画像の各々のサイズを決定してもよい。なお、一部の実施形態では、サイズ範囲の上限は、GPUの利用可能なメモリスペース未満であってもよいことを留意すべきである。一部の実施形態では、サイズ範囲の下限は、GPUの利用可能なメモリスペースの利用を改善するために、GPUの利用可能なメモリスペースのプリセット値又はプリセットパーセンテージであってもよい。
一部の実施形態では、サブ画像生成ユニット502は、サイズ閾値で割られたサンプル画像のサイズの商に基づいてサブ画像の数を決定してもよい。サブ画像の数は、1以上の整数であってもよい。例えば、サイズ閾値で割られたサンプル画像のサイズの商は、整数であり、サブ画像の数は、整数として決定されてもよい。サイズ閾値で割られたサンプル画像のサイズの商が、小数である場合、サブ画像の数は、小数に1を加えた整数部分として決定されてもよい。一部の実施形態では、複数のサブ画像は、同一サイズ及び/又は同一形状を有してもよい。一部の実施形態では、複数のサブ画像は、様々なサイズ及び/又は様々な形状を有してもよく、各サブ画像のサイズは、サイズ範囲内又はサイズ閾値未満であってもよい。サブ画像は、矩形、正方形、円、三角形等の形状を有してもよい。一部の実施形態では、サブ画像は、1以上の他のサブ画像と同一のサンプル画像の部分を有してもよい。例えば、2つのサブ画像は、互いに部分的に重複してもよい。別の例として、複数のサブ画像は、第1のサブ画像、第2のサブ画像及び第3のサブ画像を含み、その第1のサブ画像及び第2のサブ画像は、サンプル画像の第1の部分(例えば、第1の同一部分)を含み、第1のサブ画像及び第3のサブ画像の各々は、サンプル画像の第2の部分(又は第2の同一部分)を含んでもよい。畳み込み演算の特性に従って、サブ画像エッジに関する情報は、1以上の畳み込み演算において失われてもよい。2以上のサブ画像によって共有される同一部分は、同一画像におけるピクセル/ボクセルが訓練処理に含まれうることを確実にし、よって、サンプル画像に関連する情報損失は、訓練処理において回避されてもよい。
605において、処理装置140(例えば、サブ画像生成ユニット502)は、複数のサブ画像の2以上のサブ画像(例えば、2つの隣接するサブ画像)によって共有されるサンプル画像の同一部分の幅を決定してもよい。一部の実施形態では、サブ画像生成ユニット502は、1以上の訓練処理で訓練される深層学習モデル(例えば、501において取得される予備深層学習モデル、更新された深層学習モデル)のモデルパラメータに基づいて同一部分の幅を決定してもよい。一部の実施形態では、深層学習モデルは、動作501及び507において説明されるように1以上のカーネルを含んでもよく、サブ画像生成ユニット502は、1以上のカーネルのサイズに基づいて同一部分の幅を決定してもよい。
一部の実施形態では、サブ画像生成ユニット502は、基準値R以上の同一部分の幅に対応するピクセル又はボクセルの数を決定してもよい。一部の実施形態では、深層学習モデルにおいて1つのみのカーネルが存在し、サブ画像のピクセル/ボクセルに関する情報は、畳み込み中に失われてもよく、そのピクセル/ボクセルは、カーネルの幅の約1/2の幅(すなわち、(W-1)/2)を有してもよい。基準値Rは、カーネルWから1を引いた幅(すなわち、R=W-1)と等しくてもよく、そうすることによって、サンプル画像の各ピクセル/ボクセルは、訓練処理において含まれてもよく、情報損失が回避されてもよい。例えば、予備深層学習モデルにおけるカーネルが5×5行列で表される場合、サブ画像生成ユニット502は、(5-1)、つまり4以上を、同一部分の幅に対応するピクセル又はボクセルの数として決定してもよい。このように、カーネルによって処理されるとき、同一部分を共有する2以上のサブ画像の各々が、(W-1)/2の幅のピクセル/ボクセルに対応する情報を損失する場合であっても、同一部分のデータのみが失われ、サンプル画像全体のデータは、更なる訓練のために完全に維持されてもよい。
一部の実施形態では、深層学習モデルにおいて複数のダウンサンプリングレイヤ(又は一部の例ではプーリングレイヤとも呼ばれる)が存在し、各ダウンサンプリングレイヤは、1以上のカーネルを含んでもよい。ダウンサンプリングレイヤは、プーリングレイヤ又はサブサンプリングレイヤとも呼ばれ、これは、深層学習モデルの以前のレイヤからの出力をダウンサンプリングする(例えば、ピクセル/ボクセルのセットを1つの値にダウンサンプリングする)。基準値Rは、1以上のカーネルの幅及び/又は1以上のカーネルを含むダウンサンプリングレイヤの数に関連してもよい。一部の実施形態では、基準値Rは、式(1)として求められうる。
Figure 0007014910000002
ここで、P=Si+1(1+Pi+1)、iは1より大きい整数(例えば、1,2,...,N-2)であり、Nは、1以上のカーネルを含むダウンサンプリングレイヤの数であり、N番目のレイヤは、出力レイヤであり、PN-1=S,S=(W-1)/2、jは、1より大きい整数であり、Wは、j番目のレイヤにおけるカーネルの最大幅を示す。
なお、2つのサブ画像によって共有されるサンプル画像の第1の同一部分及び他の2つのサブ画像によって共有されるサンプル画像の第2の同一部分は、同一又は異なっていてもよい。サブ画像の同一部分の更なる説明は、本開示の他の箇所(例えば、図8A-8B及びその説明)で見出される。
607において、処理装置140(例えば、サブ画像生成ユニット502)は、同一部分の幅、複数のサブ画像の数、及び/又は複数のサブ画像の各々のサイズに基づいて複数のサブ画像を生成してもよい。一部の実施形態では、サブ画像生成ユニット502は、複数のサブ画像の数及び/又は複数のサブ画像の各々のサイズに基づいて、サンプル画像を分割することによって複数の予備的なサブ画像を生成してもよい。一部の実施形態では、サブ画像生成ユニット502は、同一部分の幅に基づいて予備的なサブ画像の1以上のエッジを拡大してもよい。例えば、サブ画像生成ユニット502は、R/2ピクセル/ボクセルについて予備的なサブ画像のエッジを拡大してもよく、そうすることによって、2つの隣接するサブ画像によって共有される同一部分の幅は、R以上となってもよい。一部の実施形態では、サブ画像生成ユニット502は、サンプル画像のエッジの1以上のピクセル/ボクセルに基づいてR/2ピクセル/ボクセルについてサンプル画像のエッジに位置付けられる予備的なサブ画像を拡大してもよい。一部の実施形態では、サブ画像生成ユニット502は、左から右、上から下の順に複数のサブ画像を生成してもよい。例えば、サブ画像生成ユニット502は、サンプル画像の上部左隅における第1のサイズの1番目のサブ画像、及び1番目のサブ画像に隣接する第2のサイズの2番目のサブ画像を生成し、サブ画像生成ユニット502は、第1のサイズ及び第2のサイズに基づいて2番目のサブ画像の範囲及び/又は位置を決定してもよく、そうすることによって、1番目のサブ画像及び2番目のサブ画像の共有部分は、R以上の幅を有してもよい。
各サブ画像は、GPUにおいて処理されるために適したサイズを有してもよい。各サブ画像は、1以上の他のサブ画像としてサンプル画像の同一部分を有してもよい。一部の実施形態では、サブ画像の2以上は、同一サイズを有してもよい。一部の実施形態では、サブ画像は、異なるサイズを有してもよい。一部の実施形態では、サブ画像生成ユニット502は、格納するために、生成されたサブ画像をストレージ装置(例えば、ストレージ装置150)に送信してもよく、よって、サブ画像は、1以上の更なる訓練処理のために用いられてもよい。
一部の実施形態では、処理装置140(例えば、サブ画像生成ユニット502)は、拡張データを得るために、1以上の方向にサンプル画像上でデータ拡張演算又はデータ充填演算を行ってもよい。方向は、サンプル画像の次元に関連してもよい。例えば、サンプル画像が2次元画像(例えば、X-Y面における画像)である場合、データ充填演算は、X軸方向及び/又はY軸方向に沿って行われてもよい。別の例として、サンプル画像が3次元画像(例えば、X-Y-Z空間における画像)である場合、データ充填演算は、X軸方向、Y軸方向及び/又はZ軸方向に沿って行われてもよい。拡張又は充填データに対応するピクセル/ボクセルの幅は、基準値Rの1/2以上であってもよい。
一部の実施形態では、サンプル画像のデータ拡張又は充填は、サブ画像が生成される前に行われてもよい。処理装置140は、サンプル画像の外部に向かってサンプル画像を充填又は拡張してもよい。例えば、処理装置140は、X軸の正方向、Y軸の正方向、X軸の負方向、及び/又はY軸の負方向に沿ってサンプル画像を充填又は拡張してもよい。
一部の実施形態では、サンプル画像のデータ拡張又は充填は、サブ画像が生成された後に行われてもよい。例えば、処理装置140は、サンプル画像のマージンに位置付けられる1以上のサブ画像(例えば、図8A-8D及び8F-8Iに示されるサブ画像820-1、サブ画像820-2、サブ画像820-3、サブ画像820-4、サブ画像820-6、サブ画像820-7、サブ画像820-8及びサブ画像820-9)を充填又は拡張してもよい。処理装置140は、サンプル画像の外側に向かってサブ画像を充填又は拡張してもよい。例えば、処理装置140は、X軸の正方向及びY軸の正方向に沿ってサブ画像820-1を充填又は拡張し、処理装置140は、Y軸の正方向に沿ってサブ画像820-2を充填又は拡張し、処理装置140は、X軸の正方向及びY軸の正方向に沿ってサブ画像820-3を充填又は拡張し、処理装置140は、X軸の負方向に沿ってサブ画像820-4を充填又は拡張し、処理装置140は、X軸の正方向に沿ってサブ画像820-6を充填又は拡張し、処理装置140は、X軸の負方向及びY軸の負方向に沿ってサブ画像820-7を充填又は拡張し、処理装置140は、Y軸の負方向に沿ってサブ画像820-8を充填又は拡張し、処理装置140は、X軸の正方向及びY軸の負方向に沿ってサブ画像820-9を充填又は拡張してもよい。拡張又は充填されたデータに対応するピクセル/ボクセルの幅は、畳み込み中の情報損失の回避を確実にするためにR/2以上であってもよい。
一部の実施形態では、拡張又は充填されたデータは、イメージングシステム100又はユーザによって決定される、又はサンプル画像のピクセル/ボクセルに基づいて得られてもよい。例えば、拡張又は充填されたデータは、0であってもよい。別の例として、拡張又は充填されたデータは、サンプル画像のマージンに位置付けられるピクセル又はボクセルのものと同一であってもよい。更に別の例として、拡張又は充填されたデータは、サンプル画像の重み付けられた計算及び/又は1以上のピクセル/ボクセルの指数関数的減衰に基づいて得られてもよい。
なお、処理600の上記の説明は、単に例示の目的のために提供され、本開示の範囲を限定するものではないことを留意すべきである。当業者にとって、複数の変形及び変更が本開示の教示の下になされてもよい。しかし、それらの変形及び変更は、本開示の範囲から逸脱しない。例えば、動作605は、動作603の前又は同時に行われてもよい。別の例として、サンプル画像は、3D画像であってもよく、予備深層学習モデルのカーネルは、3Dカーネルであってもよく、サンプル画像の同一部分は、また、3D部分であってもよい。また、更に別の例として、2以上のサブ画像によって共有される3D画像の同一部分の3Dサイズは、カーネルの3Dサイズに基づいて決定されてもよい。
図7は、本開示の一部の実施形態に係る、予備深層学習モデルを訓練する例示的な処理を示すフローチャートである。一部の実施形態では、予備深層学習モデルを訓練する図7に示される処理700の1以上の動作は、図1に示されるイメージングシステム100で実施されてもよい。例えば、図7に示される処理700は、命令の形式でストレージ装置150に格納されてもよく、処理装置140(例えば、図2に示されるコンピューティング装置200のプロセッサ210、図3に示されるモバイル装置300のCPU340)によって呼び出される及び/又は実行されてもよい。別の例として、処理700の一部は、スキャナ110上で実施されてもよい。一部の実施形態では、処理700の1以上の動作は、イメージングシステム100の内部及び/又は外部の1以上のプロセッサによって行われてもよい。一部の実施形態では、図5に示される動作507は、処理700に従って行われてもよい。以下に提示される示された処理の動作は、例示的であることが意図される。一部の実施形態では、処理は、記載されない1以上の追加動作により実現されてもよい、及び/又は説明される1以上の動作なしに実現されてもよい。また、図7に示され、以下に説明される処理の動作の順序は、限定的であることが意図されない。
701において、処理装置140(モデル訓練ユニット504)は、第1のサブ画像をGPU(例えば、プロセッサ210のGPU、GPU330)にロードしてもよい。一部の実施形態では、第1のサブ画像は、複数のサブ画像からランダムに選択されてもよい。一部の実施形態では、第1のサブ画像は、プリセットルールに基づいて選択されてもよい。プリセットルールは、複数のサブ画像の順序に関連してもよい。モデル訓練ユニット504は、サブ画像の位置情報に基づいて複数のサブ画像の順序を決定してもよい。例えば、モデル訓練ユニット504は、1番目のサブ画像としてサンプル画像の上部左隅のサブ画像を決定してもよく、残りのサブ画像を、左から右へ、上から下へ、2番目のサブ画像、3番目のサブ画像、N番目のサブ画像として決定してもよい。数Nは、1より大きい整数であってもよい。一部の実施形態では、モデル訓練ユニット504は、GPUにロードされる第1のサブ画像として1番目のサブ画像を決定してもよい。なお、1番目のサブ画像は、必ずしもGPUにロードされるべき第1のサブ画像となる必要はなく、N番目のサブ画像は、必ずしもGPUにロードされる最後のサブ画像となる必要はないことを留意すべきである。サブ画像の連番(例えば、1,2,3,…,N)は、必ずしも、サブ画像の生成の順序又はGPUへのサブ画像のロードの順序を表さなくてもよい。一部の実施形態では、複数のサブ画像は、ストレージ装置(例えば、ストレージ装置150)に格納されてもよく、モデル訓練ユニット504は、第1のサブ画像をストレージ装置からGPUにロードしてもよい。一部の実施形態では、モデル訓練ユニット504は、第1のサブ画像をサブ画像生成ユニット502からGPUへ直接的にロードしてもよい。
703において、処理装置140(例えば、モデル訓練ユニット504)は、更新された深層学習モデルを得るために、第1のサブ画像を用いて予備深層学習モデルを訓練してもよい。予備深層学習モデルの訓練は、動作507に記載されるものに対応してもよい。一部の実施形態では、予備深層学習モデルは、1以上のCNNを含んでもよい。CNNの1以上のモデルパラメータは、初期値を有してもよい。モデルパラメータは、各コンボリューションレイヤのカーネル、各コンボリューションレイヤの活性化関数、及び/又は完全接続されたレイヤの重み行列を含んでもよい。モデル訓練ユニット504は、第1のサブ画像を予備深層学習モデルにもたらしてもよい。第1のサブ画像は、対応するサンプル画像から以前に分割されているROIの一部を含んでもよい。コンボリューションレイヤにおいて、モデル訓練ユニット504は、第1のサブ画像に対応する特徴画像を得るために、コンボリューションレイヤのカーネル及び活性化関数を用いて第1のサブ画像に基づいて畳み込み演算及び最大プーリング演算を行ってもよい。モデル訓練ユニット504は、セグメンテーション結果を得るために、完全接続されたレイヤの重み行列に基づいて特徴画像を処理してもよい。モデル訓練ユニット504は、セグメンテーション結果と第1のサブ画像において以前に分割されたROIの一部との差を求めてもよい。その後、モデル訓練ユニット504は、更新された深層学習モデルを得るために、差に基づいて予備深層学習モデルのモデルパラメータを更新してもよい。
705において、処理装置140(例えば、モデル訓練ユニット504)は、i番目のサブ画像をGPUにロードしてもよい。数値iは、現在の繰り返しカウントを表してもよい。数値iは、0より大きい整数であってもよい。例えば、iは、1,2,3,4,5,…,Nであってもよい。数値Nは、訓練処理において用いられるサブ画像の数を表してもよい。一部の実施形態では、iは、例えば1、2又は同様のもののような初期値を有してもよい。一部の実施形態では、モデル訓練ユニット504は、1以上の残りのサブ画像(すなわち、訓練のためにGPUに既にロードされているサブ画像を除いた1以上のサブ画像)からランダムにi番目のサブ画像を選択してもよい。一部の実施形態では、モデル訓練ユニット504は、動作701において説明されるように、複数のサブ画像の連番に基づいてi番目のサブ画像を選択してもよい。一部の実施形態では、モデル訓練ユニット504は、i番目のサブ画像をストレージ装置(例えば、ストレージ装置150)からGPUへロードしてもよい。一部の実施形態では、モデル訓練ユニット504は、i番目のサブ画像をサブ画像生成ユニット502からGPUへ直接的にロードしてもよい。
707において、処理装置140(例えば、モデル訓練ユニット504)は、i番目のサブ画像を用いて703において決定された、更新された深層学習モデルを訓練してもよい。更新された深層学習モデルの訓練処理は、703に記載される予備深層学習モデルのものと対応してもよく、本明細書では繰り返されない。モデルパラメータは、707で再び更新されてもよい。
一部の実施形態では、処理700は、複数の繰り返しを含んでもよい。例えば、各繰り返しにおいて、処理装置140(例えば、モデル訓練ユニット504)は、709においてどの条件が満たされるかを決定してもよい。条件は、行われた繰り返しの回数を表す繰り返しカウント、以前の繰り返しで更新されたものと比較した現在の繰り返しで更新されるモデルパラメータの変化の度合い、現在の更新された深層学習モデルを用いて生成されるセグメンテーション結果とサンプル画像において以前に分割されたROIの一部との差、又は同様のもの、又はその組み合わせに関連してもよい。条件が満たされた(例えば、繰り返しカウントが第1の閾値以上である、又は逐次反復間のモデルパラメータにおける変更の度合いが第2の閾値以下である、又はセグメンテーション結果とROIの一部との差が第3の閾値以下である)ことの決定に応じて、処理700は、713へ進み、そうでない場合、処理700は、711へ進む。
711において、処理装置140(例えば、モデル訓練ユニット504)は、iに1を加えることによって数iを更新してもよい。その後、処理700は、705へ戻り、モデル訓練ユニット504は、次の繰り返しを行ってもよい。
713において、処理装置140(例えば、モデル訓練ユニット504)は、訓練された深層学習モデルを得てもよい。一部の実施形態では、モデル訓練ユニット504は、訓練された深層学習モデルとして、最後に更新された深層学習モデルを指定してもよい。一部の実施形態では、モデル訓練ユニット504は、最後に更新された深層学習モデルの1以上のモデルパラメータを調整し、訓練された深層学習モデルとして、調整された深層学習モデルを指定してもよい。
図8A-8Iは、本開示の一部の実施形態に係る、2Dサンプル画像810の複数の例示的なサブ画像を示す概略図である。2Dサンプル画像810は、深層学習モデルが訓練されるGPUの利用可能なメモリスペースに近い又はよりも大きい、相対的に大きなサイズを有してもよい。複数のサブ画像820は、サンプル画像810の完全な情報を含んでもよい。サブ画像820-n(n=1,2,…,9)は、2Dサンプル画像において斜線部分によって表されてもよい。各サブ画像820-nは、GPUで処理されるのに適したサイズを有してもよい。一部の実施形態では、複数のサブ画像820は、同一サイズを有してもよい。一部の実施形態では、各サブ画像820-nは、1以上の他のサブ画像と同一の2Dサンプル画像の部分を有してもよい。例えば、サブ画像820-1は、サブ画像820ー2と同一の2Dサンプル画像810の第1の同一部分を有してもよい。別の例として、サブ画像820-1は、サブ画像820-4と同一の2Dサンプル画像810の第2の同一部分を有してもよい。
図9は、本開示の一部の実施形態に係る、2Dサンプル画像810の複数のサブ画像820の同一の例示的な部分を示す概略図である。図9に示されるように、同一部分A1は、サブ画像820-1及び820-2によって共有されてもよい。同一部分A2は、サブ画像820-2及び820-3によって共有されてもよい。同一部分B1は、サブ画像820-1及び820-4によって共有されてもよい。同一部分B2は、サブ画像820-1、820-2、820-4及び820-5によって共有されてもよい。同一部分B3は、サブ画像820-2及び820-5によって共有されてもよい。同一部分B4は、サブ画像820-2、820-3、820-5及び820-6によって共有されてもよい。同一部分B5は、サブ画像820-3及び820-6によって共有されてもよい。同一部分C1は、サブ画像820-4及び820-5によって共有されてもよい。同一部分C2は、サブ画像820-5及び820-6によって共有されてもよい。同一部分D1は、サブ画像820-4及び820-7によって共有されてもよい。同一部分D2は、サブ画像820-4、820-5、820-7及び820-8によって共有されてもよい。同一部分D3は、サブ画像820-5及び820-8によって共有されてもよい。同一部分D4は、サブ画像820-5、820-6、820-8及び820-9によって共有されてもよい。同一部分D5は、サブ画像820-6及び820-9によって共有されてもよい。同一部分E1は、サブ画像820-7及び820-8によって共有されてもよい。同一部分E2は、サブ画像820-8及び820-9によって共有されてもよい。
畳み込み演算の特性に従って、サブ画像エッジに関連する情報は、失われてもよい。同一部分(例えば、同一部分A1-A2、B1-B5、C1-C2、D1-D5及びE1-E2)は、2Dサンプル画像810における各ピクセル/ボクセルが、訓練処理において呼び出されることができ、よって、2Dサンプル画像810に関連する情報損失が訓練処理において回避されることを確実にしてもよい。一部の実施形態では、同一部分は、同一の幅dを有してもよい。一部の実施形態では、同一部分は、異なる幅(図示せず)を有してもよい。同一部分の幅は、訓練される深層学習モデルのモデルパラメータに基づいて決定されてもよい。深層学習モデルは、1以上のカーネルを有してもよい。一部の実施形態では、同一部分の幅は、1以上のカーネルに基づいて決定されてもよい。一部の実施形態では、同一部分の幅に対応するピクセル又はボクセルの数は、基準値R以上として決定されてもよい。基準値Rは、カーネルの幅Wから1を引いた値と等しくてもよい(すなわち、R=W-1)。例えば、深層学習モデルにおけるカーネルが5×5行列によって表される場合、同一部分の幅に対応するピクセル又はボクセルの数は、(5-1)、つまり、4以上であると決定されてもよい。X軸及びY軸を含む座標系は、また、図9に示され、サンプル画像及びサブ画像の異なる方向を示す。
図10A及び10Bは、本開示の一部の実施形態に係る、GPUに関連する例示的なハードウェア試験情報を示す図である。CNN(例えばVnet (fully convolutional neural networks for volumetric medical image segmentation))を含む深層学習モデルは、訓練処理において訓練される。訓練処理は、8192MBの利用可能なメモリスペースを有するGPU(NVIDIA GeForce GTX 1070)において行われる。GPUは、ウィンドウズ(登録商標)ディスプレイドライバモデル(WDDM)によって駆動される。図10Aに示されるように、1024×1024の解像度のサブ画像が、訓練のためにGPUにロードされた後、GPUの6579MBのメモリスペースが専有された。図10Aに示されるGPUは、GPU ID1を有し、図示されるGPUファン速度は58%であった。GPU温度は68℃であった。GPUの電力使用は、173Wであり、GPUの電力能力は、151Wであった。GPUのパフォーマンス状態はP2であった。揮発性GPU使用率は94%であった。図10Bに示されるように、512×512の解像度を有するサブ画像が、訓練のためにGPUにロードされた後、GPUの2439MBのメモリスペースが専有された。図10Bに示されるGPUは、GPU ID0を有し、図示されるGPUファン速度は72%であった。GPU温度は82℃であった。GPUの電力使用は、134Wであり、GPUの電力能力は、151Wであった。GPUのパフォーマンス状態はP2であった。揮発性GPU使用率は98%であった。なお、より小さいサイズのサブ画像は、GPUのメモリスペースを少なく専有し、GPUの性能を改善することを留意すべきである。
このように基本的な概念を説明したので、前記の詳細な開示は、例示のためだけに提示されることを意図しており、限定的ではないことは、この詳細な開示を読んだ後に、当業者にはむしろ明らかであろう。本明細書に明示的に記載されていないが、様々な変更、改良、及び修正が起こり得るし、当業者に意図されている。これらの変更、改良、及び修正は、本開示によって示唆されることが意図されており、本開示の例示的な実施形態の趣旨及び範囲内にある。
更に、本開示の実施形態を説明するために、特定の用語が使用されてきた。例えば、「1つの実施形態」、「ある実施形態」、及び/又は「いくつかの実施形態」という用語は、実施形態に関連して記載された特定の特徴、構造又は特性が、本開示の少なくとも1つの実施形態に含まれることを意味するしたがって、本明細書の様々な部分における「ある実施形態」又は「1つの実施形態」又は「代替実施形態」への2つ以上の参照は、必ずしもすべてが同じ実施形態を参照しているわけではないことが強調され、理解されるべきである更に、特定の特徴、構造又は特徴は、本開示の1つ以上の実施形態において好適に組み合わせてもよい。
更に、当業者であれば理解されるであろうが、本開示の側面は、新規かつ有用なプロセス、機械、製造、又は物質の組成物、又はそれらの新規かつ有用な改良を含む、多数の特許可能なクラス又は文脈のいずれかで図示され、本明細書に記載されてもよい。したがって、本開示の態様は、完全にハードウェア、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードを含む)、又はすべての一般的に本明細書で「ユニット」、「モジュール」、又は「システム」と呼ばれるかもしれないソフトウェアとハードウェアの実装を組み合わせて実装されてもよい。更に、本開示の側面は、そこに具現化されたコンピュータ読み取り可能なプログラムコードを有する1つ以上のコンピュータ読み取り可能な媒体に具現化されたコンピュータプログラム製品の形態をとってもよい。
コンピュータ読み取り可能な信号媒体は、例えばベースバンドで、又は搬送波の一部として、そこに具現化されたコンピュータ読み取り可能なプログラムコードを有する伝搬データ信号を含んでもよい。このような伝搬信号は、電磁的、光学的等の様々な形態、又はそれらの適切な組み合わせを含む任意の形態をとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではない任意のコンピュータ可読媒体であってもよく、命令実行システム、装置、又は装置によって、又はそれに関連して使用するためのプログラムを通信、伝搬、又は転送することができる。コンピュータ読み取り可能な信号媒体上に具現化されたプログラムコードは、無線、有線、光ファイバーケーブル、RF等を含む任意の適切な媒体、又は前記の任意の適切な組み合わせを使用して送信されてもよい。
本開示の態様に係る動作を実行するためのコンピュータプログラムコードは、Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等のオブジェクト指向プログラミング言語、「C」プログラミング言語、Visual Basic、Fortran 2103、Perl、COBOL 2102、PHP、ABAP等の従来の手続き型プログラミング言語、Python、Ruby、Groovy等の動的プログラミング言語、又は他のプログラミング言語を含む、1つ又は複数のプログラミング言語の任意の組み合わせで記述されてもよい。プログラムコードは、ユーザのコンピュータ上で全体的に実行されてもよいし、ユーザのコンピュータ上で部分的に実行されてもよいし、スタンドアロンのソフトウェアパッケージとして実行されてもよいし、ユーザのコンピュータ上で部分的に実行されてもよいし、リモートコンピュータ上で部分的に実行されてもよいし、リモートコンピュータ又はサーバ上で全体的に実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)やワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザーのコンピュータに接続することができる、又は接続は、外部コンピュータ(例えば、インターネットサービスプロバイダを使用してインターネットを介して)又はクラウドコンピューティング環境で行われるか、又はそのようなソフトウェア・アズ・ア・サービス(Software as a Service)(SaaS)として提供される.
更に、言及された処理要素又はシーケンスの順序、又は数字、文字、又は他の指定の使用は、したがって、請求項に記載されたプロセス及び方法を、特許請求の範囲に記載されている場合を除き、任意の順序に限定することを意図するものではない。上記開示は、現在、本開示の様々な有用な実施形態と考えられるものを様々な例を通して論じているが、そのような詳細は、もっぱらその目的のためのものであり、添付の請求項は、開示された実施形態に限定されるものではなく、それどころか、開示された実施形態の精神及び範囲内にある改変及び同等の配置をカバーすることを意図していることが理解されよう。例えば、上述した各種構成要素の実装は、ハードウェア装置に具現化されていてもよいが、例えば、既存のサーバやモバイル装置へのインストール等、ソフトウェアのみのソリューションとして実装されていてもよい。
同様に、本開示の実施形態の前記の説明において、様々な特徴は、開示を合理化し、様々な発明的実施形態の1つ以上の理解を助ける目的で、1つの実施形態、図、又はその説明にまとめられていることがあることが理解されるべきである。しかしながら、この開示方法は、請求された主題が、各請求項で明示的に言及されているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。むしろ、発明的な実施形態は、前記開示された単一の実施形態のすべての特徴よりも少ないところにある。
一部の実施形態では、本出願の特定の実施形態を説明し、主張するために使用される量又は特性を表す数値は、「約」、「ほぼ」、「実質的に」という用語によって修正される場合があると理解される。例えば、「約」、「ほぼ」、「実質的に」等は、特に断りのない限り、それが記述する値の±20%の変動を示してもよい。したがって、いくつかの実施形態では、書面による説明及び添付の特許請求の範囲に記載されている数値パラメータは、特定の実施形態によって得られるように求められる所望の特性に応じて変化し得る近似値である。一部の実施形態では、いくつかの実施形態では、数値パラメータは、報告された有効数字の数に照らして、通常の丸め技術を適用して解釈されるべきである。本願のいくつかの実施形態の広い範囲を規定する数値範囲及びパラメータは近似値であることにかかわらず、特定の実施例で規定された数値は、実施可能な限り正確に報告される。
本明細書で参照される特許、特許出願、特許出願公開、及び論文、書籍、明細書、出版物、文書、物、及び/又はそのようなもののような他の資料の各々は、全ての目的のために、本明細書にその全体を参照することによって本明細書に組み込まれるが、これに関連する出願ファイルの履歴、本明細書と矛盾しているか又は矛盾しているもの、又は本明細書に関連する現在又は将来の特許請求の範囲の最も広い範囲に関して制限的な影響を及ぼす可能性のあるものを除いては、全ての目的のために本明細書に組み込まれている。例として、組み込まれた材料のいずれかに関連する用語の記述、定義、及び/又は使用と、本文書に関連する用語の使用との間に矛盾又は矛盾がある場合は、本文書における記述、定義、及び/又は用語の使用が優先される。
最後に、本明細書に開示された本願の実施形態は、本願の実施形態の原理を例示するものであることが理解される。採用される可能性のあるその他の修正は、本願の範囲内となってもよい。このように、例示的ではあるが、これに限定されるものではなく、本願の実施形態の代替的な構成が、本明細書の教示に従って利用されてもよい。したがって、本願の実施形態は、示され、説明されているように正確には限定されない。

Claims (12)

  1. 訓練された深層学習モデルを決定するように構成されるモデル決定モジュールと、
    入力画像を取得するデータ取得モジュールと、
    前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するように構成される画像処理モジュールと、を備え、
    前記モデル決定モジュールは、
    予備深層学習モデルを取得し、
    サンプル画像を取得し、
    前記サンプル画像に基づいて複数のサブ画像を生成する
    ように構成されるサブ画像生成ユニットと、
    前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するように構成されるモデル訓練ユニットと、を含
    前記複数のサブ画像のうちの少なくとも2つは、前記サンプル画像の同一部分を共有し、
    前記サンプル画像に基づいて前記複数のサブ画像を生成するために、前記サブ画像生成ユニットは、
    前記同一部分の幅を決定し、
    前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定し、
    前記同一部分の幅、及び前記複数のサブ画像の各々のサイズ又は前記サブ画像の数のうちの少なくとも1つに基づいて前記複数のサブ画像を生成する
    ように構成され、
    前記予備深層学習モデルは、少なくとも1つの畳み込みニューラルネットワーク(CNN)を含み、前記少なくとも1つのCNNは、少なくとも1つのカーネルを含み、前記同一部分の幅を決定するために、前記サブ画像生成ユニットは、
    前記少なくとも1つのカーネルのサイズに基づいて前記サンプル画像の前記同一部分の幅を決定するように構成される、
    システム。
  2. 前記サンプル画像の前記同一部分の幅を決定するために、前記サブ画像生成ユニットは、前記サンプル画像の前記同一部分の幅に対応するピクセル又はボクセルの数を基準値R以上として決定するように構成され、前記基準値Rは、前記少なくとも1つのカーネルの幅、又は前記少なくとも1つのカーネルを含む少なくとも1つのダウンサンプリングレイヤの数のうちの少なくとも1つに関連する、請求項に記載のシステム。
  3. 前記サンプル画像に基づいて前記複数のサブ画像を生成するために、前記サブ画像生成ユニットは、
    拡張データを得るために、前記サンプル画像、又は1以上の方向に沿う前記複数のサブ画像の1以上でデータエクステンションを行うように構成され、前記拡張データに対応するピクセル/ボクセルの幅は、前記基準値Rの2分の1以上である、請求項に記載のシステム。
  4. 前記基準値Rは、以下の式によって求められ、
    Figure 0007014910000003
    ここで、Pは、Si+1(1+Pi+1)に等しく、iは、1より大きい整数であり、Nは、1以上のカーネルを含むダウンサンプリングレイヤの数であり、N番目のレイヤは、出力レイヤであり、PN-1は、Sに等しく、Sは、(W-1)/2に等しく、jは、1より大きい整数であり、Wは、j番目のレイヤにおけるカーネルの最大幅を示す、請求項又はに記載のシステム。
  5. 前記複数のサブ画像は、第1のサブ画像、第2のサブ画像及び第3のサブ画像を含み、
    前記第1のサブ画像及び前記第2のサブ画像は、第1の同一部分を共有し、
    前記第1のサブ画像及び前記第3のサブ画像は、第2の同一部分を共有し、
    前記第1の同一部分は、前記第2の同一部分の第2の幅と同一である第1の幅を有する、
    請求項1からのいずれか一項に記載のシステム。
  6. 前記予備深層学習モデルを訓練するために、前記モデル訓練ユニットは、グラフィックプロセッシングユニット(GPU)によって前記予備深層学習モデルを訓練するように構成される、請求項からのいずれか一項に記載のシステム。
  7. 前記GPUによって前記予備深層学習モデルを訓練するために、
    前記モデル訓練ユニットは、
    第1のサブ画像を前記GPUにロードし、
    更新された深層学習モデルを得るために、前記第1のサブ画像を用いて前記予備深層学習モデルを訓練し、
    第2のサブ画像を前記GPUにロードし、
    訓練された深層学習モデルを得るために、前記第2のサブ画像を用いて前記更新された深層学習モデルを訓練する
    ように構成される、請求項に記載のシステム。
  8. 前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定するために、前記サブ画像生成ユニットは、
    前記サンプル画像のサイズ及び前記GPUの利用可能なメモリスペースに基づいて、前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定するように構成される、請求項又はに記載のシステム。
  9. 前記訓練された深層学習モデルに基づいて前記入力画像を処理することは、前記入力画像を分割することを含み、
    前記処理結果は、前記分割に基づく分割画像を含む、請求項1からのいずれか一項に記載のシステム。
  10. 前記複数のサブ画像の少なくとも2つは、同一サイズを有し、前記複数のサブ画像は、同一サイズを有する、請求項1からのいずれか一項に記載のシステム。
  11. 各々が少なくとも1つのプロセッサ及びストレージを有する少なくとも1つの機械で実施される方法であって、
    訓練された深層学習モデルを決定するステップと、
    入力画像を取得するステップと、
    前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するステップであって、前記訓練された深層学習モデルは、処理に従って取得される、ステップと、を備え、
    前記処理は、
    予備深層学習モデルを取得するステップと、
    サンプル画像を取得するステップと、
    前記サンプル画像に基づいて複数のサブ画像を生成するステップと、
    前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するステップと、
    を含み、
    前記複数のサブ画像のうちの少なくとも2つは、前記サンプル画像の同一部分を共有し、
    前記サンプル画像に基づいて前記複数のサブ画像を生成するために、サブ画像生成ユニットは、
    前記同一部分の幅を決定し、
    前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定し、
    前記同一部分の幅、及び前記複数のサブ画像の各々のサイズ又は前記サブ画像の数のうちの少なくとも1つに基づいて前記複数のサブ画像を生成する
    ように構成され、
    前記予備深層学習モデルは、少なくとも1つの畳み込みニューラルネットワーク(CNN)を含み、前記少なくとも1つのCNNは、少なくとも1つのカーネルを含み、前記同一部分の幅を決定するために、前記サブ画像生成ユニットは、
    前記少なくとも1つのカーネルのサイズに基づいて前記サンプル画像の前記同一部分の幅を決定するように構成される、方法。
  12. 命令を格納する非一時的コンピュータ可読媒体であって、前記命令が、少なくとも1つのプロセッサによって実行されたとき、前記少なくとも1つのプロセッサに方法を実施させ、前記方法は、
    訓練された深層学習モデルを決定するステップと、
    入力画像を取得するステップと、
    前記訓練された深層学習モデルに基づいて前記入力画像を処理することによって処理結果を生成するステップであって、前記訓練された深層学習モデルは、処理に従って取得される、ステップと、を備え、
    前記処理は、
    予備深層学習モデルを取得するステップと、
    サンプル画像を取得するステップと、
    前記サンプル画像に基づいて複数のサブ画像を生成するステップと、
    前記訓練された深層学習モデルを得るために、前記複数のサブ画像に基づいて前記予備深層学習モデルを訓練するステップと、
    を含み、
    前記複数のサブ画像のうちの少なくとも2つは、前記サンプル画像の同一部分を共有し、
    前記サンプル画像に基づいて前記複数のサブ画像を生成するために、サブ画像生成ユニットは、
    前記同一部分の幅を決定し、
    前記複数のサブ画像の各々のサイズ又は前記サブ画像の数を決定し、
    前記同一部分の幅、及び前記複数のサブ画像の各々のサイズ又は前記サブ画像の数のうちの少なくとも1つに基づいて前記複数のサブ画像を生成する
    ように構成され、
    前記予備深層学習モデルは、少なくとも1つの畳み込みニューラルネットワーク(CNN)を含み、前記少なくとも1つのCNNは、少なくとも1つのカーネルを含み、前記同一部分の幅を決定するために、前記サブ画像生成ユニットは、
    前記少なくとも1つのカーネルのサイズに基づいて前記サンプル画像の前記同一部分の幅を決定するように構成される、非一時的コンピュータ可読媒体。

JP2020531487A 2017-12-07 2018-06-06 画像処理のためのシステム及び方法 Active JP7014910B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022006250A JP7248832B2 (ja) 2017-12-07 2022-01-19 画像処理のためのシステム及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711288530.0A CN107832807B (zh) 2017-12-07 2017-12-07 一种图像处理方法和系统
CN201711288530.0 2017-12-07
PCT/CN2018/090032 WO2019109613A1 (en) 2017-12-07 2018-06-06 Systems and methods for image processing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022006250A Division JP7248832B2 (ja) 2017-12-07 2022-01-19 画像処理のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2021506021A JP2021506021A (ja) 2021-02-18
JP7014910B2 true JP7014910B2 (ja) 2022-02-01

Family

ID=61642269

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020531487A Active JP7014910B2 (ja) 2017-12-07 2018-06-06 画像処理のためのシステム及び方法
JP2022006250A Active JP7248832B2 (ja) 2017-12-07 2022-01-19 画像処理のためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022006250A Active JP7248832B2 (ja) 2017-12-07 2022-01-19 画像処理のためのシステム及び方法

Country Status (4)

Country Link
EP (1) EP3704634A4 (ja)
JP (2) JP7014910B2 (ja)
CN (1) CN107832807B (ja)
WO (1) WO2019109613A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824907B2 (en) 2017-12-07 2020-11-03 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN107832807B (zh) * 2017-12-07 2020-08-07 上海联影医疗科技有限公司 一种图像处理方法和系统
CN112005314A (zh) * 2018-04-13 2020-11-27 通用电气公司 用于训练成像系统的深度学习模型的系统和方法
CN108564524A (zh) * 2018-04-24 2018-09-21 开放智能机器(上海)有限公司 一种视觉图像的卷积计算优化方法
KR102580062B1 (ko) * 2018-05-31 2023-09-19 삼성에스디에스 주식회사 이미지 분할 방법 및 장치
CN108805923B (zh) * 2018-06-01 2022-04-01 东软医疗系统股份有限公司 生理参数获取方法和装置
US10776923B2 (en) 2018-06-21 2020-09-15 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing
US10643092B2 (en) 2018-06-21 2020-05-05 International Business Machines Corporation Segmenting irregular shapes in images using deep region growing with an image pyramid
DE112019001959T5 (de) * 2018-06-21 2021-01-21 International Business Machines Corporation Segmentieren unregelmässiger formen in bildern unter verwendung von tiefem bereichswachstum
TWI682332B (zh) * 2018-07-18 2020-01-11 國立彰化師範大學 用於識別絕育狀態影像的深度學習方法及其識別裝置
CN109512449A (zh) * 2018-09-26 2019-03-26 沈阳东软医疗系统有限公司 生理参数输出方法和装置
CN109685204B (zh) * 2018-12-24 2021-10-01 北京旷视科技有限公司 图像处理方法及装置、存储介质及电子设备
CN110009599A (zh) * 2019-02-01 2019-07-12 腾讯科技(深圳)有限公司 肝占位检测方法、装置、设备及存储介质
CN109886891B (zh) * 2019-02-15 2022-01-11 北京市商汤科技开发有限公司 一种图像复原方法及装置、电子设备、存储介质
CN109700528B (zh) * 2019-02-27 2021-02-02 江苏霆升科技有限公司 一种实时构建心脏三维模型方法及装置
CN110059715A (zh) * 2019-03-12 2019-07-26 平安科技(深圳)有限公司 植物种类的识别方法及装置、存储介质、计算机设备
CN111833288B (zh) * 2019-04-12 2024-02-09 阿里巴巴集团控股有限公司 图像识别方法、装置和设备
WO2020232612A1 (zh) * 2019-05-20 2020-11-26 西门子股份公司 降低用于数据可视化的数据量的方法和装置
CN110378203B (zh) * 2019-06-05 2023-06-23 平安科技(深圳)有限公司 图像处理方法、装置、终端及存储介质
CN110245710B (zh) * 2019-06-18 2022-11-29 腾讯科技(深圳)有限公司 语义分割模型的训练方法、语义分割方法及装置
CN110889411B (zh) * 2019-09-27 2023-12-08 武汉创想外码科技有限公司 基于ai芯片的通用图像识别模型
CN110929627B (zh) * 2019-11-18 2021-12-28 北京大学 基于宽模型稀疏数据集的高效gpu训练模型的图像识别方法
US11604984B2 (en) * 2019-11-18 2023-03-14 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for machine learning based modeling
CN111222411B (zh) * 2019-11-28 2023-09-01 中国船舶重工集团公司第七一三研究所 一种激光发射安全快速报警方法和装置
CN111161273B (zh) * 2019-12-31 2023-03-21 电子科技大学 一种基于深度学习的医学超声图像分割方法
CN113391918A (zh) * 2020-03-13 2021-09-14 伊姆西Ip控股有限责任公司 用于处理计算作业的方法、设备和计算机程序产品
CN111783273A (zh) * 2020-05-22 2020-10-16 成都飞机工业(集团)有限责任公司 一种3d打印组织预测方法
CN112509334A (zh) * 2020-12-03 2021-03-16 深圳杰睿联科技有限公司 一种车辆违章管理系统、方法及存储介质
CN113256497B (zh) * 2021-06-21 2021-09-24 中南大学 图像重建方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216133A (ja) 2001-01-22 2002-08-02 Fuji Xerox Co Ltd 画像処理システム、及び感覚情報処理システム
JP2016006626A (ja) 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
US20170277981A1 (en) 2016-01-08 2017-09-28 Siemens Healthcare Gmbh Deep Image-to-Image Network Learning for Medical Image Analysis
CN107358262A (zh) 2017-07-13 2017-11-17 京东方科技集团股份有限公司 一种高分辨率图像的分类方法及分类装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317779B2 (en) * 2012-04-06 2016-04-19 Brigham Young University Training an image processing neural network without human selection of features
US9668699B2 (en) * 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US10095957B2 (en) * 2016-03-15 2018-10-09 Tata Consultancy Services Limited Method and system for unsupervised word image clustering
CN106600538A (zh) * 2016-12-15 2017-04-26 武汉工程大学 一种基于区域深度卷积神经网络的人脸超分辨率算法
CN106846261A (zh) * 2016-12-21 2017-06-13 大连海事大学 基于卷积神经网络的水下图像处理方法
CN106845383B (zh) * 2017-01-16 2023-06-06 腾讯科技(上海)有限公司 人头检测方法和装置
CN107368886B (zh) * 2017-02-23 2020-10-02 奥瞳系统科技有限公司 基于重复使用小规模卷积神经网络模块的神经网络系统
CN106991420A (zh) * 2017-03-27 2017-07-28 新智认知数据服务有限公司 一种基于分块的车牌区域回归技术的车牌检测方法
CN107832807B (zh) * 2017-12-07 2020-08-07 上海联影医疗科技有限公司 一种图像处理方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216133A (ja) 2001-01-22 2002-08-02 Fuji Xerox Co Ltd 画像処理システム、及び感覚情報処理システム
JP2016006626A (ja) 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
US20170277981A1 (en) 2016-01-08 2017-09-28 Siemens Healthcare Gmbh Deep Image-to-Image Network Learning for Medical Image Analysis
CN107358262A (zh) 2017-07-13 2017-11-17 京东方科技集团股份有限公司 一种高分辨率图像的分类方法及分类装置

Also Published As

Publication number Publication date
EP3704634A4 (en) 2020-12-16
CN107832807B (zh) 2020-08-07
CN107832807A (zh) 2018-03-23
JP2022050659A (ja) 2022-03-30
WO2019109613A1 (en) 2019-06-13
JP2021506021A (ja) 2021-02-18
EP3704634A1 (en) 2020-09-09
JP7248832B2 (ja) 2023-03-29

Similar Documents

Publication Publication Date Title
JP7014910B2 (ja) 画像処理のためのシステム及び方法
US11416706B2 (en) Systems and methods for image processing
US11398030B2 (en) System and method for image reconstruction
US11501473B2 (en) Systems and methods for image correction in positron emission tomography
CN110809782B (zh) 衰减校正系统和方法
US11494877B2 (en) Systems and methods for image reconstruction
US11836925B2 (en) Systems and methods for image segmentation
US20190046132A1 (en) Systems and methods for adjusting medical device
WO2021232756A1 (en) Systems and methods for image processing
WO2021218214A1 (en) Systems and methods for generating three-dimensional images
US11393139B2 (en) System and method for MPR streak reduction
US11972575B2 (en) Systems and methods for generating augmented segmented image set
US20240037762A1 (en) Systems and methods for image processing
US20230342940A1 (en) Systems and methods for image processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220120