JP7447191B2 - ぼけに対してロバストな画像のセグメンテーション - Google Patents

Description

本開示内容は概して、データ処理の分野に関し、より具体的には機械学習に関する。

免疫蛍光法（ＩＦ：immunofluorescence）による顕微鏡画像の自動化された核のセグメンテーションは、癌の診断及び治療において非常に重要な最初のステップである。同ステップの性能を高める新規なアルゴリズムの開発のために多くの研究が行われている。しかし、画質の低い顕微鏡画像における核のセグメンテーションの問題に取り組んでいる文献はわずかである。焦点ずれ（defocus）及びモーションブラー（motion blur）は、画質を大きく劣化させる可能性がある最も一般的な２つの顕微鏡イメージングのアーティファクトである。これらにより誤診及び誤治療のリスクが高まる。顕微鏡画像におけるぼけは、生検のスライド及び取得の染色プロセスに起因して避けることができない。したがって、品質管理（ＱＣ：Quality Control）モジュールにより、ピンぼけ画像（焦点が合っていない画像）を更に下流の分析から除くことができる。画像のＱＣを定量化するメトリックを、その有用性を判断する閾値として用いることができる。例えば、細胞カウントの精度を下げて焦点ぼけ（focus blur）が増加する場合がある。

実施形態は、画像処理の方法、システム、及びコンピュータ可読型媒体に関する。１つの態様によれば、画像処理の方法が提供される。本方法は、ピンぼけ画像に対応するデータを受信するステップを含むことができる。受信された前記データのセグメンテーションに基づいて第１の画像が生成される。受信された、前記ピンぼけ画像に対応する前記データのシャープニングに基づいて第２の画像が生成される。生成された第１の画像及び第２の画像の後処理に基づいて、前記ピンぼけ画像における１つ以上の細胞に対応する第３の画像が生成される。

別の態様によれば、画像処理用のコンピュータシステムが提供される。このコンピュータシステムは、１つ以上のプロセッサと、１つ以上のコンピュータ可読型メモリと、１つ以上のコンピュータ可読型有形記憶デバイスと、前記１つ以上のメモリのうちの少なくとも１つを通じて前記１つ以上のプロセッサのうちの少なくとも１つによって実行され、それにより、前記コンピュータシステムが本方法を実行することが可能な、前記１つ以上の記憶デバイスのうちの少なくとも１つに記憶されたプログラム命令とを含むことができる。本方法は、ピンぼけ画像に対応するデータを受信するステップを含むことができる。受信されたデータのセグメンテーションに基づいて第１の画像が生成される。受信された、前記ピンぼけ画像に対応する前記データのシャープニングに基づいて第２の画像が生成される。生成された第１の画像及び第２の画像の後処理に基づいて、前記ピンぼけ画像における１つ以上のオブジェクト（例えば細胞）に対応する第３の画像が生成される。

更に別の態様によれば、画像処理用のコンピュータ可読型媒体が提供される。このコンピュータ可読型媒体は、１つ以上のコンピュータ可読型記憶デバイスと、前記１つ以上の有形記憶デバイスのうちの少なくとも１つに記憶されたプログラム命令とを含むことができ、前記プログラム命令はプロセッサにより実行することができる。前記プログラム命令は、本方法を行うためのプロセッサによって実行可能である。それに応じて、本方法は、ピンぼけ画像に対応するデータを受信するステップを含むことができる。受信されたデータのセグメンテーションに基づいて、第１の画像が生成される。受信された、前記ピンぼけ画像に対応する前記データのシャープニングに基づいて第２の画像が生成される。生成された第１の画像及び第２の画像の後処理に基づいて、前記ピンぼけ画像における１つ以上のオブジェクト（例えば細胞）に対応する第３の画像が生成される。

これらの目的、特徴及び利点並びに他の目的、特徴及び利点は、添付図面とともに読まれるべき例示の実施形態の以下の詳細な説明から明らかになる。これらの説明図は詳細な説明とともに当業者にとってわかりやすくするためのものであり、図面の様々な特徴部は正確な縮尺とは限らない。

少なくとも１つの実施形態によるネットワークコンピュータ環境を示す図である。 少なくとも１つの実施形態による、画像処理及び核セグメンテーションのディープラーニングシステムのブロック図である。 少なくとも１つの実施形態による、核セグメンテーション等の画像データをセグメンテーションするプログラムによって実行されるステップを示すオペレーショナルフローチャートである。 少なくとも１つの実施形態による図１に示すコンピュータ及びサーバの内部要素及び外部要素のブロック図である。

請求項に記載の構成及び方法の詳細な実施形態が本明細書に開示されるが、開示される実施形態は、様々な形態で具現化することができる請求項に記載の構成及び方法の単なる例示にすぎない。これらの構成及び方法は、多くの異なる形態で具現化することができ、本明細書において説明する例示的な実施形態に限定されるものと解釈されるべきでない。むしろ、これらの例示的な実施形態は、本開示が十分且つ完全なものとなり、その範囲が当業者に十分伝わるように提供されるものである。本明細書において、既知の特徴及び技法の詳細は、提示される実施形態を不必要に分かりにくくすることを避けるために省略する場合がある。

実施形態は概して、データ処理の分野に関し、より具体的には機械学習に関する。以下に説明する例示的な実施形態は、とりわけ、画像データのセグメンテーションのためのシステム、方法及びコンピュータプログラムを提供する。したがって、いくつかの実施形態は、ぼけ除去（deblur）の予測を用いて、デジタル画像内で接触するオブジェクト（touching objects）（細胞等）を選択的に突き止めてセグメンテーションをすることを可能にすることによりコンピューティングの分野を改良する能力を有する。

前述のとおり、免疫蛍光法（ＩＦ）による顕微鏡画像の自動化された核のセグメンテーションは、癌の診断及び治療において非常に重要な最初のステップである。自動化された核のセグメンテーションの性能を高める新規なアルゴリズムの開発のために多くの研究が行われている。顕微鏡画像におけるぼけは、生検のスライド及び取得の染色プロセスに起因して避けることができない。したがって、品質管理（ＱＣ）モジュールにより、ピンぼけ画像を更に下流の分析から除くことができる。画像のＱＣを定量化するメトリックを、その有用性を判断する閾値として使用することができる。例えば、細胞カウントの精度を下げて焦点ぼかしが増加する場合がある。

しかし、ぼやけた顕微鏡画像上の核の手作業によるアノテーションは、同じ画像が、より鮮明な対応画像及びピンぼけした対応画像を有する複数の焦点レベルで表示されるような、より鮮明な画像上での同じ作業に比べて大変な作業である。密に詰まった核は、切り分けるのが非常に困難な場合がある。ただし、上記作業は、ぼやけた画像に対処するセグメンテーションネットワークとともに前処理ステップとして潜在的に用いることができる。この手作業によるタスクのデフォーカス及びセグメンテーションの目的をハンドリングするために、より多くの計算リソース及び２つの個別のモジュールが必要である。加えて、教師ありディープラーニングに基づいたセグメンテーションアルゴリズムのトレーニングは、正確にアノテーションがなされたグラウンドトゥルース（正解データ）を伴う画像を必要とし、手動のアノテーションは相当の時間及びコストを要する場合がある。

したがって、未加工の画像、ぼやけた画像及び鮮明な画像にアノテーションを行うことが有利な可能性がある。これは、２つのタスク（すなわち、ぼけ除去と、セマンティックセグメンテーション）に同じネットワークを使用し、ぼけ除去の損失値とセグメンテーションの損失値とを組み合わせて、バックプロパゲーションを使用してネットワークの重みを調整することにより行うことができる。接触した細胞（touching cells）のマーカ情報をぼけ除去予測により取得し、核セグメンテーションの性能を更に向上させることができる。ぼやけた画像から良好な特徴を学習する容易な核セグメンテーションタスクを伴うぼけ除去タスクを用いて、予測されたセグメンテーションにおいて接触した細胞を切り分けることができる。

本明細書にて、様々な実施形態による方法、装置（システム）、及びコンピュータ可読媒体のフローチャート説明図及び／又はブロック図を参照して態様を説明する。これらのフローチャート説明図及び／又はブロック図の各ブロック、並びにフローチャート説明図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実施することができる。

以下に説明する例示的な実施形態は、画像内の特徴を識別するために画像データのセグメンテーションを行うシステム、方法及びコンピュータプログラムを提供する。本明細書における例示的な実施形態は、画像内の細胞を識別するために顕微鏡画像データのセグメンテーションを行うことに関して説明するが、本開示は、これに限定されるものではなく、画像内のオブジェクト（例えば、所定のオブジェクト）を識別するために任意のタイプの画像データのセグメンテーションを行うことに適用可能であることが理解される。

図１は、画像データにおいて核のセグメンテーションを行う画像セグメンテーションシステム１００（以下「システム」と呼ぶ）を示すネットワーク型コンピュータ環境の機能ブロック図である。図１は、１つの実施態様の例示を提供しているにすぎず、別の実施形態を実施することができる環境に関して何らの限定も暗示するものではないことが理解されるべきである。図示した環境に対して、設計及び実施の要件に基づいて多くの変更を行うことができる。

システム１００は、コンピュータ１０２とサーバコンピュータ１１４とを有することができる。コンピュータ１０２は、通信ネットワーク１１０（以下「ネットワーク」と呼ぶ）を通じてサーバコンピュータ１１４と通信することができる。コンピュータ１０２は、プロセッサ１０４と、データ記憶デバイス１０６に記憶されて、ユーザとのインタフェース及びサーバコンピュータ１１４との通信に利用可能なソフトウェアプログラム１０８とを有するものとすることができる。図４を参照して以下に述べるように、コンピュータ１０２は内部要素８００Ａ及び外部要素９００Ａをそれぞれ有するものとすることができ、サーバコンピュータ１１４は内部要素８００Ｂ及び外部要素９００Ｂをそれぞれ有するものとすることができる。コンピュータ１０２は、例えば、モバイルデバイス、電話、パーソナルデジタルアシスタント、ネットブック、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、又はプログラムの実行、ネットワークへのアクセス、及びデータベースへのアクセスが可能な任意のタイプのコンピューティングデバイスとすることができる。

核及び細胞の識別及びセグメンテーションを行うために利用できるサーバコンピュータ１１４は、データベース１１２と通信することのできる核セグメンテーションプログラム１１６（以下「プログラム」）を実行するために利用可能である。核セグメンテーションプログラムの方法は、以下において図３を参照して詳細に説明する。１つの実施形態において、コンピュータ１０２はユーザインタフェースを有する入力デバイスとして動作することができる一方で、プログラム１１６は主としてサーバコンピュータ１１４上で動作することができる。別の実施形態においては、プログラム１１６は主として１つ以上のコンピュータ１０２上で動作することができる一方、サーバコンピュータ１１４はプログラム１１６によって使用されるデータの処理及び記憶に使用することができる。プログラム１１６はスタンドアローンのプログラムとすることもできるし、より大きな核セグメンテーションプログラムに組み込むこともできることに留意されたい。

その一方で、プログラム１１６の処理は、場合によっては、コンピュータ１０２とサーバコンピュータ１１４との間で任意の比率で共有することができることに留意されたい。別の実施形態において、プログラム１１６は、２つ以上のコンピュータ、サーバコンピュータ、又はコンピュータ及びサーバコンピュータの或る組み合わせ上で動作することができ、例えば、ネットワーク１１０にわたって単一のサーバコンピュータ１１４と通信する複数のコンピュータ１０２上で動作することができる。別の実施形態において、例えば、プログラム１１６は、ネットワーク１１０にわたって複数のクライアントコンピュータと通信する複数のサーバコンピュータ１１４上で動作することができる。或いは、プログラムは、ネットワークにわたってサーバ及び複数のクライアントコンピュータと通信するネットワークサーバ上で動作することができる。

ネットワーク１１０は、有線接続、無線接続、光ファイバ接続、又はそれらの或る組み合わせを含むことができる。一般に、ネットワーク１１０は、コンピュータ１０２とサーバコンピュータ１１４との間の通信をサポートする接続及びプロトコルの任意の組み合わせとすることができる。ネットワーク１１０は、例えば、ローカルエリアネットワーク（ＬＡＮ：local area network）、インターネット等のワイドエリアネットワーク（ＷＡＮ：wide area network）、公衆交換電話ネットワーク（ＰＳＴＮ：Public Switched Telephone Network）等の電気通信ネットワーク、無線ネットワーク、公衆交換ネットワーク、衛星ネットワーク、セルラネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ：long-term evolution）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ：code division multiple access）ネットワーク等）、公衆陸上モバイルネットワーク（ＰＬＭＮ：public land mobile network）、メトロポリタンエリアネットワーク（ＭＡＮ：metropolitan area network）、プライベートネットワーク、アドホックネットワーク、イントラネット、光ファイバベースのネットワーク等、及び／又はこれらのタイプ若しくは他のタイプのネットワークの組み合わせ等の様々なタイプのネットワークを含むことができる。

図１のデバイス及びネットワークの数及び配置は、一例として示したものである。実際には、図１に示したものに対して、追加のデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、又は異なる配置のデバイス及び／又はネットワークが存在してもよい。さらに、図１に示した２つ以上のデバイスを単一のデバイス内に実装することもできるし、図１に示した単一のデバイスを複数の分散デバイスとして実装することもできる。これに加えて又は代替的に、システム１００のデバイス（例えば、１つ以上のデバイス）の組が、システム１００のデバイスの別の組によって実行されるものとして説明されるような１つ以上の機能を実行することができる。

次に図２を参照すると、ディープラーニングシステム２００のブロック図が示されている。ディープラーニングシステム２００は特に、エンコーダ・デコーダ２０２及び後処理モジュール２０４を有するものとすることができる。エンコーダ・デコーダ２０２は、エンコーダ２０６及びデコーダ２０８を有するものとすることができる。エンコーダ・デコーダ２０２は、入力データ２１０を受信することができる。入力データ２１０は、例えば、ぼやけた画像である場合もあるし、鮮明画像である場合もある。エンコーダ２０６はネットワーク全体に共通である。デコーダ２０８は、２つの出力、すなわちセグメンテーション出力２１２と雑音除去出力２１４とを予測する。デコーダ２０８は、双方の出力に共通した幾つかの畳込み層を最初に有することができる。デコーダ２０８の最後の畳込み層は予測出力ごとに別個のものである。第１の予測出力２１２は、画像データ２１０の核、境界、及び背景に基づく３チャネルセグメンテーション画像２１２（Ｉ_ｎｕｃ）とすることができる。第２の予測出力２１４は、ぼけ除去（すなわち、シャープニング（鮮明化）された）出力画像２１４（Ｉ_{ｄｅｂｌｕｒ}）とすることができる。第２の予測出力２１４は専門家の解析用として出力することができる。

エンコーダ・デコーダをトレーニングするために、核セグメンテーションの損失とぼけ除去の損失との和である総損失値Ｌ_{ｔｏｔａｌ}を用いることができる。この総損失値は、以下のように与えることができる。
Ｌ_{ｔｏｔａｌ} ＝ Ｌ_ｎｕｃ ＋ Ｌ_{ｄｅｂｌｕｒ}
ただし、Ｌ_ｎｕｃは核セグメンテーションの損失値とすることができ、Ｌ_{ｄｅｂｌｕｒ}はぼけ除去の損失値とすることができる。核セグメンテーション損失値は以下のように与えることができる。
Ｌ_ｎｕｃ ＝ Ｌ_ｃｅ（Ｉ_ｎｕｃ， Ｉ_ｇｔ）
ぼけ除去損失値は以下のように与えることができる。
Ｌ_{ｄｅｂｌｕｒ} ＝ Ｌ_ｍｓｅ（Ｉ_{ｄｅｂｌｕｒ}， Ｉ_{ｓｈａｒｐ}）
総損失値は、バックプロパゲーション（誤差逆伝播法）により、Ａｄａｍオプティマイザを用いて最適化することができる。

ぼけ除去の損失値及び核セグメンテーションの損失値は、別々に計算することができ、ぼけ除去タスクの追加は、ネットワークを調整し核セグメンテーションの性能を向上させることができる。Ｉ_ｎｕｃからの核チャネルを後処理モジュール２０４により後処理し、核から境界を取り去ることによって接触する細胞を除去することができる。しかし、オーバラップした全ての細胞を切り分けることが可能でない場合がある。したがって、予測された核セグメンテーションＩ_ｎｕｃにおいて切り分けられていない、接触した細胞を選択的に突き止めるために、ぼけ除去出力Ｉ_{ｄｅｂｌｕｒ}に基づく後処理を使用することができる。選択された候補を処理して、オーバラップした細胞を切り分け、出力データ２１６を生成することができる。使用される処理に、マーカコントロール付き流域セグメンテーション（marker-controlled watershed segmentation）を含めることができる。マーカは、Ｉ_{ｄｅｂｌｕｒ}の距離変換の極大値を計算することによって得られる。候補の周辺の領域又はパッチのみを処理することによって処理時間を節約できることが分かる。

次に図３を参照すると、核セグメンテーション等の画像データのセグメンテーションをするプログラムによって実行される方法３００のステップを示すオペレーショナルフローチャートが示されている。

方法３００は、ステップ３０２において、ピンぼけ画像に対応するデータを受信することを含むことができる。

方法３００は、ステップ３０４において、受信データのセグメンテーションに基づいて第１の画像を生成することを含むことができる。

方法３００は、ステップ３０６において、ピンぼけ画像に対応する受信データのシャープニングに基づいて第２の画像を生成することを含むことができる。

方法３００は、ステップ３０８において、生成された第１の画像及び第２の画像の後処理に基づいて、ピンぼけ画像内の１つ以上の細胞に対応する第３の画像を生成することを含むことができる。

図３は、１つの実施態様の例示を提供しているにすぎず、種々の実施形態をどのように実施することができるかに関して何らの限定も暗示するものでないことを理解することができる。設計及び実施の要件に基づいて、図示した環境に対して多くの変更を行うことができる。

図４は、一例示の実施形態による図１に示したコンピュータの内部要素及び外部要素のブロック図４００である。図４は、１つの実施態様の例示を提供しているにすぎず、種々の実施形態を実施することができる環境に関して何らの限定も暗示するものでないことが理解されるべきである。設計及び実施の要件に基づいて、図示した環境に対して多くの変更を行うことができる。

コンピュータ１０２（図１）及びサーバコンピュータ１１４（図１）は、図５に示す内部要素８００Ａ、８００Ｂ及び外部要素９００Ａ、９００Ｂのそれぞれのセットを含むことができる。内部要素８００のセットのそれぞれは、１つ以上のバス８２６上の１つ以上のプロセッサ８２０、１つ以上のコンピュータ可読ＲＡＭ８２２及び１つ以上のコンピュータ可読ＲＯＭ８２４と、１つ以上のオペレーティングシステム８２８と、１つ以上のコンピュータ可読有形記憶デバイス８３０とを含む。

プロセッサ８２０は、ハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組み合わせで実施される。プロセッサ８２０は、中央処理ユニット（ＣＰＵ：central processing unit）、グラフィックス処理ユニット（ＧＰＵ：graphics processing unit）、加速処理ユニット（ＡＰＵ：accelerated processing unit）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ：digital signal processor）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field-programmable gate array）、特定用途向け集積回路（ＡＳＩＣ：application-specific integrated circuit）、又は別のタイプの処理要素である。いくつかの実施態様では、プロセッサ８２０は、機能を実行するようにプログラミングすることが可能な１つ以上のプロセッサを含む。バス８２６は、内部要素８００Ａ、８００Ｂの間の通信を可能にする要素を含む。

１つ以上のオペレーティングシステム８２８、ソフトウェアプログラム１０８（図１）及びサーバコンピュータ１１４（図１）上の核セグメンテーションプログラム１１６（図１）は、それぞれのコンピュータ可読有形記憶デバイス８３０のうちの１つ以上に記憶され、それぞれのＲＡＭ８２２（通常はキャッシュメモリを含む）のうちの１つ以上を介してそれぞれのプロセッサ８２０のうちの１つ以上によって実行される。図４に示す実施形態において、コンピュータ可読有形記憶デバイス８３０のそれぞれは、内部ハードドライブの磁気ディスク記憶デバイスである。或いは、コンピュータ可読有形記憶デバイス８３０のそれぞれは、ＲＯＭ８２４、ＥＰＲＯＭ、フラッシュメモリ等の半導体記憶デバイス、光ディスク、光磁気ディスク、固体ディスク、コンパクトディスク（ＣＤ：compact disc）、デジタル多用途ディスク（ＤＶＤ：digital versatile disc）、フロッピディスク、カートリッジ、磁気テープ、及び／又はコンピュータプログラム及びデジタル情報を記憶することができる別のタイプの非一時的コンピュータ可読有形記憶デバイスである。

内部構成要素８００Ａ、８００Ｂの各セットは、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、磁気テープ、磁気ディスク、光ディスク又は半導体記憶デバイス等の１つ以上のポータブルコンピュータ可読有形記憶デバイス９３６に対して読み出し及び書き込みを行うＲ／Ｗドライブ又はＲ／Ｗインタフェース８３２も含む。ソフトウェアプログラム１０８（図１）及び核セグメンテーションプログラム１１６（図１）等のソフトウェアプログラムは、それぞれのポータブルコンピュータ可読有形記憶デバイス９３６のうちの１つ以上に記憶することができ、それぞれのＲ／Ｗドライブ又はＲ／Ｗインタフェース８３２を介して読み出すことができ、それぞれのハードドライブ８３０内にロードすることができる。

内部構成要素８００Ａ、８００Ｂの各セットは、ＴＣＰ／ＩＰアダプタカード；無線Ｗｉ－Ｆｉインタフェースカード；若しくは３Ｇ、４Ｇ、若しくは５Ｇ無線インタフェースカード又は他の有線通信リンク若しくは無線通信リンク等のネットワークアダプタ又はネットワークインタフェース８３６も含む。ソフトウェアプログラム１０８（図１）及びサーバコンピュータ１１４（図１）上の核セグメンテーションプログラム１１６（図１）は、外部コンピュータからネットワーク（例えば、インターネット、ローカルエリアネットワーク等、ワイドエリアネットワーク）及びそれぞれのネットワークアダプタ又はネットワークインタフェース８３６を介してコンピュータ１０２（図１）及びサーバコンピュータ１１４にダウンロードすることができる。ネットワークアダプタ又はネットワークインタフェース８３６から、ソフトウェアプログラム１０８及びサーバコンピュータ１１４上の核セグメンテーションプログラム１１６は、それぞれのハードドライブ８３０内にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。

外部構成要素９００Ａ、９００Ｂのセットのそれぞれは、コンピュータディスプレイモニタ９２０、キーボード９３０、及びコンピュータマウス９３４を含むことができる。外部構成要素９００Ａ、９００Ｂは、タッチスクリーン、仮想キーボード、タッチパッド、ポインティングデバイス、及び他のヒューマンインタフェースデバイスも含むことができる。内部構成要素８００Ａ、８００Ｂのセットのそれぞれは、コンピュータディスプレイモニタ９２０、キーボード９３０及びコンピュータマウス９３４にインタフェースするデバイスドライバ８４０も含む。デバイスドライバ８４０、Ｒ／Ｗドライブ又はＲ／Ｗインタフェース８３２及びネットワークアダプタ又はネットワークインタフェース８３６は、ハードウェア及びソフトウェア（記憶デバイス８３０及び／又はＲＯＭ８２４に記憶される）を備える。

いくつかの実施形態は、任意の可能な技術的詳細統合レベルにおけるシステム、方法、及び／又はコンピュータ可読媒体に関するものとすることができる。コンピュータ可読媒体は、プロセッサに動作を実行させるコンピュータ可読プログラム命令を有するコンピュータ可読非一時的記憶媒体（又は複数の媒体）を含むことができる。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持及び記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又はこれらの任意の適した組み合わせとすることができるが、これらに限定されるものではない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、次のもの、すなわち、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピディスク、パンチカード又は命令が記録された溝内の突起構造等の機械的に符号化されたデバイス、及びそれらの任意の適した組み合わせを含む。本明細書において使用される場合、コンピュータ可読記憶媒体は、電波若しくは他の自由に伝播する電磁波、導波路若しくは他の伝送媒体内を伝播する電磁波（例えば、光ファイバケーブルを通る光パルス）、又はワイヤ内を伝送される電気信号等の一時的な信号自体と解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークを介して外部コンピュータ若しくは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送体、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／処理デバイスにおけるネットワークアダプターカード又はネットワークインタフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するためにこれらのコンピュータ可読プログラム命令を転送する。

動作を実行するコンピュータ可読プログラムコード／命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、又は１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード若しくはオブジェクトコードのいずれかとすることができる。プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向型プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語等の手続型プログラミング言語を含む。コンピュータ可読プログラム命令は、スタンドアローンソフトウェアパッケージとしてユーザのコンピュータ上で全体を又はユーザのコンピュータ上で一部を実行することもできるし、ユーザのコンピュータ上で一部を実行するとともにリモートコンピュータ上で一部を実行することもできるし、リモートコンピュータ又はサーバ上で全体を実行することもできる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続することもできるし、この接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータに対して行うこともできる。いくつかの実施形態において、例えば、プログラマブルロジック回路部、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路部が、態様又は動作を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路部をパーソナライズすることによってコンピュータ可読プログラム命令を実行することができる。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の単数又は複数のブロックで指定される機能／行為を実装する手段を作成するようなマシンを生成することができる。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、及び／又は他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に記憶することもでき、命令が記憶されたコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図の単数又は複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製造品を含むものである。

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、又は他のデバイス上にロードすることもでき、一連の動作ステップを、それらのコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行させ、それらのコンピュータ、他のプログラマブル装置、又は他のデバイス上で実行される命令が、フローチャート及び／又はブロック図の単数又は複数のブロックにおいて指定された機能／動作を実施するように、コンピュータによって実施されるプロセスを生成することができる。

図におけるフローチャート及びブロック図は、様々な実施形態によるシステム、方法、及びコンピュータ可読媒体の可能な実施態様のアーキテクチャ、機能、及び動作を示している。この点に関して、フローチャート又はブロック図における各ブロックは、指定された論理機能（複数の場合もある）を実施する１つ以上の実行可能命令を含む命令のモジュール、セグメント、又は部分を表すことができる。これらの方法、コンピュータシステム、及びコンピュータ可読媒体は、図に示すものに対して追加のブロック、より少ないブロック、異なるブロック、又は異なる配置のブロックを含むことができる。いくつかの代替の実施態様では、ブロックに示す機能は、図に示す順序通りに実行されない場合がある。例えば、連続した示された２つのブロックは、関与する機能に応じて、実際には、同時に又はほぼ同時に実行される場合もあるし、これらのブロックは、時に、逆の順序で実行される場合もある。ブロック図及び／又はフローチャート説明図の各ブロック、並びに、ブロック図及び／又はフローチャート説明図におけるブロックの組み合わせは、指定された機能若しくは動作を実行するか又は専用ハードウェア及びコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実施することができることにも留意されたい。

本明細書において説明したシステム及び／又は方法は、異なる形態のハードウェア、ファームウェア、又はハードウェア及びソフトウェアの組み合わせで実施することができることが明らかである。これらのシステム及び／又は方法を実施するために使用される実際の特殊化された制御ハードウェア又はソフトウェアコードは、実施態様を限定するものではない。したがって、システム及び／又は方法の動作及び挙動は、具体的なソフトウェアコードを参照することなく本明細書に説明されている。すなわち、ソフトウェア及びハードウェアは、本明細書の説明に基づいてシステム及び／又は方法を実施するように設計することができることが理解される。

本明細書において使用されるいずれの要素、動作、又は命令も、明示的な記載がない限り、不可欠なもの又は必須のものと解釈されるべきでない。また、本明細書において使用される場合、冠詞「一つ（“a” and “an”）」は、１つ以上の事項を含むことが意図され、「１つ以上の～」と区別なく使用される場合がある。さらに、本明細書において使用される場合、用語「セット（set）」は、１つ以上の事項（例えば、関連した事項、関連のない事項、関連した事項と関連のない事項との組み合わせ等）を含むことが意図され、「１つ以上の～」と区別なく使用される場合がある。１つの事項しか意図されていない場合には、用語「１つ」又は同様の文言が使用される。また、本明細書において使用される場合、用語「～を有する」は、オープンエンドの用語であることが意図されている。さらに、文言「～に基づいて／基づく」は、別段の明示の記載がない限り、「～に少なくとも部分的に基づいて／基づく」を意味することが意図されている。

様々な態様及び実施形態の説明は、例示を目的として提示されており、網羅的であることも、開示される実施形態を限定することも意図していない。特徴の組み合わせが、請求項に列挙され及び／又は本明細書に開示されているが、これらの組み合わせは、可能な実施態様の開示を限定することを意図したものではない。実際、これらの特徴の多くは、請求項に具体的に列挙されていない及び／又は本明細書に具体的に開示されていない方法で組み合わせることができる。下に列挙する各従属請求項は、１つの請求項にしか直接従属しない場合があるが、可能な実施態様の開示は、各従属請求項が請求項の集合における他のあらゆる請求項と組み合わさったものを含む。説明された実施形態の範囲から逸脱することなく、多くの変更形態及び変形形態が当業者に明らかである。本明細書において使用される術語は、実施形態の原理、実際の応用若しくは市場に見られる技術を越える技術的改良を最も良く説明するために、又は、他の当業者が本明細書に開示された実施形態を理解することを可能にするために選ばれたものである。

Claims (20)

1. ピンぼけ画像に対応するデータを受信するステップと、
   受信された前記データのセグメンテーションに基づいて第１の画像を生成するステップと、
   受信された、前記ピンぼけ画像に対応するデータのシャープニングに基づいて第２の画像を生成するステップと、
   生成された前記第１の画像及び前記第２の画像の後処理に基づいて、前記ピンぼけ画像における１つ以上の所定のオブジェクトに対応する第３の画像を生成するステップと
   を含む、プロセッサが実行可能な画像処理の方法。
2. 前記第１の画像及び前記第２の画像は、畳込みニュ－ラルネットワークの１つ以上の出力に基づいて前記ピンぼけ画像から生成される、請求項１に記載の方法。
3. 生成された前記第３の画像における前記１つ以上の所定のオブジェクトの中から或るオブジェクト及び近傍のオブジェクトを分けるステップを更に含む請求項１に記載の方法。
4. 前記第２の画像は、前記ピンぼけ画像に関連した核、境界及び背景の識別に基づいて生成される、請求項１に記載の方法。
5. 識別された前記核、前記境界及び前記背景に基づいてインスタンスマップを生成するステップを更に含む請求項４に記載の方法。
6. 前記第３の画像は、前記ピンぼけ画像に関連した雑音の最小化に基づいて生成される、請求項１に記載の方法。
7. 前記雑音は、核の損失値とぼけ除去の損失値とに基づいた損失値の最小化によって最小化される、請求項６に記載の方法。
8. 最小化された前記雑音に基づいて個々の核のマーカを生成するステップを更に含む請求項６に記載の方法。
9. コンピュータプログラムコードを記憶する１つ以上のコンピュータ可読型非一時的記憶媒体と、
   前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによる指示に従って動作する１つ以上のコンピュータプロセッサと
   を備え、
   前記コンピュータプログラムコードは、
   前記１つ以上のコンピュータプロセッサに対し、ピンぼけ画像に対応するデータの受信を行わせる受信コードと、
   前記１つ以上のコンピュータプロセッサに対し、受信された前記データのセグメンテーションに基づいて第１の画像を生成させる第１の生成コードと、
   前記１つ以上のコンピュータプロセッサに対し、受信された、前記ピンぼけ画像に対応する前記データのシャープニングに基づいて第２の画像を生成させる第２の生成コードと、
   前記１つ以上のコンピュータプロセッサに対し、生成された前記第１の画像及び前記第２の画像の後処理に基づいて、前記ピンぼけ画像における１つ以上の所定のオブジェクトに対応する第３の画像を生成させる第３の生成コードと
   を含む、画像処理用のコンピュータシステム。
10. 前記第１の画像及び前記第２の画像は、畳込みニュ－ラルネットワークの１つ以上の出力に基づいて前記ピンぼけ画像から生成される、請求項９に記載のコンピュータシステム。
11. 前記１つ以上のコンピュータプロセッサに対し、生成された前記第３の画像における前記１つ以上の所定のオブジェクトの中から或るオブジェクト及び近傍のオブジェクトを分ける処理を行わせる分解コードを更に有する請求項９に記載のコンピュータシステム。
12. 前記第２の画像は、前記ピンぼけ画像に関連した核、境界及び背景の識別に基づいて生成される、請求項９に記載のコンピュータシステム。
13. 前記１つ以上のコンピュータプロセッサに対し、識別された前記核、前記境界及び前記背景に基づいてインスタンスマップを生成させる生成コードを更に有する請求項１２に記載のコンピュータシステム。
14. 前記第３の画像は、前記ピンぼけ画像に関連した雑音の最小化に基づいて生成される、請求項９に記載のコンピュータシステム。
15. 前記雑音は、核の損失値とぼけ除去の損失値とに基づく損失値の最小化によって最小化される、請求項１４に記載のコンピュータシステム。
16. 最小化された前記雑音に基づいて個々の核のマーカを生成するステップを更に有する請求項１４に記載のコンピュータシステム。
17. 画像処理用のコンピュータプログラムであって、
    前記コンピュータプログラムは、１つ以上のコンピュータプロセッサに対し、
    ピンぼけ画像に対応するデータを受信するステップと、
    受信された前記データのセグメンテーションに基づいて第１の画像を生成するステップと、
    受信された、前記ピンぼけ画像に対応する前記データのシャープニングに基づいて第２の画像を生成するステップと、
    生成された前記第１の画像及び前記第２の画像の後処理に基づいて、前記ピンぼけ画像における１つ以上の所定のオブジェクトに対応する第３の画像を生成するステップと
    を行わせる、コンピュータプログラム。
18. 前記第１の画像及び前記第２の画像は、畳込みニュ－ラルネットワークの１つ以上の出力に基づいて前記ピンぼけ画像から生成される、請求項１７に記載のコンピュータプログラム。
19. 前記コンピュータプログラムは、１つ以上のコンピュータプロセッサに対して更に、生成された前記第３の画像における前記１つ以上の所定のオブジェクトの中から或るオブジェクト及び近傍のオブジェクトを分ける処理を行わせる、請求項１７に記載のコンピュータプログラム。
20. 前記コンピュータプログラムは、１つ以上のコンピュータプロセッサに対して更に、
    前記ピンぼけ画像に関連した核、境界及び背景を識別するステップと、
    識別された前記核、前記境界及び前記背景に基づいてインスタンスマップを生成するステップと
    を行わせる、請求項１７に記載のコンピュータプログラム。

Images