JP7064668B2 - 重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステム - Google Patents

Description

（関連出願の相互参照）
本出願は、２０１９年６月２６日に出願された米国仮出願番号６２／８６６９２２に対して優先権を主張する。

本開示は、重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステムに関する。

染色体異常（ｃｈｒｏｍｏｓｏｍｅ ａｂｎｏｒｍａｌｉｔｙ）試験は、通常（とりわけ高齢妊婦（ａｄｖａｎｃｅｄ ｍａｔｅｒｎａｌ ａｇｅ／ＡＭＡ）に対して）特殊遺伝子疾患を選別する又は特定の疾患（例えば、白血病（ｌｅｕｋｅｍｉａ）、リンパ腫（ｌｙｍｐｈｏｍａ）等）に起因する変異細胞を選別するために行われている。
従来技術では、胞胚培養液を利用することによって胞胚の染色体異常を検出する方法が既に開示されている（例えば特許文献１参照）。

台湾特許第Ｉ６２２６５１号明細書

従来、染色体異常試験は、オブジェクト（例えば患者、試験者等）から特定細胞を抽出することにより行われ、特定ホルモンを使って細胞を分裂中期（ｍｅｔａｐｈａｓｅ）に入らせるようにし、細胞から染色体を摘出し、摘出された染色体の画像を取得し（図１参照）、摘出された染色体を手動で再校正することにより摘出された染色体の核型（ｋａｒｙｏｔｙｐｅ）の画像を得る（図２参照）。専門家はそれから当該核型の画像を読み取り、当該染色体の一部又はそれ以上に変異（例えば、半数性（ｈａｐｌｏｉｄ）／倍数性（ｐｏｌｙｐｌｏｉｄｙ）、リング、欠失（ｄｅｌｅｔｉｏｎ）、転座（ｔｒａｎｓｌｏｃａｔｉｏｎ）、逆位（ｉｎｖｅｒｓｉｏｎ）等）が存在するか否かを判定する。当該核型の読み取りに基づき、オブジェクトに対して特定遺伝子疾患の存在及び／又は危険性が判定されると、対応する提案及び／又は治療が提出されることができる。

染色体異常は癌の主因である。核型を読み取ることにより、患者に予後診断をより多くの適切な選択肢と共に提供することができる。更に、核型を読み取ることによって、１種の癌から全快したかどうかを判定することができる（例えば、癌のタイプに関連する特定の染色体がまだ核型の中に存在するか否かを判定する）。

なお、染色体核型分析は、単純且つ直接的に行うことができるので、ゲノム配列の決定等の他の技術よりも便利であるが、核型の判読は時間の掛かる作業であり、また専門家の個人の経験に頼らなければならない問題点がある。

そこで、本開示は、重なり合った染色体をシミュレーションに基づき分離するための認識モデルを訓練する方法、認識モデルを用いて重なり合った染色体の分離を実施するための方法及びシステムを提供することを目的とする。

１の観点によれば、本開示は、重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデルを訓練する方法であって、
自動ラベリングユニットとランダム生成ユニットと検出ユニットと再校正ユニットとを備える染色体認識モデルを構築するステップと、
参照対象に関連する核型画像を少なくとも１つ得るステップ（ａ）と、
前記自動ラベリングユニット（６０２）を制御して前記核型画像に対して自動ラベリング処理を実行するステップ（ｂ）であって、
前記自動ラベリング処理は、
前記核型画像において複数の染色体オブジェクトとする複数のオブジェクトを識別する画像前処理手順を実行することと、
前記核型画像に対して前記画像前処理手順を実行し、前記複数の染色体オブジェクトそれぞれのマスク及び最小バウンディングボックスを得ることと、
前記複数の染色体オブジェクトを分類・組織化して１組の組織化染色体オブジェクトを含む組織化画像を得るために前記核型画像に対して教師なしクラスタリングを行うこととを有する、ステップ（ｂ）と、
前記ランダム生成ユニット（６０４）を制御し、前記組織化画像を使って前記組織化画像における前記複数の染色体オブジェクトに基づき、ランダム生成処理を実行し、ランダム的に組織化された前記複数の染色体オブジェクトを含むシミュレーションされた分裂中期画像を生成するステップ（ｃ）と、
前記検出ユニット（６０６）を制御して前記シミュレーションされた分裂中期画像に対して前記複数の染色体オブジェクトを検出するためにオブジェクト検出を実行するステップ（ｄ）と、
前記再校正ユニット（６０８）を制御して前記シミュレーションされた分裂中期画像に対して再校正手順を実行し、前記染色体オブジェクトが互いに分離された再校正画像を得るステップ（ｅ）と、
前記ステップ（ｃ）～（ｅ）を繰り返し行い、前記染色体認識モデル（６００）を訓練することにより、前記染色体データを前記染色体認識モデル（６００）の入力として含む画像に含まれた前記染色体オブジェクトの特徴を識別すると共に、前記組織化画像を前記染色体認識モデル（６００）の出力として得るために前記染色体オブジェクトを分類するステップ（ｆ）と、
を含む方法を提供する。

他の観点によれば、本開示は、
上述の染色体認識モデルをロードするステップと、
複数の染色体オブジェクトを含む、参照対象に関する染色体データを含んでいる画像を染色体認識モデルの入力として取り入れるステップであって、前記染色体データは複数の染色体オブジェクトを含むものであるステップと、
前記染色体認識モデルを制御して前記画像に含まれた染色体オブジェクトの特徴を識別し 前記染色体オブジェクトを分類して、組織化画像を出力として得るステップと、を含む方法をも提供する。

本発明の他の特徴および利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になるであろう。

分裂中期における１組の染色体を含む画像の概略図である。 図１の画像から得られた核型画像を示す概略図である。 本開示の実施形態に係る重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデルを訓練する方法を説明するためのフローチャートである。 本開示の実施形態に係る図３の方法を実施するためのコンピュータ装置の一例を示すブロック図である。 本開示の実施形態に係る染色体認識モデルの一例を示すブロック図である。 本開示の一例に係る自動ラベリング処理を実行するサブステップを説明するフローチャートである。 参照対象の１組の染色体（染色体それぞれはラベリングされている）を含む核型画像の一例を説明する図である。 ランダム生成処理を使って生成されるシミュレーションされた分裂中期画像の一例を示す図である。 シミュレーションされた分裂中期画像に対して行う検出処理の一例を説明する図である。 本開示の実施形態に係る染色体認識のための方法の一例を説明するフローチャートを示す図である。 図５の染色体認識モデルを使って図１の画像から得られた組織化画像の一例を示す図である。

本開示をより詳細に説明する前に、適切と考えられる場合において、符号又は符号の末端部は、同様の特性を有し得る対応の又は類似の要素を示すために各図面間で繰り返し用いられることに留意されたい。

図３は、本開示の実施形態に係る重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデルを訓練する方法を説明するためのフローチャートである。

この例では、本開示の方法はコンピュータ装置を使って実施することができる。図４は、本開示の実施形態に係る図３の方法を実施するためのコンピュータ装置の一例を示すブロック図である。この例では、コンピュータ装置４００はプロセッサ４０２とディスプレイ４０４と通信素子４０６とストレージ媒体４０８と撮像素子４１０とを備えている。

プロセッサ４０２は、シングルコアプロセッサ（ｓｉｎｇｌｅ ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチコアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、デュアルコアモバイルプロセッサ（ｄｕａｌ－ｃｏｒｅ ｍｏｂｉｌｅ ｐｒｏｃｅｓｓｏｒ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、マイクロコントローラ、デジタルシグナルプロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、無線周波数集積回路（ｒａｄｉｏ－ｆｒｅｑｕｅｎｃｙ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＲＦＩＣ）等を含むがこれらに限定されない。

ディスプレイ４０４は、プロセッサ４０２に電気的に接続され、プロセッサ４０２によって画像を表示するように制御可能にされる。

通信素子４０６は、プロセッサ４０２に電気的に接続され、ブルートゥース（登録商標）及び／又はＷｉ－Ｆｉ（登録商標）等の無線技術を使う近距離無線通信ネットワークをサポートする近距離無線通信モジュール（ｓｈｏｒｔ－ｒａｎｇｅ ｗｉｒｅｌｅｓｓ ｃｏｍｍｕｎｉｃａｔｉｎｇ ｍｏｄｕｌｅ）と、ＬＴＥ（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、長期的進化）や第三世代（３Ｇ）及び／又は第四世代（４Ｇ）の無線移動通信技術等を使う通信をサポートする移動通信モジュール（ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｎｇ ｍｏｄｕｌｅ）とを備えている。

ストレージ媒体４０８は、プロセッサ４０２に電気的に接続され、ハードディスク、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、他の非一時的な記憶媒体の１つ又はそれ以上を使って具現化され得る。ストレージ媒体４０８は、プログラムアプリケーション、複数のアルゴリズム及び複数のニューラルネットワークを格納している。プログラムアプリケーションは、複数のソフトウェア命令を格納しており、プロセッサ４０２によって実行される時、プロセッサ４０２がシミュレーションに基づく重なり合った染色体を分離するための染色体認識モデルを訓練する方法のステップを実行するようになる。

撮像素子４１０は、プロセッサ４０２に電気的に接続されている。この例では、撮像素子４１０はマイクロスコープカメラを用いる。

再び図３を参照すると、ステップ３０２では、プロセッサ４０２は訓練されるための染色体認識モデルを構築する。図５に示されているように、この例では、例示された染色体認識モデル６００は入力ノード６０１と自動ラベリングユニット６０２とランダム生成ユニット６０４と検出ユニット６０６と再校正ユニット６０８と出力ノード６０９とを備えている。染色体認識モデルがプロセッサ４０２によってロードされると、プロセッサ４０２は染色体認識モデル６００の各構成成分を制御し、下記のように複数の操作を施す。
染色体認識モデル６００を訓練するために、複数の画像を含む染色体データを入力として入力ノード６０１に取り入れる。

この例では、コンピュータ装置４００のプロセッサ４０２は、ステップ３０４において参照対象（例えば、患者、メディカルチェックを受ける試験者）に関連する核型画像７０１を少なくとも１つ得る。核型画像７０１は、通信素子４０６を介して外部の記憶媒体から受信され、又は、ストレージ媒体４０８に予め記憶され、ストレージ媒体４０８にアクセスしてプロセッサ４０２によって取得される。

一例では、核型画像７０１は、参照対象の染色体を１組含んでおり、例えば医師等の専門家によって参照対象から抽出された染色体を手動で再校正することにより構築される。なお、図２に示されているように、染色体に加えて、例えば数字、シンボル、専門家によるメモ書きのような複数の小さなオブジェクトが核型画像に示され得る。

ステップ３０４では、コンピュータ装置４００におけるプロセッサ４０２は自動ラベリングユニット６０２を制御し、核型画像に対して自動ラベリング処理を行う。
具体的には、自動ラベリング処理は図６に示されているサブステップを用いて説明される。

サブステップ３０４ａでは、自動ラベリングユニット６０２は、画像前処理手順を実施し核型画像において複数の染色体オブジェクトとされる複数のオブジェクトを識別する。
具体的には、画像前処理手順では下記の操作の内の１つ以上の操作を行う。

一例として、自動ラベリングユニット６０２は、閾値操作を行い、核型画像におけるオブジェクトとバックグラウンドとを区別する。この例では、色／光強度（例えば１以上の特定色に関連する強度値）に関連する予め定められた閾値が核型画像７０１の一部が１つのオブジェクト（関連する色／光強度が閾値以下の時）、又は、バックグラウンド（関連する色／光強度が閾値以上の時）に属するかどうかを判定するために使用される。

一例として、自動ラベリングユニット６０２は、マスクラベリング操作（ｍａｓｋ ｌａｂｅｌｌｉｎｇ ｏｐｅｒａｔｉｏｎ）を実施し、個々のオブジェクトの輪郭を定める。定められた染色体それぞれは、オブジェクトとして参照できる。
一例として、自動ラベリングユニット６０２は、オブジェクトにおいて識別されたノイズオブジェクトと穴の除去を行う。

具体的には、ここでいう「ノイズオブジェクト」とは、核型画像７０１において染色体オブジェクトではないオブジェクトを指す。また、オブジェクト（例えば染色体オブジェクト）の１つにおける複数の小部分は当該オブジェクトにおいて穴のように見えるように当該オブジェクトの他の部分と異なる色又は強度を有する。この例では、オブジェクトにおいて識別されたノイズオブジェクト及び穴の除去は、拡張／侵食モロフォロジーオプレーター（ｄｉｌａｔｉｏｎ／ｅｒｏｓｉｏｎ ｍｏｒｐｈｏｌｏｇｙ ｏｐｅｒａｔｏｒ）を用いて実施される。

一例として、自動ラベリングユニット６０２は、所定数のオブジェクトが識別された後無用と判断されるデータの除去を行う。この例では、参照対象（ヒト）は典型的に４６本の染色体を有し、４６本の染色体オブジェクトが識別された時、自動ラベリングユニット６０２は識別されていない全てのオブジェクトを無用なデータとして判別し、これら無用なデータを除去する。例えば、図２に示された画像は無用なデータと判断される１つの小さなオブジェクトとテキスト（４６、ＸＸ）を少なくとも含む。
なお、この例では、画像前処理手順は上記の操作全てを含むが、実施例によっては、画像前処理手順は、上記の操作の組み合わせを含み得る。

また、画像前処理手順においてサブステップ３０４ｂでは、自動ラベリングユニット６０２は核型画像７０１に対して画像処理（例えば、閾値、画像領域ラベリング等を含む）を行い、複数の染色体オブジェクトそれぞれのマスクと最小バウンディングボックス（図７参照）を得る。このように、複数の染色体対象それぞれは、明確に定義され、除去、回転などの操作をすることができる。

その後、サブステップ３０４ｃでは、自動ラベリングユニット６０２は、教師なしクラスタリングを行い、複数の染色体オブジェクトを分類・組織化することにより、１組の組織化染色体オブジェクトを含む組織化画像を得る。図７は、組織化された染色体オブジェクトにおける組織化画像の一例を示す概略図である。この例では、参照対象（ヒト）は２本の染色体同士が対となった２２組の常染色体ペアと性別（ＸＸ）又は（ＸＹ）を示す２本の性染色体とを含む４６本の染色体が存在する。

使用の際、教師なしクラスタリングを行うことによって染色体オブジェクトを分類することができる（例えば、染色体オブジェクト毎にクラスを割り当てる）。本例では、教師なしクラスタリングはｋ平均法（ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）であり、他の例では、教師なしクラスタリングはｋ近傍法（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）、アフィニティー伝播（Ａｆｆｉｎｉｔｙ ｐｒｏｐａｇａｔｉｏｎ）、ミーンシフト（Ｍｅａｎ－ｓｈｉｆｔ）、 スペクトラルクラスタリング（Ｓｐｅｃｔｒａｌ ｃｌｕｓｔｅｒｉｎｇ）、ウォード階層的クラスタリング（Ｗａｒｄ ｈｉｅｒａｒｃｈｉｃａｌ ｃｌｕｓｔｅｒｉｎｇ）、凝集クラスタリング（Ａｇｇｌｏｍｅｒａｔｉｖｅ ｃｌｕｓｔｅｒｉｎｇ）、 ＤＢＳＣＡＮ法、ＯＰＴＩＣＳ法、ガウス混合法（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅｓ）、及びバーチ法（Ｂｉｒｃｈ）の１つである。

一例として、自動ラベリングユニット６０２は染色体オブジェクトそれぞれをヒト染色体の１つとして分類し、ヒト染色体の順位（例えば、染色体１、染色体２等）に基づき染色体オブジェクトを組織化する。結果として、図７に示されたように、染色体毎にラベルされた組織化画像が得られる。

なお、核型画像において、複数組の染色体は手動的に並べられており、他の無関係、無用なオブジェクトが含まれ得る。自動ラベリング処理を行うことによって、複数組の染色体は更なる分析のために自動的にラベリング・分類され、組織化画像に組織化される。
なお、自動ラベリング処理は、手動的に作成された複数の核型画像に対して繰り返して行なわれることによって、複数の組織化画像を得ることができる。

ステップ３０６では、プロセッサ４０２は、ランダム生成ユニットを制御し、組織化画像を用いて、組織化画像における複数の染色体オブジェクトに基づきランダム生成処理を行うことによって、ランダムに再組織化された複数の染色体オブジェクトを含むシミュレーションされた分裂中期画像（ｍｅｔａｐｈａｓｅ ｉｍａｇｅ）を生成する。

ここで、ランダム生成処理を行ってシミュレーションされた分裂中期画像を生成することによって、他の画像が染色体認識モデルを訓練するために入力として用いられ得る。

一例として、ステップ３０６は自動画像オーバラップシミュレーションを使ってシミュレーションされた分裂中期画像を生成するよう行なわれる。自動画像オーバラップシミュレーションは画像処理ライブラリを使って作成されたアルゴリズムを使って実行される。この例では、画像処理ライブラリはＳｃｉｋｉｔ－ｉｍａｇｅ、ＯｐｅｎＣＶ（ｏｐｅｎ ｓｏｕｒｃｅ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）ライブラリ、Ｍａｈｏｔａｓ， ＳｉｍｐｌｅｌＴＫ， ＳｃｉＰｙ， Ｐｉｌｌｏｗ、及びＭａｔｐｌｏｔｌｉｂの１つである。

幾つかの例では、染色体認識モデル６００のランダム生成ユニット６０４は、画像増強サブユニット６０４ａを有する。加えて、ランダム生成処理は更にシミュレーションされた分裂中期画像を生成する際に画像増強サブユニット６０４ａにより画像増強操作を実行し、生成された分裂中期画像にてより多くの変動を与えると共に染色体オブジェクトの基本的特性を保つ。付加するシミュレーションされた分裂中期画像を用いることにより、起こり得るオーバフィッティング問題を解消することができる。

一例として、画像増強操作は、複数の染色体オブジェクトを検出するために、シミュレーションされた分裂中期画像に対してオブジェクト検出アルゴリズムを実行することを含み、少なくとも１つの検出された染色体オブジェクトを再配列し、核型画像７０１に対してインスタンスセグメンテーションアルゴリズムを実行し、シミュレーションされた分裂中期画像の画像サイズを１０２４×１３３３ピクセルに調整する。

検出された染色体オブジェクトに対しての再校正の例示的な操作は下記の（表１）のように提供される。

一例として、画像増強操作は更にシミュレーションされた分裂中期画像の幾つかの部分に冗長ノイズを加算することにより、染色体認識モデル６００のロバスト性を強化することができる。例えば、細胞からの染色体オブジェクトに関連していないオブジェクトが、シミュレーションされた分裂中期画像の幾つかの部分に付加され得る。

図８はステップ３０６を使って生成されたシミュレーションされた分裂中期画像の一例を示す図である。
ステップ３０８では、プロセッサ４０２は、複数の染色体オブジェクトを検出するために、検出ユニット６０６を制御してシミュレーションされた分裂中期画像に対してオブジェクト検出を実行する（図９参照）。

この例では、オブジェクト検出は、複数の染色体オブジェクト毎に、検出ユニット６０６は位置検出と、対応する特徴の検出と、分離とを実行する。具体的には、位置検出は、染色体オブジェクトのバウンディングボックスに対してリグレッション方法を用いて行われる。なお、上記操作は、マスク領域に基づく畳み込みニューラルネットワーク（ＣＮＮ）を用いて行われる。

その後、検出ユニット６０６は、深層残差畳み込みニューラルネットワーク（ｄｅｅｐ ｒｅｓｉｄｕａｌ ＣＮＮ）をバックボーンとして用いて画像特徴分類操作を実行する。深層残差ＣＮＮは、ＲｅｓＮｅｔ ５０、ＲｅｓＮｅｔ １０１、又はＳＥ－Ｒｅｓ Ｎｅｔの１つ等である。具体的には、少なくとも１つの染色体オブジェクトが他の１つの染色体オブジェクトと重なっていると判定された時（染色体オブジェクトそれぞれのマスク又はバウンディングボックスに基づいて）、検出ユニット６０６のマスクモジュール（図示せず）は重なり合った染色体オブジェクトを分離することができる。

図９には染色体オブジェクトを検出する検出操作の一例を示している。
そして、ステップ３１０では、プロセッサ４０２は再校正ユニット６０８を制御し、シミュレーション分裂中期画像に対して再校正手順を実行することによって、染色体オブジェクト同士が分離されている再校正画像を得ることができる。

この例では、染色体オブジェクトそれぞれの再校正は、主成分分析（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ；ＰＣＡ）を使って実施され得る。

一例として、プロセッサ４０２は更にＰＣＡを実行し、染色体オブジェクトそれぞれの向きを認識する（例えば、染色体オブジェクトの上部及び／又は下部を認識する）。１つの染色体オブジェクトの向きが正しくないと判定された場合（例えば、図８に示された態様）、当該１つの染色体オブジェクトこれに応じて回転又は反転される。

なお、ステップ３０８はステップ３０６で生成されたシミュレーションされた画像を使って複数回行われることがあり、これによってシミュレーションされた画像にそれぞれ対応する複数の再校正画像が得られる。

ステップ３１０では、プロセッサ４０２は訓練手順を実施し、当該ニューラルネットワークが収束されるまで再校正画像をニューラルネットワークに加えることによって、重なり合った染色体の分離をシミュレーションする分離モデルを得ることができる。
一例として、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）である。

一例として、再校正ユニット６０８は、検証サブユニット６０８ａを有する。プロセッサ４０２は検証サブユニット６０８ａを制御し、検証サブユニット６０８ａが再校正画像に対して検証処理を実行する。検証処理は例えば染色体オブジェクトの自動計数や、性染色体オブジェクトの自動ラベリング、染色体オブジェクトの回転、組織化画像を得るための染色体オブジェクトの組織化の１つ以上の機能を実行する。

なお、染色体認識モデル６００は更に異なるシミュレーションされた分裂中期画像を使ってステップ３０６～３１０を繰り返し実行することによって訓練され得る。

染色体認識モデル６００が図３に示された方法によって訓練された後、プロセッサ４０２は、染色体認識モデル６００をストレージ媒体４０８に格納することができる。染色体認識モデル６００は、染色体認識モデル６００の入力としての染色体データを含む画像内に含まれた染色体オブジェクトの特徴を識別し、染色体オブジェクトを分類し、染色体認識モデル６００の出力としての組織化画像を得ることに使われる。

図１０は、本開示に係る染色体認識方法の一例を示すフローチャートである。この方法は、図４に示されたコンピュータ装置４００を使って実行されてよく、他の実施例ではスーパーコンピュータ、量子コンピュータ、パソコン、ノートパソコンのような類似部品を含む任意の電子装置を使って実行されてもよい。

ステップ８０２では、コンピュータ装置４００のプロセッサ４０２は染色体認識モデル６００をロードする。染色体認識モデル６００は、ストレージ媒体４０８にアクセスすることによって得られてもよく、又は、通信素子４０６を介して外部のストレージ媒体から受け取られてもよい。

ステップ８０４では、コンピュータ装置４００のプロセッサ４０２は参照対象に関連する染色体データを染色体認識モデル６００の入力として含む画像を取り入れる。染色体データは複数の染色体オブジェクトを含んでいるとされる。

ステップ８０６では、染色体認識モデル６００の自動ラベリングユニット６０２を制御して、画像における染色体オブジェクトの位置を定めるために検出を行う。
ステップ８０８では、染色体認識モデル６００を制御して、画像に含まれたステップ８０６で位置決めされた染色体オブジェクトの特徴を識別する。

ステップ８１０では、染色体認識モデル６００を制御して、他の１つの染色体オブジェクトと重なり合っている染色体オブジェクトを画像に少なくとも１つ含むかどうかを判定する。具体的には、染色体認識モデル６００は、画像の１部が、同時に１つ以上の染色体オブジェクトの一部になっている部分を有するかどうかを判定する。この判定が肯定のとき、ステップ８１２に移行する。そうでない場合、ステップ８１４に移行する。

ステップ８１２では、染色体認識モデル６００を制御して、重なり合った染色体オブジェクトの１つを、重なり合った染色体オブジェクト同士を引き離す分ことで他の１つから離し、１つ以上の染色体オブジェクトのそれぞれにおいて、同時に１つ以上の染色体オブジェクトの一部になっている部分を複製する。そして、ステップ８１４に移行する。
ステップ８１４では、染色体認識モデル６００を制御して染色体オブジェクトを分類することにより組織化画像を出力として得る。
図１１は、染色体認識モデル６００を使って図１における画像から得られた組織化画像の一例を示す概略図である。

ここで、図１０の方法を実施して画像を処理することで、核型画像を手動的に処理することなく画像の主要部分を読み取り参照対象が遺伝性疾患を有するかどうかを判定することができる。

以上により、本開示の実施例によれば、重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデルを訓練する方法及びシステム、分離モデルを利用する方法が提供されることができる。染色体認識モデルを用いることにより、核型分類の処理は効率高く（例えば分裂中期画像は平均０．１～１秒間で処理され）、また、精度よく（例えば９５～９９％の染色体異常が識別される）自動的に実施されるようになり、手動的に分類及び組織化する手間を省くことができる。

上記においては、説明のため、本開示の全体的な理解を促すべく多くの具体的な詳細が示された。しかしながら、当業者であれば、一またはそれ以上の他の実施形態が具体的な詳細を示さなくとも実施され得ることが明らかである。また、本明細書における「一つの実施形態」「一実施形態」を示す説明において、序数などの表示を伴う説明は全て、特定の態様、構造、特徴を有する本開示の具体的な実施に含まれ得るものであることと理解されたい。更に、本説明において、時には複数の変化例が一つの実施形態、図面、またはこれらの説明に組み込まれているが、これは本説明を合理化させるためのもので、また、本開示の多面性が理解されることを目的としたものである。

以上、本開示の好ましい実施形態及び変化例を説明したが、本開示はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。

４００ コンピュータ装置
４０２ プロセッサ
４０４ ディスプレイ
４０６ 通信素子
４０８ ストレージ媒体
４１０ 撮像素子
６００ 染色体認識モデル
６０１ 入力ノード
６０２ 自動ラベリングユニット
６０４ ランダム生成ユニット
６０４ａ 画像増強サブユニット
６０６ 検出ユニット
６０８ 再校正ユニット
６０８ａ 検証サブユニット
６０９ 出力ノード
７０１ 核型画像

Claims (17)

1. コンピュータ装置（４００）によって実行される、重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデル（６００）を訓練する方法であって、
   前記コンピュータ装置（４００）のプロセッサ（４０２）が自動ラベリングユニット（６０２）とランダム生成ユニット（６０４）と検出ユニット（６０６）と再校正ユニット（６０８）とを備える染色体認識モデル（６００）を構築するステップと、
   前記プロセッサ（４０２）が参照対象に関連する核型画像を少なくとも１つ得るステップ（ａ）と、
   前記プロセッサ（４０２）が前記自動ラベリングユニット（６０２）を制御して前記核型画像に対して自動ラベリング処理を実行するステップ（ｂ）であって、
   前記自動ラベリング処理は、
   前記核型画像において複数の染色体オブジェクトとする複数のオブジェクトを識別する画像前処理手順を実行することと、
   前記核型画像に対して前記画像前処理手順を実行し、前記複数の染色体オブジェクトそれぞれのマスク及び最小バウンディングボックスを得ることと、
   前記複数の染色体オブジェクトを分類・組織化して１組の組織化染色体オブジェクトを含む組織化画像を得るために前記核型画像に対して教師なしクラスタリングを行うこととを有する、ステップ（ｂ）と、
   前記プロセッサ（４０２）が前記ランダム生成ユニット（６０４）を制御し、前記組織化画像を使って前記組織化画像における前記複数の染色体オブジェクトに基づき、ランダム生成処理を実行し、ランダム的に組織化された前記複数の染色体オブジェクトを含むシミュレーションされた分裂中期画像を生成するステップ（ｃ）と、
   前記プロセッサ（４０２）が前記検出ユニット（６０６）を制御して前記シミュレーションされた分裂中期画像に対して前記複数の染色体オブジェクトを検出するためにオブジェクト検出を実行するステップ（ｄ）と、
   前記プロセッサ（４０２）が前記再校正ユニット（６０８）を制御して前記シミュレーションされた分裂中期画像に対して再校正手順を実行し、前記染色体オブジェクトが互いに分離された再校正画像を得るステップ（ｅ）と、
   前記プロセッサ（４０２）が前記ステップ（ｃ）～（ｅ）を繰り返し行い、前記染色体認識モデル（６００）を訓練することにより、前記染色体認識モデル（６００）の入力としての染色体データを含む画像内に含まれた前記染色体オブジェクトの特徴を識別し、前記染色体オブジェクトを分類し、前記染色体認識モデル（６００）の出力としての前記組織化画像を得るステップ（ｆ）と、
   を含む方法。
2. 前記自動ラベリング処理における前記画像前処理手順は、
   前記核型画像の前記オブジェクトとバックグラウンドを区別する閾値操作と、
   前記オブジェクトの各々を定義するマスクラベリング操作と、
   ノイズオブジェクトと前記オブジェクトにおいて識別された穴とを取り除く操作と、
   所定数の前記オブジェクトが識別された後、無用と判断されるデータを取り除く操作の少なくとも１つを含む請求項１に記載の方法。
3. 前記教師なしクラスタリングは、ｋ平均法（ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）、ｋ近傍法（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）、アフィニティー伝播（Ａｆｆｉｎｉｔｙ ｐｒｏｐａｇａｔｉｏｎ）、ミーンシフト（Ｍｅａｎ－ｓｈｉｆｔ）、 スペクトラルクラスタリング（Ｓｐｅｃｔｒａｌ ｃｌｕｓｔｅｒｉｎｇ）、ウォード階層的クラスタリング（Ｗａｒｄ ｈｉｅｒａｒｃｈｉｃａｌ ｃｌｕｓｔｅｒｉｎｇ）、凝集クラスタリング（Ａｇｇｌｏｍｅｒａｔｉｖｅ ｃｌｕｓｔｅｒｉｎｇ）、 ＤＢＳＣＡＮ法、ＯＰＴＩＣＳ法、ガウス混合法（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅｓ）、及びバーチ法（Ｂｉｒｃｈ）の１つである請求項１又は２に記載の方法。
4. 前記ステップ（ｃ）は、前記シミュレーションされた分裂中期画像を生成するために自動画像オーバラップシミュレーションを用いることを含み、前記自動画像オーバラップシミュレーションは、画像処理ライブラリを用いて生成されたアルゴリズムを使って実施され、
   前記画像処理ライブラリは、Ｓｃｉｋｉｔ－ｉｍａｇｅ、ＯｐｅｎＣＶ（ｏｐｅｎ ｓｏｕｒｃｅ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）ライブラリ、Ｍａｈｏｔａｓ， ＳｉｍｐｌｅｌＴＫ， ＳｃｉＰｙ， Ｐｉｌｌｏｗ、及びＭａｔｐｌｏｔｌｉｂの１つである、請求項１～３の何れか１項に記載の方法。
5. 前記染色体認識モデル（６００）の前記ランダム生成ユニット（６０４）は、画像増強サブユニットを有し、
   前記ステップ（ｃ）は、前記ランダム生成ユニットを制御して画像増強操作を行なうことを含み、前記画像増強操作は、複数の前記染色体オブジェクトを検出するために、前記シミュレーションされた分裂中期画像に対してオブジェクト検出アルゴリズムを実行することと、前記核型画像に対してインスタンスセグメンテーションアルゴリズムを実行し、前記シミュレーションされた分裂中期画像の画像サイズを１０２４×１３３３ピクセルに調整することとを含む、
   請求項１～４の何れか１項に記載の方法。
6. 前記オブジェクト検出は、前記染色体オブジェクト毎に、
   位置の検出と、対応する特徴の検出と、分離とを実行し、
   深層残差畳み込みニューラルネットワーク（ｄｅｅｐ ｒｅｓｉｄｕａｌ ＣＮＮ）をバックボーンとして用いて画像特徴分類操作を実行する
   請求項１～５の何れか１項に記載の方法。
7. 前記再校正ユニット（６０８）は、検証サブユニット（６０８ａ）を有し、
   更に前記検証サブユニット（６０８ａ）を制御して前記再校正画像に対して検証処理を実行するステップを含み、
   前記検証処理は、
   前記染色体オブジェクトの自動計数と、
   性染色体オブジェクトの自動ラベリングと、
   前記染色体オブジェクトの回転と、
   組織化画像を得るための前記染色体オブジェクトの組織化との１つ以上の機能を含む
   請求項１～６の何れか１項に記載の方法。
8. 前記染色体認識モデル（６００）の訓練は、前記再校正画像をニューラルネットワークに加えることをさらに含み、前記ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）である請求項１に記載の方法。
9. コンピュータ装置（４００）によって実行される染色体認識のための方法であって、
   前記コンピュータ装置（４００）のプロセッサ（４０２）が請求項１に記載の染色体認識モデル（６００）をロードするステップと、
   前記コンピュータ装置（４００）の前記プロセッサ（４０２）が参照対象に関連する染色体データを前記染色体認識モデル（６００）の入力として含む画像を取り入れるステップであって、前記染色体データは複数の染色体オブジェクトを含むものであるステップと、
   前記染色体認識モデル（６００）を制御して前記画像に含まれた前記染色体オブジェクトの特徴を識別し、前記染色体オブジェクトを分類して、組織化画像を出力として得るステップと、
   を含む方法。
10. 更に、前記特徴を識別する前に前記染色体認識モデル（６００）を制御して前記画像において前記染色体オブジェクトの位置を定める位置検出を行なうステップを有する
    請求項９に記載の方法。
11. 前記画像に他の１つの前記染色体オブジェクトと重なった少なくとも１つの染色体オブジェクトが含まれていると判定されたとき、
    前記染色体認識モデル（６００）は重なり合った染色体オブジェクトの分離をすることができる請求項９又は１０に記載の方法。
12. 重なり合った染色体をシミュレーションに基づき分離するための染色体認識モデル（６００）を訓練するシステムであって、
    プロセッサ（４０２）と、
    自動ラベリングユニット（６０２）とランダム生成ユニット（６０４）と検出ユニット（６０６）と再校正ユニット（６０８）とを備えている前記染色体認識モデル（６００）を格納する非一時的な機械可読媒体と、を備え、
    前記プロセッサ（４０２）は、訓練するために前記染色体認識モデル（６００）をロードするように構成され、前記染色体認識モデル（６００）の入力としての核型画像に応答して、前記訓練は、
    前記核型画像において複数の染色体オブジェクトとする複数のオブジェクトを識別する画像処理手順を実行することと、
    前記核型画像に対して教師なしクラスタリングを行って、前記複数の染色体オブジェクトそれぞれのマスク及び最小バウンディングボックスを得ることと、
    １組の組織化染色体オブジェクトを含む組織化画像を得るために前記核型画像に対して教師なしクラスタリングを行って前記複数の染色体オブジェクトを分類・組織化することとを含む、自動ラベリング処理を、前記自動ラベリングユニット（６０２）が核型画像に対して実行することと、
    前記ランダム生成ユニット（６０４）が、前記組織化画像における前記複数の染色体オブジェクトに基づき、ランダム生成処理を実行し、ランダム的に組織化された前記複数の染色体オブジェクトを含むシミュレーションされた分裂中期画像を生成することと、
    前記再校正ユニット（６０８）が、前記シミュレーションされた分裂中期画像に対して再校正手順を実行することによって、前記染色体オブジェクト同士が分離されている再校正画像を得ることとを含み、
    前記プロセッサ（４０２）は、前記訓練の後、前記染色体認識モデル（６００）を前記非一時的な可読媒体に格納するように構成される
    システム。
13. 前記染色体認識モデル（６００）は更に、
    前記核型画像の画像サイズを１０２４×１３３３ピクセルに調整するように前記核型画像に対してインスタンスセグメンテーションアルゴリズムを実行するように構成される画像増強サブユニットと、
    複数の前記染色体オブジェクトの検出を行なうために前記核型画像に対して深層学習インスタンスセグメンテーションアルゴリズム（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎｓｔａｎｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）を実行するように構成され、前記検出には前記染色体オブジェクトそれぞれに最小バウンディングボックスを用いて前記核型画像における特徴を抽出すると共に対応する特徴を検出することが含まれる、検出ユニット（６０６）とを備え、
    前記検出ユニット（６０６）は更に、深層残差畳み込みニューラルネットワーク（ＣＮＮ）をバックボーンとして用いて画像特徴分類操作を実行するように構成される請求項１２に記載のシステム。
14. 前記教師なしクラスタリングは、ｋ平均法（ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）、ｋ近傍法（ｋ－ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ）、アフィニティー伝播（Ａｆｆｉｎｉｔｙ ｐｒｏｐａｇａｔｉｏｎ）、ミーンシフト（Ｍｅａｎ－ｓｈｉｆｔ）、 スペクトラルクラスタリング（Ｓｐｅｃｔｒａｌ ｃｌｕｓｔｅｒｉｎｇ）、ウォード階層的クラスタリング（Ｗａｒｄ ｈｉｅｒａｒｃｈｉｃａｌ ｃｌｕｓｔｅｒｉｎｇ）、凝集クラスタリング（Ａｇｇｌｏｍｅｒａｔｉｖｅ ｃｌｕｓｔｅｒｉｎｇ）、 ＤＢＳＣＡＮ法、ＯＰＴＩＣＳ法、ガウス混合法（Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅｓ）、及びバーチ法（Ｂｉｒｃｈ）の１つである請求項１２又は１３に記載のシステム。
15. 前記染色体認識モデル（６００）は更に再校正報知ユニットを含み、前記再校正報知ユニットは、
    前記染色体オブジェクトを自動的に計数する機能と、
    性染色体オブジェクトを自動的にラベリングする機能と、
    前記染色体オブジェクトを回転させる機能と、
    前記染色体オブジェクトを組織化して組織化画像を得る機能とを実行する、
    請求項１２～１４の何れか１項に記載のシステム。
16. 前記プロセッサ（４０２）は更に前記染色体認識モデル（６００）をロードするように構成され、
    参照対象と関連する複数の染色体オブジェクトを含む染色体データを前記訓練された染色体認識モデル（６００）として含む画像に応答して、
    前記染色体認識モデル（６００）は、前記画像に含まれた前記染色体オブジェクトの特徴を識別するように構成され、前記染色体オブジェクトを分類して組織化画像を出力として得る請求項１２～１５の何れか１項に記載のシステム。
17. 前記画像に他の染色体オブジェクトと重なった少なくとも１つの染色体オブジェクトが含まれていると判定されたとき、前記染色体認識モデル（６００）は前記重なり合った染色体オブジェクトの分離をすることができる請求項１６に記載のシステム。

Images