JP6915349B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、抗体医薬を中心とした分子標的薬治療の広がりに伴い、分子標的薬をより効果的に設計するため、観察対象の細胞の形態を識別したり、当該細胞内の生体物質（例えば、酵素、リボソーム、又はタンパク質等）の定量を行うことが求められている。

従来より、観察対象の細胞の形態を識別したり、当該細胞内の生体物質を定量する手法としては、細胞に蛍光試薬を付着させて、その蛍光反応を撮像した蛍光画像が用いられている。

例えば、特許文献１には、蛍光物質を内包したナノ粒子を用いて細胞の特定抗原を染色し、蛍光画像で撮像されるナノ粒子の蛍光シグナルに基づいて特定抗原の情報を生成する方法が記載されている。特許文献１に記載の方法によれば、蛍光シグナルがドット状の蛍光輝点として観察されるため、これによって、当該細胞における特定抗原の発現を容易に観察し、高精度に定量できる。

特開２０１２−２０８１０６号公報

J. Long, et al. "Fully convolutional networks for semantic segmentation", In Proc. of IEEE Computer Vision and Pattern Recognition, 2015, ("URL:https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf") M. Zeiler, et al. "Adaptive deconvolutional networks for mid and high level feature learning", In Proc. of IEEE International Conference on Computer Vision, 2011, ("URL:http://www.matthewzeiler.com/pubs/iccv2011/iccv2011.pdf")

しかしながら、実際のところ、細胞を撮像した顕微鏡画像においては、複数の細胞が重畳した状態で観察されたり、観察対象とする細胞以外の物体（例えば、種別の異なる細胞等）が混在した状態で観察される場合もある。この点、蛍光画像のみを用いた特許文献１に記載の方法では、このような場合、蛍光輝点がいずれの細胞に所属するか等を判別できない。そのため、例えば、１細胞当りの蛍光輝点数や細胞内の蛍光輝点の分布等を診断情報とする場合には、正確な診断情報が生成できず、誤診に繋がる可能性がある。

かかる観点から、上記した蛍光画像に加えて、同一領域を明視野で撮像した明視野画像を用いて、当該蛍光画像と明視野画像とを比較することによって、個々の細胞の形態や、細胞内の生体物質を識別する手法が考えられる。

図１は、細胞を撮像した明視野画像の一例を示す図である。図２は、図１の明視野画像と同一の領域を撮像した蛍光画像の一例を示す図である。

明視野画像は、図１に示すように、細胞や背景で構築されており、個々の細胞の形態等を、ある程度確認できる状態で撮像される。

一方、蛍光画像は、図２に示すように、細胞や当該細胞内の生体物質に付着等した蛍光試薬の蛍光反応を撮像したものであって、ほぼ全体が黒い背景の中、蛍光反応を示す蛍光輝点だけが点在するような画像となる（図２は、背景色に対して蛍光輝点のコントラストが視認し得るように、背景色の色を変更して示している）。尚、蛍光画像に現れる蛍光輝点は、当該蛍光試薬内の蛍光物質の蛍光反応であり、特定の細胞又は当該細胞の生体物質の存在する位置、分布又は量等を示唆する。

つまり、明視野画像と蛍光画像とは、画像内の細胞に係る種々の内容を識別する際に互いに補完的に機能する。しかしながら、明視野画像と蛍光画像とを人為的に比較する作業は、非常に煩雑であり、大量の画像を観察することを考慮すると、より簡易、且つ、高精度に、かかる画像解析を実行し得る手法が求められる。

ところで、近年、画像内の被写体が属するカテゴリーを分類したり、当該画像内において被写体が占める領域を識別する画像処理技術として、畳み込みニューラルネットワーク（Convolutional Neural Network；以下、「ＣＮＮ」とも称する）が知られている（例えば、非特許文献１、非特許文献２を参照）。

かかるＣＮＮを用いて、明視野画像と蛍光画像の連関性も含めて画像解析することができれば、簡易、且つ、高精度に、細胞の種別や形態を識別したり、当該細胞内の生体物質の形態の識別や定量が可能となる。

本開示は、上記の問題点に鑑みてなされたものであり、ＣＮＮを用いて、画像に映る細胞に係る識別情報を生成する用に適した画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

尚、本開示に係る画像処理装置は、画像に映る細胞の種別、形態若しくは分布、又は、当該細胞内の生体物質の種別、形態若しくは分布等、細胞に係る種々の内容を識別対象とするものであってよく、以下では、これらを「細胞に係る識別情報」と総称して説明する。

前述した課題を解決する主たる本開示は、
細胞を明視野で撮像した明視野画像、及び前記細胞を含む領域に滴下された蛍光試薬の蛍光輝点を撮像した蛍光画像を取得する画像取得部と、
畳み込みニューラルネットワークを用いて、前記明視野画像及び前記蛍光画像の画像特徴を抽出して、前記細胞に係る識別情報を出力するＣＮＮ処理部と、
を備える、画像処理装置であって、
前記畳み込みニューラルネットワークは、
階層的に接続された第１の特徴量抽出層列により、前記明視野画像の画像特徴を抽出して、第１の特徴マップ群を生成する明視野画像処理部と、
階層的に接続された第２の特徴量抽出層列により、前記蛍光画像の画像特徴を抽出して、第２の特徴マップ群を生成する蛍光画像処理部と、
前記第１の特徴マップ群と前記第２の特徴マップ群を連結する連結部と、
階層的に接続された第３の特徴量抽出層列により、前記連結部で連結された前記第１及び第２の特徴マップ群の画像特徴を抽出して、第３の特徴マップ群を生成する統合処理部と、
前記第３の特徴マップ群に基づいて、前記細胞に係る識別情報を生成する識別部と、
を有する、画像処理装置である。

又、他の局面では、
細胞を明視野で撮像した明視野画像、及び前記細胞を含む領域に滴下された蛍光試薬の蛍光輝点を撮像した蛍光画像を取得し、
畳み込みニューラルネットワークを用いて、前記明視野画像及び前記蛍光画像の画像特徴を抽出して、前記細胞に係る識別情報を出力する、画像処理方法であって、
前記畳み込みニューラルネットワークは、
階層的に接続された第１の特徴量抽出層列により、前記明視野画像の画像特徴を抽出して、第１の特徴マップ群を生成し、
階層的に接続された第２の特徴量抽出層列により、前記蛍光画像の画像特徴を抽出して、第２の特徴マップ群を生成し、
前記第１の特徴マップ群と前記第２の特徴マップ群を連結し、
階層的に接続された第３の特徴量抽出層列により、前記連結部で連結された前記第１及び第２の特徴マップ群の画像特徴を抽出して、第３の特徴マップ群を生成し、
前記第３の特徴マップ群に基づいて、前記細胞に係る識別情報を生成する、画像処理方法である。

又、他の局面では、
コンピュータに、
細胞を明視野で撮像した明視野画像、及び前記細胞を含む領域に滴下された蛍光試薬の蛍光輝点を撮像した蛍光画像を取得する処理と、
畳み込みニューラルネットワークを用いて、前記明視野画像及び前記蛍光画像の画像特徴を抽出して、前記細胞に係る識別情報を出力する処理と、
を実行させる、画像処理プログラムであって、
前記畳み込みニューラルネットワークは、
階層的に接続された第１の特徴量抽出層列により、前記明視野画像の画像特徴を抽出して、第１の特徴マップ群を生成する処理と、
階層的に接続された第２の特徴量抽出層列により、前記蛍光画像の画像特徴を抽出して、第２の特徴マップ群を生成する処理と、
前記第１の特徴マップ群と前記第２の特徴マップ群を連結する処理と、
階層的に接続された第３の特徴量抽出層列により、前記連結部で連結された前記第１及び第２の特徴マップ群の画像特徴を抽出して、第３の特徴マップ群を生成する処理と、
前記第３の特徴マップ群に基づいて、前記細胞に係る識別情報を生成する処理と、有する、画像処理プログラムである。

本開示に係る画像処理装置によれば、ＣＮＮを用いて、画像内の細胞に係る種々の識別情報を生成することができる。

明視野画像の一例を示す図 蛍光画像の一例を示す図 実施形態に係る細胞認識システムの全体構成の一例を示す図 実施形態に係る画像処理装置のハードウェア構成の一例を示す図 一般的な畳み込みニューラルネットワークの構成を示す図 実施形態に係るＣＮＮ処理部が用いる畳み込みニューラルネットワークの構成の一例を示す図 特徴量抽出層４０ａ・・４０ｋの階層数が増加することによる特徴マップの変化について説明する図 細胞に係る識別情報の表示態様の一例を示す図

（細胞認識システムの構成）
以下、図３を参照して、本実施形態に係る画像処理装置１を適用する細胞認識システムＵの構成の一例について説明する。

図３は、本実施形態に係る細胞認識システムＵの全体構成の一例を示す図である。

本実施形態に係る細胞認識システムＵは、画像処理装置１、撮像装置２、表示装置３を備えている。

本実施形態に係る細胞認識システムＵにおいては、撮像装置２にて細胞を撮像し、画像処理装置１にて当該細胞を撮像した画像内における個々の細胞に係る識別情報を生成し、表示装置３にて識別結果を表示する。

本実施形態に係る細胞認識システムＵは、画像処理装置１、撮像装置２及び表示装置３が、通信ネットワーク４を介してデータ通信可能に構成されている。

撮像装置２は、細胞が存在する領域を明視野で撮像した明視野画像、及び、当該領域に蛍光試薬を滴下したときの蛍光反応を暗視野で撮像した蛍光画像を生成する。

撮像装置２は、公知のカメラ付き光学顕微鏡であり、ステージ上に載置された標本たる細胞を顕微鏡で観察した画像を撮像する。そして、撮像装置２は、カメラの撮像素子が生成した画像信号をＡＤ変換して、画像データを生成する。

撮像装置２は、光源やフィルター等の照射手段、接眼レンズや対物レンズ等の結像手段、ＣＣＤ（Charge Coupled Device）センサー等の撮像手段、及び、通信インターフェイス等を含んで構成される。

撮像装置２は、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、及び蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットを備えており、例えば、明視野観察と蛍光観察とを切り替え可能に構成されている。尚、蛍光ユニットとしては、蛍光試薬に対応した励起光源、及び蛍光検出用光学フィルター等が用いられる。

明視野画像は、細胞が存在する領域を、明視野で拡大結像及び撮像することにより得られる顕微鏡画像であって、当該細胞の形態等を表す画像である。尚、明視野画像は、染色試薬（例えば、ヘマトキシリン）で染色された状態の細胞領域を撮像したものであってもよいし、蛍光画像を撮像する際の蛍光試薬を滴下した状態の細胞領域を撮像したものであってもよい。

蛍光画像は、細胞が存在する領域に対して、蛍光試薬を滴下すると共に、所定波長の励起光を照射して、当該蛍光試薬を蛍光反応させた状態で撮像した画像である。蛍光画像に現れる蛍光輝点は、当該蛍光試薬内の蛍光物質の蛍光反応であり、特定の細胞又は当該細胞の生体物質の存在する位置、これらの分布又はこれらが存在する量等を示唆する。

尚、蛍光試薬は、観察対象の細胞又は当該細胞の生体物質に応じて適宜選択され、観察対象の細胞又は当該細胞の生体物質に付着する物質、観察対象の細胞又は当該細胞の生体物質のみに付着しない物質、又は、観察対象の細胞又は当該細胞の生体物質と化学反応や免疫反応する物質等が用いられる。蛍光試薬には、例えば、観察対象の細胞又は当該細胞の生体物質に付着等する物質（例えば、タンパク質、核酸、又は抗源等）と、蛍光物質（例えば、蛍光有機色素又は量子ドット等）が含有されている。

画像処理装置１は、同一領域を撮像した明視野画像及び蛍光画像に対して、畳み込みニューラルネットワークを用いて画像処理を行って、当該明視野画像及び蛍光画像に映る細胞に係る識別情報を出力する。

表示装置３は、例えば、液晶ディスプレイであって、画像処理装置１から出力される識別情報を表示する。

(画像処理装置の構成）
以下、図４〜図８を参照して、本実施形態に係る画像処理装置１の構成の一例について説明する。

画像処理装置１は、画像取得部１ａと、ＣＮＮ処理部１ｂと、学習部１ｃと、を備えている。

画像取得部１ａは、撮像装置２から、同一領域を撮像した明視野画像及び蛍光画像に係る画像データを取得する。

ＣＮＮ処理部１ｂは、同一領域を撮像した明視野画像及び蛍光画像に対して、畳み込みニューラルネットワークを用いて画像処理を行って、当該明視野画像又は蛍光画像内の細胞に係る識別情報を生成する。

本実施形態に係るＣＮＮ処理部１ｂは、例えば、明視野画像の各画素領域に対応するように、画像に映る個々の細胞の種別及び存在領域を識別結果として出力する（図８を参照して後述）。尚、「画素領域」とは、一画素の領域、又は隣接する複数の画素で区画した領域を表す。本実施形態に係るＣＮＮ処理部１ｂが用いる畳み込みニューラルネットワークの詳細については、後述する。

学習部１ｃは、ＣＮＮ処理部１ｂが参照する畳み込みニューラルネットワークの学習処理を行う。

図４は、本実施形態に係る画像処理装置１のハードウェア構成の一例を示す図である。

画像処理装置１は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インターフェイス１０５等を備えたコンピュータである。

画像処理装置１の上記した各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３又は外部記憶装置１０４等に記憶された制御プログラム（例えば、画像処理プログラム）や各種データ（例えば、ＣＮＮのネットワーク構造及び学習済みのネットワークパラメータ等）を参照することによって実現される。但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

［畳み込みニューラルネットワークの構成］
まず、画像処理装置１が、一般的な畳み込みニューラルネットワークを用いて、入力される画像から、被写体のカテゴリーを識別する処理について説明する。

図５は、一般的な畳み込みニューラルネットワークの構成を示す図である。

畳み込みニューラルネットワークは、特徴抽出部Ｎａと識別部Ｎｂとを有し、特徴抽出部Ｎａが、入力される画像から画像特徴を抽出する処理を施し、識別部Ｎｂが、抽出された画像特徴から被写体を識別する処理を施す。

特徴抽出部Ｎａは、複数の特徴量抽出層Ｎａ１、Ｎａ２・・・が階層的に接続された構成である。各特徴量抽出層Ｎａ１、Ｎａ２・・・は、それぞれ畳み込み層（Convolution layer）、活性化層（Activation layer）及びプーリング層（Pooling layer）を備える。

第１層目の特徴量抽出層Ｎａ１は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、走査したデータに対して、畳み込み層、活性化層及びプーリング層によって特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。第１層目の特徴量抽出層Ｎａ１は、例えば、水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量等の比較的シンプルな単独の特徴量を抽出する。

第２層目の特徴量抽出層Ｎａ２は、前階層の特徴量抽出層Ｎａ１から入力される画像（以下、「特徴マップ」とも称する）を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、走査したデータに対して、同様に、畳み込み層、活性化層及びプーリング層による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。尚、第２層目の特徴量抽出層Ｎａ２は、第１層目の特徴量抽出層Ｎａ１が抽出された複数の特徴量の位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量を抽出する。

各特徴量抽出層Ｎａ１、Ｎａ２・・・は、より詳細には、以下のような処理を実行する。

畳み込み層は、例えば、走査した所定サイズの画像の各画素値に対して、重み係数（及びバイアス）が設定された特徴抽出フィルターを用いて畳み込み演算を行う。そして、畳み込み層は、かかる演算処理を走査の毎に順に実行し、マッピングしていく。そして、畳み込み層は、前階層から入力される画像のそれぞれに対して、当該特徴抽出フィルターを用いて畳み込み演算を行い、対応するマッピング位置に加算していくことによって、一の特徴マップを生成する。

活性化層は、畳み込み層による畳み込み演算後の特徴マップの各画素の画素値に対して、例えば、周知のロジスティックジグモイド関数やＲｅＬＵ関数（Rectified Linear Units）等を適用する処理を実行する。

プーリング層は、活性化層が出力する特徴マップに対して、所定サイズ毎（例えば、２×２画素毎）に、最大プーリング関数や平均プーリング関数を適用する処理を実行する。

各特徴量抽出層Ｎａ１、Ｎａ２・・・は、畳み込み層、活性化層及びプーリング層の一連の処理によって、次階層に出力する特徴マップを生成する。そして、各特徴量抽出層Ｎａ１、Ｎａ２・・・は、重みパターンが異なる複数の特徴抽出フィルターを用いて、上記の処理を実行し、当該複数の特徴抽出フィルターのフィルター数分の特徴マップ（以下、「特徴マップ群」と称する）を生成する。

このように、特徴抽出部Ｎａは、階層的に接続された複数の特徴量抽出層Ｎａ１、Ｎａ２・・・による特徴抽出処理を繰り返すことで、画像内の被写体の種々の特徴量を高次元に抽出していく。そして、特徴抽出部Ｎａは、複数の特徴量抽出層Ｎａ１、Ｎａ２・・・の最後の層が生成する特徴マップ群を最終的な演算結果として、識別部Ｎｂに出力する。

識別部Ｎｂは、例えば、複数の全結合層（Fully Connected）が階層的に接続された多層パーセプトロンによって構成される。

識別部Ｎｂの入力側の全結合層は、特徴抽出部Ｎａから取得した特徴マップ群の各値に全結合し、その結合結果に対して重み係数を異ならせながら積和演算を行って出力する。尚、識別部Ｎｂの入力側の全結合層は、特徴マップ群の各値を特徴量ベクトルに変換するべく、特徴マップ群の各値と同数の素子が設けられる。

識別部Ｎｂの次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その結合結果に対して重み係数を異ならせながら積和演算を行う。識別部Ｎｂは、かかる処理によって、画像から得られる特徴に基づいて、画像内の識別対象のカテゴリーの識別結果を出力する。

尚、識別部Ｎｂは、例えば、多層パーセプトロンの出力層の各素子からの出力値に対して、ソフトマックス関数等を適用する処理を実行し、複数のカテゴリーのうち、該当するカテゴリーについて、積和演算による演算結果の値が大きくなるように識別結果を出力する。

この際、識別部Ｎｂの出力層の素子を画像内の画素領域毎に設けることによって、画素領域毎に、複数のカテゴリーのうちの該当するカテゴリーを出力する構成となる。

畳み込みニューラルネットワークは、正解カテゴリーを付した画像を用いて学習処理が施されることによって、ネットワークパラメータ（例えば、畳み込み層の重み係数及びバイアス、全結合層の重み係数及びバイアス）が調整され、上記のように機能する。

尚、このように、畳み込みニューラルネットワークを用いて、入力画像の画素領域毎にカテゴリーを識別する一般的な手法については、例えば、非特許文献１や非特許文献２を参照されたい。

本実施形態に係る画像処理装置１は、上記のような一般なＣＮＮとは異なり、画像内の被写体たる識別結果を識別するに際して、明視野画像と蛍光画像の両方の情報を相補的に用いるため、明視野画像に映る識別結果の特徴、蛍光画像に映る識別結果の特徴、及びこれらの連関性を抽出する。

図６は、本実施形態に係るＣＮＮ処理部１ｂが用いる畳み込みニューラルネットワークの構成の一例を示す図である。

本実施形態に係る畳み込みニューラルネットワークは、明視野画像入力部１０、蛍光画像入力部２０、明視野画像処理部３０、蛍光画像処理部４０、連結部５０、統合処理部６０、識別部７０、及び出力部８０を含んで構成される。

そして、本実施形態に係る畳み込みニューラルネットワークは、明視野画像処理部３０、蛍光画像処理部４０、連結部５０、及び統合処理部６０によって上記した特徴抽出部Ｎａを構成し、識別部７０によって上記した識別部Ｎｂを構成する。

尚、畳み込みニューラルネットワークの明視野画像処理部３０、蛍光画像処理部４０、統合処理部６０、及び識別部７０等のネットワークパラメータ（重み係数、バイアス）は、明視野画像と蛍光画像とに基づいて、細胞の状態等の識別結果を出力し得るように、学習部１ｃによって予め学習処理が実行される。

［明視野画像入力部］
明視野画像入力部１０は、明視野画像のデータＤ１（以下、「明視野画像Ｄ１」と称する）を取得し、明視野画像処理部３０に出力する。

尚、明視野画像入力部１０は、明視野画像Ｄ１に対してＲＧＢの３チャンネルの色空間に分解する等の前処理を施した後に、当該明視野画像Ｄ１を明視野画像処理部３０に出力する。

［蛍光画像入力部］
蛍光画像入力部２０は、蛍光画像のデータＤ２（以下、「蛍光画像Ｄ２」と称する）を取得し、蛍光画像処理部４０に出力する。

蛍光画像入力部２０は、この際、明視野画像で撮像した領域と同一の領域を撮像した蛍光画像を取得する。より好適には、蛍光画像入力部２０は、結像中心点及び拡大サイズが明視野画像と同一の条件下で撮像された蛍光画像を用いる。但し、撮像対象の細胞領域に目印等を付して、両画像の対応関係を識別可能にしておけば、明視野画像と蛍光画像との間で、撮像位置や拡大サイズが異なっていてもよい。

尚、蛍光画像入力部２０は、蛍光画像Ｄ２に対して２値化処理等の前処理を施した後に、当該蛍光画像Ｄ２を蛍光画像処理部４０に出力しもよい。

［明視野画像処理部］
明視野画像処理部３０は、階層的に接続された特徴量抽出層（以下、「第１の特徴量抽出層列」とも称する）によって、明視野画像Ｄ１の画像特徴を抽出した複数の特徴マップのデータＤ３（以下、「第１の特徴マップ群Ｄ３」とも称する）を生成し、連結部５０に出力する。

明視野画像処理部３０は、図５を参照して説明した一般的なＣＮＮと同様の構成を有し、複数の特徴量抽出層３０ａ・・３０ｎ(任意の層数を表す)が階層的に接続されて構成されている。そして、明視野画像処理部３０は、各特徴量抽出層３０ａ・・３０ｎにおいて、前階層から入力される入力データに対して畳み込み演算等の特徴量抽出処理を施して、特徴マップとして次階層に対して出力する。

各特徴量抽出層３０ａ・・３０ｎは、それぞれ、畳み込み層３１ａ・・３１ｎ（図６中では、Convolutionと表す）、活性化層３２ａ・・３２ｎ（図６中では、Reluと表す）、及びプーリング層３３ａ・・３３ｎ（図６中では、Poolingと表す）を含んで構成される。尚、畳み込み層３１ａ・・３１ｎ、活性化層３２ａ・・３２ｎ、及びプーリング層３３ａ・・３３ｎが行う処理は、図５を参照して説明した処理と同様であるから、ここでの説明は省略する（後述する畳み込み層４１ａ・・４１ｋ、活性化層４２ａ・・４２ｋ、プーリング層４３ａ・・４３ｋ、畳み込み層６１ａ・・、活性化層６２ａ・・、プーリング層６３ａ・・についても同様）。

明視野画像処理部３０の特徴量抽出層３０ａ・・３０ｎの階層数や各特徴量抽出層３０ａ・・３０ｎに設定される特徴抽出フィルターの枚数は、識別対象（画像に映る細胞の種別、形態若しくは分布、又は、当該細胞内の生体物質の種別、形態若しくは分布等）に応じて、適宜設定される。但し、これらは、少なくとも明視野画像から個々の細胞の存在領域を識別し得るように、設定されるのが望ましい。

明視野画像処理部３０は、このように、複数の階層的の特徴量抽出層３０ａ・・３０ｎにおける処理を繰り返すことで、明視野画像に含まれる複数の観点の特徴量（例えば、エッジ、領域、分布等）を高次元に抽出していき、その結果（第１の特徴マップ群Ｄ３）を連結部５０に出力する。

［蛍光画像処理部］
蛍光画像処理部４０は、階層的に接続された特徴量抽出層４０ａ・・４０ｋ（以下、「第２の特徴量抽出層列」とも称する）によって、蛍光画像Ｄ２の画像特徴を抽出した複数の特徴マップのデータＤ４（以下、「第２の特徴マップ群Ｄ４」とも称する）を生成し、連結部５０に出力する。

蛍光画像処理部４０は、図５を参照して説明した一般的なＣＮＮと同様の構成を有し、複数の特徴量抽出層４０ａ・・４０ｋ(任意の層数を表す)が階層的に接続されて構成されている。そして、蛍光画像処理部４０は、各特徴量抽出層４０ａ・・４０ｋにおいて、前階層から入力される入力データに対して畳み込み演算等の特徴量抽出処理を施して、特徴マップとして次階層に対して出力する。

各特徴量抽出層４０ａ・・４０ｋは、図５を参照して説明した一般的なＣＮＮと同様に、畳み込み層４１ａ・・４１ｋ、活性化層４２ａ・・４２ｋ、及びプーリング層４３ａ・・４３ｋを含んで構成される。

蛍光画像処理部４０は、このように、複数の階層的の特徴量抽出層４０ａ・・４０ｋにおける処理を繰り返すことで、蛍光画像に含まれる複数の観点の特徴量（例えば、エッジ、領域、分布等）を高次元に抽出していき、その結果（第２の特徴マップ群Ｄ４）を連結部５０に出力する。

尚、蛍光画像処理部４０の特徴量抽出層４０ａ・・４０ｋの階層数や各特徴量抽出層４０ａ・・４０ｋに設定される特徴抽出フィルターの枚数は、識別対象（画像に映る細胞の種別、形態若しくは分布、又は、当該細胞内の生体物質の種別、形態若しくは分布等）に応じて、適宜設定される。但し、これらは、少なくとも蛍光画像から蛍光輝点の集合状態を識別し得るように、設定されるのが望ましい。

但し、本実施形態に係る蛍光画像処理部４０の特徴量抽出層４０ａ・・４０ｋの階層数は、蛍光画像の一般的な画像特性を考慮して、明視野画像処理部３０の特徴量抽出層３０ａ・・３０ｎの階層数よりも少なくなるように設定されている。

以下、蛍光画像処理部４０の特徴量抽出層４０ａ・・４０ｋの階層数の設定方法について説明する。

図７は、特徴量抽出層４０ａ・・４０ｋの階層数が増加することによる特徴マップの変化について説明する図である。尚、図７では、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄの順に、プーリング処理の回数が多くなったときの特徴マップ内の蛍光輝点Ｔのサイズを表している。

本実施形態に係る蛍光画像処理部４０は、上記したように、各特徴量抽出層４０ａ・・４０ｋにおいてプーリング処理を実行する。プーリング処理は、所定サイズの画素の領域（例えば、２×２画素）を一画素に圧縮する処理であり、一般に、ＣＮＮでは、かかる処理によって画像に映る物体の位置や回転等の変化に対して頑健性を持たせる。しかしながら、特徴量抽出層４０ａ・・４０ｋを過剰に多層に積み重ね、プーリング処理を繰り返し実行した場合、蛍光画像の特徴マップ内の蛍光輝点は、サイズが徐々に圧縮されていき、連結部５０に出力する際には消失してしまうおそれがある。

かかる観点から、本実施形態に係る蛍光画像処理部４０の特徴量抽出層４０ａ・・４０ｋの階層数は、蛍光画像の画像特性（ここでは、蛍光輝点の典型サイズ）に基づいて、連結部５０に出力する第２の特徴マップ群Ｄ４において、蛍光輝点のサイズが一画素以下のサイズにならないように設定する。

尚、蛍光画像の蛍光輝点の典型サイズは、細胞の種別、蛍光試薬の種別、及び撮像時の拡大サイズ等に応じて、概ね一定であり、複数の蛍光画像を参照したときに算出される蛍光輝点の平均サイズ等に基づいて、特徴量抽出層４０ａ・・４０ｋの階層数を設定すればよい。

又、蛍光画像処理部４０の特徴量抽出層４０ａ・・４０ｋの階層数は、より好適には、蛍光画像の画像特性（ここでは、蛍光輝点の典型的な分布）に基づいて、連結部５０に出力する第２の特徴マップ群Ｄ４において、蛍光輝点が画像全体に占める画像領域が所定以上（例えば、特徴マップの全体のうちの３割以上）にならないように設定する。このように設定する理由としては、入力される蛍光画像に占める蛍光輝点の割合が多い場合、プーリング処理を繰り返し実行することによって、第２の特徴マップ群Ｄ４の画像全体に占める蛍光輝点の画像領域が過度に大きくなり、後段の処理が不可能となるためである。

［連結部］
連結部５０は、明視野画像処理部３０が生成した第１の特徴マップ群Ｄ３と蛍光画像処理部４０が生成した第２の特徴マップ群Ｄ４とを連結し、統合処理部６０に出力する。

連結部５０は、例えば、明視野画像の第１の特徴マップ群Ｄ３と蛍光画像の第２の特徴マップ群Ｄ４を異なるチャンネルとして連結する。連結部５０は、例えば、第１の特徴マップ群Ｄ３の特徴マップ数が１００、第２の特徴マップ群Ｄ４の特徴マップ数が１５０であれば、これらを連結して、２５０の特徴マップとする。尚、連結部５０の処理によって、第１の特徴マップ群Ｄ３と第２の特徴マップ群Ｄ４の間で画素領域毎の対応付けが行われることになる。

但し、連結部５０は、より好適には、第１の特徴マップ群Ｄ３と第２の特徴マップ群Ｄ４の間で特徴マップの画像サイズをあわせて、後段の統合処理部６０に出力する。明視野画像処理部３０と蛍光画像処理部４０とは、上記したように、特徴量抽出層の階層数が異なるため、第１の特徴マップ群Ｄ３の画像サイズと、第２の特徴マップ群Ｄ４の画像サイズとは異なっている。そのため、仮に、両者のサイズ合わせを行わなければ、後段の統合処理部６０は、第１の特徴マップ群Ｄ３と第２の特徴マップ群Ｄ４の画素領域毎の対応付けを行うことができないおそれがある。

かかる観点から、連結部５０は、例えば、逆畳み込み（Deconvolution）やバイオニア補間等を用いて、第１の特徴マップ群Ｄ３の画像サイズを第２の特徴マップ群Ｄ４の画像サイズにアップスケーリングすることによって、第１の特徴マップ群Ｄ３と第２の特徴マップ群Ｄ４の間で特徴マップの画像サイズをあわせる。これによって、第１の特徴マップ群Ｄ３と第２の特徴マップ群Ｄ４の画素領域毎の対応付けが行われ、後段の処理の精度を向上させることができる。

［統合処理部］
統合処理部６０は、連結部５０から出力される第１の特徴マップ群Ｄ３及び第２の特徴マップ群Ｄ４を取得して、階層的に接続された特徴量抽出層６０・・（以下、「第３の特徴量抽出層列」とも称する）によって、再度、特徴抽出処理を実行する。そして、統合処理部６０は、複数の特徴マップのデータＤ５（以下、「第３の特徴マップ群Ｄ３」とも称する）を生成し、識別部７０に出力する。

統合処理部６０は、複数の特徴量抽出層６０ａ・・ (任意の層数を表す)が階層的に接続されて構成されている。そして、各特徴量抽出層６０ａ・・は、畳み込み層６１ａ・・、活性化層６２ａ・・、及びプーリング層６３ａ・・を含んで構成される。尚、各特徴量抽出層６０ａ・・は、第１の特徴マップ群Ｄ３及び第２の特徴マップ群Ｄ４の両方を入力画像として、当該第１の特徴マップ群Ｄ３及び第２の特徴マップ群Ｄ４から統合的に特徴抽出処理を実行する。

統合処理部６０の特徴量抽出層６０ａ・・の階層数や各特徴量抽出層６０ａ・・に設定される特徴抽出フィルターの枚数は、識別対象（画像に映る細胞の種別、形態若しくは分布、又は、当該細胞内の生体物質の種別、形態若しくは分布等）に応じて、適宜設定される。但し、これらは、少なくとも明視野画像の特徴と蛍光画像の特徴の連関性を抽出し得るように設定されるのが望ましい。

［識別部］
識別部７０は、統合処理部６０から出力される第３の特徴マップ群Ｄ５に基づいて、明視野画像及び蛍光画像に映る細胞に係る識別情報Ｄ６を生成し、出力部８０に対して出力する。

識別部７０は、例えば、階層的に接続された三層の全結合層（図６中では、Fully Connectと表す）７１、７２、７３と、出力層（図６中では、Softmaxと表す）７４と、を含んで構成される。

本実施形態に係る識別部７０の構成は、一般的なＣＮＮの識別部Ｎｂと同様の構成を有する。入力側の全結合層７１は、統合処理部６０から取得した第３の特徴マップ群Ｄ５の各値（各画素の画素値）に全結合し、その結合結果に対して重み係数を異ならせながら積和演算を行って、次階層の全結合層７２に対して出力する。そして、次階層の全結合層７２は、前階層の全結合層７１の各素子が出力する値に全結合し、その結合結果に対して重み係数を異ならせながら積和演算を行って次階層の全結合層７３に対して出力する。又、次階層の全結合層７３は、前階層の全結合層７２の各素子が出力する値に全結合し、その結合結果に対して重み係数を異ならせながら積和演算を行って、出力層７４に出力する。

出力側の全結合層７３は、明視野画像及び蛍光画像に映る細胞に係る識別情報を出力する。全結合層７３は、例えば、画素領域毎に出力素子を有し、画素領域毎に個々の細胞の種別（細胞種別Ａ、細胞種別Ｂ、細胞種別Ｃ・・・等の数十カテゴリー）それぞれのいずれに属するかについての信頼度を出力する。

出力層７４は、図５を参照して上記した一般的なＣＮＮと同様に、例えば、全結合層７３の各素子の出力値に対して、ソフトマックス関数を適用して、識別対象を確率として出力する。

識別部７０の全結合層７１、７２、７３の階層数や、全結合層７２、７３に設定される素子数は、識別対象（画像に映る細胞の種別、形態若しくは分布、又は、当該細胞内の生体物質の種別、形態若しくは分布等）に応じて、適宜設定される。但し、これらは、少なくとも個々の細胞の境界（例えば、細胞壁）を識別し、個々の細胞の存在領域について識別すると共に、複数の細胞が重なった状態で撮像された領域については、当該重なり領域を識別可能に設定されるのが望ましい。

尚、識別部７０の構成は、識別対象、演算処理の際の処理負荷等を考慮して、種々に設計変更することができる。識別部７０は、例えば、多層パーセプトロンに代えて、逆畳み込み処理を行う逆畳み込み部によって構成されてもよい（詳細は非特許文献１を参照されたい）。又、識別部７０は、ＳＶＭ（Support Vector Machine）等によって、構成されてもよい。

［出力部］
出力部８０（図６中では、Resultと表す）は、識別部７０から出力される識別情報Ｄ６を取得して、例えば、当該識別情報Ｄ６に基づいて、確率が最大のカテゴリーを最終的な識別結果として選択して、出力する。尚、表示装置３には、出力部８０が出力する識別結果が、細胞に係る識別情報として表示される。

図８は、細胞に係る識別情報の表示態様の一例を示す図である。

図８において、Ｒの領域は明視野画像の全体領域、Ｒ１の領域は細胞Ａの領域、Ｒ２の領域は細胞Ｂの領域、Ｒ３の領域は細胞Ｃの領域、及びＲ４の領域は細胞Ｂと細胞Ａの重なり領域を示す。尚、領域Ｒ１〜Ｒ４は、例えば、異なる色に色分けされて表示される。

図８に示すように、出力部８０は、例えば、明視野画像Ｒに映る複数の細胞を各別に識別すると共に、当該明視野画像内におけるそれぞれの細胞（ここでは、細胞Ａ、細胞Ｂ、細胞Ｃ）の領域を画素領域毎に識別し、その結果を出力する。そして、出力部８０は、複数の細胞が重なった状態で撮像された領域Ｒ４については、当該重なり領域を識別可能に構成している。これによって、細胞毎の状態をより明確に識別することが可能となる。

［学習部］
以上のように説明した畳み込みニューラルネットワーク（明視野画像処理部３０、蛍光画像処理部４０、統合処理部６０、識別部７０）は、学習部１ｃによって機械学習が実行されたものが用いられる。

学習部１ｃは、例えば、同一領域を撮像した明視野画像及び蛍光画像と、これらの正解カテゴリーが関連付けられたデータを教師データとして用いて、明視野画像処理部３０、蛍光画像処理部４０、統合処理部６０、識別部７０のネットワークパラメータ（例えば、重み係数、バイアス）を調整する。

学習部１ｃは、例えば、同一領域を撮像した明視野画像及び蛍光画像と、これらの正解カテゴリーが関連付けられた教師データを用いて、正解に対する出力データ（ここでは、識別部７０の出力）の誤差分を示す損失が小さくなるように、明視野画像処理部３０、蛍光画像処理部４０、統合処理部６０、識別部７０のネットワークパラメータ（例えば、重み係数、バイアス）を調整することによって、かかる学習処理を実行することができる。尚、当該損失は、例えば、softmax cross entropy関数等を用いて、表すことができる。

学習部１ｃは、例えば、公知の誤差逆伝搬法等を用いて、これらの学習処理を行えばよい。そして、学習部１ｃは、学習処理によって調整したネットワークパラメータを記憶部（例えば、外部記憶装置１０４）に格納する。

尚、教師データとして、明視野画像及び蛍光画像に対して画素領域毎の正解カテゴリーを付したデータを用いることによって、図８に示したように、画素領域毎の識別結果を出力することが可能である。

以上のように、本実施形態に係る画像処理装置１によれば、同一の細胞領域を撮像した明視野画像と蛍光画像を用いて、畳み込みニューラルネットワークによる処理を行うことで、細胞に係る種々の識別情報を生成することができる。特に、本実施形態に係る畳み込みニューラルネットワークは、明視野画像処理部３０と蛍光画像処理部４０とによって、明視野画像と蛍光画像のそれぞれの画像特性に適合した特徴抽出処理を実行し、その後、統合処理部６０で統合的に特徴抽出処理を行う。従って、本実施形態に係る画像処理装置１は、明視野画像又は蛍光画像の一方だけでは識別できないような細胞の種々の状態を識別することが可能である。

（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。

尚、上記実施形態で示した畳み込みニューラルネットワークの構成は、一例であって、識別対象や処理負荷等を考慮して、種々に設計変更可能である。例えば、特徴抽出を行う際に、所定領域毎に、特徴抽出処理を行って、これらを統合する方式を用いてもよい。又、その他、特徴抽出を行う際に、更に、ＨＯＧ特徴量抽出処理、シルエット抽出処理、領域分割処理、輝度勾配抽出処理、動き抽出処理、形状モデルフィッティング又はこれらの組み合わせ等を用いてもよい。

又、当該畳み込みニューラルネットワークは、細胞毎の抗体反応の定量等を行うべく、個々の細胞内に含まれる蛍光輝点の数等を出力する態様であってもよい。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本開示に係る画像処理装置によれば、ＣＮＮを用いて、画像内の細胞に係る種々の識別情報を生成することができる。

Ｕ 細胞認識システム
１ 画像処理装置
２ 撮像装置
３ 表示装置
４ 通信ネットワーク
１ａ 画像取得部
１ｂ ＣＮＮ処理部
１ｃ 学習部
１０ 明視野画像入力部
２０ 蛍光画像入力部
３０ 明視野画像処理部
４０ 蛍光画像処理部
５０ 連結部
６０ 統合処理部
７０ 識別部
８０ 出力部

Claims (13)

1. 細胞を明視野で撮像した明視野画像、及び前記細胞を含む領域に滴下された蛍光試薬の蛍光輝点を撮像した蛍光画像を取得する画像取得部と、
   畳み込みニューラルネットワークを用いて、前記明視野画像及び前記蛍光画像の画像特徴を抽出して、前記細胞に係る識別情報を出力するＣＮＮ処理部と、
   を備える、画像処理装置であって、
   前記畳み込みニューラルネットワークは、
   階層的に接続された第１の特徴量抽出層列により、前記明視野画像の画像特徴を抽出して、第１の特徴マップ群を生成する明視野画像処理部と、
   階層的に接続された第２の特徴量抽出層列により、前記蛍光画像の画像特徴を抽出して、第２の特徴マップ群を生成する蛍光画像処理部と、
   前記第１の特徴マップ群と前記第２の特徴マップ群を連結する連結部と、
   階層的に接続された第３の特徴量抽出層列により、前記連結部で連結された前記第１及び第２の特徴マップ群の画像特徴を抽出して、第３の特徴マップ群を生成する統合処理部と、
   前記第３の特徴マップ群に基づいて、前記細胞に係る識別情報を生成する識別部と、
   を有する、画像処理装置。
2. 前記細胞に係る識別情報は、前記細胞の種別、形態、若しくは分布、又は、前記細胞内に含まれる生体物質の種別、形態、若しくは分布に係る情報を含む、
   請求項１に記載の画像処理装置。
3. 前記識別部は、前記明視野画像又は前記蛍光画像の各画素領域と関連付けて、前記細胞に係る識別情報を生成する、
   請求項１又は２に記載の画像処理装置。
4. 前記明視野画像又は前記蛍光画像内に映る前記細胞が複数存在する場合、
   前記識別部は、前記明視野画像又は前記蛍光画像に映る複数の前記細胞の各々について、前記細胞に係る識別情報を生成する、
   請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記連結部は、前記第１の特徴マップ群と前記第２の特徴マップ群を、画像サイズをあわせて連結する、
   請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記第２の特徴量抽出層列の階層数は、前記第１の特徴量抽出層列の階層数よりも少ない、
   請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記第２の特徴量抽出層列の階層数は、前記細胞又は当該細胞内の生体物質の種別、前記蛍光試薬の種別、及び撮像時の拡大サイズに応じて定まる前記蛍光画像の画像特性に基づいて設定される、
   請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記第２の特徴量抽出層列の階層数は、前記蛍光画像の画像特性上の蛍光輝点の典型サイズに基づいて、前記第２の特徴マップ群における蛍光輝点一個あたりのサイズが所定のサイズ以下とならないように設定される、
   請求項７に記載の画像処理装置。
9. 前記蛍光画像の画像特性上の蛍光輝点の典型サイズは、複数の前記蛍光画像で観察される蛍光輝点の平均サイズである、
   請求項８に記載の画像処理装置。
10. 前記所定のサイズは、一画素である、
    請求項８又は９に記載の画像処理装置。
11. 前記第２の特徴量抽出層列の階層数は、前記蛍光画像の画像特性上の蛍光輝点の典型分布に基づいて、前記第２の特徴マップ群において蛍光輝点が画像全体に占める領域割合が所定以上とならないように設定される、
    請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 細胞を明視野で撮像した明視野画像、及び前記細胞を含む領域に滴下された蛍光試薬の蛍光輝点を撮像した蛍光画像を取得し、
    畳み込みニューラルネットワークを用いて、前記明視野画像及び前記蛍光画像の画像特徴を抽出して、前記細胞に係る識別情報を出力する画像処理方法であって、
    前記畳み込みニューラルネットワークは、
    階層的に接続された第１の特徴量抽出層列により、前記明視野画像の画像特徴を抽出して、第１の特徴マップ群を生成し、
    階層的に接続された第２の特徴量抽出層列により、前記蛍光画像の画像特徴を抽出して、第２の特徴マップ群を生成し、
    前記第１の特徴マップ群と前記第２の特徴マップ群を連結し、
    階層的に接続された第３の特徴量抽出層列により、連結された前記第１及び第２の特徴マップ群の画像特徴を抽出して、第３の特徴マップ群を生成し、
    前記第３の特徴マップ群に基づいて、前記細胞に係る識別情報を生成する、画像処理方法。
13. コンピュータに、
    細胞を明視野で撮像した明視野画像、及び前記細胞を含む領域に滴下された蛍光試薬の蛍光輝点を撮像した蛍光画像を取得する処理と、
    畳み込みニューラルネットワークを用いて、前記明視野画像及び前記蛍光画像の画像特徴を抽出して、前記細胞に係る識別情報を出力する処理と、
    を実行させる、画像処理プログラムであって、
    前記畳み込みニューラルネットワークは、
    階層的に接続された第１の特徴量抽出層列により、前記明視野画像の画像特徴を抽出して、第１の特徴マップ群を生成する処理と、
    階層的に接続された第２の特徴量抽出層列により、前記蛍光画像の画像特徴を抽出して、第２の特徴マップ群を生成する処理と、
    前記第１の特徴マップ群と前記第２の特徴マップ群を連結する処理と、
    階層的に接続された第３の特徴量抽出層列により、連結された前記第１及び第２の特徴マップ群の画像特徴を抽出して、第３の特徴マップ群を生成する処理と、
    前記第３の特徴マップ群に基づいて、前記細胞に係る識別情報を生成する処理と、有する、画像処理プログラム。
    
    

Images