JP6756339B2 - 画像処理装置、及び画像処理方法 - Google Patents

画像処理装置、及び画像処理方法 Download PDF

Info

Publication number
JP6756339B2
JP6756339B2 JP2017557557A JP2017557557A JP6756339B2 JP 6756339 B2 JP6756339 B2 JP 6756339B2 JP 2017557557 A JP2017557557 A JP 2017557557A JP 2017557557 A JP2017557557 A JP 2017557557A JP 6756339 B2 JP6756339 B2 JP 6756339B2
Authority
JP
Japan
Prior art keywords
cell
feature amount
correlation
likelihood
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017557557A
Other languages
English (en)
Other versions
JPWO2017109860A1 (ja
Inventor
信彦 米谷
信彦 米谷
真史 山下
真史 山下
聖子 山▲崎▼
聖子 山▲崎▼
洋介 大坪
洋介 大坪
俊輔 武居
俊輔 武居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2017109860A1 publication Critical patent/JPWO2017109860A1/ja
Application granted granted Critical
Publication of JP6756339B2 publication Critical patent/JP6756339B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Description

本発明は、画像処理装置、及び画像処理方法に関するものである。
生物科学や医学等において、生物の健康や疾患等の状態は、例えば、細胞や細胞内の小器官等の状態と関連性があることが知られている。そのため、これら関連性を解析することは、生物科学や医学等の諸処の課題を解決する一つの手段になる。また、細胞間、或いは細胞内で伝達される情報の伝達経路を解析することは、例えば、工業用途でのバイオセンサーや、疾病予防を目的とした製薬等の研究に役立てることができる。細胞や組織片等に関する種々の解析技術として、例えば、画像処理を用いた技術が知られている(例えば、特許文献1参照)。
米国特許第0228069号明細書
しかしながら、細胞内或いは細胞間の相互作用を算出する場合に、撮像された細胞を含む画像を画像処理して得られる情報を用いると、得られる情報量が多いので、相関を取得するために、莫大な演算量が必要となり、解析不良となる可能性がある。
本発明は、上記問題に鑑みてなされたものであり、解析不良を抑制することができる画像処理装置を提供することを課題とする。
上記問題を解決するために、本発明の一態様は、複数の細胞が撮像された細胞画像を取得する細胞画像取得部と、前記細胞画像取得部が取得する前記細胞画像から細胞の構成要素毎および又は細胞毎に特徴量を算出し、算出した前記特徴量を用い前記特徴量同士の複数の相関関係を算出する特徴量算出部と、前記細胞画像に撮像されている前記複数の細胞を第1の組と第2の組とに分け、前記第1の組に含まれる前記複数の細胞のみを用いて、前記特徴量算出部が算出する前記複数の相関関係のそれぞれの尤度である第1の尤度を算出し、前記細胞画像に撮像されている前記複数の細胞を前記第1の組及び前記第2の組とは異なる第3の組と第4の組とに分け、前記第3の組に含まれる前記複数の細胞のみを用いて、前記特徴量算出部が算出する前記複数の相関関係のそれぞれの尤度である第2の尤度を算出し、前記第1の尤度及び前記第2の尤度に基づいて、前記複数の相関関係のうちから、特定の相関関係を抽出する相関関係抽出部と、を備える画像処理装置である。
また、上記問題を解決するために、本発明の他の態様は、複数の細胞が撮像された細胞画像を取得する細胞画像取得過程と、前記細胞画像取得過程において取得される前記細胞画像から細胞の構成要素毎および又は細胞毎に特徴量を算出し、算出した前記特徴量を用い前記特徴量同士の複数の相関関係を算出する特徴量算出過程と、前記細胞画像に撮像されている前記複数の細胞を第1の組と第2の組とに分け、前記第1の組に含まれる前記複数の細胞のみを用いて、前記特徴量算出過程において算出された前記複数の相関関係のそれぞれの尤度である第1の尤度を算出し、前記細胞画像に撮像されている前記複数の細胞を前記第1の組及び前記第2の組とは異なる第3の組と第4の組とに分け、前記第3の組に含まれる前記複数の細胞のみを用いて、前記特徴量算出過程において算出された前記複数の相関関係のそれぞれの尤度である第2の尤度を算出し、前記第1の尤度及び前記第2の尤度に基づいて、前記複数の相関関係のうちから、特定の相関関係を抽出する相関関係抽出過程と、を有する画像処理方法である。
本発明によれば、画像処理による解析不良を抑制することができる。
本発明の実施形態による顕微鏡観察システムの構成の一例を示す模式図である。 本実施形態の画像処理装置が備える各部の機能構成の一例を示すブロック図である。 本実施形態の演算部の演算手順の一例を示す流れ図である。 本実施形態の特徴量算出部による特徴量の算出結果の一例を示す模式図である。 本実施形態の細胞毎の特徴量の行列の一例を示す図である。 本実施形態の特徴量間の相関関係の一例を示す模式図である。 本実施形態の特定の相関関係の一例を示す模式図である。 本実施形態の相関関係抽出部によるクロスバリデーションの手順の一例を示す流れ図である。 本実施形態の相関関係抽出部による平均尤度の算出手順の一例を示す模式図である。 本実施形態の平均尤度と正則化パラメータとの関係の一例を示すグラフである。 本実施形態の相関関係抽出部による特徴量の相関関係の抽出結果の一例を示す模式図である。 本実施形態のタンパク質アノテーション・データベースの一例を示す表である。 本実施形態の特徴量アノテーション・データベースの一例を示す表である。 本実施形態の特徴量ネットワークの比較類型の一例を示す図である。 本実施形態の生物学的知識を用いた正則化パラメータの決定手順の一例を示す図である。 本実施形態の特徴量ネットワークの結合有無についての、知識ベースネットワークと予測ネットワークとの関係性を示す図である。
[実施形態]
以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明の実施形態による顕微鏡観察システム1の構成の一例を示す模式図である。
顕微鏡観察システム1は、細胞等を撮像することにより取得される画像に対して、画像処理を行う。以下の説明において、細胞等を撮像することにより取得される画像を、単に細胞画像とも記載する。顕微鏡観察システム1は、画像処理装置10と、顕微鏡装置20と、表示部30とを備える。
顕微鏡装置20は、生物顕微鏡であり、電動ステージ21と、撮像部22とを備える。電動ステージ21は、所定の方向(例えば、水平方向の二次元平面内のある方向)に、撮像対象物の位置を任意に稼働可能である。撮像部22は、CCD(Charge-Coupled Device)やCMOS(Complementary MOS)などの撮像素子を備えており、電動ステージ21上の撮像対象物を撮像する。なお、顕微鏡装置20に電動ステージ21を備えていなくてもよく、ステージが所定方向に稼働しないステージとしても構わない。
より具体的には、顕微鏡装置20は、例えば、微分干渉顕微鏡(Differential Interference Contrast microscope;DIC)や位相差顕微鏡、蛍光顕微鏡、共焦点顕微鏡、超解像顕微鏡等の機能を有する。顕微鏡装置20は、電動ステージ21上に載置された培養容器を撮像する。この培養容器とは、例えば、ウェルプレートWPである。顕微鏡装置20は、ウェルプレートWPが有する多数のウェルWの中に培養された細胞に光を照射することで、細胞を透過した透過光を細胞の画像として撮像する。これによって、細胞の透過DIC画像や、位相差画像、暗視野画像、明視野画像等の画像を取得することができる。さらに、細胞に蛍光物質を励起する励起光を照射することで、生体物質から発光される蛍光を細胞の画像として撮像する。また、顕微鏡装置20は、生体物質内に取り込まれた発色物質そのものから発光される蛍光や、発色団を持つ物質が生体物質に結合することによって発光される蛍光を、上述した細胞の画像として撮像してもよい。これにより、顕微鏡観察システム1は、蛍光画像、共焦点画像、超解像画像を取得することができる。なお、細胞の画像を取得する方法は、光学顕微鏡に限られない。例えば、電子顕微鏡でも構わない。また、後述する細胞を含む画像は、異なる方式により得られた画像を用い、相関を取得しても構わない。すなわち、細胞を含む画像の種類は適宜選択しても構わない。本実施形態における細胞とは、例えば、初代培養細胞や、株化培養細胞、組織切片の細胞等である。細胞を観察するために、観察される試料は細胞の集合体や組織試料、臓器、固体(動物など)を用い観察し、細胞を含む画像を取得しても構わない。なお、細胞の状態は、特に制限されず、生きている状態であっても、或いは固定されている状態であってもよく、“in-vivo”または“in-vitro”のどちらでもよい。勿論、生きている状態の情報と、固定されている情報とを組み合わせても構わない。
細胞の状態は、目的別に適宜選択しても構わない。例えば、細胞内の構造物において判別する種類(例えば、タンパク質、オルガネラ)により、固定と未固定を選択しても構わない。また、固定した細胞で細胞の動的挙動を取得する場合には、条件の異なる複数の固定細胞を作成し、動的挙動を取得する。細胞内の構造物において、判別する種類は核内に限られない。
また、細胞を観測するために、細胞に予め処理した後に、細胞を観察しても構わない。勿論、細胞を観察するために、細胞に処理しない状態で細胞を観察しても構わない。細胞を観察する場合には、細胞を免疫染色により染色し、観察しても構わない。例えば、細胞内の核内構造において判別する種類において、用いる染色液を選択しても構わない。また染色方法に関しては、あらゆる染色方法を用いることができる。例えば主に組織染色に用いられる各種特殊染色、塩基配列の結合を利用したハイブリダイゼーションなどがある。
また、細胞に発光タンパク質(例えば、導入された遺伝子(ルシフェラーゼ遺伝子など)から発現された発光タンパク質)で処理し、観察しても構わない。例えば、細胞内の核内構造において判別する種類において、用いる発光タンパク質を選択しても構わない。
また、これらの細胞を観察する手段及び又は細胞を染色する方法などの相関取得を解析するための前処理は、目的別に適宜選択しても構わない。たとえば、細胞の動的挙動を得る場合に最適な手法により細胞の動的な情報を取得して、細胞内のシグナル伝達を得る場合には最適な手法により細胞内のシグナル伝達に関する情報を取得しても構わない。これら、目的別に選択される前処理が異なっていても構わない。また、目的別に選択される前処理の種類が少なくなるようにしても構わない。例えば、細胞の動的挙動を取得する手法と細胞内のシグナル伝達を取得する手法とがそれぞれ、最適な手法が異なっていても、それぞれ異なる手法でそれぞれの情報を取得することは煩雑となるために、それぞれの情報を取得するのに十分な場合には、最適手法とは異なり、それぞれが共通する手法で行っても構わない。
ウェルプレートWPは、複数のウェルWを有する。この一例では、ウェルプレートWPは、12×8の96個のウェルWを有する。細胞は、ウェルWの中において、特定の実験条件のもと培養される。特定の実験条件とは、温度、湿度、培養期間、刺激が付与されてからの経過時間、付与される刺激の種類や強さ、刺激の有無、生物学的特徴の誘導等を含む。刺激とは、例えば、電気、音波、磁気、光等の物理的刺激や、物質や薬物の投与による化学的刺激等である。また、生物学的特徴とは、細胞の分化の段階や、形態、細胞数等を示す特徴である。
図2は、本実施形態の画像処理装置10が備える各部の機能構成の一例を示すブロック図である。画像処理装置10は、顕微鏡装置20によって取得された画像を解析するコンピュータ装置である。画像処理装置10は、演算部100と、記憶部200と、結果出力部300とを備える。なお、画像処理装置10によって画像処理される画像は、顕微鏡装置20によって撮像される画像だけに限らず、例えば、画像処理装置10が備える記憶部200に予め記憶されている画像や、不図示の外部記憶装置に予め記憶されている画像であってもよい。
演算部100は、プロセッサが記憶部200に格納されたプログラムを実行することにより機能する。また、これらの演算部110の各機能部のうちの一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアによって構成されていてもよい。演算部100は、細胞画像取得部101と、特徴量算出部102と、雑音成分除去部103と、相関関係抽出部104とを備える。
細胞画像取得部101は、撮像部22が撮像した細胞画像を取得し、取得した細胞画像を102に供給する。ここで、細胞画像取得部101が取得する細胞画像には、細胞の培養状態が時系列に撮像された複数の画像や、様々な実験条件において細胞が培養された複数の画像が含まれる。
特徴量算出部102は、細胞画像取得部101が供給する細胞画像の複数種類の特徴量を算出する。この特徴量には、細胞画像の輝度、面積、分散などが含まれる。
すなわち、撮像される細胞画像から取得される情報から導出される特徴である。例えば、取得される画像における輝度分布を算出する。時系列もしくは、分化等の細胞状態の変化で異なる複数の画像を用い、算出される輝度分布の所定時間の変化、もしくは、算出される輝度分布の分化等の細胞状態変化に伴う変化から、他とは異なる輝度の変化を示す位置情報を求め、輝度の変化を特徴量としてもよい。この場合に、時間の変化に限られず、分化等の細胞の状態の変化が異なる複数の画像を用いても構わない。また、異なる輝度の変化を示す位置の情報を特徴量としてもよい。例えば、細胞の所定時間内の挙動、もしくは、細胞の分化等の細胞状態変化に伴う挙動でも構わないし、細胞の形状の所定時間内の変化、もしくは、細胞の形状の分化等の細胞状態変化に伴う変化でも構わない。また、撮像される細胞画像から、所定時間内の変化、もしくは、分化等の細胞状態変化に伴う変化が認められない場合は、変化しないことも特徴量としても構わない。
雑音成分除去部103は、特徴量算出部102が算出した特徴量のうち、雑音成分(ノイズ)を除去する。
相関関係抽出部104は、雑音成分除去部103が雑音成分を除去した後の特徴量について、特徴量の尤度に基づいて、特徴量算出部102が算出する特徴量間の複数の相関関係のうちから、特定の相関関係を抽出する。ここで、尤度とは、所定条件に従って結果を算出する場合に、その結果から所定条件を推測する尤もらしさを表す数値である。また、尤度とは、データが確率モデルに従う場合に、推定すべきパラメータの尤もらしさを表すコスト関数である。
結果出力部300は、演算部100による演算結果を表示部30に出力する。なお、結果出力部300は、演算部100による演算結果を、表示部30以外の出力装置や、記憶装置などに出力してもよい。
表示部30は、結果出力部300が出力する演算結果を表示する。
上述した演算部100の具体的な演算手順について、図3を参照して説明する。
図3は、本実施形態の演算部100の演算手順の一例を示す流れ図である。なお、ここに示す演算手順は、一例であって、演算手順の省略や演算手順の追加が行われてもよい。
細胞画像取得部101は、細胞画像を取得する(ステップS10)。この細胞画像には、遺伝子、タンパク質、オルガネラなど、大きさが相違する複数の種類の生体組織の画像が含まれている。また、細胞画像には、細胞の形状情報が含まれている。また、細胞画像を時系列の異なる、もしくは、分化等の細胞状態が異なる細胞画像から、動的な挙動を取得する。従って、細胞内の微細な構造から、細胞形状までの複数の大きさの相違するスケールまたは、ある所定時間、もしくは、分化等のある細胞状態での細胞画像と時系列の異なる、もしくは、分化等の細胞状態が異なる細胞画像での次元の相違するスケールを用いて解析することから、マルチスケール解析と称することも可能である。
特徴量算出部102は、ステップS10において取得された細胞画像に含まれる細胞の画像を、細胞毎に抽出する(ステップS20)。特徴量算出部102は、細胞画像に対して、既知の手法による画像処理を施すことにより、細胞の画像を抽出する。この一例では、特徴量算出部102は、画像の輪郭抽出やパターンマッチングなどを施すことにより、細胞の画像を抽出する。
次に、特徴量算出部102は、ステップS20において抽出された細胞の画像について、細胞の種類を判定する(ステップS30)。さらに、特徴量算出部102は、ステップS30における判定結果に基づいて、ステップS20において抽出された細胞の画像に含まれる細胞の構成要素を判定する(ステップS40)。ここで、細胞の構成要素には、細胞核、リソソーム、ゴルジ体、ミトコンドリアなどの細胞小器官(オルガネラ)や、オルガネラを構成するタンパク質などが含まれる。なお、ステップS30では細胞の種類を判定しているが、細胞の種類を判定しなくても構わない。この場合には、予め導入する細胞の種類が判定している場合には、その情報を使用しても構わない。勿論、細胞の種類を特定しなくても構わない。
次に、特徴量算出部102は、ステップS40において判定された細胞の構成要素ごとに、画像の特徴量を算出する(ステップS50)。この特徴量には、画素の輝度値、画像内のある領域の面積、画素の輝度の分散値などが含まれる。また、特徴量には、細胞の構成要素に応じた複数の種類がある。一例として、細胞核の画像の特徴量には、核内総輝度値や、核の面積などが含まれる。細胞質の画像の特徴量には、細胞質内総輝度値や、細胞質の面積などが含まれる。また、細胞全体の画像の特徴量には、細胞内総輝度値や、細胞の面積などが含まれる。また、ミトコンドリアの画像の特徴量には、断片化率が含まれる。なお、特徴量算出部102は、特徴量を、例えば0(ゼロ)から1までの間の値に正規化して算出してもよい。
また、特徴量算出部102は、細胞画像に対応付けられている細胞に対する実験の条件の情報に基づいて、特徴量を算出してもよい。例えば、細胞について抗体を反応させた場合において撮像された細胞画像の場合には、特徴量算出部102は、抗体を反応させた場合に特有の特徴量を算出してもよい。また、細胞を染色した場合、又は細胞に蛍光タンパクを付与した場合において撮像された細胞画像の場合には、特徴量算出部102は、細胞を染色した場合、又は細胞に蛍光タンパクを付与した場合に特有の特徴量を算出してもよい。
これらの場合、記憶部200は、実験条件記憶部202を備えていてもよい。この実験条件記憶部202には、細胞画像に対応付けられている細胞に対する実験の条件の情報を、細胞画像毎に記憶される。
特徴量算出部102は、ステップS50において算出した特徴量を、雑音成分除去部103に供給する。
雑音成分除去部103は、ステップS50において算出された特徴量のうちから、雑音成分を除去する(ステップS60)。具体的には、雑音成分除去部103は、特徴量の正常範囲又は異常範囲を示す情報を取得する。この特徴量の正常範囲又は異常範囲を示す情報は、細胞画像に撮像されている細胞の特性に基づいて予め定められている。例えば、細胞核の画像の特徴量のうち、核内総輝度値についての正常範囲が、細胞核の画像の特性に基づいて定められている。雑音成分除去部103は、算出された特徴量が、この正常範囲に含まれない場合には、その特徴量を雑音成分として除去する。ここで、雑音成分除去部103は、特徴量を雑音成分として除去する場合には、細胞毎に除去する。具体的には、ある細胞について、複数の特徴量が算出される場合がある。例えば、ある細胞について、細胞内総輝度値、核内総輝度値、及び核の面積が、特徴量としてそれぞれ算出される場合がある。この場合において、ある細胞について、細胞内総輝度値を雑音成分として除去する場合には、雑音成分除去部103は、その細胞の核内総輝度値、及び核の面積についても、除去する。つまり、雑音成分除去部103は、ある細胞について算出された複数の特徴量のうち、少なくとも1つの特徴量が正常範囲に含まれない場合には、この細胞の他の特徴量についても除去する。
すなわち、雑音成分除去部103は、細胞画像に撮像されている細胞の特性を示す情報に基づいて、相関関係抽出部104に供給される特徴量のうちから雑音成分を細胞画像に撮像されている細胞毎に除去する。このように構成することにより、雑音成分除去部103は、信頼度が相対的に低い特徴量がある場合に、その特徴量を細胞単位で除外することができる。つまり、雑音成分除去部103によれば、特徴量の信頼度を向上させることができる。
また、雑音成分除去部103は、算出された特徴量が、この正常範囲に含まれる場合には、その特徴量を相関関係抽出部104に供給する。なお、この雑音成分除去部103は、必須の構成要素ではなく、細胞画像の状態や、特徴量の算出の状態によっては、省略可能である。
相関関係抽出部104は、スパース推定を用いて、特徴量の尤度に基づいて、特徴量算出部102が算出する特徴量間の複数の相関関係のうちから、特定の相関関係を抽出する(ステップS70)。以下、相関関係抽出部104が行う処理について、より具体的に説明する。
相関関係抽出部104は、ステップS60において雑音成分が除去された後の特徴量を取得する。この特徴量は、ステップS50において、特徴量算出部102により細胞毎に算出されている。特徴量算出部102による、あるタンパク質の特徴量の算出結果について、図4を参照して説明する。
図4は、本実施形態の特徴量算出部102による特徴量の算出結果の一例を示す模式図である。特徴量算出部102は、タンパク質1について、細胞ごと、かつ時刻ごとに、複数の特徴量を算出する。この一例において、特徴量算出部102は、細胞1から細胞NまでのN個の細胞について、特徴量を算出する。また、この一例において、特徴量算出部102は、時刻1から時刻7までの7つの時刻について、特徴量を算出する。また、この一例において、特徴量算出部102は、特徴量k1から特徴量kKまでの、K種類の特徴量を算出する。つまり、この一例において、特徴量算出部102は、三軸の方向に、特徴量を算出する。ここで、細胞方向の軸を軸Ncと、時間方向の軸を軸Nと、特徴量方向の軸を軸d1と、それぞれ記載する。
なお、特徴量k1から特徴量kKまでのK種類の特徴量とは、タンパク質1についての特徴量の組み合わせである。タンパク質1以外のタンパク質、又は、タンパク質1以外の細胞内の構成要素については、特徴量の種類や組み合わせが相違する場合がある。
図5は、本実施形態の細胞毎の特徴量の行列Xの一例を示す図である。ある細胞についての特徴量を、図5に示す、行方向に軸Nを、列方向に軸dをとった行列Xによって示すこともできる。図5では、行列Xの各要素を、細胞集団の平均値によって示しているが、中央値や最頻値といった統計量を使用することもできる。勿論、細胞毎の特徴量の行列Xとしても構わない。
図6は、本実施形態の特徴量間の相関関係の一例を示す模式図である。相関関係抽出部104は、特徴量算出部102が算出する特徴量間の複数の相関関係のうちから、特定の相関関係を抽出する。
図7は、本実施形態の特定の相関関係の一例を示す模式図である。ここで、特定の相関関係とは、特徴量間の複数の相関関係のうちから数学的な演算によって選択された相関関係である。特定の相関関係の数は、相関関係抽出部104によって抽出される前の特徴量間の複数の相関関係の数よりも少ない。つまり、相関関係抽出部104は、特徴量間の相関関係の数を疎(スパース)にする。相関関係抽出部104は、特徴量間の相関関係について、スパース推定を用いることにより、特徴量間の相関関係の数を疎にする。この相関関係抽出部104による、スパース推定の一例について説明する。
相関関係抽出部104がスパース推定に用いるガウシアンモデルにおける尤度を、式(1)に示す。
Figure 0006756339
この式(1)において、「φ(Λ)」の項は、正則化項である。この正則化項の関数形には、抽出したい相関関係の属性に応じて、様々な形式がある。特にガウシアンモデルを仮定した際に、式(2)のようにL1正則化項を付け加えることで、スパースな成分を持つ精度行列が得られることが知られている。式(2)におけるλは、正則化の強さを表し、これが大きいほど精度行列の成分はスパースになりやすい、という性質を持つ。
Figure 0006756339
また、例えば、正則化項を式(3)のように設定することでスパースな部分行列を得ることも可能である。
Figure 0006756339
[Graphical Lassoによるスパース推定]
ここでは、正則化項がGraphical Lassoによる関数形の場合における、スパース推定の一例について説明する。Graphical Lassoとは、L1正則化付のガウシアンモデルから、精度行列を推定するための効率的なアルゴリズムである。例えば、JEROME FRIEDMANとTREVOR HASTIEとROBERT TIBSHIRANIによるBiostatistics (2008), 9, 3 432−441号の“Sparse inverse covariance estimation with the graphical lasso”に記載されている。
まず、式(2)を採用した場合の式(1)、ガウシアンモデルのL1正則化付尤度を精度行列によって微分する。
Figure 0006756339
次に、精度行列は正定値行列であるという条件から、対角成分が式(5)のように求まる。
Figure 0006756339
次に、特定の変数iに着目し、分散共分散行列、精度行列、サンプル共分散行列を式(6)のようにブロック行列に分割することで、式(7)のように式(4)を変形することができる。
Figure 0006756339
Figure 0006756339
Figure 0006756339
式(7)は、一般のLasso回帰の最適化問題である式(8)に帰着することができ、既存のソルバーなどで求めることができる。
Figure 0006756339
式(9)の条件を満たす式(8)の最適解β*(ベータ・アスタリスク)が求まれば、式(6)及び式(7)、式(10)から導出される式(11)と式(12)を用いることで式(6)のブロック行列の各成分を求めることが出来る。但し、式(10)におけるIとは、単位行列である。
Figure 0006756339
Figure 0006756339
Figure 0006756339
上述の式(5)から式(12)の演算を、行と列とを入れ替えて繰り返し行う。
以上説明したように画像処理装置10は、相関関係抽出部104がスパース推定を行うことにより、特徴量間の相関関係の数を疎にする。このため、画像処理装置10によれば、特徴量間の相関関係の数を低減させた状態にして解析を行うことができる。つまり、画像処理装置10によれば、特徴量の相関関係の解析の演算量を低減することができる。特徴量間の相関関係の数を尤度を指標として低減させることができるので、特徴量の相関関係の解析の演算量を例えば人が恣意的に低減することによる、解析不良を抑制することができる。また、細胞を含む画像から、特徴量の相関を取得するために、特徴量を取得した。特徴量には、画像から直接導かれる輝度情報など、それ以外に、その画像情報以外の情報も合わせて用いる。例えば、画像の形状から、輝度情報の細胞での場所(核、核膜、細胞質)を推定する。また、例えば、染色された細胞の染色部位(輝度情報がある部位)の場所(核、核膜、細胞質)を推定する。このように、画像情報から直接導き出される情報以外に、画像情報から推定される情報とを用いて、特徴量の相関を取得するために、演算量が膨大になる。したがって、相関関係抽出部104がスパース推定を行うことにより、特徴量間の相関関係の数を疎にすることができるために、演算量が膨大になることを抑制することができる。
また、例えば細胞内の相関を取得する場合を例に説明すると、細胞内の相関を取得する場合に、例えば、画像では複数の細胞を取得できる場合があり、その複数の細胞において、細胞内の相関を取得することが可能である。この場合に、複数の細胞内での相関を取得すると、単一の細胞の相関を取得する場合に比べて、複数の細胞での相関を取得できるので、相関の取得として例えば算出されるシグナル伝達の経路の精度を高めることができる。精度を高めるために複数の細胞の相関を取得する場合に、その相関を取得するために行う演算量が膨大になる。この場合において、尤度を指標として演算量を低減することができるので、解析不良を抑制することができる。
また、例えば細胞同士の相関を取得する場合を例に説明すると、細胞同士の相関を取得する場合に、例えば、画像では複数の細胞を取得できる場合があり、その複数の細胞に対する、細胞同士の相関を取得することが可能である。この場合に、所定の細胞が複数の細胞と相関している場合があり、その所定細胞以外の細胞もまた複数の細胞と相関している場合がある。また、この場合にそれぞれの細胞同士の細胞の相関を取得することで、相関の取得として例えば算出される細胞同士のシグナル伝達の経路の精度を高めることができる。精度を高めるために複数の細胞の相関を取得する場合に、その相関を取得するために行う演算量が膨大になる。この場合において、尤度を指標として演算量を低減することができるので、解析不良を抑制することができる。
また、特徴量算出部102より算出される特徴量は、例えば、細胞が細胞外からのシグナル受容した後の、細胞内でのシグナル伝達を相関として求める場合に、その細胞内のシグナル伝達に関与するたんぱく質の種類を、特徴量として抽出しても構わない。すなわち、例えば、細胞内のシグナル伝達に関与する物質の種類でも構わないし、細胞内でシグナルが伝達されることに伴う結果の細胞の形状の変化でも構わない。細胞内のシグナル伝達に関与する物質の特定は、NMRなどで特定しても構わないし、用いる染色液からその相互作用する相手を類推する方法でも構わない。
[正則化パラメータの決定]
次に、相関関係抽出部104が行うスパース推定における、正則化パラメータの決定について説明する。スパース推定には、モデルの柔軟性が比較的高いことや、人間やコンピュータが解釈しやすいようにモデルを調整することができるといった利点がある。一方で、スパース推定には、正則化パラメータ依存性があるためモデルが一意には定まらないという課題がある。この課題を解決するための正則化パラメータの決定手順を示す。このパラメータの決定手順には、一例として、クロスバリデーションによるパラメータの決定手順と、生物学的知識を用いたパラメータの決定手順とがある。このうち、クロスバリデーションによるパラメータの決定手順について説明する。
[クロスバリデーションによるλ推定]
図8は、本実施形態の相関関係抽出部104によるクロスバリデーションの手順の一例を示す流れ図である。
相関関係抽出部104は、行列X、正則化パラメータλ、分割数Kを取得する(ステップS100)。相関関係抽出部104は、ステップS100において取得した分割数Kに基づいて、行列Xを分割する(ステップS110)。
次に、相関関係抽出部104は、正則化パラメータλのループ(ステップS120)と、分割数Kのループ(ステップS130)との2重のループを処理する。分割数Kのループ内において、相関関係抽出部104は、行列Xkと、行列X/kとを用いた尤度Lkを算出する(ステップS140)。正則化パラメータλのループにおいて、相関関係抽出部104は、ある正則化パラメータλにおける尤度Lkの平均尤度Lλを算出する(ステップS150)。この相関関係抽出部104による平均尤度Lλの算出手順の詳細について、図9を参照して説明する。
図9は、本実施形態の相関関係抽出部104による平均尤度Lλの算出手順の一例を示す模式図である。相関関係抽出部104は、上述した分割数Kのループにおいて、細胞方向Ncに、行列XをK個に分割する。相関関係抽出部104は、K個に分割された行列Xについて、尤度Lkを算出する。
具体的には、相関関係抽出部104は、図9(k=1)に示す算出枠W1に含まれる要素について、尤度L1を算出する。また、相関関係抽出部104は、ある正則化パラメータλについて、図9(k=2)に示す算出枠W2−1及び算出枠W2−2に含まれる要素について、尤度L2を算出する。また、相関関係抽出部104は、図9(k=K)に示す算出枠WKに含まれる要素について、尤度LKを算出する。つまり、相関関係抽出部104は、ある正則化パラメータλについて、k=1からk=Kまでの尤度Lkをそれぞれ算出する。相関関係抽出部104は、正則化パラメータλ毎にそれぞれ算出した尤度Lkについて、式(13)によって平均尤度Lλを算出する。
Figure 0006756339
次に、相関関係抽出部104は、平均尤度Lλが最大値Max(Lλ)を示す正則化パラメータλを、算出対象の正則化パラメータλとして算出して(ステップS160)、正則化パラメータλの算出を終了する。この相関関係抽出部104による、正則化パラメータλの算出手順の一例について説明する。
この一例において、相関関係抽出部104は、正則化パラメータλを0から1まで変化させた場合の、尤度Lλを算出する。具体的には、相関関係抽出部104は、正則化パラメータλを0から1までのある値にして、図9に示した尤度Lkの算出を行う。相関関係抽出部104は、この尤度Lkの平均、すなわち平均尤度Lλを算出して、正則化パラメータλと、平均尤度Lλとの対応関係を生成する。この相関関係抽出部104が生成する正則化パラメータλと、平均尤度Lλとの対応関係を図10に示す。
図10は、本実施形態の平均尤度Lλと正則化パラメータλとの関係の一例を示すグラフである。この図10に示す一例の場合、正則化パラメータλaにおいて、平均尤度Lλが最大値を示す。この場合、相関関係抽出部104は、正則化パラメータλaを、算出対象の正則化パラメータλとして算出する。
上述のステップS110において、相関関係抽出部104は、行列Xを分割数KによってK個に分割する際に、細胞方向Ncに分割する。換言すれば、相関関係抽出部104は、細胞画像に撮像されている細胞数に基づいて特徴量の尤度Lを求めることにより、特定の相関関係を抽出する。ここで、相関関係抽出部104は、行列Xを時間方向Nに分割することもできる。しかしながら、相関関係抽出部104が行列Xを時間方向Nに分割するためには、時間方向Nに複数の細胞画像が必要である。つまり、相関関係抽出部104が行列Xを時間方向Nに分割するためには、互いに異なる時刻に撮像された複数の細胞画像が必要である。一方、相関関係抽出部104が行列Xを細胞方向Ncに分割する場合には、互いに異なる時刻に撮像された複数の細胞画像が不要である。つまり、本実施形態の相関関係抽出部104は、互いに異なる時刻に撮像された複数の細胞画像がなくても、例えば、1枚の細胞画像から正則化パラメータλを算出することができる。
[スパース推定結果の生物学的解釈]
次に、相関関係抽出部104によるスパース推定結果の生物学的解釈について、図11から図13を参照して説明する。生物学的情報に基づいて、相関関係抽出部104によるスパース推定結果に対して、生物学的解釈を加えることができる。なお、この一例において、生物学的情報は、記憶部200に予め記憶されているとして説明するが、これに限られない。生物学的情報は、顕微鏡観察システム1の外部からネットワークや可搬記憶媒体などを介して供給されてもよい。生物学的情報には、細胞内構成要素アノテーション・データベース、特徴量アノテーション・データベースなどが含まれる。細胞内構成要素とは、細胞を構成する要素のことである。細胞を構成する要素には、例えば、タンパク質、遺伝子、化合物などがあげられる。以下、相関関係抽出部104によるスパース推定結果の生物学的解釈の手順の具体例について説明する。
図11は、本実施形態の相関関係抽出部104による特徴量の相関関係の抽出結果の一例を示す模式図である。この一例では、相関関係抽出部104は、タンパク質Aからタンパク質Fの6種類のタンパク質と、ミトコンドリアとについて、特徴量の相関関係を抽出する。
この一例の場合、細胞画像には、タンパク質A〜タンパク質Fやミトコンドリアを含む細胞が撮像されている。特徴量算出部102は、これらタンパク質A〜タンパク質Fやミトコンドリアに対応する種類の特徴量を算出する。すなわち、特徴量算出部102は、複数種類の特徴量のうち、細胞画像に撮像されている細胞に含まれる細胞内の構成要素の種類に対応する種類の特徴量を算出する。
具体的には、相関関係抽出部104は、タンパク質Aの特徴量と、タンパク質Dの特徴量との間に、相関関係R1、相関関係R2、及び相関関係R3の3種類の相関関係を抽出する。ここで、相関関係R1とは、タンパク質Aの特徴量A3と、タンパク質Dの特徴量D2との相関関係である。相関関係R2とは、タンパク質Aの特徴量A1と、タンパク質Dの特徴量D3との相関関係である。相関関係R3とは、タンパク質Aの特徴量A4と、タンパク質Dの特徴量D1との相関関係である。例えば、特徴量A1とは、タンパク質Aの画像の分散値である。特徴量D3とは、タンパク質Dの画像の輝度値である。
また、相関関係抽出部104は、タンパク質Aの特徴量と、ミトコンドリアの特徴量との間に、相関関係R4を抽出する。ここで、相関関係R4とは、タンパク質Aの特徴量A2と、ミトコンドリアの特徴量M1との相関関係である。特徴量A2とは、例えば、タンパク質Aの画像の細胞内総輝度値に対する核内総輝度値の割合である。例えば、特徴量M1とは、ミトコンドリアの画像が示す、ミトコンドリアの断片化率である。
図12は、本実施形態の細胞内構成要素アノテーション・データベースの一例を示す表である。この細胞内構成要素アノテーション・データベースは、細胞内構成要素の種類と、細胞内構成要素の機能とを関連付ける。本実施形態の一例においては、細胞内構成要素アノテーション・データベースは、記憶部200に予め記憶されている。具体的には、細胞内構成要素アノテーション・データベースにおいて、種類「タンパク質A」が、機能「転写因子(促進)」に関連付けられている。また、細胞内構成要素アノテーション・データベースにおいて、種類「タンパク質B」が、機能「キナーゼ」に関連付けられている。
図13は、本実施形態の特徴量アノテーション・データベースの一例を示す表である。この特徴量アノテーション・データベースは、NW要素と、特徴量と、特徴量の変化方向と、生物学的意味を示す情報とを関連付ける。本実施形態の一例においては、特徴量アノテーション・データベースは、記憶部200に予め記憶されている。具体的には、特徴量アノテーション・データベースにおいて、NW要素「転写因子(促進)」と、特徴量「核内総輝度値/細胞内総輝度値」と、特徴量変化「UP」と、生物学的意味「転写促進」とが互いに関連付けられている。また、特徴量アノテーション・データベースにおいて、NW要素「ミトコンドリア」と、特徴量「断片化率」と、特徴量変化「UP」と、生物学的意味「分裂促進、酸化ストレス上昇、マイトファジー亢進」とが互いに関連付けられている。なお、この特徴量アノテーション・データベースとは、記憶部200が備える種類記憶部201の具体的な一例である。つまり、種類記憶部201には、細胞画像に撮像されている細胞に含まれる細胞内構成要素の種類と、特徴量の種類とが対応付けられて記憶されている。
抽出された相関関係R4、つまり、タンパク質Aの画像の細胞内総輝度値に対する核内総輝度値の割合と、ミトコンドリアの断片化率との相関関係が、高相関である場合、次のようにして生物学的解釈を行うことができる。
すなわち、細胞内構成要素アノテーション・データベースに基づいて、タンパク質Aの機能が「転写因子(促進)」であると判定する。また、特徴量アノテーション・データベースに基づいて、「転写因子(促進)」に関連付けられた特徴量「核内総輝度値/細胞内総輝度値」が特徴量変化「UP」を示す場合、その生物学的意味が「転写促進」であると判定できる。また、特徴量アノテーション・データベースに基づいて、「ミトコンドリア」に関連付けられた特徴量「断片化率」が特徴量変化「UP」を示す場合、その生物学的意味が「分裂促進、酸化ストレス上昇、マイトファジー亢進」であると判定できる。
これらの判定結果に基づいて、次のような相関関係R4の生物学的解釈を加えることができる。すなわち、(1)タンパク質Aは、ミトコンドリア分裂に関係するタンパク質の転写を促進する。(2)タンパク質Aは、マイトファジーを亢進するタンパク質の転写を促進する。
上述したように、画像処理装置10によれば、細胞の特徴量間の相関関係の抽出結果と、生物学的情報とに基づいて、その相関関係の生物学的解釈に示唆を与えることができる。
相関関係の取得に用いられた細胞の特徴量から、その特徴量の生物学的情報を作成する。すなわち、相関関係の取得に用いられた細胞の特徴量の生物学的な情報を作成する。これにより、抽出された相関の生物学的解釈を行うことができる。
[スパース推定結果を利用した特徴量ネットワークの特徴の抽出]
相関関係抽出部104によるスパース推定結果を利用して、特徴量ネットワークの要素を抽出することができる。ここで、特徴量ネットワークとは、特徴量間の相関関係のネットワークを指す。特徴量ネットワークの要素には、ノード、エッジ、サブグラフ(クラスタ)、リンクが含まれる。特徴量ネットワークの特徴には、ハブの有無、クラスタの有無などが含まれる。例えば、あるノードがハブを有するか否かは、偏相関行列の値に基づいて判定することができる。ここで、ハブとは、他の特徴量との相関関係の数が比較的多い特徴量のことである。
あるノードにハブが存在する場合、そのハブである特徴量、又は、そのハブを含むノードが、生物学的に重要な意味を持つことが考えられる。したがって、ハブの存在の発見は、重要なタンパク質や、重要な特徴量の発見につながることがある。つまり、相関関係抽出部104によるスパース推定結果を利用することにより、重要なタンパク質や、重要な特徴量の発見に寄与することができる。
したがって、相関関係抽出部104は、スパース推定を用いて、算出される特徴量ネットワークから、その特徴量ネットワークを構成する複数の要素の中から、一つ以上の要素を特定することができる。これにより、相関を取得する際に優先して考慮する要素を抽出することができる。抽出することで、それ以外の相関を取得する際に、考慮に入れることができる。
もちろん、相関関係抽出部104は、スパース推定を用いて、算出される特徴量ネットワークから、その特徴量ネットワークを構成する複数の要素群の中から、一つ以上の要素群を特定することができる。要素群としては、例えば、タンパク質の二次構造が同一な複数のタンパク質を一つの要素群としても構わない。
[特徴量ネットワーク間の変化検知]
相関関係抽出部104によるスパース推定結果を利用して、複数の特徴量ネットワーク間の変化を検知することができる。
図14は、本実施形態の特徴量ネットワークの比較類型の一例を示す図である。特徴量ネットワークは、ミクロからマクロまでの各粒度において、相互に比較可能である。具体的には、関係性の変化に基づいて、エッジ粒度の変化検知を行うことができる。このエッジ粒度の変化検知は、d(d−1)/d個のスコアを有する。また、変数の変化に基づいて、ノード粒度の変化検知を行うことができる。このノード粒度の変化検知は、d個のスコアを有する。EGONET(エゴネット)の変化に基づいて、クラスタ粒度の変化検知を行うことができる。このクラスタ粒度の変化検知は、d個のスコアを有する。ネットワークの変化に基づいて、ネットワーク粒度の変化検知を行うことができる。このネットワーク粒度の変化検知は、1個のスコアを有する。
ノード粒度の変化検知は、例えば、確率的近傍法によって行われる。この確率的近傍法によるノード粒度の変化検知は、非類似度行列のi番目の要素と、j番目の要素との近傍確率を算出し、この近傍確率をスコア化することにより可能である。また、あるタンパク質のある指標についてのスコアを、タンパク質毎かつ指標毎に並べることにより、スコアの変化をグラフ化することができる。例えば、Tsuyoshi IdeとSpiros PapadimitriouとMichail Vlachosが、Proceedings of the Seventh IEEE International Conference on Data Mining(ICDM)のOct 28−31, 2007, pp523−528で、記載されている。
クラスタ粒度の変化検知は、EGONETによって行われる。ここで、EGONETとは、ノードとエッジとで構成される特徴量ネットワークにおいて、個々のノード(Ego)に注目し、注目ノードと、注目ノードに関係するノードと、これらのノードが張るエッジの関係を示す図である。EGONETによれば、特徴量ネットワークに含まれる全エッジから、注目ノードについてのエッジが抽出される。このため、EGONETどうしを比較することは、特徴量ネットワークどうしの比較に比べて容易である。注目するノード周りの相関構造を可視化する上で有益である。
特徴量ネットワーク間の変化検知の変形例として、2つ以上の特徴量ネットワーク間の定量的な比較がある。例えば、ある病気に罹患している人の組織から採取された細胞についての特徴量ネットワークと、健康な人の組織から採取された細胞についての特徴量ネットワークとを比較することができる。この場合、特徴量ネットワークどうしを比較することにより、ある病気に特有の特徴量ネットワークの構造を発見することが可能である。また、本実施形態では相関関係抽出部104がスパース推定を用いることにより、解釈しやすい疎な特徴量ネットワークを導出するため、特徴量ネットワークの比較が、スパース推定を用いない場合に比べて容易である。
なお、特徴量ネットワーク間の比較において、SVM、ランダムフォレストなどによるネットワーク学習を用いてもよい。また、このネットワーク学習の際には、分類性能を向上させるため、正則化パラメータを調整してもよい。
[特徴量ネットワーク間の比較による同機能タンパク質の同定]
あるタンパク質P1と、他のあるタンパク質P2とが同機能を有する場合には、タンパク質P1と他のタンパク質Pnとの間のエッジと、タンパク質P2と他のタンパク質Pnとの間のエッジとに差がない場合がある。つまり、タンパク質P1と、タンパク質P2とを同一のタンパク質とした場合、互いの特徴量ネットワークの構造が類似する。この特性を利用することにより、同機能タンパク質の同定を行うことができる。例えば、相関関係抽出部104によるスパース推定の際に、特徴量ネットワークからタンパク質P1だけを除外したものと、特徴量ネットワークからタンパク質P2だけを除外したものとを抽出することにより、同機能タンパク質の同定を行うことができる。
[生物学的知識を用いた正則化パラメータの決定]
図15は、本実施形態の生物学的知識を用いた正則化パラメータの決定手順の一例を示す図である。この一例では、生物学的知識に基づいた、タンパク質どうしの結合が、予め規定されている。具体的には、生物学的知識に基づいて、あるタンパク質の特徴量と他のタンパク質の特徴量との間において「結合があるべきだ」という結合と、「結合があるはずはない」という結合とが、予め知識データベースとして規定されている。本実施形態においては、この予め規定されている知識データベースが、記憶部200に記憶されていてもよい。
この知識データベースと、相関関係抽出部104によるスパース推定結果が示す特徴量ネットワークとの距離、すなわち、Fscoreを算出することにより、正則化パラメータλを決定する。このFscoreは、式(14)に示す精度(Precision)と、式(15)に示す再現性(Recall)とによって、式(16)のように示される。Fscoreは正則化パラメータに依存し、推定されたネットワークが知識データベースと最も近いときに、最大値をとり、このときの正則化パラメータを採用する。また、図15に示すように、知識データベースが充分でない場合、すなわち行列の成分が完全にラベル付けされていない場合であっても、正則化パラメータの範囲を狭めることができる。
Figure 0006756339
Figure 0006756339
Figure 0006756339
式(14)及び式(15)に示すTP、FP、及びFNの関係性について、図16に示す。
図16は、本実施形態の特徴量ネットワークの結合有無についての、知識ベースネットワークと予測ネットワークとの関係性を示す図である。なお、精度(Precision)とは、特徴量ネットワークのある要素について、エッジであるとして予測したもののうち、実際にエッジであるものの割合である。また、再現性(Recall)とは、特徴量ネットワークのある要素について、実際にエッジであるものについて、エッジであると予測されるものの割合である。
上述したように、相関関係抽出部104は、細胞画像に撮像されている細胞の特性を示す情報に基づいて特徴量の尤度を求めることにより、特定の相関関係を抽出してもよい。
なお、上述の実施形態により、抽出される相関関係は、適宜、学術文献やデータベースを用いて、検証しても構わない。また、データベースが複数に分割されている場合は、分割されたデータベースからの情報を適宜、選択しても構わない。この場合に、分割されたデータベースは、遺伝子、タンパク質などの種類で分けても構わない。また、複数のデータベースの検証結果を組み合わせて、抽出される相関関係を検証しても構わない。
なお、本発明の実施形態における画像処理装置10の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上述した種々の処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…顕微鏡観察システム、10…画像処理装置、20…顕微鏡装置、101…細胞画像取得部、102…特徴量算出部、103…雑音成分除去部、104…相関関係抽出部

Claims (13)

  1. 複数の細胞が撮像された細胞画像を取得する細胞画像取得部と、
    前記細胞画像取得部が取得する前記細胞画像から細胞の構成要素毎および又は細胞毎に特徴量を算出し、算出した前記特徴量を用い前記特徴量同士の複数の相関関係を算出する特徴量算出部と、
    前記細胞画像に撮像されている前記複数の細胞を第1の組と第2の組とに分け、前記第1の組に含まれる前記複数の細胞のみを用いて、前記特徴量算出部が算出する前記複数の相関関係のそれぞれの尤度である第1の尤度を算出し、前記細胞画像に撮像されている前記複数の細胞を前記第1の組及び前記第2の組とは異なる第3の組と第4の組とに分け、前記第3の組に含まれる前記複数の細胞のみを用いて、前記特徴量算出部が算出する前記複数の相関関係のそれぞれの尤度である第2の尤度を算出し、前記第1の尤度及び前記第2の尤度に基づいて、前記複数の相関関係のうちから、特定の相関関係を抽出する相関関係抽出部と、
    を備える画像処理装置。
  2. 前記相関関係抽出部は、前記第1の尤度と前記第2の尤度との平均に基づいて、前記複数の相関関係のうちから、前記特定の相関関係を抽出する、請求項1に記載の画像処理装置。
  3. 前記細胞の生物学的知識に基づいて、前記特定の相関関係を抽出する際に用いる尤度を設定する、請求項1または請求項に記載の画像処理装置。
  4. 前記尤度は正則化パラメータに基づいて算出される、請求項1から請求項のいずれか一項に記載の画像処理装置。
  5. 前記相関関係抽出部は、
    前記細胞画像に撮像されている細胞の特性に基づいて前記尤度を求めることにより、前記特定の相関関係を抽出する
    請求項1から請求項のいずれか一項に記載の画像処理装置。
  6. 前記相関関係抽出部は、
    前記抽出された特徴量の生物学的情報に基づいて、前記抽出される相関関係が示す生物学的解釈を抽出する
    請求項1から請求項のいずれか一項に記載の画像処理装置。
  7. 前記細胞画像に撮像されている細胞の特性を示す情報に基づいて、前記相関関係抽出部に供給される前記特徴量のうちから雑音成分を前記細胞画像に撮像されている細胞毎に除去する雑音成分除去部
    を更に備える請求項1から請求項のいずれか一項に記載の画像処理装置。
  8. 前記細胞画像に撮像されている細胞及び又は細胞に含まれる細胞の構成要素の種類と、前記特徴量の種類とが対応付けられて記憶されている種類記憶部
    を更に備え、
    前記特徴量算出部は、
    複数種類の前記特徴量のうち、前記細胞画像に撮像されている細胞及び、細胞に含まれる細胞の構成要素の種類に対応する種類の前記特徴量を算出する
    請求項1から請求項のいずれか一項に記載の画像処理装置。
  9. 前記特徴量算出部は、
    前記細胞画像に対応付けられている前記細胞に対する実験の条件の情報に基づいて、前記特徴量を算出する
    請求項1から請求項のいずれか一項に記載の画像処理装置。
  10. 前記相関関係抽出部は、スパース推定を用いて、前記特徴量の尤度に基づいて、前記特徴量算出部が算出する前記特徴量間の複数の相関関係のうちから、特定の相関関係を抽出する
    請求項1から請求項のいずれか一項に記載の画像処理装置。
  11. 前記相関関係抽出部は、スパース推定を用いて、前記特徴量算出部が算出する前記特徴量間の相関関係を構成する要素の中から、特定の1つ以上の要素を抽出する、
    請求項1から請求項10のいずれか一項に記載の画像処理装置。
  12. 前記特徴量算出部は、細胞に刺激が付与されてからの所定時間内の特徴量の変化を特徴量として算出し、算出した前記特徴量に基づいて前記相関関係を算出する、
    請求項1から請求項11のいずれか一項に記載の画像処理装置。
  13. 複数の細胞が撮像された細胞画像を取得する細胞画像取得過程と、
    前記細胞画像取得過程において取得される前記細胞画像から細胞の構成要素毎および又は細胞毎に特徴量を算出し、算出した前記特徴量を用い前記特徴量同士の複数の相関関係を算出する特徴量算出過程と、
    前記細胞画像に撮像されている前記複数の細胞を第1の組と第2の組とに分け、前記第1の組に含まれる前記複数の細胞のみを用いて、前記特徴量算出過程において算出された前記複数の相関関係のそれぞれの尤度である第1の尤度を算出し、前記細胞画像に撮像されている前記複数の細胞を前記第1の組及び前記第2の組とは異なる第3の組と第4の組とに分け、前記第3の組に含まれる前記複数の細胞のみを用いて、前記特徴量算出過程において算出された前記複数の相関関係のそれぞれの尤度である第2の尤度を算出し、前記第1の尤度及び前記第2の尤度に基づいて、前記複数の相関関係のうちから、特定の相関関係を抽出する相関関係抽出過程と、
    を有する画像処理方法。
JP2017557557A 2015-12-22 2015-12-22 画像処理装置、及び画像処理方法 Active JP6756339B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/085853 WO2017109860A1 (ja) 2015-12-22 2015-12-22 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020082268A Division JP6999118B2 (ja) 2020-05-07 2020-05-07 画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2017109860A1 JPWO2017109860A1 (ja) 2018-08-23
JP6756339B2 true JP6756339B2 (ja) 2020-09-16

Family

ID=59089711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017557557A Active JP6756339B2 (ja) 2015-12-22 2015-12-22 画像処理装置、及び画像処理方法

Country Status (4)

Country Link
US (1) US10796130B2 (ja)
EP (1) EP3395937A4 (ja)
JP (1) JP6756339B2 (ja)
WO (1) WO2017109860A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019159247A1 (ja) * 2018-02-14 2019-08-22 株式会社ニコン 算出装置、解析プログラム及び解析方法
JP7196467B2 (ja) * 2018-08-29 2022-12-27 カシオ計算機株式会社 開閉状態判定装置、開閉状態判定方法及びプログラム
KR102122068B1 (ko) * 2018-11-19 2020-06-12 노을 주식회사 이미지 분석 시스템 및 분석 방법
JP7464132B2 (ja) 2020-08-19 2024-04-09 日本電信電話株式会社 可視化装置、可視化方法および可視化プログラム
CN112183210A (zh) * 2020-08-28 2021-01-05 江苏康尚生物医疗科技有限公司 一种基于稀疏矩阵的粒子自动聚焦方法、系统及存储介质
WO2024014489A1 (ja) * 2022-07-12 2024-01-18 国立大学法人東京工業大学 解析システム、解析装置、解析プログラム、及び解析方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198839B1 (en) * 1997-09-05 2001-03-06 Tripath Imaging, Inc. Dynamic control and decision making method and apparatus
EP1616286A1 (en) * 2003-04-02 2006-01-18 Amersham Biosciences UK Limited Method of, and computer software for, classification of cells into subpopulations
ES2298791T3 (es) * 2004-04-08 2008-05-16 Petra Perner Procedimiento para adquisicion de formas a partir de celulas hep-2 y de reconocimiento por casos de celulas hep-2.
WO2006104201A1 (ja) 2005-03-29 2006-10-05 Olympus Corporation 細胞画像解析方法、細胞画像解析プログラム、細胞画像解析装置、スクリーニング方法およびスクリーニング装置
JP4744187B2 (ja) * 2005-05-10 2011-08-10 オリンパス株式会社 細胞観察装置
JP4869843B2 (ja) * 2006-09-06 2012-02-08 オリンパス株式会社 細胞画像処理装置および細胞画像処理方法
JP5365011B2 (ja) * 2008-01-29 2013-12-11 日本電気株式会社 病理診断支援装置、病理診断支援方法、およびプログラム
US8883491B2 (en) * 2008-04-09 2014-11-11 Nexcelom Bioscience Llc Systems and methods for counting cells and biomolecules
US9779213B2 (en) * 2008-07-25 2017-10-03 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud System for evaluating a pathological stage of prostate cancer
US8877509B2 (en) * 2009-07-17 2014-11-04 Bioaffinity Technologies, Inc. System and method for analyzing samples labeled with 5, 10, 15, 20 tetrakis (4-carboxyphenyl) porphine (TCPP)
US9779283B2 (en) * 2011-01-05 2017-10-03 The Board Of Trustees Of The University Of Illinois Automated prostate tissue referencing for cancer detection and diagnosis
US20120269418A1 (en) * 2011-04-22 2012-10-25 Ge Global Research Analyzing the expression of biomarkers in cells with clusters
WO2012176785A1 (ja) 2011-06-20 2012-12-27 株式会社ニコン 画像処理装置および方法、並びにプログラム
CN103620390B (zh) * 2011-06-21 2016-08-31 浜松光子学株式会社 光测定装置、光测定方法以及光测定程序
WO2013001584A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および類似症例検索方法
WO2013038331A1 (en) * 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. System and method for the detection of abnormalities in a biological sample
JP2013143102A (ja) * 2012-01-12 2013-07-22 Nikon Corp 移動物体検出装置、移動物体検出方法およびプログラム
US9760760B2 (en) * 2012-01-19 2017-09-12 H. Lee Moffitt Cancer Center And Research Institute, Inc. Histology recognition to automatically score and quantify cancer grades and individual user digital whole histological imaging device
JP5984559B2 (ja) * 2012-07-31 2016-09-06 オリンパス株式会社 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム
JP6116044B2 (ja) 2012-10-25 2017-04-19 大日本印刷株式会社 細胞挙動解析装置、細胞挙動解析方法、及びプログラム
US9488639B2 (en) * 2013-02-25 2016-11-08 Flagship Biosciences, Inc. Cell-based tissue analysis
US20140273075A1 (en) * 2013-03-15 2014-09-18 Eye Marker Systems, Inc. Methods, systems and devices for determining white blood cell counts for radiation exposure
US9536042B2 (en) * 2013-03-15 2017-01-03 International Business Machines Corporation Using RNAi imaging data for gene interaction network construction
WO2014178323A1 (ja) 2013-05-01 2014-11-06 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法およびバイオマーカー装置
US9842391B2 (en) * 2013-05-14 2017-12-12 Pathxl Limited Method and apparatus for processing an image of a tissue sample
JP6003963B2 (ja) * 2014-11-07 2016-10-05 カシオ計算機株式会社 診断装置並びに当該診断装置における画像処理方法及びそのプログラム
EP3227684B1 (en) * 2014-12-03 2019-10-02 Isoplexis Corporation Analysis and screening of cell secretion profiles
EP3239287A4 (en) * 2014-12-26 2018-08-15 The University of Tokyo Analysis device, analysis method, analysis program, cell manufacturing method and cells

Also Published As

Publication number Publication date
JPWO2017109860A1 (ja) 2018-08-23
US20180349675A1 (en) 2018-12-06
WO2017109860A1 (ja) 2017-06-29
EP3395937A1 (en) 2018-10-31
EP3395937A4 (en) 2019-08-21
US10796130B2 (en) 2020-10-06

Similar Documents

Publication Publication Date Title
JP6756339B2 (ja) 画像処理装置、及び画像処理方法
Nirschl et al. A deep-learning classifier identifies patients with clinical heart failure using whole-slide images of H&E tissue
US8320655B2 (en) Process and system for analyzing the expression of biomarkers in cells
US20110091081A1 (en) Method and system for analyzing the expression of biomarkers in cells in situ in their tissue of origin
US11321836B2 (en) Image-processing device, image-processing method, and image-processing program for setting cell analysis area based on captured image
Ishaq et al. Deep fish: deep learning–based classification of zebrafish deformation for high-throughput screening
Li et al. Parasitologist-level classification of apicomplexan parasites and host cell with deep cycle transfer learning (DCTL)
Mace et al. Extraction and comparison of gene expression patterns from 2D RNA in situ hybridization images
Borovec et al. Supervised and unsupervised segmentation using superpixels, model estimation, and graph cut
JP2022105045A (ja) 解析装置
Woloshuk et al. In situ classification of cell types in human kidney tissue using 3D nuclear staining
JP6818041B2 (ja) 解析装置、解析方法、及びプログラム
US20200372652A1 (en) Calculation device, calculation program, and calculation method
WO2018193612A1 (ja) 相関算出装置、相関算出方法及び相関算出プログラム
JPWO2018066039A1 (ja) 解析装置、解析方法、及びプログラム
JP6999118B2 (ja) 画像処理装置
US20130170728A1 (en) Process and system for analyzing the expression of biomarkers in a cell
Karimi et al. Machine learning meets classical computer vision for accurate cell identification
Flores et al. Automatic analysis of breast thermograms by convolutional neural networks
Scalisi et al. Quantitative Analysis of PcG-Associated Condensates by Stochastic Optical Reconstruction Microscopy (STORM)
WO2018122908A1 (ja) 解析装置、解析プログラム及び解析方法
Yaothak et al. 2D-GolgiTrack—a semi-automated tracking system to quantify morphological changes and dynamics of the Golgi apparatus and Golgi-derived membrane tubules
WO2018109826A1 (ja) 解析装置、解析プログラム及び解析方法
US20240135541A1 (en) Method of extracting gene candidate, method of utilizing gene candidate, and computer-readable medium
WO2020090089A1 (ja) 判定装置、判定方法、及び判定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200810

R150 Certificate of patent or registration of utility model

Ref document number: 6756339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250