JP7420346B2 - 三次元形状情報生成装置、細胞判定システム - Google Patents

三次元形状情報生成装置、細胞判定システム Download PDF

Info

Publication number
JP7420346B2
JP7420346B2 JP2019237110A JP2019237110A JP7420346B2 JP 7420346 B2 JP7420346 B2 JP 7420346B2 JP 2019237110 A JP2019237110 A JP 2019237110A JP 2019237110 A JP2019237110 A JP 2019237110A JP 7420346 B2 JP7420346 B2 JP 7420346B2
Authority
JP
Japan
Prior art keywords
dimensional shape
shape information
cell
light
generation device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019237110A
Other languages
English (en)
Other versions
JP2020112552A (ja
Inventor
健一 諸岡
亮 倉爪
翔子 宮内
一 長原
悠太 中島
友樹 浦西
英治 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu University NUC
Osaka University NUC
Original Assignee
Kyushu University NUC
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu University NUC, Osaka University NUC filed Critical Kyushu University NUC
Publication of JP2020112552A publication Critical patent/JP2020112552A/ja
Application granted granted Critical
Publication of JP7420346B2 publication Critical patent/JP7420346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、三次元形状情報生成装置、細胞判定システムに関する。
従来から、生体組織に含まれる細胞の中にがん細胞が含まれているか否かを判定する作業は、生体組織の断層画像を撮像し、撮像した断層画像に基づいて、各細胞の三次元形状ががん細胞に特徴的な形状をしているか否かを人が判定していた。
例えば下記特許文献1に記載されているような、三次元細胞画像撮像装置が知られている。この三次元細胞画像撮像装置は、試料の合焦位置をZ方向に所定ピッチで連続的に異ならせた状態でZ方向に順に蓄積された、複数の二次元の細胞画像の集合体からなる三次元の細胞画像を解析する。
また、下記特許文献2に記載されているような、画像処理方法が知られている。この画像処理方法では、撮像光学系の焦点位置の設定値を撮像光学系の光軸方向に多段階に変更設定し、各設定値で細胞を明視野撮像して複数の原画像を取得することで、細胞の輪郭が明瞭な画像を作成する。
特開2011-44016号公報 特開2016-71588号公報
ところで、特許文献1、2に開示されたような構成では、いずれも、撮像工学系における合焦位置を変化させることで、合焦位置が異なる複数枚の画像を撮像する。これには、複数の合焦位置のそれぞれにおいて、試料の断面を表す断層画像を撮像する必要がある。このように合焦位置が異なる複数の断層画像を撮像し、それらの複数の断層画像から三次元の細胞画像を生成する装置は、非常に複雑な構成で高価である。
本発明は、前述した事情に鑑みてなされたものであって、簡易な構成の装置で光透過性を有する物体を撮像することで、物体の三次元形状を示す三次元形状情報を生成することを可能とする三次元形状情報生成装置、細胞判定システムを提供することを目的とする。
本発明の一態様は、光透過性を有する物体に対して光を照射する光源と、前記物体を透過した透過光を撮像する撮像部と、前記光源で照射される前記光の合焦位置を、前記物体を複数に区分することによって設定される複数の立体領域のそれぞれに対し相対的に移動させる合焦位置移動部と、前記合焦位置移動部で前記物体に対する前記光の合焦位置を複数に異ならせたときに、複数の前記合焦位置のそれぞれで、前記撮像部で前記透過光を撮像させる撮像制御部と、複数の前記合焦位置のそれぞれで撮像された複数の撮像画像に基づいて、複数の前記立体領域それぞれの前記光の透過率を算出し、算出した複数の前記立体領域それぞれの前記透過率に基づいて、前記物体の三次元形状を示す三次元形状情報を生成する生成部と、を備える三次元形状情報生成装置である。
また、本発明の他の態様は、三次元形状情報生成装置において、前記撮像制御部は、前記第一軸方向、前記第一軸方向に交差する第二軸方向、及び前記第一軸方向と前記第二軸方向とに交差する第三軸方向のそれぞれにおいて、前記物体を複数に区分することによって複数の前記立体領域を設定する、構成が用いられてもよい。
また、本発明の他の態様は、三次元形状情報生成装置において、前記透過光を前記撮像部の画素上に集光する集光部をさらに備え、前記生成部は、前記集光部で前記透過光が集光された前記画素の輝度値に基づいて、複数の前記立体領域それぞれの前記透過率を算出する、構成が用いられてもよい。
また、本発明の他の態様は、三次元形状情報生成装置において、前記生成部は、複数の前記撮像画像のそれぞれについて、前記撮像画像の各画素の輝度値と、複数の前記立体領域それぞれの前記透過率とを対応付ける複数の方程式を算出し、算出した複数の前記方程式に基づいて、前記三次元形状情報を生成する、構成が用いられてもよい。
また、本発明の他の態様は、三次元形状情報生成装置において、前記物体は、1以上の細胞を含む生体組織である、構成が用いられてもよい。
また、本発明の他の態様は、上記に記載の三次元形状情報生成装置と、前記三次元形状情報生成装置により生成された前記三次元形状情報に基づいて、前記生体組織に予め決められた条件を満たす細胞が含まれているか否かを判定する判定装置と、を備える細胞判定システムである。
また、本発明の他の態様は、細胞判定システムにおいて、前記条件は、前記細胞ががん細胞であること、であり、前記判定装置は、前記三次元形状情報生成装置により生成された前記三次元形状情報と、前記判定装置における判定結果に基づく学習済モデルとに基づいて、前記生体組織に前記条件を満たす細胞が含まれているか否かを判定する、構成が用いられてもよい。
本発明によれば、簡易な構成の装置で光透過性を有する物体を撮像することで、物体の三次元形状を示す三次元形状情報を生成することができる。
本発明の一実施形態に係る細胞判定システムの構成例を機能的に示すブロック図である。 図1に示す細胞判定システムを構成する三次元形状情報生成装置の撮像機の概略構成例を示す図である。 上記細胞判定システムにおける検査対象物を、複数の立体領域に区分した例を示す斜視図である。 上記細胞判定システムにおける細胞の判定方法の流れの一例を示すフローチャートである。 上記撮像機においてある一つのボクセルに合焦位置が合っている状態の一例を示す図である。 上記撮像機において、図5とはZ軸方向で異なる他のボクセルに合焦位置を合わせた状態を示す図である。 上記三次元形状モデル生成装置で生成された検査対象物の三次元形状情報の一例を示す図である。 細胞形状モデルを示す図である。 仮想三次元形状情報生成装置によって細胞形状モデルを撮像した11枚の撮像画像の一例を示す図である。 仮想三次元形状情報生成装置により生成された三次元形状情報の一例を示す図である。 仮想三次元形状情報生成装置によって生成された三次元形状情報を、Z軸方向において互いに異なる所定の断面においてスライスした11枚の画像の一例を示す図である。 三次元形状情報生成装置により撮像された細胞と、その細胞について三次元形状情報生成装置により生成された三次元形状情報とのそれぞれの一例を示す図である。 三次元形状情報生成装置により撮像された細胞と、その細胞について三次元形状情報生成装置により生成された三次元形状情報とのそれぞれの他の例を示す図である。 三次元形状情報生成装置により撮像された細胞と、その細胞について三次元形状情報生成装置により生成された三次元形状情報とのそれぞれの更に他の例を示す図である。
以下、図面を参照し、本発明の一実施形態に係る三次元形状情報生成装置、細胞判定システムを説明する。図1は、本発明の一実施形態に係る細胞判定システム1の構成例を機能的に示すブロック図である。
図1に示すように、細胞判定システム1は、三次元形状情報生成装置2と、判定装置5と、を備える。本実施形態において、細胞判定システム1は、生体組織にがん細胞が含まれているか否かを判定する。このため、細胞判定システム1は、生体組織を検査対象物100とする。検査対象物100である生体組織は、半透明で、光透過性を有する。なお、細胞判定システム1は、生体組織にがん細胞が含まれているか否かを判定する構成に代えて、生体組織にユーザーが所望する所定の種類の細胞が含まれているか否かを判定する構成であってもよい。
三次元形状情報生成装置2は、撮像機20と、コントローラ30と、を備えている。
図2に示すように、撮像機20は、検査対象物100に光Bを照射し、その透過光を撮像する。図2は、図1に示す細胞判定システム1を構成する三次元形状情報生成装置2の撮像機20の概略構成例を示す図である。撮像機20は、光源21と、対象物支持部22と、撮像部23と、集光部24と、を備える。
光源21は、光透過性を有する検査対象物100に対して光Bを照射する。光源21は、光Bとして、可視光を照射する。このように、光源21で照射する光Bに可視光を利用することで、X線を用いるCT(Computed Tomography:コンピューター断層撮像)装置や、磁気と電波とを用いるMRI(Magnetic Resonance Imaging:磁気共鳴画像)装置等と比較し、大幅に低コストとなる。
対象物支持部22は、検査対象物100を支持する。対象物支持部22は、例えばプレパラート等に載せられた検査対象物100を支持する。対象物支持部22は、光源21からの光Bが検査対象物100に照射されるよう、光Bを透過する材料で形成されるか、又は光Bを透過する開口(図示無し)を有している。
撮像部23は、検査対象物100を透過した透過光Btを撮像する。撮像部23は、検査対象物100に対向する側に、撮像素子(受光素子)24sを備える。撮像素子23sとしては、例えば、CCD(Charge Coupled Device:電荷結合素子)、CMOS(Complementary metal-oxide-semiconductor:相補型金属酸化膜半導体)等が用いられる。
集光部24は、対象物支持部22と撮像部23との間に設けられている。集光部24は、光源21から検査対象物100に照射された光Bが検査対象物100を透過した光(以下、これを透過光Btと称する)を、撮像部23の撮像素子23sの各画素上に集光させる。図2には、一例として、撮像素子23sの画素23mに集光された透過光Btが示されている。集光部24は、1枚以上の光学レンズを備える。これにより、撮像部23では、集光部24によって撮像素子23sの各画素上に集光させた透過光Btを含む撮像画像を撮像することになる。
このような撮像機20において、光源21からの光Bの合焦位置Pは、対象物支持部22で支持された検査対象物100に対し、相対移動可能となっている。具体的には、光源21、集光部24、及び撮像部23と、検査対象物100を支持する対象物支持部22とは、図示しない移動機構によって、相対的に移動可能に設けられている。光源21、集光部24、及び撮像部23と、対象物支持部22とは、光源21と撮像部23とを結ぶ光Bの光軸方向に沿ったZ軸に相対移動可能とされている。なお、光源21、集光部24、及び撮像部23と、対象物支持部22とは、Z軸(第一軸)に直交するX軸(第二軸)、Z軸及びX軸に直交するY軸(第三軸)の三軸方向に相対移動可能であってもよい。
図1に示すように、コントローラ30は、合焦位置移動部31と、撮像制御部32と、生成部33と、を備える。
合焦位置移動部31は、光Bの合焦位置Pを、検査対象物100に対し、Z軸方向に相対的に移動させる。合焦位置移動部31は、図示しない移動機構を有し、光源21、集光部24、及び撮像部23と、対象物支持部22との少なくとも一方をZ軸方向に移動させる。これにより、検査対象物100に対し、光Bの合焦位置PがZ軸方向に相対的に移動する。
撮像制御部32は、合焦位置移動部31の動作と、撮像部23における撮像動作とを制御する。
本実施形態において、撮像制御部32は、検査対象物100を複数に区分することで、検査対象物100に複数のボクセル(立体領域)100sを設定する。ここで、図3に示すように、各ボクセル100sは、検査対象物100を、Z軸方向、X軸方向、及びY軸方向のそれぞれにおいて、検査対象物100を複数に区分することによって設定される。図3は、細胞判定システム1における検査対象物100を、複数のボクセル100sに区分した例を示す斜視図である。つまり、各ボクセル100sは、直方体状をなしている。なお、各ボクセル100sのうちの一部又は全部は、直方体状以外の形状をなす構成であってもよい。
撮像制御部32は、合焦位置移動部31を制御することによって、検査対象物100に設定された複数のボクセル100sに対し、光Bの合焦位置Pを順次移動させていく。ここで、複数のボクセル100sのうちのあるボクセル100sに光Bの合焦位置Pを一致させることは、Z軸方向と直交する面のうち当該ボクセル100sを通る面に対して光Bの焦点を一致させることを意味する。このため、撮像制御部32が光Bの合焦位置Pを複数のボクセル100sのそれぞれに順次一致させることは、撮像制御部32が、Z軸方向と直交する面のうち重複がないように複数のボクセル100sを通る複数の面のそれぞれに対して光Bの焦点を順次一致させることを意味する。このような意味においては、光Bの合焦位置Pは、Z軸方向の位置を示すと解されてもよい。なお、細胞判定システム1では、撮像制御部32が光Bの合焦位置Pを複数のボクセル100sのそれぞれに順次一致させることは、複数のボクセル100sに含まれる個々のボクセル100sに対して光Bの焦点を順次一致させることを意味する構成であってもよい。この場合、光Bの合焦位置Pは、X軸、Y軸、Z軸の3軸方向の位置を示すと解されてもよい。
撮像制御部32は、複数のボクセル100sに合焦位置Pを順次合わせていき、それぞれの合焦位置Pで集光された光Bの透過光Btを、撮像部23で撮像させる。ここで、複数のボクセル100sのそれぞれに対して光源21からの光Bを合焦させたときの透過光Btは、集光部24により、撮像部23の撮像素子23sの各画素(例えば、図2に示した画素23m)上に集光される。なお、図2には、図が煩雑になるのを防ぐため、光B及び光Btの経路として、代表的な経路を1つのみ示している。
生成部33は、後に詳述するように、合焦位置Pを複数のボクセル100sのそれぞれに合わせて撮像された複数の撮像画像に基づいて、検査対象物100の三次元形状を示す三次元形状情報M(図7参照)を生成する。三次元形状情報Mは、例えば、三次元形状モデルであるが、これに代えて、三次元点群等の三次元形状を示す他の情報であってもよい。
判定装置5は、三次元形状情報生成装置2により生成された三次元形状情報Mに基づいて、検査対象物100である生体組織に、予め決められた条件を満たす細胞が含まれているか否かを判定する。本実施形態において、予め決められた条件とは、細胞ががん細胞であること(より具体的には、細胞の形状ががん細胞の形状であること)、とした。なお、予め決められた条件は、これに代えて、他の条件であってもよい。
次に、上記細胞判定システム1における細胞の判定方法について説明する。図4は、細胞判定システム1における細胞の判定方法の流れの一例を示すフローチャートである。
まず、図4に示すように、三次元形状情報生成装置2で、検査対象の生体組織を検査対象物100として、撮像を行う。
これには、プレパラート等に載せた検査対象物100を、対象物支持部22にセットする(ステップS1)。また、図3に示すように、撮像制御部32では、予め定められたコンピュータプログラムに基づいて、検査対象物100を、複数に区分し、複数のボクセル100sを設定する。
次に、光源21で光Bを照射する。照射された光Bは、所定の合焦位置Pで集光し、合焦される。以下では、説明を簡略化するため、検査対象物100の一つのボクセル100s1を例に挙げて説明する。撮像制御部32は、例えば図5に示すように、検査対象物100の一つのボクセル100s1に合焦位置Pが合うよう、合焦位置移動部31を動作させる(ステップS2)。すなわち、ステップS2において、撮像制御部32は、Z軸方向と直交する面のうちボクセル100s1を通る面に光Bの焦点が合うよう、合焦位置移動部31を動作させる。図5は、撮像機20においてボクセル100s1に合焦位置Pが合っている状態の一例を示す図である。なお、図5には、図が煩雑になるのを防ぐため、光B及び光Btの経路として、代表的な経路を1つのみ示している。
合焦位置Pを合わせた後(例えば、ボクセル100s1に合焦位置Pを合わせた後)、撮像部23で撮像を行う(ステップS3)。撮像部23で撮像した撮像画像には、合焦位置Pのボクセル100s1を透過し、集光部24で画素23m上に集光された透過光Btが含まれている。
続いて、撮像制御部32は、例えば図6に示すように、合焦位置移動部31で検査対象物100に対して合焦位置PをZ軸方向に移動させ、最初に合焦位置Pを合わせたボクセル100s1(図5参照)に対し、Z軸方向で異なる位置の他のボクセル100s2に合わせる(ステップS4)。すなわち、ステップS4において、撮像制御部32は、Z軸方向と直交する面のうちボクセル100s2を通る面に光Bの焦点が合うよう、合焦位置移動部31を動作させる。この後、撮像部23で撮像を行う(ステップS5)。図6は、撮像機20においてボクセル100s2に合焦位置Pが合っている状態の一例を示す図である。なお、図6には、図が煩雑になるのを防ぐため、光B及び光Btの経路として、代表的な経路を1つのみ示している。
撮像制御部32は、検査対象物100においてZ軸方向で重なる複数のボクセル100sに対し、合焦位置Pを合わせて撮像を行ったか否かを判定する(ステップS6)。撮像制御部32は、Z軸方向で全てのボクセル100sに合焦位置Pを合わせて撮像を行うまで、ステップS4、S5を繰り返す。
これにより、合焦位置PをZ軸方向で異ならせた複数枚の撮像画像が得られる。
なお、撮像制御部32は、上記のステップS2~S6を終えた後、合焦位置Pを、X軸方向又はY軸方向に移動させ、Z軸方向に直交するX-Y平面内で他の位置のボクセル100sに合わせる構成であってもよい。この場合、その位置で、撮像制御部32は、上記と同様に、Z軸方向で合焦位置Pを順次変えながら、Z軸方向に重なる全てのボクセル100sに合焦位置Pを合わせ、撮像を行う。
このようにして、検査対象物100の全てのボクセル100sに対し、合焦位置Pを合わせた撮像が完了した後、生成部33で三次元形状情報を生成する(ステップS7)。
生成部33は、撮像部23で撮像された複数の撮像画像に基づいて、複数のボクセル100sそれぞれの透過光Btの透過率を算出する。ボクセル100sに、がん細胞等の細胞核がなければ、透過光Btの透過率は高くなる。ボクセル100sに、細胞核があれば、透過光Btの透過率は低くなる。
具体的には、生成部33は、各撮像画像に含まれる、撮像素子23sの各画素の輝度値を、画像処理により検出する。生成部33は、検出された輝度値に基づいて、各ボクセル100sの透過光Btの透過率を算出する。
ここで、あるボクセル100sに光Bの焦点が一致している場合、透過光Btは、透過光Btの光路上に位置する他のボクセル100sも通る。例えば、撮像素子23sの画素23m上で集光された透過光Btの輝度値には、合焦位置Pのボクセル100s1だけでなく、他の複数のボクセル100sの影響が含まれている。
そこで、生成部33は、複数のボクセル100sに合焦位置Pを異ならせて撮像した複数枚の撮像画像における各画素の輝度値と、複数のボクセル100sそれぞれの透過光Btの透過率とを対応付ける複数の方程式を、以下のように算出する。
ここで、一例として、ある撮像画像PHを例に挙げて説明する。
撮像画像PH上の画素のX軸方向、Y軸方向、Z軸方向のそれぞれにおける位置を示す座標を(x、y、z)によって示した場合、透過光Btが集光された各画素の輝度値を255で割った値f(x、y、z)は、以下の式(1)で表される。ここで、当該各画素は、撮像画像PH上の画素のことである。
Figure 0007420346000001
この式(1)において、aは、ボクセルiにある物質の透過率(すなわち、ボクセルiの透過率)である(ただし、0<a<1)。nは、全ボクセル数である。Nは、光Bの光線の本数である。Iは、入射光である(ただし、入射光Iは、次式(2)を満たす。)。lij(x、y、z)は、撮像画像PH上の画素のうち座標(x、y、z)によって示される位置に位置する画素に入射する入射光Iがボクセルiを透過する長さである。
Figure 0007420346000002
次に、次式(3)の目的関数F(α)が最小となるように、例えば、ニュートン法、準ニュートン法等のアルゴリズムを用い、最適化する。
Figure 0007420346000003
ここで、αは、アルゴリズムにおいて可変させる重みである。
データ項Eは、次式(4)で表される。ここで、Pは、撮像画像PH上の画素のうち座標(x、y、z)によって示される位置に位置する画素の輝度値である。
Figure 0007420346000004
また、TV項tvは、本最適化問題における最適化項であり、次式(5)で表される。このTV項tvは、互いに隣接するボクセル100s同士は、同じような透過率を有する、という拘束条件である。
Figure 0007420346000005
ここで、ax,y,z、及びkは、次式(6)で表される。
Figure 0007420346000006
なお、TV項tvは、上記の式(5)に示した定義の項に代えて、例えば、平滑化項、正規化項等の他の定義の項であってもよい。
上記のように、生成部33は、複数の撮像画像のそれぞれについて、撮像画像の各画素の輝度値と、複数のボクセル100sそれぞれの透過光Btの透過率とを対応付ける複数の方程式である式(3)を算出し、これを解くことで、複数のボクセル100sのそれぞれの透過率を求める(推定する)。
この後、生成部33は、各ボクセル100sの透過率の推定値に基づいて、検査対象物100の三次元形状情報Mを生成する。生成部33は、検査対象物100を構成する複数のボクセル100sの透過率に応じて、各ボクセル100sの色や、色の濃淡等の描画情報を設定する。各ボクセル100sの色の濃淡は、透過率(0~1)を複数段階に区分し、段階毎に互いに異なる色や、色の濃淡等を設定しておく。例えば、透過率が0に近いほど色が薄く、透過率が1に近づくほど色が濃くなるグラデーションのように、各段階の透過率に応じた色を、描画情報として設定する。この例では、透過率が低くなる細胞核が存在するボクセル100sは、色が濃くなる。ボクセル100sに含まれる細胞核の量が多いほど、ボクセル100sの色は濃くなる。また、細胞が存在しない細胞膜が多く含まれるボクセル100sは、色が薄くなる。
なおここで示す、各ボクセル100sの透過率に応じて設定する色や、色の濃淡等の描画情報は一例にすぎず、適宜変更することが可能である。
生成部33は、このように設定された描画情報に基づき、各ボクセル100sを、その透過率に合わせた色に着色し、モニター(図示無し)等の表示装置に、検査対象物100の画像を描画する。すると、例えば、図7に示すように、細胞核が含まれるボクセル100sが、周囲の細胞膜が含まれるボクセル100sとは異なる色に着色されることで、細胞核形状を表す細胞核モデルMsが、三次元形状情報M中に形成される。
このようにして、検査対象物100の三次元形状情報Mが生成された後、判定装置5は、三次元形状情報Mに基づいて、検査対象物100である生体組織に、がん細胞が含まれているか否かを、予め設定されたコンピュータプログラムに基づいて判定する(ステップS8)。判定装置5では、三次元形状情報Mに細胞核モデルMsが含まれていなければ、検査対象物100にがん細胞が含まれていない、と判定する。また、判定装置5では、三次元形状情報Mに細胞核モデルMsが含まれている場合、予め記憶された比較対象モデル(図示無し)との比較を行う。比較対象モデルは、がん細胞である、と判定するための基準となるもので、判定装置5では、三次元形状情報Mに含まれる細胞核モデルMsと、比較対象モデルとで、例えば、大きさ、形状等の比較を行う。
このとき、比較対象モデルには、判定装置5における過去の判定結果において「がん細胞である」と判定された複数の細胞核モデルMsに基づいて、人工知能 (Artificial Intelligence)プログラム等によって生成された学習済モデルを用いるのが好ましい。
判定装置5は、モニター、プリンター等の各種の出力装置(図示無し)により、その判定結果を出力する。
なお、上記において説明した三次元形状情報生成装置2は、細胞判定システムに代えて、他のシステムに適用される構成であってもよい。
例えば、三次元形状情報生成装置2は、光透過性を有する試料に含まれる結晶、不純物等を特定するシステムに適用されてもよい。
また、例えば、三次元形状情報生成装置2は、光透過性を有するワークを把持するロボットを備えたロボットシステムに適用されてもよい。この場合、当該ロボットシステムは、三次元形状情報生成装置2によって生成された当該ワークについての三次元形状情報に基づいて、当該ワークを当該ロボットに把持させる。
<三次元形状情報生成装置の動作についてのシミュレーションの結果>
以下、上記において説明した三次元形状情報生成装置2の動作についてのシミュレーションの結果について説明する。
このシミュレーションの結果は、図4に示したフローチャートの処理を、コンピューターの記憶領域内において仮想的に行った結果である。ただし、このシミュレーションでは、上記において説明した検査対象物100の代わりとして、図8に示した細胞形状モデルCMを使用した。ここで、細胞形状モデルCMは、生体の細胞の形状を示すCG(Computer Graphics)の一例である。図8は、細胞形状モデルCMを示す図である。より具体的には、図8(A)は、細胞形状モデルCMの上面図である。図8(B)は、細胞形状モデルCMの側面図である。図8(C)は、細胞形状モデルCMの斜視図である。細胞形状モデルCMは、複数のボクセルによって構成されている。そして、これら複数のボクセルのそれぞれには、個々の透過率が設定されている。ここで、図8において、細胞形状モデルCMにおける色の濃淡は、細胞形状モデルCMを構成する各ボクセルに設定されている透過率を示す。図8に示した例では、細胞形状モデルCMにおける色が濃いボクセルほど、透過率の低いボクセルである。そして、当該例では、図8に示した通り、細胞形状モデルCMが有する部分のうち細胞核に相当する部分CMNに含まれるボクセルの透過率は、細胞形状モデルCMが有する部分のうち細胞膜に相当する部分CMMに含まれるボクセルの透過率よりも低く設定されている。また、当該例では、図8に示した通り、シミュレーションの結果を明確にするため、部分CMNを構成する個々のボクセルの透過率は、互いに等しい値に設定されている。また、当該例では、図8に示した通り、シミュレーションの結果を明確にするため、部分CMMを構成する個々のボクセルの透過率は、互いに等しい値に設定されている。
なお、図8(A)~図8(C)のそれぞれにおいてハッチングされた領域は、細胞形状モデルCMの周囲の何もない領域を示しており、細胞形状モデルCMの形状を明確に示すため描かれている。また、図8(D)は、図8(A)に示した細胞形状モデルCMの濃淡を明確に示す加工を施した図である。また、図8(E)は、図8(B)に示した細胞形状モデルCMの濃淡を明確に示す加工を施した図である。また、図8(F)は、図8(C)に示した細胞形状モデルCMの濃淡を明確に示す加工を施した図である。
ここで、図9は、仮想三次元形状情報生成装置によって細胞形状モデルCMを撮像した11枚の撮像画像の一例を示す図である。仮想三次元形状情報生成装置は、シミュレーションにおいて用いられる仮想的な三次元形状情報生成装置2のことである。当該11枚の撮像画像は、Z軸方向において合焦位置が互いに異なる画像である。より具体的には、図9(A)は、当該三次元形状情報生成装置2によって細胞形状モデルCMを撮像した11枚の撮像画像の一例を示す。図9(B)は、図9(A)に示した11枚の撮像画像の濃淡を明確に示す加工を施した図である。また、図9に示した矢印は、図9における左方向及び右方向のそれぞれを示す。ここで、図9において、細胞形状モデルCMにおける色の濃淡は、細胞形状モデルCMを構成する各ボクセルに設定されている透過率を示す。図9に示した例では、細胞形状モデルCMにおける色が濃いボクセルほど、透過率の低いボクセルである。
図9(A)では、11枚の撮像画像のそれぞれは、撮像された際の合焦位置の高さが高い順に左から右に向かって並べられている。このため、図9(A)では、11枚の撮像画像のうちの左端の撮像画像と右端の撮像画像とのそれぞれの濃度は、残りの撮像画像の濃度と比べて薄い。これは、細胞形状モデルCMの表面に近い位置に合焦位置が位置している場合において撮像された撮像画像が、当該左端の撮像画像と当該右端の撮像画像とであるためである。
そして、図9に示した11枚の撮像画像に基づいて仮想三次元形状情報生成装置により生成された三次元形状情報が、図10に示した三次元形状情報M1である。図10は、仮想三次元形状情報生成装置により生成された三次元形状情報の一例を示す図である。より具体的には、図10(A)は、仮想三次元形状情報生成装置により生成された三次元形状情報M1の一例を示す。図10(B)は、図10(A)の比較対象としての細胞形状モデルCMである。また、図10(C)は、図10(A)に示した三次元形状情報M1の濃淡を明確に示す加工を施した図である。図10(D)は、図10(B)に示した細胞形状モデルCMの濃淡を明確に示す加工を施した図である。ここで、図10において、三次元形状情報M1における色の濃淡は、仮想三次元形状情報生成装置により推定された透過率を示す。図10に示した例では三次元形状情報M1における色が濃い部分ほど、透過率の低い部分である。また、図10において、細胞形状モデルCMにおける色の濃淡は、細胞形状モデルCMを構成する各ボクセルに設定されている透過率を示す。図10に示した例では、細胞形状モデルCMにおける色が濃いボクセルほど、透過率の低いボクセルである。また、図10(A)においてハッチングされた領域は、三次元形状情報M1の周囲の何もない領域を示しており、三次元形状情報M1の形状を明確に示すため描かれている。また、図10(B)においてハッチングされた領域は、細胞形状モデルCMの周囲の何もない領域を示しており、細胞形状モデルCMの形状を明確に示すため描かれている。
図10(A)に示した三次元形状情報M1と、図10(B)に示した細胞形状モデルCMとを比較することにより、仮想三次元形状情報生成装置は、細胞形状モデルCMを構成する各ボクセルの透過率を再現した三次元形状情報M1の生成に成功していることが分かる。すなわち、三次元形状情報M1内のある位置の透過率と、細胞形状モデルCM内の当該位置に対応する位置の透過率とは、ほぼ同じ又は同じである。従って、仮想三次元形状情報生成装置により生成された三次元形状情報M1を用いることにより、ユーザーは、細胞形状モデルCMの構造を知ることができる。
ここで、図11は、仮想三次元形状情報生成装置によって生成された三次元形状情報M1を、Z軸方向において互いに異なる所定の断面においてスライスした11枚の画像の一例を示す図である。より具体的には、図11(A)は、仮想三次元形状情報生成装置によって生成された三次元形状情報M1を、Z軸方向において互いに異なる断面においてスライスした11枚の画像の一例を示す。図11(B)は、図11(A)に示した11枚の画像の濃淡を明確に示す加工を施した図である。図11(C)の比較対象としての細胞形状モデルCMを、当該所定の断面に対応する断面においてスライスした11枚の画像の一例を示す。図11(D)は、図11(C)に示した11枚の画像の濃淡を明確に示す加工を施した図である。ここで、図11において、各画像における色の濃淡は、透過率を示す。図11に示した例では各画像における色が濃い部分ほど、透過率の低い部分である。
図11(A)に示した各画像と、図11(C)に示した各画像とを比較することにより、仮想三次元形状情報生成装置は、細胞形状モデルCMを構成する各ボクセルの透過率を再現した三次元形状情報M1の生成に成功していることが分かる。すなわち、三次元形状情報M1内のある位置の透過率と、細胞形状モデルCM内の当該位置に対応する位置の透過率とは、ほぼ同じ又は同じである。従って、仮想三次元形状情報生成装置により生成された三次元形状情報M1を用いることにより、ユーザーは、細胞形状モデルCMの構造を知ることができる。
なお、我々が行ったシミュレーションでは、三次元形状情報M1内の各位置の透過率と、細胞形状モデルCM内の当該各位置に対応する位置の透過率との誤差についての平均は、1.101×10-2であった。このことからも、仮想三次元形状情報生成装置は、細胞形状モデルCMを構成する各ボクセルの透過率を再現した三次元形状情報M1の生成に成功していると言える。
従って、実施形態において説明した通り、三次元形状情報生成装置2は、簡易な構成の装置で光透過性を有する物体を撮像することで、物体の三次元形状を示すことができる。
<三次元形状情報生成装置の動作についての実験の結果>
以下、上記において説明した三次元形状情報生成装置2の動作についての実験の結果について説明する。
この実験の結果は、図4に示したフローチャートの処理を、実際に作成した三次元形状情報生成装置2に行わせた結果である。ただし、このシミュレーションでは、上記において説明した検査対象物100の代わりとして、実際の生体の細胞を使用した。
図12は、三次元形状情報生成装置2により撮像された細胞と、その細胞について三次元形状情報生成装置2により生成された三次元形状情報とのそれぞれの一例を示す図である。より具体的には、図12(A)は、三次元形状情報生成装置2によって細胞CL1を撮像した11枚の撮像画像のうちの6枚の撮像画像の一例を示す。なお、図12(A)では、図が煩雑になるのを防ぐため、当該11枚の撮像画像の中から当該6枚の撮像画像を選んで示している。細胞CL1は、がん化(Cancerization)していない正常な細胞の一例を示す。図12(B)は、図12(A)に示した撮像画像に基づいて三次元形状情報生成装置2により生成された三次元形状情報M2の一例を示す。図12(C)は、図12(B)に示した三次元形状情報M2の濃淡を明確に示す加工を施した図である。ここで、図12において、細胞CL1の撮像画像における色の濃淡は、細胞CL1の光の透過率を示す。図12に示した例では当該撮像画像における色が濃い部分ほど、透過率の低い部分である。また、図12において、三次元形状情報M2における色の濃淡は、三次元形状情報生成装置2により推定された透過率を示す。図12に示した例では三次元形状情報M2における色が濃い部分ほど、透過率の低い部分である。また、図12(B)においてハッチングされた領域は、細胞CL1の周囲の何もない領域を示しており、細胞CL1の形状を明確に示すため描かれている。
図12に示したように、三次元形状情報生成装置2は、細胞CL1の形状と同じ形状の三次元形状情報M2の生成に成功している。また、図12(B)に示した三次元形状情報M2には、図12(A)に示した細胞CL1の細胞核に相当する領域M2Nが、周囲の透過率と比較して低い透過率の領域として現われている。また、同様に、図12(B)に示した三次元形状情報M2には、図12(A)に示した細胞CL1の細胞膜に相当する領域M2Mが、細胞CL1の細胞核に相当する領域M2Nの周囲の領域として現われている。すなわち、ユーザーは、図12(B)に示した三次元形状情報M2を見ることにより、細胞CL1ががん化していない正常な細胞であるか否かを判定することができる。これは、細胞CL1ががん化しているか否かを判定する指標の1つが、細胞膜に対する細胞核の大きさの割合であるためである。更に、ユーザーは、図12(B)に示した三次元形状情報M2を見ることにより、細胞CL1ががん化しているか否かを、三次元的に判定することができる。これは、図12(A)に示した6枚の撮像画像を含む11枚の撮像画像に基づく細胞CL1の三次元形状をユーザーが頭の中に思い描く必要がないことを意味する。これにより、三次元形状情報生成装置2は、細胞CL1ががん化しているか否かを、容易に精度よくユーザーに判定させることができる。
図13は、三次元形状情報生成装置2により撮像された細胞と、その細胞について三次元形状情報生成装置2により生成された三次元形状情報とのそれぞれの他の例を示す図である。より具体的には、図13(A)は、三次元形状情報生成装置2によって細胞CL2を撮像した11枚の撮像画像のうちの6枚の撮像画像の一例を示す。なお、図13(A)では、図が煩雑になるのを防ぐため、当該11枚の撮像画像の中から当該6枚の撮像画像を選んで示している。細胞CL2は、がん化(Cancerization)している可能性の高い細胞の一例を示す。図13(B)は、図13(A)に示した撮像画像に基づいて三次元形状情報生成装置2により生成された三次元形状情報M3の一例を示す。図13(C)は、図13(B)に示した三次元形状情報M3の濃淡を明確に示す加工を施した図である。ここで、図13において、細胞CL2の撮像画像における色の濃淡は、細胞CL2の光の透過率を示す。図13に示した例では当該撮像画像における色が濃い部分ほど、透過率の低い部分である。また、図13において、三次元形状情報M3における色の濃淡は、三次元形状情報生成装置2により推定された透過率を示す。図13に示した例では三次元形状情報M3における色が濃い部分ほど、透過率の低い部分である。また、図13(B)においてハッチングされた領域は、細胞CL2の周囲の何もない領域を示しており、細胞CL2の形状を明確に示すため描かれている。
図13に示したように、三次元形状情報生成装置2は、細胞CL2の形状と同じ形状の三次元形状情報M3の生成に成功している。また、図13(B)に示した三次元形状情報M3には、図13(A)に示した細胞CL2の細胞核に相当する領域M3Nが、周囲の透過率と比較して低い透過率の領域として現われている。また、同様に、図13(B)に示した三次元形状情報M3には、図13(A)に示した細胞CL2の細胞膜に相当する領域M3Mが、細胞CL2の細胞核に相当する領域M3Nの周囲の領域として現われている。すなわち、ユーザーは、図13(B)に示した三次元形状情報M3を見ることにより、細胞CL2ががん化している可能性の高い細胞であるか否かを判定することができる。更に、ユーザーは、図13(B)に示した三次元形状情報M3を見ることにより、細胞CL2ががん化しているか否かを、三次元的に判定することができる。これは、図13(A)に示した6枚の撮像画像を含む11枚の撮像画像に基づく細胞CL2の三次元形状をユーザーが頭の中に思い描く必要がないことを意味する。これにより、三次元形状情報生成装置2は、細胞CL2ががん化しているか否かを、容易に精度よくユーザーに判定させることができる。
図14は、三次元形状情報生成装置2により撮像された細胞と、その細胞について三次元形状情報生成装置2により生成された三次元形状情報とのそれぞれの更に他の例を示す図である。より具体的には、図14(A)は、三次元形状情報生成装置2によって細胞CL4に重なっている細胞CL3を撮像した11枚の撮像画像のうちの6枚の撮像画像の一例を示す。なお、図14(A)では、図が煩雑になるのを防ぐため、当該11枚の撮像画像の中から当該6枚の撮像画像を選んで示している。細胞CL3は、がん化(Cancerization)していない正常な細胞の一例を示す。また、細胞CL4は、がん化(Cancerization)していない正常な細胞の一例を示す。図14(B)は、図14(A)に示した撮像画像に基づいて三次元形状情報生成装置2により生成された三次元形状情報M4の一例を示す。図14(C)は、図14(B)に示した三次元形状情報M4の濃淡を明確に示す加工を施した図である。ここで、図14において、細胞CL3及び細胞CL4の撮像画像における色の濃淡は、細胞CL3及び細胞CL4の光の透過率を示す。図14に示した例では当該撮像画像における色が濃い部分ほど、透過率の低い部分である。また、図14において、三次元形状情報M4における色の濃淡は、三次元形状情報生成装置2により推定された透過率を示す。図14に示した例では三次元形状情報M4における色が濃い部分ほど、透過率の低い部分である。また、図14(B)においてハッチングされた領域は、細胞CL3及び細胞CL4の周囲の何もない領域を示しており、細胞CL3及び細胞CL4の形状を明確に示すため描かれている。
図14に示したように、三次元形状情報生成装置2は、細胞CL4に重なっている細胞CL3の様子を示す三次元形状情報M4の生成に成功している。また、図14(B)に示した三次元形状情報M4には、図13(A)に示した細胞CL3の細胞核に相当する領域M41Nと、細胞CL4の細胞核に相当する領域M42Nとが、周囲の透過率と比較して低い透過率の領域として現われている。また、同様に、図13(B)に示した三次元形状情報M4には、図13(A)に示した細胞CL3の細胞膜に相当する領域M41Mが、細胞CL3の細胞核に相当する領域M41Nの周囲の領域として現われている。また、同様に、図13(B)に示した三次元形状情報M4には、図13(A)に示した細胞CL4の細胞膜に相当する領域M42Mが、細胞CL4の細胞核に相当する領域M42Nの周囲の領域として現われている。すなわち、ユーザーは、図14(B)に示した三次元形状情報M4を見ることにより、重なり合っている2つの細胞を弁別することができ、且つ、当該2つの細胞のそれぞれについてがん化している可能性の高い細胞であるか否かを判定することができる。更に、ユーザーは、図14(B)に示した三次元形状情報M4を見ることにより、細胞CL3及び細胞CL4のそれぞれががん化しているか否かを、三次元的に判定することができる。これは、図14(A)に示した6枚の撮像画像を含む11枚の撮像画像に基づいて細胞CL4と重なっている細胞CL3の三次元形状をユーザーが頭の中に思い描く必要がないことを意味する。これにより、三次元形状情報生成装置2は、細胞CL3及び細胞CL4のそれぞれががん化しているか否かを、容易に精度よくユーザーに判定させることができる。
以上説明したように、本実施形態に係る三次元形状情報生成装置2によれば、光源21から照射した光Bを、検査対象物100に集光させ、その透過光Btを撮像部23で撮像する。合焦位置移動部31により、検査対象物100における光Bの合焦位置Pを、検査対象物100に対してZ軸方向で複数に異ならせ、それぞれの合焦位置Pで透過光Btを撮像する。このように、断層画像ではなく、光源21からの光Bの合焦位置Pを複数に異ならせたときの検査対象物100の光Bの透過画像に基づいて、検査対象物100の三次元形状情報Mを生成することができるので、装置の構成を簡易なものとすることができる。
したがって、簡易な構成の撮像機20で、光透過性を有する検査対象物100を撮像することで、検査対象物100の三次元形状を示す三次元形状情報Mを生成することができる。
また、三次元形状情報生成装置2は、検査対象物100を複数のボクセル100sに分割し、それぞれのボクセル100sの透過光Btの透過率に基づいて三次元形状情報Mを生成する。これにより、複数の断層画像に基づいて三次元形状を生成する場合に比較し、三次元形状情報Mを生成するための処理を、容易に行うことができる。これにより、生成部33における三次元形状情報Mを生成するための画像処理の負荷が軽減される。
また、三次元形状情報生成装置2は、合焦位置Pで合焦した光Bを撮像部23の各画素上に集光させる。これにより、合焦位置Pを合わせたボクセル100sを透過した光Bの透過率を、効率良く検出することが可能となる。
また、三次元形状情報生成装置2は、複数の撮像画像のそれぞれについて、撮像がオズの各画素の輝度値と、複数のボクセル100sそれぞれの透過光Btの透過率とを対応付ける複数の方程式を算出し、算出した複数の方程式に基づいて、三次元形状情報Mを生成する。このような構成によれば、検査対象物100の光Bの透過画像に基づいて、検査対象物100の三次元形状情報Mを生成することが可能となる。
また、三次元形状情報生成装置2は、生体組織に含まれる細胞(細胞核モデルMs)の三次元形状を示す三次元形状情報Mを得ることができる。したがって、生体の診断を、より簡易かつ高精度に行うことが可能となる。
また、上述したような細胞判定システム1は、細胞の三次元形状を、より簡易に得ることができるので、決められた条件を満たす細胞が含まれているか否かの判定を、判定装置5により、迅速かつ高精度に行うことが可能となる。
決められた条件として、「細胞ががん細胞であること」と設定することで、生体組織にがん細胞が含まれているか否かを、迅速かつ高精度に判断することが可能となる。また、判定装置5における判定結果に基づいて学習済モデルを生成することで、生体組織にがん細胞が含まれているか否かの判定を、より一層高精度に行うことが可能となる。
なお、本発明の技術的範囲は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、三次元形状情報生成装置2では、検査対象物100に、がん細胞が含まれているか否かを判定するようにしたが、がん細胞以外の細胞等を検出する用途で三次元形状情報生成装置2を用いることもできる。さらに、検査対象物100は、生体組織に限らず、光透過性を有している様々な物体であってもよい。
また、上記実施形態で、各ボクセル100sの透過率を推定するために用いた各式は、適宜変更可能である。
その他、本発明の趣旨に逸脱しない範囲で、前記実施形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は前記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
1 細胞判定システム
2 三次元形状情報生成装置
5 判定装置
20 撮像機
21 光源
22 対象物支持部
23 撮像部
23m 画素
23s 撮像素子
24 集光部
30 コントローラ
31 合焦位置移動部
32 撮像制御部
33 生成部
100 検査対象物
100s ボクセル(立体領域)
B 光
Bt 透過光
M 三次元形状情報
Ms 細胞核モデル
P 合焦位置

Claims (7)

  1. 光透過性を有する物体に対して光を照射する光源と、
    前記物体を透過した透過光を撮像する撮像部と、
    前記光源で照射される前記光の合焦位置を、前記物体を複数に区分することによって設定される複数の立体領域のそれぞれに対し相対的に移動させる合焦位置移動部と、
    前記合焦位置移動部で前記物体に対する前記光の合焦位置を複数に異ならせたときに、複数の前記合焦位置のそれぞれで、前記撮像部で前記透過光を撮像させる撮像制御部と、
    複数の前記合焦位置のそれぞれで撮像された複数の撮像画像に基づいて、複数の前記立体領域それぞれの前記光の透過率を算出し、算出した複数の前記立体領域それぞれの前記透過率に基づいて、前記物体の三次元形状を示す三次元形状情報を生成する生成部と、
    を備える三次元形状情報生成装置。
  2. 前記撮像制御部は、前記光源と前記撮像部とを結ぶ第一軸方向、前記第一軸方向に交差する第二軸方向、及び前記第一軸方向と前記第二軸方向とに交差する第三軸方向のそれぞれにおいて、前記物体を複数に区分することによって複数の前記立体領域を設定する、
    請求項1に記載の三次元形状情報生成装置。
  3. 前記透過光を前記撮像部の画素上に集光する集光部をさらに備え、
    前記生成部は、前記集光部で前記透過光が集光された前記画素の輝度値に基づいて、複数の前記立体領域それぞれの前記透過率を算出する、
    請求項1又は2に記載の三次元形状情報生成装置。
  4. 前記生成部は、複数の前記撮像画像のそれぞれについて、前記撮像画像の各画素の輝度値と、複数の前記立体領域それぞれの前記透過率とを対応付ける複数の方程式を算出し、算出した複数の前記方程式に基づいて、前記三次元形状情報を生成する、
    請求項1からのうちいずれか一項に記載の三次元形状情報生成装置。
  5. 前記物体は、1以上の細胞を含む生体組織である、
    請求項1から4のうちいずれか一項に記載の三次元形状情報生成装置。
  6. 請求項に記載の三次元形状情報生成装置と、
    前記三次元形状情報生成装置により生成された前記三次元形状情報に基づいて、前記生体組織に予め決められた条件を満たす細胞が含まれているか否かを判定する判定装置と、
    を備える細胞判定システム。
  7. 前記条件は、前記細胞ががん細胞であること、であり、
    前記判定装置は、前記三次元形状情報生成装置により生成された前記三次元形状情報と、前記判定装置における判定結果に基づく学習済モデルとに基づいて、前記生体組織に前記条件を満たす細胞が含まれているか否かを判定する、
    請求項6に記載の細胞判定システム。
JP2019237110A 2019-01-09 2019-12-26 三次元形状情報生成装置、細胞判定システム Active JP7420346B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019002165 2019-01-09
JP2019002165 2019-01-09

Publications (2)

Publication Number Publication Date
JP2020112552A JP2020112552A (ja) 2020-07-27
JP7420346B2 true JP7420346B2 (ja) 2024-01-23

Family

ID=71666926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019237110A Active JP7420346B2 (ja) 2019-01-09 2019-12-26 三次元形状情報生成装置、細胞判定システム

Country Status (1)

Country Link
JP (1) JP7420346B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011044016A (ja) 2009-08-21 2011-03-03 Olympus Corp 三次元細胞画像解析装置
JP2013101512A (ja) 2011-11-08 2013-05-23 Dainippon Printing Co Ltd 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム
JP2016071588A (ja) 2014-09-30 2016-05-09 株式会社Screenホールディングス 画像処理方法および画像処理装置
WO2016103501A1 (ja) 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
JP2016127342A (ja) 2014-12-26 2016-07-11 株式会社Screenホールディングス 画像処理方法、制御プログラムおよび画像処理装置
WO2017200066A1 (ja) 2016-05-18 2017-11-23 国立大学法人三重大学 がん検査装置、がん検査方法、および、がん検査用の染色剤

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011044016A (ja) 2009-08-21 2011-03-03 Olympus Corp 三次元細胞画像解析装置
JP2013101512A (ja) 2011-11-08 2013-05-23 Dainippon Printing Co Ltd 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム
JP2016071588A (ja) 2014-09-30 2016-05-09 株式会社Screenホールディングス 画像処理方法および画像処理装置
WO2016103501A1 (ja) 2014-12-26 2016-06-30 国立大学法人東京大学 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞
JP2016127342A (ja) 2014-12-26 2016-07-11 株式会社Screenホールディングス 画像処理方法、制御プログラムおよび画像処理装置
WO2017200066A1 (ja) 2016-05-18 2017-11-23 国立大学法人三重大学 がん検査装置、がん検査方法、および、がん検査用の染色剤

Also Published As

Publication number Publication date
JP2020112552A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
CA2931529C (en) 3d corrected imaging
US20180053335A1 (en) Method and Device for Displaying an Object
US9524552B2 (en) 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos
US11030482B2 (en) Annotation device and annotation method
US10182185B2 (en) Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points
EP3270770A1 (en) Methods and apparatus for identifying skin features of interest
JP6447675B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
JP6475312B1 (ja) オプティカルトラッキングシステム及びオプティカルトラッキング方法
US20170270662A1 (en) Image generation device, image generation method, recording medium, and processing method
WO2018042786A1 (ja) 画像処理方法、画像処理装置、および撮像装置
US20080200818A1 (en) Surface measurement apparatus and method using parallax views
US11013578B2 (en) Method to correct a dental digital model
CN117064311B (zh) 一种内窥镜图像的处理方法及内窥镜成像系统
JP7420346B2 (ja) 三次元形状情報生成装置、細胞判定システム
JP5336325B2 (ja) 画像処理方法
JP2009056149A (ja) 前眼部観察装置
DE102013009634B4 (de) Plenoptisches Bildgebungsverfahren
JP6346032B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5027624B2 (ja) 画像処理方法および画像処理装置
JP6412936B2 (ja) 3次元x線像を撮影する方法
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
CN113658243B (zh) 眼底三维模型建立方法、眼底照相机、装置和存储介质
US20230274441A1 (en) Analysis method and analysis apparatus

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231227

R150 Certificate of patent or registration of utility model

Ref document number: 7420346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150