JP7420346B2 - 三次元形状情報生成装置、細胞判定システム - Google Patents
三次元形状情報生成装置、細胞判定システム Download PDFInfo
- Publication number
- JP7420346B2 JP7420346B2 JP2019237110A JP2019237110A JP7420346B2 JP 7420346 B2 JP7420346 B2 JP 7420346B2 JP 2019237110 A JP2019237110 A JP 2019237110A JP 2019237110 A JP2019237110 A JP 2019237110A JP 7420346 B2 JP7420346 B2 JP 7420346B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- shape information
- cell
- light
- generation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002834 transmittance Methods 0.000 claims description 77
- 238000003384 imaging method Methods 0.000 claims description 66
- 206010028980 Neoplasm Diseases 0.000 claims description 17
- 201000011510 cancer Diseases 0.000 claims description 17
- 210000004027 cell Anatomy 0.000 description 180
- 238000007689 inspection Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 36
- 210000003855 cell nucleus Anatomy 0.000 description 23
- 210000001519 tissue Anatomy 0.000 description 17
- 238000004088 simulation Methods 0.000 description 9
- 210000000170 cell membrane Anatomy 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 102220500397 Neutral and basic amino acid transport protein rBAT_M41T_mutation Human genes 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Description
また、下記特許文献2に記載されているような、画像処理方法が知られている。この画像処理方法では、撮像光学系の焦点位置の設定値を撮像光学系の光軸方向に多段階に変更設定し、各設定値で細胞を明視野撮像して複数の原画像を取得することで、細胞の輪郭が明瞭な画像を作成する。
図1に示すように、細胞判定システム1は、三次元形状情報生成装置2と、判定装置5と、を備える。本実施形態において、細胞判定システム1は、生体組織にがん細胞が含まれているか否かを判定する。このため、細胞判定システム1は、生体組織を検査対象物100とする。検査対象物100である生体組織は、半透明で、光透過性を有する。なお、細胞判定システム1は、生体組織にがん細胞が含まれているか否かを判定する構成に代えて、生体組織にユーザーが所望する所定の種類の細胞が含まれているか否かを判定する構成であってもよい。
本実施形態において、撮像制御部32は、検査対象物100を複数に区分することで、検査対象物100に複数のボクセル(立体領域)100sを設定する。ここで、図3に示すように、各ボクセル100sは、検査対象物100を、Z軸方向、X軸方向、及びY軸方向のそれぞれにおいて、検査対象物100を複数に区分することによって設定される。図3は、細胞判定システム1における検査対象物100を、複数のボクセル100sに区分した例を示す斜視図である。つまり、各ボクセル100sは、直方体状をなしている。なお、各ボクセル100sのうちの一部又は全部は、直方体状以外の形状をなす構成であってもよい。
まず、図4に示すように、三次元形状情報生成装置2で、検査対象の生体組織を検査対象物100として、撮像を行う。
これには、プレパラート等に載せた検査対象物100を、対象物支持部22にセットする(ステップS1)。また、図3に示すように、撮像制御部32では、予め定められたコンピュータプログラムに基づいて、検査対象物100を、複数に区分し、複数のボクセル100sを設定する。
これにより、合焦位置PをZ軸方向で異ならせた複数枚の撮像画像が得られる。
生成部33は、撮像部23で撮像された複数の撮像画像に基づいて、複数のボクセル100sそれぞれの透過光Btの透過率を算出する。ボクセル100sに、がん細胞等の細胞核がなければ、透過光Btの透過率は高くなる。ボクセル100sに、細胞核があれば、透過光Btの透過率は低くなる。
具体的には、生成部33は、各撮像画像に含まれる、撮像素子23sの各画素の輝度値を、画像処理により検出する。生成部33は、検出された輝度値に基づいて、各ボクセル100sの透過光Btの透過率を算出する。
ここで、あるボクセル100sに光Bの焦点が一致している場合、透過光Btは、透過光Btの光路上に位置する他のボクセル100sも通る。例えば、撮像素子23sの画素23m上で集光された透過光Btの輝度値には、合焦位置Pのボクセル100s1だけでなく、他の複数のボクセル100sの影響が含まれている。
そこで、生成部33は、複数のボクセル100sに合焦位置Pを異ならせて撮像した複数枚の撮像画像における各画素の輝度値と、複数のボクセル100sそれぞれの透過光Btの透過率とを対応付ける複数の方程式を、以下のように算出する。
撮像画像PH上の画素のX軸方向、Y軸方向、Z軸方向のそれぞれにおける位置を示す座標を(x、y、z)によって示した場合、透過光Btが集光された各画素の輝度値を255で割った値f(x、y、z)は、以下の式(1)で表される。ここで、当該各画素は、撮像画像PH上の画素のことである。
データ項Eは、次式(4)で表される。ここで、Pkは、撮像画像PH上の画素のうち座標(xk、yk、zk)によって示される位置に位置する画素の輝度値である。
なおここで示す、各ボクセル100sの透過率に応じて設定する色や、色の濃淡等の描画情報は一例にすぎず、適宜変更することが可能である。
このとき、比較対象モデルには、判定装置5における過去の判定結果において「がん細胞である」と判定された複数の細胞核モデルMsに基づいて、人工知能 (Artificial Intelligence)プログラム等によって生成された学習済モデルを用いるのが好ましい。
以下、上記において説明した三次元形状情報生成装置2の動作についてのシミュレーションの結果について説明する。
以下、上記において説明した三次元形状情報生成装置2の動作についての実験の結果について説明する。
したがって、簡易な構成の撮像機20で、光透過性を有する検査対象物100を撮像することで、検査対象物100の三次元形状を示す三次元形状情報Mを生成することができる。
決められた条件として、「細胞ががん細胞であること」と設定することで、生体組織にがん細胞が含まれているか否かを、迅速かつ高精度に判断することが可能となる。また、判定装置5における判定結果に基づいて学習済モデルを生成することで、生体組織にがん細胞が含まれているか否かの判定を、より一層高精度に行うことが可能となる。
例えば、三次元形状情報生成装置2では、検査対象物100に、がん細胞が含まれているか否かを判定するようにしたが、がん細胞以外の細胞等を検出する用途で三次元形状情報生成装置2を用いることもできる。さらに、検査対象物100は、生体組織に限らず、光透過性を有している様々な物体であってもよい。
また、上記実施形態で、各ボクセル100sの透過率を推定するために用いた各式は、適宜変更可能である。
2 三次元形状情報生成装置
5 判定装置
20 撮像機
21 光源
22 対象物支持部
23 撮像部
23m 画素
23s 撮像素子
24 集光部
30 コントローラ
31 合焦位置移動部
32 撮像制御部
33 生成部
100 検査対象物
100s ボクセル(立体領域)
B 光
Bt 透過光
M 三次元形状情報
Ms 細胞核モデル
P 合焦位置
Claims (7)
- 光透過性を有する物体に対して光を照射する光源と、
前記物体を透過した透過光を撮像する撮像部と、
前記光源で照射される前記光の合焦位置を、前記物体を複数に区分することによって設定される複数の立体領域のそれぞれに対して相対的に移動させる合焦位置移動部と、
前記合焦位置移動部で前記物体に対する前記光の合焦位置を複数に異ならせたときに、複数の前記合焦位置のそれぞれで、前記撮像部で前記透過光を撮像させる撮像制御部と、
複数の前記合焦位置のそれぞれで撮像された複数の撮像画像に基づいて、複数の前記立体領域それぞれの前記光の透過率を算出し、算出した複数の前記立体領域それぞれの前記透過率に基づいて、前記物体の三次元形状を示す三次元形状情報を生成する生成部と、
を備える三次元形状情報生成装置。 - 前記撮像制御部は、前記光源と前記撮像部とを結ぶ第一軸方向、前記第一軸方向に交差する第二軸方向、及び前記第一軸方向と前記第二軸方向とに交差する第三軸方向のそれぞれにおいて、前記物体を複数に区分することによって複数の前記立体領域を設定する、
請求項1に記載の三次元形状情報生成装置。 - 前記透過光を前記撮像部の画素上に集光する集光部をさらに備え、
前記生成部は、前記集光部で前記透過光が集光された前記画素の輝度値に基づいて、複数の前記立体領域それぞれの前記透過率を算出する、
請求項1又は2に記載の三次元形状情報生成装置。 - 前記生成部は、複数の前記撮像画像のそれぞれについて、前記撮像画像の各画素の輝度値と、複数の前記立体領域それぞれの前記透過率とを対応付ける複数の方程式を算出し、算出した複数の前記方程式に基づいて、前記三次元形状情報を生成する、
請求項1から3のうちいずれか一項に記載の三次元形状情報生成装置。 - 前記物体は、1以上の細胞を含む生体組織である、
請求項1から4のうちいずれか一項に記載の三次元形状情報生成装置。 - 請求項5に記載の三次元形状情報生成装置と、
前記三次元形状情報生成装置により生成された前記三次元形状情報に基づいて、前記生体組織に予め決められた条件を満たす細胞が含まれているか否かを判定する判定装置と、
を備える細胞判定システム。 - 前記条件は、前記細胞ががん細胞であること、であり、
前記判定装置は、前記三次元形状情報生成装置により生成された前記三次元形状情報と、前記判定装置における判定結果に基づく学習済モデルとに基づいて、前記生体組織に前記条件を満たす細胞が含まれているか否かを判定する、
請求項6に記載の細胞判定システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019002165 | 2019-01-09 | ||
JP2019002165 | 2019-01-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020112552A JP2020112552A (ja) | 2020-07-27 |
JP7420346B2 true JP7420346B2 (ja) | 2024-01-23 |
Family
ID=71666926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019237110A Active JP7420346B2 (ja) | 2019-01-09 | 2019-12-26 | 三次元形状情報生成装置、細胞判定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7420346B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011044016A (ja) | 2009-08-21 | 2011-03-03 | Olympus Corp | 三次元細胞画像解析装置 |
JP2013101512A (ja) | 2011-11-08 | 2013-05-23 | Dainippon Printing Co Ltd | 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム |
JP2016071588A (ja) | 2014-09-30 | 2016-05-09 | 株式会社Screenホールディングス | 画像処理方法および画像処理装置 |
WO2016103501A1 (ja) | 2014-12-26 | 2016-06-30 | 国立大学法人東京大学 | 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞 |
JP2016127342A (ja) | 2014-12-26 | 2016-07-11 | 株式会社Screenホールディングス | 画像処理方法、制御プログラムおよび画像処理装置 |
WO2017200066A1 (ja) | 2016-05-18 | 2017-11-23 | 国立大学法人三重大学 | がん検査装置、がん検査方法、および、がん検査用の染色剤 |
-
2019
- 2019-12-26 JP JP2019237110A patent/JP7420346B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011044016A (ja) | 2009-08-21 | 2011-03-03 | Olympus Corp | 三次元細胞画像解析装置 |
JP2013101512A (ja) | 2011-11-08 | 2013-05-23 | Dainippon Printing Co Ltd | 細胞断面解析装置、細胞断面解析方法、及び細胞断面解析プログラム |
JP2016071588A (ja) | 2014-09-30 | 2016-05-09 | 株式会社Screenホールディングス | 画像処理方法および画像処理装置 |
WO2016103501A1 (ja) | 2014-12-26 | 2016-06-30 | 国立大学法人東京大学 | 解析装置、解析方法、解析プログラム、細胞の製造方法、および細胞 |
JP2016127342A (ja) | 2014-12-26 | 2016-07-11 | 株式会社Screenホールディングス | 画像処理方法、制御プログラムおよび画像処理装置 |
WO2017200066A1 (ja) | 2016-05-18 | 2017-11-23 | 国立大学法人三重大学 | がん検査装置、がん検査方法、および、がん検査用の染色剤 |
Also Published As
Publication number | Publication date |
---|---|
JP2020112552A (ja) | 2020-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3776458B1 (en) | Augmented reality microscope for pathology with overlay of quantitative biomarker data | |
CA2931529C (en) | 3d corrected imaging | |
US20180053335A1 (en) | Method and Device for Displaying an Object | |
US9524552B2 (en) | 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos | |
US11030482B2 (en) | Annotation device and annotation method | |
US10182185B2 (en) | Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points | |
EP3270770A1 (en) | Methods and apparatus for identifying skin features of interest | |
JP6447675B2 (ja) | 情報処理装置、情報処理方法、プログラム及び顕微鏡システム | |
CN110246580B (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
JP6475312B1 (ja) | オプティカルトラッキングシステム及びオプティカルトラッキング方法 | |
US20170270662A1 (en) | Image generation device, image generation method, recording medium, and processing method | |
WO2018042786A1 (ja) | 画像処理方法、画像処理装置、および撮像装置 | |
US20080200818A1 (en) | Surface measurement apparatus and method using parallax views | |
US11013578B2 (en) | Method to correct a dental digital model | |
CN117064311B (zh) | 一种内窥镜图像的处理方法及内窥镜成像系统 | |
JP7420346B2 (ja) | 三次元形状情報生成装置、細胞判定システム | |
JP5336325B2 (ja) | 画像処理方法 | |
JP2009056149A (ja) | 前眼部観察装置 | |
DE102013009634B4 (de) | Plenoptisches Bildgebungsverfahren | |
JP6346032B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5027624B2 (ja) | 画像処理方法および画像処理装置 | |
JP6412936B2 (ja) | 3次元x線像を撮影する方法 | |
JP2010121955A (ja) | 高さ情報取得装置、高さ情報取得方法、及びプログラム | |
CN113658243B (zh) | 眼底三维模型建立方法、眼底照相机、装置和存储介质 | |
US20230274441A1 (en) | Analysis method and analysis apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230726 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7420346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |