JP6346455B2 - 画像処理装置及び顕微鏡システム - Google Patents
画像処理装置及び顕微鏡システム Download PDFInfo
- Publication number
- JP6346455B2 JP6346455B2 JP2014029181A JP2014029181A JP6346455B2 JP 6346455 B2 JP6346455 B2 JP 6346455B2 JP 2014029181 A JP2014029181 A JP 2014029181A JP 2014029181 A JP2014029181 A JP 2014029181A JP 6346455 B2 JP6346455 B2 JP 6346455B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sample
- depth
- image processing
- focal plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 74
- 238000012937 correction Methods 0.000 claims description 99
- 230000003287 optical effect Effects 0.000 claims description 54
- 238000003384 imaging method Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 32
- 230000005284 excitation Effects 0.000 description 24
- 239000011324 bead Substances 0.000 description 18
- 238000005286 illumination Methods 0.000 description 16
- 239000011521 glass Substances 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 238000012986 modification Methods 0.000 description 15
- 239000000463 material Substances 0.000 description 11
- 239000000126 substance Substances 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 239000006059 cover glass Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 239000007850 fluorescent dye Substances 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004611 spectroscopical analysis Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 1
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical class O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
図1は、本発明の実施の形態1に係る顕微鏡システムの構成例を示す模式図である。図1に示すように、実施の形態1に係る顕微鏡システム1は、撮像機能を備える顕微鏡装置10と、該顕微鏡装置10において試料SPを撮像することにより得られた画像を処理する画像処理装置20とを備える。
g(z)=Ir(0)/Ir(z) …(1)
このように取得された補正ゲインg(z)は、観察条件と共にパラメータ設定部203に記憶される。
まず、ステップS10において、制御部208は、顕微鏡装置10における観察条件を設定する。具体的には、レボルバ104に設けられたエンコーダの出力値に基づいて対物レンズ105の倍率及び開口数を設定すると共に、入力部207を用いて入力される情報に基づいて試料SPの種別を設定する。なお、試料SPの種別については、該種別を表すバーコードラベルをスライドガラス標本SGに貼付し、バーコードリーダによりこのバーコードラベルを読み取ることにより、試料SPの種別等の観察条件が自動設定されるようにしても良い。
Ic(X,Y)=g(z)×Ir(X,Y) …(2)
その後、顕微鏡システム1の動作は終了する。
次に、本発明の実施の形態1の変形例1−1について説明する。
上記実施の形態1においては、試料SPに対して蛍光観察を行う場合について説明したが、本実施の形態1は、蛍光観察以外の検鏡法を行う場合にも適用することができる。例えば、顕微鏡装置10に対してステージ103の下方から透過照明光を照射する透過照明光学系及び透過照明光源を追加し、透過観察を行う場合においても、同様の手法で画像の輝度を補正することができる。
次に、本発明の実施の形態1の変形例1−2について説明する。
上記実施の形態1においては、1つの焦点面に対して1回の撮像を行う場合を説明したが、1つの焦点面に対し、ステージ103をxy平面内でずらしながら複数回撮像を行うことにより、試料SPの広範囲な領域に対して撮像を行っても良い。この場合においても、焦点面の深さが同一の複数の画像は、同一の補正ゲインg(z)を用いて補正される。
次に、本発明の実施の形態2について説明する。
上記実施の形態1においては、焦点面の深さに応じて変化する画像の輝度を補正することとしたが、実施の形態2においては、焦点面の深さに応じて生じる画像のボケを補正する。実施の形態2に係る顕微鏡システムの構成及び該顕微鏡システムの動作は、全体として実施の形態1と同様であり(図1及び図7参照)、パラメータ設定部203及び画像処理部205の詳細な動作が実施の形態1と異なる。
Ic=IFT(WF(u,v)・FT(Ir)) …(4)
式(4)において、符号FTはフーリエ変換を示し、符号IFTは逆フーリエ変換を示す。
続くステップS17〜S20の動作は、実施の形態1と同様である。
次に、本発明の実施の形態2の変形例2−1について説明する。
上記実施の形態2においては、試料SPに対する蛍光観察により取得された画像に対する処理を説明したが、実施の形態2は、蛍光観察以外の検鏡法により得られた画像に対しても適用することができる。例えば、試料SPに対して透過観察を行う場合、標準試料SP’を透過観察することにより得られた画像から点拡がり関数PSFを取得し、この点拡がり関数を焦点面の深さと関連付けたルックアップテーブルを作成して、パラメータ設定部203に予め保持させておけば良い。
次に、本発明の実施の形態2の変形例2−2について説明する。
点拡がり関数を用いた補正処理としては、上述したウィーナフィルタを用いる手法の他にも、公知の種々の手法を適用することができる。具体的には、点拡がり関数に基づく繰り返し処理による最適化を適用しても良い。或いは、制限付最小二乗誤差法、最尤推定法、リチャードソン−ルーシー法等を適用しても良い。
次に、本発明の実施の形態2の変形例2−3について説明する。
上記実施の形態2においては、焦点面の深さに応じた点拡がり関数を補正パラメータとしてパラメータ設定部203に記憶させたが、この点拡がり関数を用いて作成した復元フィルタ(例えば、ウィーナフィルタ)を補正パラメータとして、焦点面の深さと関連付けてパラメータ設定部203に記憶させておいても良い。この場合、式(3)に示すSN比(S(u,v)≠0)を定数にすると良い。
次に、本発明の実施の形態2の変形例2−4について説明する。
上記実施の形態2においては、補正対象画像の焦点面の深さと関連付けられた補正パラメータを用いて補正処理を行う場合を説明した。しかしながら、実際には、補正対象画像の焦点面の深さに対応する補正パラメータがパラメータ設定部203に記憶されていない場合がある。このような場合、焦点面の近傍の深さと関連付けられた補正パラメータを用いて補間演算を行うことにより、当該補正対象画像に適用する補正パラメータを算出しても良い。
次に、本発明の実施の形態3について説明する。
上記実施の形態2においては、焦点面の深さに応じた補正パラメータを用いて画像のボケを補正することとしたが、本実施の形態3においては、焦点面の深さが異なる画像間におけるボケの度合いを揃えることとする。実施の形態3に係る顕微鏡システムの構成及び該顕微鏡システムの動作は、全体として実施の形態1及び2と同様であり(図1及び図7参照)、パラメータ設定部203及び画像処理部205の詳細な動作が実施の形態2と異なる。
hi(u,v)=FT(qi)/FT(p) …(7)
式(7)において、符号FTはフーリエ変換を示す。
PSF’i=IFT(wfi(u,v)) …(8)
(7)において、符号IFTは、逆フーリエ変換を示す。この補正パラメータPSF’iは、基準とする焦点面の深さ(例えばz=z1)に対する焦点面の深さziにおける相対的なボケを表す。
次に、本発明の実施の形態3の変形例3−1について説明する。
補正パラメータPSF’iを用いた補正処理としては、実施の形態2と同様のウィーナフィルタを用いる手法の他にも、公知の種々の手法を適用することができる。具体的には、点拡がり関数に基づく繰り返し処理による最適化を適用しても良い。或いは、制限付最小二乗誤差法、最尤推定法、リチャードソン−ルーシー法等を適用しても良い。
次に、本発明の実施の形態3の変形例3−2について説明する。
実施の形態1のように画像の輝度を補正する場合にも、上記実施の形態3と同様に、焦点面の深度が異なる画像間で輝度が揃うように、各深度に対応する補正パラメータを設定しても良い。
g(z)=Ir(z1)/Ir(z) …(9)
10 顕微鏡装置
20 画像処理装置
101 胴部
102 ステージ保持部材
103 ステージ
104 レボルバ
105 対物レンズ
106 光源部
107 落射蛍光投光管
108 落射照明光学系
109 蛍光キューブ
110 接眼鏡筒
111 接眼レンズユニット
112 撮像ユニット
113 撮像素子
114 モータ
115 焦準駆動部
201 画像取得部
202 位置情報取得部
203 パラメータ設定部
204 記憶部
205 画像処理部
206 表示部
207 入力部
208 制御部
Claims (7)
- 試料を載置するステージと、前記ステージを移動させるモータと、前記試料を撮像する撮像素子と、を備える顕微鏡装置が撮像した画像を処理する画像処理装置であって、
前記試料の厚みよりも被写界深度が小さい光学系を介して、前記試料を撮像することにより生成された画像の画像情報を取得する画像取得部と、
前記試料に対する前記光学系の焦点面の深さを表す位置情報を取得する位置情報取得部と、
前記位置情報に基づいて、前記画像を補正する補正パラメータを設定するパラメータ設定部と、
前記補正パラメータを用いて前記画像を補正する画像処理部と、
を備え、
前記位置情報取得部は、
前記光学系の焦点を試料の表面に合わせたときに前記ステージの移動に対応して前記顕微鏡装置から出力された前記モータの駆動量を表す信号を、前記顕微鏡の観察光軸と平行な方向における基準位置の情報として保持し、
前記モータが前記ステージを前記基準位置にある状態から前記観察光軸と平行な方向に移動させたときの前記モータの駆動量を表す信号を前記顕微鏡装置から取得し、該取得した信号に基づいて前記基準位置に対する前記観察光軸と平行な方向の変位を前記位置情報として算出する
ことを特徴とする画像処理装置。 - 前記パラメータ設定部は、前記試料の厚み方向において設定された基準深度を前記焦点面とする画像に対する相対的な補正パラメータを設定することを特徴とする請求項1に記載の画像処理装置。
- 前記パラメータ設定部は、前記焦点面の深さに応じた輝度の補正ゲインを前記補正パラメータとして設定し、
前記画像処理部は、前記補正パラメータを用いて前記画像の輝度を補正する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記パラメータ設定部は、前記焦点面の深さに応じた像のボケを表す情報、又は該像のボケを補正するフィルタを前記補正パラメータとして設定し、
前記画像処理部は、前記補正パラメータを用いて前記画像のボケを補正する、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記パラメータ設定部は、前記焦点面の深さに応じた複数の補正パラメータを格納するルックアップテーブルを記憶し、前記複数の補正パラメータの中から前記位置情報に対応する補正パラメータを抽出することを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
- 前記パラメータ設定部は、光学系の特性及び試料の種類に応じた複数のルックアップテーブルを記憶し、
前記画像の撮像に用いられた光学系の特性及び前記画像に写った試料の種類を設定する制御部をさらに備え、
前記パラメータ設定部は、前記複数のルックアップテーブルの中から、前記制御部により設定された前記特性及び前記種類に対応するルックアップテーブルを選択することを特徴とする請求項5に記載の画像処理装置。 - 請求項1〜6のいずれか1項に記載の画像処理装置と、
前記試料を撮像する光学系と、
前記試料が載置されるステージと、
前記ステージを移動させるモータと、
前記画像処理装置の制御に従って前記モータを駆動させることにより前記ステージを移動させると共に、前記ステージの移動量に対応する前記モータの駆動量を表す信号を画像処理装置に出力する焦準駆動部と、
を備えることを特徴とする顕微鏡システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014029181A JP6346455B2 (ja) | 2014-02-19 | 2014-02-19 | 画像処理装置及び顕微鏡システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014029181A JP6346455B2 (ja) | 2014-02-19 | 2014-02-19 | 画像処理装置及び顕微鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015152880A JP2015152880A (ja) | 2015-08-24 |
JP6346455B2 true JP6346455B2 (ja) | 2018-06-20 |
Family
ID=53895145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014029181A Active JP6346455B2 (ja) | 2014-02-19 | 2014-02-19 | 画像処理装置及び顕微鏡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6346455B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113077395B (zh) * | 2021-03-26 | 2023-10-24 | 东北大学 | 一种高倍光学显微镜下大尺寸样品图像的去模糊方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000275541A (ja) * | 1999-03-24 | 2000-10-06 | Olympus Optical Co Ltd | レーザ顕微鏡 |
JP2005275199A (ja) * | 2004-03-26 | 2005-10-06 | Yokogawa Electric Corp | 3次元共焦点顕微鏡システム |
JP5257891B2 (ja) * | 2007-12-05 | 2013-08-07 | 富士フイルム株式会社 | 画像処理システムおよびプログラム |
JP2012237693A (ja) * | 2011-05-13 | 2012-12-06 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
US20130107006A1 (en) * | 2011-10-28 | 2013-05-02 | New York University | Constructing a 3-dimensional image from a 2-dimensional image and compressing a 3-dimensional image to a 2-dimensional image |
-
2014
- 2014-02-19 JP JP2014029181A patent/JP6346455B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015152880A (ja) | 2015-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5090188B2 (ja) | 顕微鏡装置 | |
US8314837B2 (en) | System and method for imaging with enhanced depth of field | |
US20110090327A1 (en) | System and method for imaging with enhanced depth of field | |
JP5814709B2 (ja) | タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置 | |
JP5651423B2 (ja) | 被写界深度が向上した撮像システム及び撮像方法 | |
US10254530B2 (en) | Imaging apparatus, microscope system, imaging method, and computer-readable recording medium | |
JP2005284136A (ja) | 観察装置および観察装置の焦点合わせ方法 | |
US10718715B2 (en) | Microscopy system, microscopy method, and computer-readable storage medium | |
JP2024019639A (ja) | 顕微鏡システム、プログラム、及び、投影画像生成方法 | |
JP2015090471A (ja) | 顕微鏡システムおよびオートフォーカス方法 | |
JP2010181833A (ja) | 顕微鏡観察システム | |
US10089768B2 (en) | Image processing device, image processing method, image processing program, and imaging system | |
US10613313B2 (en) | Microscopy system, microscopy method, and computer-readable recording medium | |
WO2021038103A1 (en) | Image processing apparatus and method for use in an autofocus system | |
JP5940288B2 (ja) | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム | |
US20180338079A1 (en) | Microscope system, control method, and computer readable medium | |
US10721413B2 (en) | Microscopy system, microscopy method, and computer readable recording medium | |
JP6346455B2 (ja) | 画像処理装置及び顕微鏡システム | |
US11256078B2 (en) | Continuous scanning for localization microscopy | |
JP2015082097A (ja) | 制御装置、顕微鏡システム、制御方法およびプログラム | |
EP3961280A1 (en) | An autofocus system, an optical system, a method for an autofocus system and a computer program | |
JP2010121955A (ja) | 高さ情報取得装置、高さ情報取得方法、及びプログラム | |
JPWO2020039520A1 (ja) | 画像処理装置、撮像システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム | |
JP2015210396A (ja) | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム | |
WO2023189393A1 (ja) | 生体試料観察システム、情報処理装置及び画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180525 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6346455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |