JP5811491B2 - 顕微鏡及びそのプログラム - Google Patents
顕微鏡及びそのプログラム Download PDFInfo
- Publication number
- JP5811491B2 JP5811491B2 JP2011087821A JP2011087821A JP5811491B2 JP 5811491 B2 JP5811491 B2 JP 5811491B2 JP 2011087821 A JP2011087821 A JP 2011087821A JP 2011087821 A JP2011087821 A JP 2011087821A JP 5811491 B2 JP5811491 B2 JP 5811491B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- subject
- evaluation function
- illumination light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 claims description 100
- 238000011156 evaluation Methods 0.000 claims description 83
- 238000009826 distribution Methods 0.000 claims description 61
- 238000003384 imaging method Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000005457 optimization Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 description 69
- 230000005540 biological transmission Effects 0.000 description 22
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 230000002068 genetic effect Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002986 genetic algorithm method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
そこで本発明は、観察者の好みに応じて、被検体を観察するために適した照明光の強度分布等を導き出す撮像装置及びプログラムを提供する。
第1実施形態として、絞りの形状を自由に変えることができ明視野顕微鏡を有する顕微鏡システム100について説明する。顕微鏡システム100は、観察中の被検体の像を良い状態で観察するために適した照明光の強度分布を導き出して自動的に照明光の強度分布を調整する。
図1は、顕微鏡システム100の概略構成図である。顕微鏡システム100は主に、照明光源30と、照明光学系40と、ステージ50と、結像光学系70と、イメージセンサ80とを有している。顕微鏡システム100はコンピュータ200に接続されている。以下、照明光源30から射出される光束の中心軸をZ軸方向とし、Z軸に垂直で互いに直交する方向をX軸方向及びY軸方向として説明する。
図2はコンピュータ200の構成を示した概念図である。コンピュータ200は、画像処理部201、フーリエ解析部202、選択部203、変更部204、最適化計算部205、記憶部206、素子変調部208及びフィルタ駆動部209を有している。コンピュータ200には表示部21及びキーボード等の入力部26が接続されている。これらはバスラインBUS等で互いに通信可能である。
図3は、記憶部206に記憶される評価関数Q(f)の第1例である。図3は、例えば評価関数Q(f)は画像のフーリエ変換値を含む式であり、以下に例示される。
Q(f) = α1×f1 + α2×f2
ここで、α1、α2は係数であり、f1、f2は変数(関数)である。
図4は顕微鏡システム100の動作を説明したフローチャートの一例である。
ステップS101では、評価関数Q(f)の係数αが初期値に設定される。この初期値は被検体60の画像が万人に好まれる画像が評価関数で高い値になるように設定される。例えば図3に示した係数α1、α2が、α1=1、α2=1と設定される。
第1実施形態では明視野顕微鏡を有する顕微鏡システム100について説明したが、第2実施形態では、位相差顕微鏡を有する顕微鏡システム300について説明する。
図6(a)は、顕微鏡システム300の概略構成図である。顕微鏡システム300は主に、照明光源30と、照明光学系40と、結像光学系70と、イメージセンサ80とにより構成されている。顕微鏡システム300はコンピュータ220に接続されている。また照明光学系40は、第1コンデンサレンズ41、第1空間光変調素子390及び第2コンデンサレンズ42を備えており、結像光学系70は対物レンズ71及び第2空間光変調素子396を含んでいる。また、照明光学系40と結像光学系70との間にはステージ50が配置され、ステージ50には被検体60が設置される。
図7はコンピュータ220の構成を示した概念図である。基本的に図3で示されたコンピュータ200と同じであるが、コンピュータ220は新たに判断部207を有しその一方でフィルタ駆動部209を有していない点でコンピュータ200と異なる。またコンピュータ220は1つの素子変調部208が第1空間光変調素子390と第2空間光変調素子396とに接続されている点でコンピュータ200と異なる。以下、コンピュータ200と異なる点を主に説明する。
図8は、記憶部206に記憶される評価関数Q(f)の第2例である。図8は、例えば評価関数Q(f)は画像のフーリエ変換値(空間周波数成分)FTを変数とする式であり、以下に例示される。
Q(f) = FT×(1−cos(α3r))
ここで、α3は係数であり、rは半径である。
図9は顕微鏡システム300の動作を説明したフローチャートの一例である。
ステップS201では、第1空間光変換素子390及び第2空間光変換素子396が2つの所定の強度分布(第1条件:円形の均一照明、第2条件:リング照明(位相リング))に変調される。それぞれの条件で被検体60がイメージセンサ80で撮像される。
ステップS206では、次世代の複数の照明光の強度分布を用いて被検体60の像がイメージセンサ80で検出される。また、検出された二次元画像は画像処理部201で処理されて表示部21に表示される。なお、表示部21に表示された二次元画像のうち観察者が被検体60の一部領域を選択するようにしてもよい。一部領域は、被検体60の1カ所でもよいし2カ所以上でもよい。観察者は被検体60の観察したい領域を中央に移動させるため、自動的にイメージセンサ80の中央領域を一部領域として選択してもよい。一部領域の設定は、観察者が設定してもよいし、自動で設定されてもよい。
第1実施形態では山登り法において評価関数Q(f)を適用し、その山登り法で得られた画像を表示した後に、観察者の好みを特定した。同様に、第2実施形態では、遺伝的アルゴリズムにおいて評価関数Q(f)を適用し、その遺伝的アルゴリズムで得られた画像を表示した後に、観察者の好みを特定した。第3実施形態では、山登り法又は遺伝的アルゴリズムの最適化計算前に、観察者の好みを特定する。
ステップS306では、変更部204は、観察者の好みが活きるように評価関数Q(f)の係数α3を設定する。
30 … 照明光源
40 … 照明光学系
41 … 第1コンデンサレンズ、 42 … 第2コンデンサレンズ
44 … 波長フィルタ
50 … ステージ
60 … 被検体
70 … 結像光学系、 71 … 対物レンズ
80 … イメージセンサ
90、390 … 第1空間光変調素子
91,391 … 照明領域
92,392 … 遮光部
100、300 … 顕微鏡システム
200,220 … コンピュータ
201 … 画像処理部
202 … フーリエ解析部
203 … 選択部
204 … 変更部
205 … 最適化計算部
206 … 記憶部
207 … 判断部
208 … 素子変調部
209 … フィルタ駆動部
396 … 第2空間光変調素子
397 … 位相変調領域
398 … 回折光透過領域
Claims (7)
- 被検体を照明光で照明する照明光学系と、
前記照明光の強度分布もしくは波長を変えて照明された前記被検体を撮像する撮像部と、
前記撮像部で撮像された前記被検体の画像の少なくとも一部における空間周波数成分、ヒストグラム、コントラスト又は最大傾斜量の画像特徴量を出力する解析部と、
前記画像特徴量を変数とする前記画像を評価する評価関数を記憶する記憶部と、
前記評価関数の値に基づいて特定され前記照明光の強度分布もしくは波長が特定された画像とこの特定された前記照明光の強度分布もしくは波長とは異なる強度分布もしくは波長で撮影された画像とを含む二以上の画像から一つの画像を選択する選択部と、
前記選択部で選択された前記一つの画像が前記特定された画像と異なる場合に、前記一つの画像に基づいて前記評価関数を変更する変更部と、を備え、
前記変更部で変更された前記評価関数に基づいて、前記被検体を観察するに適した前記照明光の強度分布もしくは波長を導き出す顕微鏡。 - 前記評価関数は前記変数に乗ずる重み付け係数を有し、
前記変更部は前記重み付け係数を変更する請求項1に記載の顕微鏡。 - 前記照明光の強度分布を変化させる空間変調部と、
前記変更された評価関数で前記被検体の観察に適した前記照明光の強度分布を最適化計算する最適化計算部と、
前記空間変調部によって前記照明光の強度分布を変化させる毎に前記撮像部は撮像し、前記解析部は撮像された画像毎に画像特徴量を出力し、前記最適化計算部は前記変更された評価関数で計算する請求項1又は請求項2に記載の顕微鏡。 - 前記照明光の強度分布を変化させる空間変調部と、
前記変更された評価関数で前記被検体の観察に適した前記照明光の波長を最適化計算する最適化計算部と、
前記空間変調部によって前記波長を変化させる毎に前記撮像部は撮像し、前記解析部は撮像された画像毎に画像特徴量を出力し、前記最適化計算部は前記変更された評価関数で計算する請求項1又は請求項2に記載の顕微鏡。 - 前記照明光の強度分布を変化させる空間変調部と、
前記変更された評価関数で前記被検体の観察に適した前記照明光の波長を最適化計算する最適化計算部と、
前記空間変調部によって前記波長を変化させる毎に前記撮像部は撮像し、前記解析部は撮像された画像毎に画像特徴量を出力し、前記最適化計算部は前記変更された評価関数で計算し、
前記選択部は、観察者が一の画像を選択できるように、前記最適化計算部が計算した二以上の画像を表示させ、
前記変更部は選択された前記一の画像の評価関数が高くなるように、前記重み付け係数を変更する請求項2に記載の顕微鏡。
- 前記被検体が吸収物体か位相物体かを判断する判断部を備え、
前記最適化計算部による最適化計算前に、前記判断部は前記被検体が前記吸収物体か前記位相物体かを判断する請求項3又は請求項4に記載の顕微鏡。 - 被検体を照明光で照明する照明光学系と、前記照明光の強度分布もしくは波長を変えて照明された前記被検体を撮像する撮像部と、前記撮像部に接続されるコンピュータとを含む顕微鏡を用いて、前記被検体を撮像するプログラムであって、
前記コンピュータに、
前記撮像部で撮像された前記被検体の画像の少なくとも一部における空間周波数成分、ヒストグラム、コントラスト又は最大傾斜量の画像特徴量の出力と、
前記画像特徴量を変数とする前記画像を評価する評価関数の記憶と、
前記評価関数の値に基づいて特定され前記照明光の強度分布もしくは波長が特定された画像とこの特定された前記照明光の強度分布もしくは波長とは異なる強度分布もしくは波長で撮影された画像とを含む二以上の画像から一つの画像の選択と、
選択された前記一つの画像が前記特定された画像と異なる場合に、前記一つの画像に基づいて前記評価関数の変更と、を実行させ、
前記評価関数に基づいて、前記被検体を観察するに適した前記照明光の強度分布もしくは波長を導き出すプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011087821A JP5811491B2 (ja) | 2011-04-12 | 2011-04-12 | 顕微鏡及びそのプログラム |
PCT/JP2012/052567 WO2012140939A1 (en) | 2011-04-12 | 2012-01-30 | Imaging apparatus and program |
CN201280017763.6A CN103492926B (zh) | 2011-04-12 | 2012-01-30 | 成像设备和程序 |
EP12705173.8A EP2697680B1 (en) | 2011-04-12 | 2012-01-30 | Imaging apparatus and program |
US13/363,061 US9529184B2 (en) | 2011-04-12 | 2012-01-31 | Imaging apparatus and program |
TW101106456A TWI545519B (zh) | 2011-04-12 | 2012-02-29 | 成像設備和程式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011087821A JP5811491B2 (ja) | 2011-04-12 | 2011-04-12 | 顕微鏡及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012222672A JP2012222672A (ja) | 2012-11-12 |
JP5811491B2 true JP5811491B2 (ja) | 2015-11-11 |
Family
ID=45722682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011087821A Active JP5811491B2 (ja) | 2011-04-12 | 2011-04-12 | 顕微鏡及びそのプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9529184B2 (ja) |
EP (1) | EP2697680B1 (ja) |
JP (1) | JP5811491B2 (ja) |
CN (1) | CN103492926B (ja) |
TW (1) | TWI545519B (ja) |
WO (1) | WO2012140939A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104244827B (zh) * | 2012-04-17 | 2017-11-14 | 皇家飞利浦有限公司 | 灌注成像 |
JP6089436B2 (ja) * | 2012-04-18 | 2017-03-08 | ソニー株式会社 | 画像処理装置と画像処理装置の作動方法および撮像装置 |
JP5761458B2 (ja) * | 2012-06-05 | 2015-08-12 | 株式会社ニコン | 顕微鏡装置 |
US9454809B2 (en) * | 2012-09-25 | 2016-09-27 | The Board Of Trustees Of The University Of Illinois | Phase derivative microscopy module having specified amplitude mask |
WO2014178294A1 (ja) * | 2013-04-30 | 2014-11-06 | オリンパス株式会社 | 標本観察装置及び標本観察方法 |
US10409079B2 (en) * | 2014-01-06 | 2019-09-10 | Avegant Corp. | Apparatus, system, and method for displaying an image using a plate |
US10303242B2 (en) | 2014-01-06 | 2019-05-28 | Avegant Corp. | Media chair apparatus, system, and method |
JP6269096B2 (ja) * | 2014-01-21 | 2018-01-31 | 株式会社ニコン | 顕微鏡装置および顕微鏡システム |
JP2017523480A (ja) * | 2014-05-19 | 2017-08-17 | エイヴギャント コーポレイション | プレートを用いた画像表示装置、システム及び方法 |
WO2016063429A1 (ja) * | 2014-10-20 | 2016-04-28 | オリンパス株式会社 | 標本観察装置及び標本観察方法 |
WO2016132563A1 (ja) * | 2015-02-19 | 2016-08-25 | オリンパス株式会社 | 標本観察装置及び標本観察方法 |
US9823474B2 (en) | 2015-04-02 | 2017-11-21 | Avegant Corp. | System, apparatus, and method for displaying an image with a wider field of view |
US9995857B2 (en) | 2015-04-03 | 2018-06-12 | Avegant Corp. | System, apparatus, and method for displaying an image using focal modulation |
US10241426B2 (en) | 2015-08-27 | 2019-03-26 | Asml Netherlands B.V. | Lithographic apparatus and device manufacturing method |
DE102017106984B4 (de) | 2017-03-31 | 2022-02-10 | Carl Zeiss Microscopy Gmbh | Lichtmikroskop und Verfahren zum Betreiben eines Lichtmikroskops mit optimierter Beleuchtungsgeometrie |
EP3844673A1 (en) * | 2018-08-27 | 2021-07-07 | Signify Holding B.V. | Systems and methods for tuning light sources for use with object detection algorithms |
CN115469555B (zh) * | 2022-11-14 | 2023-03-31 | 中国科学院光电技术研究所 | 用于传感芯片投影光刻机的空间像预测及像质优化方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3194620B2 (ja) * | 1992-06-24 | 2001-07-30 | オリンパス光学工業株式会社 | 顕微鏡の開口絞り径設定装置 |
US6317722B1 (en) * | 1998-09-18 | 2001-11-13 | Amazon.Com, Inc. | Use of electronic shopping carts to generate personal recommendations |
WO2001057796A2 (en) * | 2000-02-03 | 2001-08-09 | Applied Science Fiction | Method, system, and software for signal processing using pyramidal decomposition |
JP4020714B2 (ja) * | 2001-08-09 | 2007-12-12 | オリンパス株式会社 | 顕微鏡 |
DE10161613A1 (de) * | 2001-12-15 | 2003-06-18 | Leica Microsystems | Verfahren zur Selbstüberwachung eines Mikroskopsystems, Mikroskopsystem und Software zur Selbstüberwachung |
TWI277827B (en) * | 2003-01-14 | 2007-04-01 | Asml Masktools Bv | Method of optical proximity correction design for contact hole mask |
WO2005086582A2 (en) * | 2004-03-11 | 2005-09-22 | Nano-Or Technologies (Israel) Ltd. | Methods and apparatus for wavefront manipulations and improved 3-d measurements |
JP2005277981A (ja) | 2004-03-26 | 2005-10-06 | Seiko Epson Corp | 画像処理のための対象画像の選択 |
DE102004058728A1 (de) * | 2004-12-06 | 2006-06-08 | Leica Microsystems Cms Gmbh | Verfahren zur Auswahl einer Wellenlänge und Mikroskop |
JP4783065B2 (ja) * | 2005-06-07 | 2011-09-28 | 株式会社キーエンス | 拡大観察装置、拡大観察装置の操作方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体 |
JP2009237109A (ja) | 2008-03-26 | 2009-10-15 | Nikon Corp | 位相差顕微鏡 |
JP2009294509A (ja) * | 2008-06-06 | 2009-12-17 | Sony Corp | 3次元像表示装置 |
JP5478103B2 (ja) * | 2009-04-15 | 2014-04-23 | 興和株式会社 | 画像処理方法 |
JP5515618B2 (ja) | 2009-10-23 | 2014-06-11 | 株式会社三洋物産 | 遊技機 |
US8462981B2 (en) * | 2010-04-07 | 2013-06-11 | Cambridge Research & Instrumentation, Inc. | Spectral unmixing for visualization of samples |
-
2011
- 2011-04-12 JP JP2011087821A patent/JP5811491B2/ja active Active
-
2012
- 2012-01-30 CN CN201280017763.6A patent/CN103492926B/zh not_active Expired - Fee Related
- 2012-01-30 WO PCT/JP2012/052567 patent/WO2012140939A1/en active Application Filing
- 2012-01-30 EP EP12705173.8A patent/EP2697680B1/en active Active
- 2012-01-31 US US13/363,061 patent/US9529184B2/en active Active
- 2012-02-29 TW TW101106456A patent/TWI545519B/zh not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP2697680A1 (en) | 2014-02-19 |
WO2012140939A1 (en) | 2012-10-18 |
CN103492926B (zh) | 2017-06-16 |
JP2012222672A (ja) | 2012-11-12 |
TW201241783A (en) | 2012-10-16 |
US20120262562A1 (en) | 2012-10-18 |
EP2697680B1 (en) | 2021-07-07 |
TWI545519B (zh) | 2016-08-11 |
US9529184B2 (en) | 2016-12-27 |
CN103492926A (zh) | 2014-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5811491B2 (ja) | 顕微鏡及びそのプログラム | |
US10451860B2 (en) | Microscope system | |
JP5804441B2 (ja) | 顕微鏡システム | |
JP5757458B2 (ja) | 顕微鏡システム、サーバー及びプログラム | |
US7663079B2 (en) | Microscope apparatus and focal-depth enlarged image generation method used therefor | |
US7589330B2 (en) | Ultraviolet microscope apparatus | |
JP2012189342A (ja) | 顕微分光測定装置 | |
US20200112673A1 (en) | Control device, control method, and program | |
JP2016212412A (ja) | 被写体構造のコントラスト画像を生成する方法およびそれに関連する装置 | |
JP5971621B2 (ja) | 顕微鏡システム | |
JP6534295B2 (ja) | 撮像装置および方法並びに撮像制御プログラム | |
JP6264715B2 (ja) | 顕微鏡システム | |
JP2016208855A (ja) | 撮像装置および方法並びに撮像制御プログラム | |
JP2021015273A (ja) | 光学撮像機器及び表示画像の改善方法 | |
CN103460110B (zh) | 显微镜系统、服务器和程序 | |
WO2017068655A1 (ja) | 画像処理装置、画像処理システム、顕微鏡システム、画像処理方法、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5811491 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |