JP5589619B2 - 情報処理装置、ステージうねり補正方法、プログラム - Google Patents

情報処理装置、ステージうねり補正方法、プログラム Download PDF

Info

Publication number
JP5589619B2
JP5589619B2 JP2010151112A JP2010151112A JP5589619B2 JP 5589619 B2 JP5589619 B2 JP 5589619B2 JP 2010151112 A JP2010151112 A JP 2010151112A JP 2010151112 A JP2010151112 A JP 2010151112A JP 5589619 B2 JP5589619 B2 JP 5589619B2
Authority
JP
Japan
Prior art keywords
stage
correction value
photographing
placement surface
axial direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010151112A
Other languages
English (en)
Other versions
JP2012013996A (ja
Inventor
龍 成澤
遊 広野
順一 坂上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010151112A priority Critical patent/JP5589619B2/ja
Priority to US13/162,210 priority patent/US8830313B2/en
Priority to EP11170915A priority patent/EP2402811A3/en
Priority to CN2011101736502A priority patent/CN102313980A/zh
Publication of JP2012013996A publication Critical patent/JP2012013996A/ja
Application granted granted Critical
Publication of JP5589619B2 publication Critical patent/JP5589619B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、医療、病理、生物、材料等の分野において顕微鏡により得られた画像情報を処理する情報処理装置、当該情報処理装置におけるステージうねり補正方法及びプログラムに関する。
医療または病理の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の試料の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステムが提案されている。このようなシステムは一般にバーチャル顕微鏡と呼ばれている。
例えば下記特許文献1に記載の方法では、顕微鏡のステージ上に載置されたスライド標本から光学的に得られた画像が、CCD(Charge Coupled Device)を搭載したビデオカメラによりデジタル化され、そのデジタル信号がPC(Personal Computer)に入力され、モニタに可視化される。病理学者はモニタに表示された画像を見て検査等を行う。
特開2009−37250号公報
顕微鏡によりステージ上の試料を細かい領域毎に撮像するためには、ステージが光学系の光軸の向き(Z軸)に対して直交する2軸(X軸およびY軸)の方向に移動自在であることが必要となる。しかしながら、ステージを2軸方向に移動自在な構成にすると、支持構造が複雑になるなどの理由でステージの姿勢に僅かな傾きやうねりが生じやすくなる。顕微鏡においては、μmオーダーでの高さ位置のずれであっても、光学系の合焦ずれによる観察画像の質への影響は無視できない程度となり得る。
以上のような事情に鑑み、本発明の目的は、移動自在なステージを用いた顕微鏡での合焦ずれを効果的に低減して、高質な観察画像を安定的に得ることのできる情報処理装置、ステージうねり補正方法及びプログラムを提供することにある。
上記目的を達成するため、本発明の一形態に係る情報処理装置は、撮影対象物を載置可能な載置面を有するステージと、前記載置面に載置された前記撮影対象物を撮像する対物レンズを含む撮像部とを具備し、前記ステージが前記対物レンズの光軸に対してそれぞれ直交しかつ互いに直交する第1の軸方向および第2の軸方向と前記光軸に沿った第3の軸方向に移動自在である顕微鏡が制御対象として接続される接続部と、前記ステージの前記載置面の撮影対象領域における、当該載置面より小さい所定の撮影範囲毎の前記第3の軸方向の位置のずれを補正するための値をうねり補正値として算出する算出部と、前記算出された前記撮影範囲毎の前記うねり補正値を記憶する補正値記憶部と、前記記憶された撮影範囲毎のうねり補正値をもとに、前記ステージと前記対物レンズとの相対的な距離を前記撮影範囲毎に補正する補正部とを具備する。
本発明では、算出部が、ステージの前記載置面の撮影対象領域における、当該載置面より小さい所定の撮影範囲毎の第3の軸方向の位置のずれを補正するための値をうねり補正値として算出してうねり補正値記憶部に記憶させ、補正部が、記憶された撮影範囲毎のうねり補正値をもとに、ステージの第3の軸方向の位置を撮影範囲毎に補正することにより、ステージのうねり成分による合焦ずれを効果的に低減して、高質な観察画像を安定的に得ることができる。
前記算出部は、前記ステージと前記対物レンズとの相対的な距離を切り替え、その都度撮影された像をもとに合焦ずれに関する情報を算出し、前記ステージの前記第3の軸方向の位置と前記算出された合焦ずれに関する情報との相関をもとに前記うねり補正値を求めるものであってもよい。
これにより、ステージの載置面の撮影範囲毎のうねり補正値を良好に算出することができる。
また、本発明は、前記算出部によって前記うねり補正値を算出するため、前記撮影対象物として前記ステージの前記載置面に記載可能な、合焦用のマークが形成された平坦なダミースライドをさらに具備するものであってもよい。
平坦なダミースライドをステージの載置面に載置してうねり補正値を算出することで、観察対象物のうねり成分によるうねり補正値の計算結果への影響を緩和できる。これにより、ステージのうねり成分による合焦ずれをより効果的に低減して、より高質な観察画像を安定的に得ることができる。
本発明の別の形態に係るステージうねり補正方法は、撮影対象物を載置可能な載置面を有するステージと、前記載置面に載置された前記撮影対象物を撮像する対物レンズを含む撮像部とを具備し、前記ステージが前記対物レンズの光軸に対してそれぞれ直交しかつ互いに直交する第1の軸方向および第2の軸方向と前記光軸に沿った第3の軸方向に移動自在である顕微鏡のステージうねり補正方法であって、前記ステージの前記載置面の撮影対象領域における、当該載置面より小さい所定の撮影範囲毎の前記第3の軸方向の位置のずれを補正するための値をうねり補正値として算出し、前記算出された前記撮影範囲毎の前記うねり補正値を記憶し、前記記憶された撮影範囲毎のうねり補正値をもとに、前記ステージと前記対物レンズとの相対的な距離を前記撮影範囲毎に補正することを特徴とする。
本発明のまた別の形態に係るプログラムは、撮影対象物を載置可能な載置面を有するステージと、前記載置面に載置された前記撮影対象物を撮像する対物レンズを含む撮像部とを具備し、前記ステージが前記対物レンズの光軸に対してそれぞれ直交しかつ互いに直交する第1の軸方向および第2の軸方向と前記光軸に沿った第3の軸方向に移動自在である顕微鏡を制御するコンピュータを動作させるプログラムであって、前記ステージの前記載置面の撮影対象領域における、当該載置面より小さい所定の撮影範囲毎の前記第3の軸方向の位置のずれを補正するための値をうねり補正値として算出する算出部と、前記算出された前記撮影範囲毎の前記うねり補正値を記憶する補正値記憶部と、前記記憶された撮影範囲毎のうねり補正値をもとに、前記ステージと前記対物レンズとの相対的な距離を前記撮影範囲毎に補正する補正部として、前記コンピュータを動作させるプログラムである。
以上のように、本発明によれば、移動自在なステージを用いた顕微鏡での合焦ずれを効果的に低減して、高質な観察画像を安定的に得ることができる。
本発明の一実施形態に係る画像処理システムを示す図である。 図1の情報処理装置のハードウェア構成を示したブロック図である。 図1の情報処理装置による、撮影対象領域に対する撮影範囲の移動を示す図である。 図1の情報処理装置による、うねり補正テーブルの作成処理のフローチャートである。 図1の情報処理装置による、うねり補正値の算出処理のフローチャートである。 うねり補正テーブルの例を示す図である。 図1の情報処理装置による、うねり補正テーブルを用いた撮影処理に関するフローチャートである。
以下、図面を参照しながら、本発明の実施形態を説明する。
<第1の実施形態>
[画像処理システムの構成]
図1は、本発明の一実施形態に係る画像処理システムを示す図である。同図に示すように、本実施形態における画像処理システム1は、顕微鏡10と、情報処理装置20とを備えている。
顕微鏡10は、ステージ11、光学系12、照明灯13、光源14、光学センサ15、光学センサ制御部16、発光制御部17、ステージ制御部18を有する。
ステージ11は、撮影対象物である例えば組織切片、細胞、染色体等の生体高分子等の試料(サンプル)SPLを載置可能な載置面を有する。ステージ11は、互いに直交する3軸方向に移動自在なステージである。すなわち、ステージ11は、光学系12の対物レンズ12Aの光軸に対してそれぞれ直交しかつ互いに直交する関係にあるX軸方向(第1の軸方向)およびY軸方向(第2の軸方向)と上記光軸に沿ったZ軸方向(第3の軸方向)へ移動自在とされている。
撮影対象物である試料SPLは、スライドガラスSGとカバーガラスCGとに挟まれて所定の固定手法により固定され、必要に応じて染色を施される。この染色方法としては、例えばHE(ヘマトキシリン・エオジン)染色、ギムザ染色またはパパニコロウ染色等の一般的な染色法のほか、FISH(Fluorescence In Situ Hybridization)や酵素抗体法等の蛍光染色も含まれる。当該蛍光染色は、例えば試料中の特定のターゲットをマーキングするために行われる。
光学系12は、ステージ11の上方に設けられ、対物レンズ12A、結像レンズ12B、ダイクロイックミラー12C、エミッションフィルタ12D及び励起フィルタ12Eを有する。光源14は、例えばLED(Light Emitting Diode)等からなる。
対物レンズ12A及び結像レンズ12Bは、上記照明灯13により得られた試料SPLの像を所定の倍率に拡大し、当該拡大像を光学センサ15の撮像面に結像させる。
励起フィルタ12Eは、光源14から出射された光のうち、蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー12Cは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ12Aへ導く。対物レンズ12Aは、当該励起光を試料SPLへ集光する。
スライドガラスSGに固定された試料SPLに蛍光染色が施されている場合、上記励起光により蛍光色素が発光する。この発光により得られた光(発色光)は、対物レンズ12Aを介してダイクロイックミラー12Cを透過し、エミッションフィルタ12Dを介して結像レンズ12Bへ到達する。
エミッションフィルタ12Dは、上記対物レンズ12Aによって拡大された発色光以外の光(外光)を吸収する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ12Bにより拡大され、光学センサ15上に結像される。
照明灯13は、ステージ11の下方に設けられ、ステージ11に設けられた開口(図示せず)を介して、上記載置面に載置された試料SPLへ照明光を照射する。
光学センサ15としては、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等が用いられる。当該光学センサ15は、顕微鏡10と一体的に設けられていてもよいし、顕微鏡10に接続可能な別個の撮像装置(デジタルカメラ等)内に設けられていてもよい。
光学センサ制御部16は、情報処理装置20からの制御指令に基づいて光学センサ15の制御を行う。また、光学センサ制御部16は、光学センサ15の出力を取り込み、情報処理装置20に転送する。
発光制御部17は、情報処理装置20からの制御指令に基づいて照明灯13や光源14の露光時間や発光強度など、露光に関する制御を行う。
ステージ制御部18は、情報処理装置20からの制御指令に基づいてステージ11のXYZ軸方向への移動を制御する。
情報処理装置20は、例えば、典型的なコンピュータのハードウェア要素を有する装置であり、例えば、PCであってもよい。情報処理装置20は、顕微鏡10を制御するとともに、顕微鏡10によって撮影された試料SPLの像を所定のフォーマット形式のデジタル画像データとして保存することができる。情報処理装置20は、典型的なコンピュータのハードウェア要素を用いて実現される機能的な構成として、ハードウェア制御部21、センサ信号現像部22、うねり補正処理部23、うねり補正テーブル記憶部24、画像出力部25を有している。これらは情報処理装置20を動作させるプログラムによって実現される。
センサ信号現像部22は、光学センサ制御部16を通じて光学センサ15より取り込んだセンサ信号からデジタル画像データを生成する。生成されたデジタル画像データは、うねり補正処理部23、画像出力部25に供給される。
うねり補正処理部23(算出部、補正部)は、ステージ11の載置面の撮影対象領域における、当該撮影対象領域より小さい撮影範囲毎のZ軸方向の位置のずれを補正するための値をうねり補正値として算出する。うねり補正処理部23は、より具体的には、ステージ11のZ軸方向の高さ位置を切り替え、その都度撮影された像をもとに合焦ずれに関する情報を算出し、ステージ11のZ軸方向の高さ位置と算出された合焦ずれに関する情報との相関をもとにうねり補正値を求める。うねり補正処理部23は、算出された撮影範囲毎のうねり補正値をうねり補正テーブルに当該撮影範囲の位置を特定するXY座標と対応付けて登録する。また、うねり補正処理部23は、試料の撮影時に、うねり補正テーブルに登録された撮影範囲毎のうねり補正値をもとに、ステージ11のZ軸方向の高さ位置を撮影範囲毎に補正する。すなわち、うねり補正処理部23は、うねり補正テーブルから撮影範囲に対応するうねり補正値を読み出し、Z軸方向の基準の高さ位置にあるステージ11を、そのうねり補正値の相当量Z軸方向に移動させるように制御する。ここで「Z軸方向の基準の高さ位置」とは、撮影時のステージ11のZ軸方向の高さ位置として予め規定された位置である。「撮影対象領域」、「撮影範囲」の意味については後で説明する。
うねり補正テーブル記憶部24(うねり補正値記憶部)は、うねり補正処理部23によって算出された撮影範囲32毎のうねり補正値を、その撮影範囲32の位置を特定するXY座標と対応付けて登録するうねり補正テーブルが記憶される部分である。このうねり補正テーブル記憶部24は、情報処理装置20内の記憶部207などに設定される記憶領域である。
画像出力部25は、センサ信号現像部22より供給されたデジタル画像データを、JPEGやTiffなど、コンピュータ上での処理が容易なファイルフォーマットに変換し、ファイルとして、記憶部207に保存する。
ハードウェア制御部21は、顕微鏡10における光学センサ制御部16、発光制御部17、ステージ制御部18を制御する。
図2は、情報処理装置20のハードウェア構成を示したブロック図である。
同図に示すように、情報処理装置20は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、操作入力インタフェース部204、表示インタフェース部205、顕微鏡インタフェース部206、記憶部207、これらを接続するバス208とを備える。
ROM202は、情報処理装置20を動作させるためのプログラムやデータが固定的に記憶される。RAM203は、CPU201のメインメモリとして用いられる。記憶部207は例えばHDD(Hard Disk Drive)や、フラッシュメモリ、その他の固体メモリ等の読み書きが可能な記憶装置である。また、記憶部207は、撮影された画像データの保存領域として用いられる他、RAM203にロードされてCPU201により実行されるプログラムが格納される。操作入力インタフェース部204は、キーボード、マウス、タッチパネルなどのユーザの操作入力装置2との接続のためのインタフェースである。表示インタフェース部205は、例えば液晶ディスプレイ、EL(Electro-Luminescence)ディスプレイ、プラズマディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどの表示装置3との接続のためのインタフェースである。顕微鏡インタフェース部206(接続部)は顕微鏡10との接続のためのインタフェースである。
[動作の説明]
次に、本実施形態の画像処理システム1の動作を説明する。
なお、動作の説明は、
1.撮影対象領域に対する撮影範囲の移動
2.うねり補正テーブルの作成
3.うねり補正値の算出処理
4.うねり補正テーブルを用いた撮影処理
の順で行うこととする。
[1.撮影対象領域に対する撮影範囲の移動]
図3は、ステージ11の載置面の撮影対象領域に対する撮影範囲の移動を示す図である。
ステージ11の載置面の撮影対象領域は、通常、矩形である。ステージ11と光学系12は相対的にXYZ軸方向に移動可能であればよい。本実施形態では、光学系12が固定され、ステージ11がXYZ軸方向に移動可能な構成としたが、逆にステージ11が固定され、光学系12がXYZ軸方向に選択的に移動可能なように構成してもかまわない。
図3において、31はステージ11の載置面の撮影対象領域、32は1回の撮影範囲である。撮影範囲32は撮影対象領域31より小さい。撮影対象領域31に対して撮影範囲32をX軸方向およびY軸方向に選択的に移動させ、その都度、撮影範囲32の撮影を繰り返すことによって撮影対象領域31の全体が撮影される。撮影範囲32のサイズと、X軸方向およびY軸方向それぞれの移動量は、X軸とY軸のそれぞれの方向で互いに隣り合う撮影範囲32どうしの間で所定の重なり33ができるように設定される。例えば、撮影範囲32のX軸方向の1回の移動量は、撮影範囲32のX軸方向のサイズの60〜95%程度である。また、X軸方向に隣り合う撮影範囲32どうしが重なる領域のX軸方向のサイズは、撮影範囲32のX軸方向のサイズの5〜20%程度である。これらの割合は撮影範囲32のY軸方向についても同様でよい。
[2.うねり補正テーブルの作成]
本実施形態の画像処理システム1では、
1.ステージ11の載置面の撮影範囲32毎のうねり補正値を求める処理、
2.撮影範囲32毎のうねり補正値を当該撮影範囲32の位置を特定するXY座標と対応付けてうねり補正テーブルに登録する処理、
3.試料の観察時、撮影範囲32毎にうねり補正テーブルを参照してステージ11のZ軸方向の高さ位置を補正する処理
が行われる。
まず、うねり補正テーブルの作成について説明する。
図4はうねり補正テーブルの作成に関するフローチャートである。
うねり補正テーブルの作成にあたっては、ステージ11の平面形状のうねり成分のみに対する補正値が得られるように、平面度が非常に小さい半導体基板などの基板上に合焦用のマークが形成された平坦なダミースライドが撮影対象物としてステージ11の載置面に載置される。
ハードウェア制御部21は、うねり補正処理部23からの指令に従って、撮影対象領域31の初期位置に撮影範囲32を合わせるようにステージ11を移動させる(ステップS101)。図3において、撮影対象領域31の初期位置は、撮影対象領域31の左上端に撮影範囲32を合わせた位置である。なお、ステージ11のZ軸方向の初期の高さ位置は上記基準の高さ位置に一致させてある。
撮影対象領域31の初期位置に撮影範囲32を合わせた後、ハードウェア制御部21はうねり補正処理部23からの指令に従って、顕微鏡10にて撮影が行われるように、発光制御部17および光学センサ制御部16をそれぞれ制御する(ステップS102)。光学センサ15からのセンサ信号は光学センサ制御部16を通じて情報処理装置20内のセンサ信号現像部22に供給される。センサ信号現像部22は、センサ信号からデジタル画像データを生成し、うねり補正処理部23に供給する。
うねり補正処理部23は、デジタル画像データをもとにステージ11の撮影範囲32毎のZ軸方向の位置のずれを補正するための値をうねり補正値として算出し、このうねり補正値を当該撮影範囲32の位置を特定するXY座標と対応付けて、うねり補正テーブルに登録する(ステップS103)。撮影範囲32の位置を特定するXY座標とは、例えば、撮影範囲32の中心座標などである。なお、うねり補正値を具体的な算出方法については後で説明する。
撮影対象領域31の初期位置でのうねり補正値の算出とうねり補正テーブルへの登録が完了したら、続いてハードウェア制御部21は、うねり補正処理部23からの指令に従って、撮影範囲32をX軸方向に所定の距離だけ移動させるようにステージ制御部18を制御する(ステップS106)。うねり補正処理部23は、この新たな撮影範囲32についても同様にうねり補正値を算出し、この新たな撮影範囲32の位置を特定するXY座標と対応付けてうねり補正テーブルに登録する。この後も同様に撮影範囲32がX軸方向に移動して撮影が行われる都度、うねり補正値の算出とうねり補正テーブルへの登録が繰り返される。
X軸方向の1ライン分の領域についてうねり補正値の算出とうねり補正テーブルへの登録が完了したら(ステップS105のY)、続いて、ハードウェア制御部21は、うねり補正処理部23からの指令に従って、撮影範囲32をY軸方向に所定の距離だけ移動させるようにステージ制御部18を制御する(ステップS107)。これにより撮影範囲32が次のラインに移動し、そのラインについて、同様に撮影範囲32毎のうねり補正値の算出とうねり補正テーブルへの登録が繰り返される。
上記のようにステージ11のX軸方向およびY軸方向への移動と撮影を繰り返し、撮影対象領域31の全体の領域について、うねり補正値の算出とうねり補正テーブルへの登録が完了したら(ステップS104のY)、うねり補正テーブルの作成処理は終了となる。
[3.うねり補正値の算出処理]
うねり補正値は、より具体的には、ステージ11のZ軸方向の高さ位置を予め設定された初期の位置から予め決められた範囲内において段階的に切り替え、その都度撮影されたデジタル画像データをもとに合焦ずれに関する情報であるデフォーカス情報(合焦点のずれ量)を算出し、そのデフォーカス情報とステージ11のZ軸方向の高さ位置との相関から求められる。ここで、「予め決められた範囲」とは、予め想定されたステージ11のうねり量(Z軸方向での高さ位置の変位量)の正の最大値から負の最大値までの範囲のことであり、以下「合焦点探索範囲」と呼ぶこととする。合焦点探索範囲内で用いられる値のステップ幅は顕微鏡10の光学系12における被写界深度以下とする。
図5は、うねり補正値の算出処理の一例のフローチャートである。
まず、うねり補正処理部23は、ステージ11のZ軸方向の高さ位置を合焦点探索範囲の初回用の値分だけ移動させるようにハードウェア制御部21を介してステージ制御部18を制御する(ステップS201)。合焦点探索範囲の初回用の値は、例えば、予め想定されたうねり量の正の最大値または負の最大値のいずれか一方に対応する。
この後、ハードウェア制御部21は、うねり補正処理部23からの指令に従って、顕微鏡10にて撮影が行われるように、発光制御部17と光学センサ制御部16を制御する(ステップS202)。光学センサ15からのセンサ信号は光学センサ制御部16を通じて情報処理装置20内のセンサ信号現像部22に供給される。センサ信号現像部22は、センサ信号からデジタル画像データを生成して、うねり補正処理部23に供給する。
うねり補正処理部23は、取得したデジタル画像データをもとに所定の手法に従ってデフォーカス情報を算出する(ステップS203)。ここで「デフォーカス情報」は、合焦点のずれ量を示す値である。デフォーカス情報を算出する手法としては、例えば、画像に含まれる高空間周波数成分を評価することで合焦を判定するコントラス法や、位相差を計算して合焦を判定する位相差検出法などが挙げられるが、これに限らない。
次に、うねり補正処理部23は、算出されたデフォーカス情報の値が閾値以下であるかどうかを判定する(ステップS204)。ここで、閾値は、実質的に0とみなすことのできるずれ量の上限値であり、予め任意に規定された値である。うねり補正処理部23は、算出されたデフォーカス情報が閾値以下である場合には(ステップS204のY)、現在のステージ11の高さ位置の情報を取得する(ステップS205)。ここで、現在のステージ11の高さ位置の情報とは、初期の高さ位置に対する相対的な情報であり、初期の位置よりZ軸方向の上下どちらの向きにどれだけ移動したかを示す情報である。そしてうねり補正処理部23は、現在のステージ11の高さ位置の情報に−1を乗じた値をうねり補正値として、このうねり補正値を、その時点での撮影範囲32の位置を特定するXY座標と対応付けてうねり補正テーブルに登録する(ステップS206)。
また、うねり補正処理部23は、算出されたデフォーカス情報の値が閾値を超えている場合には(ステップS204のN)、ステージ11のZ軸方向の高さ位置を、合焦点探索範囲内の次の値分だけ移動させるようにハードウェア制御部21を通じてステージ制御部18を制御する(ステップS208)。
この後、うねり補正処理部23は、ステージ11の高さ位置を変更して撮影されることで取得したデジタル画像データをもとにデフォーカス情報を再度算出して閾値と比較する。そして、デフォーカス情報が閾値以下であることが判定されてうねり補正値が得られるまで、もしくは、合焦点探索範囲が終了するまで(ステップS207のY)、合焦点探索範囲内でのステージ11の高さ位置の移動、撮影、デフォーカス情報の算出、閾値との比較が繰り返される。
なお、全ての合焦点探索範囲でうねり補正値が得られなかった場合には、エラー処理として、例えば、うねり補正値の算出に失敗したことの通知や、合焦点探索範囲におけるステップ幅を変更して再度うねり補正値の算出を試みることの通知などが、ユーザ等に出力される。あるいは、合焦点探索範囲におけるステップ幅を変更して再度うねり補正値の算出に移行するように制御が行われるようにしてもよい。この際、ステップ幅はより小さい値に変更される。
図6は、このようにして作成されたうねり補正テーブルの例である。
同図に示すように、算出されたそれぞれのうねり補正値は、対応する領域の代表的なXY座標と対応付けられてうねり補正テーブルに登録される。ここで、領域の代表的なXY座標は、例えば、領域の中心座標などである。この例では、10[μm]×10[μm]の撮影範囲32毎のうねり補正値を算出した場合の例である。うねり補正値の単位も[μm]である。
ところで、うねり補正値を算出する方法は上記に限らない。例えば、ステージ11のZ軸方向の高さ位置を予め設定された初期の位置から予め決められた範囲内において段階的に切り替え、その都度撮影されたデジタル画像データをもとに合焦ずれに関する情報であるデフォーカス情報(合焦点のずれ量)を算出し、そのデフォーカス情報が最小であるときのステージ11のZ軸方向の高さ位置をもとにうねり補正値を算出してもよい。その他、デフォーカス情報の変化量をもとに算出する方法なども考えられる。
[4.うねり補正テーブルを用いた撮影処理]
最後に、うねり補正テーブルを用いた撮影処理について説明する。
図7は、うねり補正テーブルを用いた撮影処理に関するフローチャートである。
なお、撮影処理直前のステージ11のZ軸方向の初期の高さ位置は上記基準の高さ位置にある。
まず、試料SPLを挟んで重ね合わされたスライドガラスSGとカバーガラスCGがステージ11上に載置される。ハードウェア制御部21は、うねり補正処理部23からの指令に従って、撮影対象領域31の初期位置に撮影範囲32を合わせるようにステージ制御部18を通じてステージ11を移動させる(ステップS301)。
撮影対象領域31の初期位置に撮影範囲32を合わせた後、うねり補正処理部23は、うねり補正テーブルから当該撮影範囲32の位置に代表されるXY座標に対応するうねり補正値を読み出す。このうねり補正値が0以外である場合、うねり補正処理部23は、Z軸方向の基準の高さ位置にあるステージ11をうねり補正値の相当量Z軸方向に移動させるように、ハードウェア制御部21を通じてステージ制御部18を制御する(ステップS302)。
この後、ハードウェア制御部21は、うねり補正処理部23からの指令に従って、顕微鏡10にて撮影が行われるように、発光制御部17と光学センサ制御部16を制御する(ステップS303)。光学センサ15からのセンサ信号は光学センサ制御部16を通じて情報処理装置20内のセンサ信号現像部22に供給される。センサ信号現像部22は、センサ信号からデジタル画像データを生成し、このデジタル画像データを画像出力部25に供給する。画像出力部25は、デジタル画像データを、JPEGやTiffなど、コンピュータ上での処理が容易なファイルフォーマットに変換し、ファイルとして記憶部207に保存する。
撮影対象領域31の初期位置での撮影が完了したら、続いて撮影範囲32がX軸方向に所定の距離だけ移動され、移動先の撮影範囲32に対して同様の処理が繰り返される。
X軸方向の1ライン分の撮影が完了したら(ステップS305のY)、続いて、ステージ11はY軸方向に所定の距離だけ移動されることで撮影範囲32が次のラインに移動し(ステップS307)、そのラインに対しても同様の処理が繰り返される。
上記のようにステージ11のX軸方向およびY軸方向への移動、ステージ11の高さ位置の補正、撮影を繰り返し、撮影対象領域31の全体の撮影が完了したら(ステップS304のY)、撮影処理は終了となる。
以上説明したように、本実施形態の画像処理システム1において、情報処理装置20は、ステージ11の撮影範囲32毎のZ軸方向の位置のずれを補正するための値をうねり補正値として算出する。情報処理装置20は、算出した撮影範囲32毎のうねり補正値を当該撮影範囲32の位置を特定するXY座標と対応付けてうねり補正テーブルに登録する。そして情報処理装置20は、うねり補正テーブルを参照してステージ11のZ軸方向の高さ位置を撮影範囲32毎に補正する。これにより移動自在なステージ11を用いた顕微鏡10での合焦ずれを効果的に低減して、高質な観察画像を安定的に得ることができる。
[変形例]
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。
上述の実施形態においては、光学系12が固定され、ステージ11がXYZ軸方向に選択的に移動可能な構成としたが、逆にステージ11が固定され、光学系12がXYZ軸方向に選択的に移動可能なように構成してもかまわない。すなわち、ステージ11と光学系12(対物レンズ12A)とのZ軸方向での相対的な距離をうねり補正の対象とすればよい。したがって、ステージ11がX軸とY軸の移動を担い、光学系12がZ軸方向の移動を担うように構成してもよく、その逆の構成にしても構わない。さらに、光学系12とステージ11とがともにXYZ軸方向に移動可能な構成も考えられる。
上述の実施形態においては、本発明を蛍光顕微鏡に適用した例を示したが、蛍光顕微鏡以外の顕微鏡に本発明が適用されても構わない。
1…画像処理システム
10…顕微鏡
11…ステージ
12…光学系
12A…対物レンズ
13…照明灯
14…光源
15…光学センサ
16…光学センサ制御部
17…発光制御部
18…ステージ制御部
20…情報処理装置
21…ハードウェア制御部
22…センサ信号現像部
23…うねり補正処理部
24…うねり補正テーブル記憶部
25…画像出力部
31…撮影対象領域
32…撮影範囲

Claims (3)

  1. 撮影対象物を載置可能な載置面を有するステージと、前記載置面に載置された前記撮影対象物を撮像する対物レンズを含む撮像部とを具備し、前記ステージが前記対物レンズの光軸に対してそれぞれ直交しかつ互いに直交する第1の軸方向および第2の軸方向と前記光軸に沿った第3の軸方向に移動自在である顕微鏡が制御対象として接続される接続部と、
    前記ステージの前記載置面の撮影対象領域における、当該載置面より小さい所定の撮影範囲毎の前記第3の軸方向の位置のずれを補正するための値を、前記ステージの前記載置面のうねり補正値として算出する算出部と、
    前記算出された前記撮影範囲毎の前記うねり補正値を記憶する補正値記憶部と、
    前記記憶された撮影範囲毎のうねり補正値をもとに、前記撮影対象物の撮影時の前記ステージと前記対物レンズとの相対的な距離を前記撮影範囲毎に補正する補正部と
    を具備し、
    前記算出部は、前記ステージの前記載置面に平坦なダミーの撮影対象物を載置させた状態で、前記ステージと前記対物レンズとの相対的な距離を、予め決められた範囲内で、前記撮像部における光学系の被写界深度以下のステップ幅で段階的に切り替え、その都度撮影された像をもとに合焦ずれ量を算出し、前記算出された合焦ずれ量が閾値以下であることを満足するときの前記距離から前記うねり補正値を求める
    情報処理装置。
  2. 撮影対象物を載置可能な載置面を有するステージと、前記載置面に載置された前記撮影対象物を撮像する対物レンズを含む撮像部とを具備し、前記ステージが前記対物レンズの光軸に対してそれぞれ直交しかつ互いに直交する第1の軸方向および第2の軸方向と前記光軸に沿った第3の軸方向に移動自在である顕微鏡のステージうねり補正方法であって、
    前記ステージの前記載置面の撮影対象領域における、当該載置面より小さい所定の撮影範囲毎の前記第3の軸方向の位置のずれを補正するための値を、前記ステージの前記載置面のうねり補正値として算出するため、前記ステージの前記載置面に平坦なダミーの撮影対象物を載置させた状態で、前記ステージと前記対物レンズとの相対的な距離を、予め決められた範囲内で、前記撮像部における光学系の被写界深度以下のステップ幅で段階的に切り替え、その都度撮影された像をもとに合焦ずれ量を算出し、前記算出された合焦ずれ量が閾値以下であることを満足するときの前記距離から前記うねり補正値を求め、
    前記算出された前記撮影範囲毎の前記うねり補正値を記憶し、
    前記記憶された撮影範囲毎のうねり補正値をもとに、前記撮影対象物の撮影時の前記ステージと前記対物レンズとの相対的な距離を前記撮影範囲毎に補正する
    ステージのうねり補正方法。
  3. 撮影対象物を載置可能な載置面を有するステージと、前記載置面に載置された前記撮影対象物を撮像する対物レンズを含む撮像部とを具備し、前記ステージが前記対物レンズの光軸に対してそれぞれ直交しかつ互いに直交する第1の軸方向および第2の軸方向と前記光軸に沿った第3の軸方向に移動自在である顕微鏡を制御するコンピュータを動作させるプログラムであって、
    前記ステージの前記載置面の撮影対象領域における、当該載置面より小さい所定の撮影範囲毎の前記第3の軸方向の位置のずれを補正するための値を、前記ステージの前記載置面のうねり補正値として算出するため、前記ステージの前記載置面に平坦なダミーの撮影対象物を載置させた状態で、前記ステージと前記対物レンズとの相対的な距離を、予め決められた範囲内で、前記撮像部における光学系の被写界深度以下のステップ幅で段階的に切り替え、その都度撮影された像をもとに合焦ずれ量を算出し、前記算出された合焦ずれ量が閾値以下であることを満足するときの前記距離から前記うねり補正値を求める算出部と、
    前記算出された前記撮影範囲毎の前記うねり補正値を記憶する補正値記憶部と、
    前記記憶された撮影範囲毎のうねり補正値をもとに、前記撮影対象物の撮影時の前記ステージと前記対物レンズとの相対的な距離を前記撮影範囲毎に補正する補正部として
    前記コンピュータを動作させるプログラム。
JP2010151112A 2010-07-01 2010-07-01 情報処理装置、ステージうねり補正方法、プログラム Expired - Fee Related JP5589619B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010151112A JP5589619B2 (ja) 2010-07-01 2010-07-01 情報処理装置、ステージうねり補正方法、プログラム
US13/162,210 US8830313B2 (en) 2010-07-01 2011-06-16 Information processing apparatus, stage-undulation correcting method, program therefor
EP11170915A EP2402811A3 (en) 2010-07-01 2011-06-22 Information processing apparatus, stage-undulation correcting method, program therefor
CN2011101736502A CN102313980A (zh) 2010-07-01 2011-06-24 信息处理装置、镜台波动校正方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010151112A JP5589619B2 (ja) 2010-07-01 2010-07-01 情報処理装置、ステージうねり補正方法、プログラム

Publications (2)

Publication Number Publication Date
JP2012013996A JP2012013996A (ja) 2012-01-19
JP5589619B2 true JP5589619B2 (ja) 2014-09-17

Family

ID=44584919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010151112A Expired - Fee Related JP5589619B2 (ja) 2010-07-01 2010-07-01 情報処理装置、ステージうねり補正方法、プログラム

Country Status (4)

Country Link
US (1) US8830313B2 (ja)
EP (1) EP2402811A3 (ja)
JP (1) JP5589619B2 (ja)
CN (1) CN102313980A (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014112083A1 (ja) * 2013-01-17 2014-07-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
WO2014112085A1 (ja) 2013-01-17 2014-07-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP6029396B2 (ja) * 2012-09-13 2016-11-24 京セラオプテック株式会社 位相差顕微鏡
WO2014041820A1 (ja) * 2012-09-13 2014-03-20 京セラオプテック株式会社 顕微鏡
US20150330776A1 (en) 2012-10-15 2015-11-19 Sony Corporation Image obtaining apparatus, and method of measuring an inclination of a slide
JP5928308B2 (ja) * 2012-11-13 2016-06-01 ソニー株式会社 画像取得装置および画像取得方法
EP3333608B1 (en) 2013-01-17 2021-02-24 Hamamatsu Photonics K.K. Image capturing appartus and focusing method thereof
CN105008975B (zh) 2013-01-17 2018-06-26 浜松光子学株式会社 图像取得装置以及图像取得装置的聚焦方法
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6270264B2 (ja) * 2014-02-04 2018-01-31 株式会社ミツトヨ 情報処理装置、情報処理方法、プログラム、測定装置、及び測定方法
JP6134348B2 (ja) * 2015-03-31 2017-05-24 シスメックス株式会社 細胞撮像装置及び細胞撮像方法
US10126325B2 (en) * 2015-05-22 2018-11-13 Shimadzu Corporation Scanning probe microscope
JP6619315B2 (ja) * 2016-09-28 2019-12-11 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム
JP2018101091A (ja) * 2016-12-21 2018-06-28 オリンパス株式会社 顕微鏡装置、プログラム、観察方法
US10419197B2 (en) * 2017-04-27 2019-09-17 Qualcomm Incorporated Sharing of long-term evolution (LTE) uplink spectrum
JP6704530B2 (ja) * 2017-08-29 2020-06-03 富士フイルム株式会社 撮影制御装置、方法およびプログラム
JP6812562B2 (ja) * 2017-08-30 2021-01-13 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム
JP7071815B2 (ja) * 2017-10-19 2022-05-19 オリンパス株式会社 顕微鏡装置
CN118050941B (zh) * 2024-04-16 2024-06-28 上海隐冠半导体技术有限公司 一种自动对焦方法、系统、装置以及计算机程序产品

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63167313A (ja) * 1986-12-27 1988-07-11 Hitachi Ltd 自動焦点制御方法
US5367401A (en) * 1990-11-23 1994-11-22 Perceptive Scientific Instruments, Inc. Microscope slide rotary stage
US5621519A (en) * 1995-07-31 1997-04-15 Neopath, Inc. Imaging system transfer function control method and apparatus
US6031930A (en) * 1996-08-23 2000-02-29 Bacus Research Laboratories, Inc. Method and apparatus for testing a progression of neoplasia including cancer chemoprevention testing
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US7095032B2 (en) 1998-03-20 2006-08-22 Montagu Jean I Focusing of microscopes and reading of microarrays
JP3501672B2 (ja) * 1999-04-02 2004-03-02 株式会社東京精密 表面画像投影装置及び方法
JP4434376B2 (ja) * 1999-09-24 2010-03-17 オリンパス株式会社 顕微鏡画像転送システム
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US20020131167A1 (en) 2000-11-09 2002-09-19 Nguyen Francis T. Sample holder for an imaging system
US6813023B2 (en) * 2002-01-03 2004-11-02 Chiaro Nerwork Ltd. Automatic optical inter-alignment of two linear arrangements
JP2006258444A (ja) * 2005-03-15 2006-09-28 Opcell Co Ltd 物体表面形状測定装置
JP4754871B2 (ja) * 2005-05-11 2011-08-24 オリンパスメディカルシステムズ株式会社 内視鏡の先端部
US7576307B2 (en) 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
JP5056469B2 (ja) * 2008-02-22 2012-10-24 富士通株式会社 画像管理装置
JP2010151112A (ja) 2008-12-24 2010-07-08 Hidehito Moritsuka 酸素燃焼co2回収タービンシステム

Also Published As

Publication number Publication date
US20120002032A1 (en) 2012-01-05
JP2012013996A (ja) 2012-01-19
CN102313980A (zh) 2012-01-11
US8830313B2 (en) 2014-09-09
EP2402811A2 (en) 2012-01-04
EP2402811A3 (en) 2013-03-27

Similar Documents

Publication Publication Date Title
JP5589619B2 (ja) 情報処理装置、ステージうねり補正方法、プログラム
JP4970869B2 (ja) 観察装置および観察方法
JP4917329B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
US20110157349A1 (en) Stage control device, stage control method, stage control program, and microscope
JP2012013804A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2012003214A (ja) 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置
US10073258B2 (en) Microscope system
US20150185456A1 (en) Microscope system and control method therefor
CN111788508B (zh) 数码显微镜和用于改变数码显微镜的放大率的方法
JP2012042669A (ja) 顕微鏡制御装置及び光学的歪み補正方法
JP6799924B2 (ja) 細胞観察装置および細胞観察方法
JP2013142769A (ja) 顕微鏡システム、オートフォーカスプログラムおよびオートフォーカス方法
JP5875813B2 (ja) 顕微鏡システム
WO2014087713A1 (ja) 撮像装置及び顕微鏡システム
JP5289879B2 (ja) 顕微鏡システム、顕微鏡システムにおけるフォーカスドリフトの補正方法及びプログラム。
US10475198B2 (en) Microscope system and specimen observation method
JP2012058665A (ja) 顕微鏡制御装置及び処理範囲決定方法
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP2014149381A (ja) 画像取得装置および画像取得方法
JP5730696B2 (ja) 画像処理装置および画像表示システム
JP6422761B2 (ja) 顕微鏡システム、及び、z位置と補正装置の設定値との関係算出方法
JP6423261B2 (ja) 顕微鏡システム、関数算出方法、及び、プログラム
JP5904737B2 (ja) 顕微鏡システム
JP2018116197A (ja) 顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法
JP5197246B2 (ja) 顕微鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140714

R151 Written notification of patent or utility model registration

Ref document number: 5589619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees