JP4917331B2 - 画像取得装置、画像取得方法、及び画像取得プログラム - Google Patents

画像取得装置、画像取得方法、及び画像取得プログラム Download PDF

Info

Publication number
JP4917331B2
JP4917331B2 JP2006055547A JP2006055547A JP4917331B2 JP 4917331 B2 JP4917331 B2 JP 4917331B2 JP 2006055547 A JP2006055547 A JP 2006055547A JP 2006055547 A JP2006055547 A JP 2006055547A JP 4917331 B2 JP4917331 B2 JP 4917331B2
Authority
JP
Japan
Prior art keywords
image
image acquisition
sample
range
micro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006055547A
Other languages
English (en)
Other versions
JP2007233098A (ja
Inventor
茂 内山
貴之 井上
正利 奥河
クック ジェレミー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2006055547A priority Critical patent/JP4917331B2/ja
Priority to US11/477,822 priority patent/US7801352B2/en
Priority to ES07250729T priority patent/ES2361365T3/es
Priority to EP07250729A priority patent/EP1830217B1/en
Priority to EP10184178A priority patent/EP2273302B1/en
Priority to AT07250729T priority patent/ATE504856T1/de
Priority to DE602007013639T priority patent/DE602007013639D1/de
Publication of JP2007233098A publication Critical patent/JP2007233098A/ja
Priority to US12/857,110 priority patent/US7978898B2/en
Application granted granted Critical
Publication of JP4917331B2 publication Critical patent/JP4917331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Description

本発明は、試料の画像を取得するための画像取得装置、画像取得方法、及び画像取得プログラムに関するものである。
近年、病理学の分野などにおいて、パーソナルコンピュータ等の仮想空間上であたかも実際の顕微鏡で試料を見ているかのように操作可能なバーチャル顕微鏡が知られている。このバーチャル顕微鏡で扱われる試料データは、予め実際の顕微鏡を利用して高解像度で取得された試料の画像データに基づいている。
このようにバーチャル顕微鏡で利用される試料の画像データを取得する画像取得装置では、バーチャル顕微鏡での画像操作を実現するために、充分に高解像度で試料の画像を取得することが要求される。また、このような高解像度の画像の取得について、その画像取得時の焦点情報を設定することが、例えば特許文献1:米国特許第6816606号公報に記載されている。
米国特許第6816606号公報
バーチャル顕微鏡で利用される試料の画像データの取得においては、スライドガラスに生体サンプル等が密封されたスライドが画像取得の対象の試料となる。また、このようなスライドを試料とした画像取得処理では、画像取得の対象物の生体サンプルについて、その画像を取得する際に参照すべき撮像条件として焦点マップなどの焦点情報が設定され、その焦点情報に基づいて焦点制御を行いつつ、対象物に対する画像取得が行われる。
一方、上記したスライドに密封された生体サンプルなど、試料に含まれている所定の対象物を目的とする画像取得では、その試料内に、例えば複数の生体サンプルなどの複数の対象物が含まれる場合がある。このような場合、複数の対象物のそれぞれについて画像を取得するために、例えば同一の試料に対して複数回の画像取得処理を実行するなど、その画像取得作業が複雑化するという問題がある。
本発明は、以上の問題点を解決するためになされたものであり、試料内に複数の対象物が含まれる場合でも、そのそれぞれの画像を好適に取得することが可能な画像取得装置、画像取得方法、及び画像取得プログラムを提供することを目的とする。
このような目的を達成するために、本発明による画像取得装置は、(1)試料のマクロ画像を取得するためのマクロ画像取得手段と、試料を所定の解像度で走査して、そのミクロ画像を取得するためのミクロ画像取得手段と、試料に対して、画像取得の対象物を含む範囲に応じた画像取得範囲、及び画像取得範囲での対象物の画像取得についての焦点情報を設定する撮像条件設定手段と、ミクロ画像取得手段によるミクロ画像の取得動作を制御するミクロ画像取得制御手段とを備え、(2)ミクロ画像取得手段は、1次元画像または2次元画像の取得が可能な撮像装置を有するとともに、撮像装置での撮像面における一の方向をミクロ画像を取得する際の走査方向として構成され、撮像条件設定手段は、マクロ画像を参照して、画像取得範囲、及び画像取得範囲内での焦点計測位置を設定するとともに、ミクロ画像の取得に先立って、焦点計測位置に対してミクロ画像取得手段を用いて焦点計測を行った計測結果を参照して焦点情報を設定し、(3)ミクロ画像取得制御手段は、画像取得範囲、及び焦点情報を設定した上で行われるミクロ画像の取得において、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、ミクロ画像となる複数の部分画像を取得させる制御を行い、(4)撮像条件設定手段は、試料に対して、対象物として、少なくとも第1対象物、及び第2対象物が判別された場合に、第1対象物の像と第2対象物の像との間で試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定するとともに、撮像条件設定手段は、画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域と、第2画像取得範囲に属する第2領域とが混在する場合に、第1領域と第2領域とのそれぞれで、焦点情報を第1焦点情報と第2焦点情報とで切り換えて、その部分画像を取得するための試料の走査を行うことを特徴とする。
また、本発明による画像取得方法は、(1)試料のマクロ画像を取得するためのマクロ画像取得ステップと、試料を所定の解像度で走査して、そのミクロ画像を取得するためのミクロ画像取得ステップと、試料に対して、画像取得の対象物を含む範囲に応じた画像取得範囲、及び画像取得範囲での対象物の画像取得についての焦点情報を設定する撮像条件設定ステップと、ミクロ画像取得ステップによるミクロ画像の取得動作を制御するミクロ画像取得制御ステップとを備え、(2)ミクロ画像取得ステップは、1次元画像または2次元画像の取得が可能な撮像装置を有するミクロ画像取得手段を用いるとともに、撮像装置での撮像面における一の方向をミクロ画像を取得する際の走査方向として構成され、撮像条件設定ステップは、マクロ画像を参照して、画像取得範囲、及び画像取得範囲内での焦点計測位置を設定するとともに、ミクロ画像の取得に先立って、焦点計測位置に対してミクロ画像取得手段を用いて焦点計測を行った計測結果を参照して焦点情報を設定し、(3)ミクロ画像取得制御ステップは、画像取得範囲、及び焦点情報を設定した上で行われるミクロ画像の取得において、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、ミクロ画像となる複数の部分画像を取得させる制御を行い、(4)撮像条件設定ステップは、試料に対して、対象物として、少なくとも第1対象物、及び第2対象物が判別された場合に、第1対象物の像と第2対象物の像との間で試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定するとともに、撮像条件設定ステップは、画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域と、第2画像取得範囲に属する第2領域とが混在する場合に、第1領域と第2領域とのそれぞれで、焦点情報を第1焦点情報と第2焦点情報とで切り換えて、その部分画像を取得するための試料の走査を行うことを特徴とする。
また、本発明による画像取得プログラムは、(1)試料のマクロ画像を取得するためのマクロ画像取得手段と、試料を所定の解像度で走査して、そのミクロ画像を取得するためのミクロ画像取得手段を備える画像取得装置に適用され、試料に対して、画像取得の対象物を含む範囲に応じた画像取得範囲、及び画像取得範囲での対象物の画像取得についての焦点情報を設定する撮像条件設定処理と、ミクロ画像取得手段によるミクロ画像の取得動作を制御するミクロ画像取得制御処理とをコンピュータに実行させるとともに、(2)ミクロ画像取得手段は、1次元画像または2次元画像の取得が可能な撮像装置を有するとともに、撮像装置での撮像面における一の方向をミクロ画像を取得する際の走査方向として構成され、撮像条件設定処理は、マクロ画像を参照して、画像取得範囲、及び画像取得範囲内での焦点計測位置を設定するとともに、ミクロ画像の取得に先立って、焦点計測位置に対してミクロ画像取得手段を用いて焦点計測を行った計測結果を参照して焦点情報を設定し、(3)ミクロ画像取得制御処理は、画像取得範囲、及び焦点情報を設定した上で行われるミクロ画像の取得において、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、ミクロ画像となる複数の部分画像を取得させる制御を行い、(4)撮像条件設定処理は、試料に対して、対象物として、少なくとも第1対象物、及び第2対象物が判別された場合に、第1対象物の像と第2対象物の像との間で試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定するとともに、撮像条件設定処理は、画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域と、第2画像取得範囲に属する第2領域とが混在する場合に、第1領域と第2領域とのそれぞれで、焦点情報を第1焦点情報と第2焦点情報とで切り換えて、その部分画像を取得するための試料の走査を行うことを特徴とする。
上記した画像取得装置、画像取得方法、及び画像取得プログラムにおいては、試料内に含まれる画像取得の対象物について、画像取得範囲、及び画像取得時に参照すべき焦点マップなどの焦点情報を撮像条件として設定する。そして、このような構成において、例えば試料内に複数の対象物が含まれている場合など、試料に対して複数の画像取得範囲が設定された場合に、画像取得範囲毎に焦点情報を求めることとしている。これにより、複数の画像取得範囲を含む試料全体に対する焦点制御を好適に行うことができる。
また、試料に対してこのような複数の画像取得範囲、及びそれに対応する複数の焦点情報(例えば複数の焦点マップ)が設定された場合で、さらに、試料を走査して取得される複数の部分画像のうちで、複数の画像取得範囲が混在している部分画像がある場合、その部分画像の走査において途中で焦点情報を切り換える構成としている。このような構成では、複数の対象物のそれぞれについての画像を好適に焦点制御を行いつつ1回の画像取得処理で取得することができる。これにより、試料内に複数の対象物が含まれる場合でも、そのそれぞれの画像を好適に取得することが可能となる。また、そのような複数の対象物を含む試料に対して必要な画像取得作業が簡単化される。
ここで、画像取得装置は、ミクロ画像取得手段が、1次元画像の取得が可能、または2次元画像の取得及びTDI駆動が可能な撮像装置を有するとともに、撮像装置での撮像面の長手方向に直交する方向を走査方向として構成され、ミクロ画像取得制御手段は、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の長手方向に沿って撮像位置をずらしながら複数回繰返して、複数の部分画像を取得させる制御を行うことが好ましい。
同様に、画像取得方法は、ミクロ画像取得ステップが、1次元画像の取得が可能、または2次元画像の取得及びTDI駆動が可能な撮像装置を用いるとともに、撮像装置での撮像面の長手方向に直交する方向を走査方向として構成され、ミクロ画像取得制御ステップは、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の長手方向に沿って撮像位置をずらしながら複数回繰返して、複数の部分画像を取得させる制御を行うことが好ましい。
同様に、画像取得プログラムは、ミクロ画像取得手段が、1次元画像の取得が可能、または2次元画像の取得及びTDI駆動が可能な撮像装置を有するとともに、撮像装置での撮像面の長手方向に直交する方向を走査方向として構成され、ミクロ画像取得制御処理は、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の長手方向に沿って撮像位置をずらしながら複数回繰返して、複数の部分画像を取得させる制御を行うことが好ましい。
このような構成によれば、1次元センサまたはTDI駆動2次元センサで試料を一方向に走査したストリップ状の部分画像を高解像度で取得するとともに、他方向について複数の部分画像を合成して試料の全体のミクロ画像とすることで、試料の画像データを充分に高い解像度で好適に取得することができる。
また、画像取得装置は、試料のマクロ画像を取得するためのマクロ画像取得手段をさらに備え、撮像条件設定手段は、マクロ画像を参照して画像取得範囲、及び焦点情報を設定することが好ましい。同様に、画像取得方法は、試料のマクロ画像を取得するためのマクロ画像取得ステップをさらに備え、撮像条件設定ステップは、マクロ画像を参照して画像取得範囲、及び焦点情報を設定することが好ましい。同様に、画像取得プログラムは、画像取得装置が、試料のマクロ画像を取得するためのマクロ画像取得手段をさらに備え、撮像条件設定処理は、マクロ画像を参照して画像取得範囲、及び焦点情報を設定することが好ましい。
このように、画像取得の対象となる試料に対してマクロ画像取得手段とミクロ画像取得手段とを設け、試料の全体像を示すマクロ画像を参照して撮像条件を設定した上で高解像度のミクロ画像の取得を行うことにより、例えばバーチャル顕微鏡で用いられる試料の画像データとなるような高解像度の試料のミクロ画像を、効率良く取得することができる。
また、画像取得装置は、撮像条件設定手段が、画像取得範囲、及び画像取得範囲内での焦点計測位置を設定するとともに、焦点計測位置に対して焦点計測を行った計測結果を参照して焦点情報を設定することが好ましい。同様に、画像取得方法は、撮像条件設定ステップが、画像取得範囲、及び画像取得範囲内での焦点計測位置を設定するとともに、焦点計測位置に対して焦点計測を行った計測結果を参照して焦点情報を設定することが好ましい。同様に、画像取得プログラムは、撮像条件設定処理が、画像取得範囲、及び画像取得範囲内での焦点計測位置を設定するとともに、焦点計測位置に対して焦点計測を行った計測結果を参照して焦点情報を設定することが好ましい。
このように、最初に焦点計測位置を設定し、その焦点計測位置について試料に対する焦点計測を行った上で焦点情報を設定することにより、試料に含まれる対象物の画像を良好な状態で取得することが可能となる。また、この場合、マクロ画像取得手段で取得されたマクロ画像を参照して画像取得範囲及び焦点計測位置を設定するとともに、焦点計測位置に対してミクロ画像取得手段を用いて焦点計測を行うことで、焦点マップなどの焦点情報を設定することが好ましい。
また、画像取得装置は、撮像条件設定手段が、画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域が存在して、第2画像取得範囲に属する第2領域がない場合に、焦点情報を第1焦点情報として、その部分画像を取得するための試料の走査を行うことが好ましい。
同様に、画像取得方法は、撮像条件設定ステップが、画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域が存在して、第2画像取得範囲に属する第2領域がない場合に、焦点情報を第1焦点情報として、その部分画像を取得するための試料の走査を行うことが好ましい。
同様に、画像取得プログラムは、撮像条件設定処理が、画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域が存在して、第2画像取得範囲に属する第2領域がない場合に、焦点情報を第1焦点情報として、その部分画像を取得するための試料の走査を行うことが好ましい。
これにより、試料に対して複数の画像取得範囲が設定された場合に、ミクロ画像となる部分画像の取得において、複数の画像取得範囲が混在している部分画像、及びそのような画像取得範囲の混在がない部分画像のいずれについても、部分画像を取得するための試料の走査を好適に実行することが可能となる。
また、画像取得範囲の設定に関しては、画像取得装置は、撮像条件設定手段が、試料に対して、対象物として少なくとも第1対象物、及び第2対象物が判別された場合に、第1対象物の像と第2対象物の像との間で試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定することが好ましい。
同様に、画像取得方法は、撮像条件設定ステップが、試料に対して、対象物として少なくとも第1対象物、及び第2対象物が判別された場合に、第1対象物の像と第2対象物の像との間で試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定することが好ましい。
同様に、画像取得プログラムは、撮像条件設定処理が、試料に対して、対象物として少なくとも第1対象物、及び第2対象物が判別された場合に、第1対象物の像と第2対象物の像との間で試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定することが好ましい。
これにより、試料内に複数の対象物が含まれている場合でも、それに対応する複数の画像取得範囲を好適かつ確実に設定することが可能となる。また、第1、第2対象物の像の間での区分線の設定については、例えばマクロ画像での対象物の像について膨張処理を行って得られる第1、第2対象物の境界線を区分線とする方法など、様々な設定方法を用いることが可能である。
また、本発明による他の画像取得装置は、(1)試料のマクロ画像を取得するためのマクロ画像取得手段と、マクロ画像を参照し、試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲、及び画像取得範囲での対象物の画像取得についての焦点情報を設定する撮像条件設定手段とを備え、(2)撮像条件設定手段は、ミクロ画像の取得方法について、1次元画像または2次元画像の取得が可能な撮像装置を有するとともに、撮像装置での撮像面における一の方向をミクロ画像を取得する際の走査方向として構成されたミクロ画像取得手段を用い、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、ミクロ画像となる複数の部分画像を取得させる方法を想定し、(3)画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域と、第2画像取得範囲に属する第2領域とが混在する場合に、第1領域と第2領域とのそれぞれで、焦点情報を第1焦点情報と第2焦点情報とで切り換えて、その部分画像を取得するための試料の走査を行うように、撮像条件を設定することを特徴とする。
また、本発明による画像取得方法は、(1)試料のマクロ画像を取得するためのマクロ画像取得ステップと、マクロ画像を参照し、試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲、及び画像取得範囲での対象物の画像取得についての焦点情報を設定する撮像条件設定ステップとを備え、(2)撮像条件設定ステップは、ミクロ画像の取得方法について、1次元画像または2次元画像の取得が可能な撮像装置を有するとともに、撮像装置での撮像面における一の方向をミクロ画像を取得する際の走査方向として構成されたミクロ画像取得手段を用い、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、ミクロ画像となる複数の部分画像を取得させる方法を想定し、(3)画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域と、第2画像取得範囲に属する第2領域とが混在する場合に、第1領域と第2領域とのそれぞれで、焦点情報を第1焦点情報と第2焦点情報とで切り換えて、その部分画像を取得するための試料の走査を行うように、撮像条件を設定することを特徴とする。
また、本発明による画像取得プログラムは、(1)試料のマクロ画像を取得するためのマクロ画像取得手段を備える画像取得装置に適用され、マクロ画像を参照し、試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲、及び画像取得範囲での対象物の画像取得についての焦点情報を設定する撮像条件設定処理をコンピュータに実行させるとともに、(2)撮像条件設定処理は、ミクロ画像の取得方法について、1次元画像または2次元画像の取得が可能な撮像装置を有するとともに、撮像装置での撮像面における一の方向をミクロ画像を取得する際の走査方向として構成されたミクロ画像取得手段を用い、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、ミクロ画像となる複数の部分画像を取得させる方法を想定し、(3)画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域と、第2画像取得範囲に属する第2領域とが混在する場合に、第1領域と第2領域とのそれぞれで、焦点情報を第1焦点情報と第2焦点情報とで切り換えて、その部分画像を取得するための試料の走査を行うように、撮像条件を設定することを特徴とする。
上記した画像取得装置、画像取得方法、及び画像取得プログラムにおいては、試料内に含まれる画像取得の対象物について、試料のマクロ画像を参照し、画像取得範囲、及び画像取得時に参照すべき焦点マップなどの焦点情報を、ミクロ画像の撮像条件として設定する。そして、このような構成において、例えば試料内に複数の対象物が含まれている場合など、試料に対して複数の画像取得範囲が設定された場合に、画像取得範囲毎に焦点情報を求めることとしている。これにより、複数の画像取得範囲を含む試料全体に対する焦点制御を好適に行うことができる。
また、試料に対してこのような複数の画像取得範囲、及びそれに対応する複数の焦点情報(例えば複数の焦点マップ)が設定された場合で、さらに、試料を走査して取得される複数の部分画像のうちで、複数の画像取得範囲が混在している部分画像がある場合、その部分画像の走査において途中で焦点情報を切り換えるように撮像条件を設定している。このような構成では、複数の対象物のそれぞれについての画像を好適に焦点制御を行いつつ1回の画像取得処理で取得することができる。これにより、試料内に複数の対象物が含まれる場合でも、そのそれぞれの画像を好適に取得することが可能となる。また、そのような複数の対象物を含む試料に対して必要な画像取得作業が簡単化される。
本発明の画像取得装置、画像取得方法、及び画像取得プログラムによれば、画像取得の対象となる試料に対して複数の画像取得範囲、及びそれに対応する複数の焦点情報が設定された場合で、さらに、試料を走査して取得される複数の部分画像のうちで、複数の画像取得範囲が混在している部分画像がある場合に、その部分画像の走査において途中で焦点情報を切り換える構成とすることにより、試料内に複数の対象物が含まれる場合でも、そのそれぞれの画像を好適に取得することが可能となる。
以下、図面とともに本発明による画像取得装置、画像取得方法、及び画像取得プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
まず、画像取得装置の全体構成について説明する。図1は、本発明による画像取得装置の一実施形態の構成を示すブロック図である。本実施形態による画像取得装置は、試料Sの画像を高解像度で取得するために用いられる顕微鏡システムであり、試料Sの画像取得を行う顕微鏡部10と、顕微鏡部10における画像取得の制御等を行う制御部60とを備える。画像取得の対象となる試料Sとしては、バーチャル顕微鏡で利用される画像データを取得する場合における、スライドガラスに組織切片等の生体サンプルが密封されたスライド(プレパラート)が例として挙げられる。
顕微鏡部10は、試料格納部11と、マクロ画像取得部20と、ミクロ画像取得部30とを有している。試料格納部11は、それぞれ画像取得の対象となる複数の試料(例えばそれぞれ生体サンプルが密封された複数のスライド)Sを格納可能に構成された格納手段である。本実施形態においては、このような試料格納部11を設けることにより、複数の試料Sを対象とする画像取得処理が可能となっている。この試料格納部11には、操作者による試料Sの格納、及び取り出し等に用いられる扉12が設けられている。また、本実施形態においては、画像取得中に誤って扉12が開放されることを防止するためのインターロック機構13が付設されている。
マクロ画像取得部20は、試料Sの低倍率画像としてマクロ画像を取得するための第1の画像取得手段である。この画像取得部20では、試料Sの全体像に相当する低解像度でのマクロ画像が取得される。また、マクロ画像取得部20に対して、マクロ画像取得時に試料Sの光像を生成するための光を供給するマクロ用光源25が設置されている。これらのマクロ画像取得部20及びマクロ用光源25は、必要に応じて設けられる。
一方、ミクロ画像取得部30は、試料Sの高倍率画像としてミクロ画像を取得するための第2の画像取得手段である。この画像取得部30では、試料Sを所定の解像度で2次元に走査して、目的とする試料Sの高解像度でのミクロ画像が取得される。また、ミクロ画像取得部30に対して、ミクロ画像取得時に試料Sの光像を生成するための光を供給するミクロ用光源35が設置されている。
また、図1においては、画像取得部30で取得されるミクロ画像について、画像データに必要な補正を行うための画像補正部38が設けられている。この画像補正部38で行われる補正としては、ダーク補正、シェーディング補正などが挙げられる。例えば、シェーディング補正を行う場合、あらかじめ生体サンプルがのっていないスライドなどの参照用試料を撮像したブランク画像を取得しておき、このブランク画像を参照してシェーディング補正を行う方法を用いることができる。また、これらの画像補正については、マクロ画像についても同様に行う構成としても良い。
また、顕微鏡部10内での各位置の間で試料Sを移動させる試料移動手段として、試料搬送部14及び試料ステージ15が設けられている。試料搬送部14は、試料格納部11での格納位置と、マクロ画像取得部20及びミクロ画像取得部30のそれぞれでの画像取得位置との間で試料Sを搬送する搬送手段である。また、試料ステージ15は、マクロ画像またはミクロ画像の画像取得時に試料Sが載置されるとともに、試料Sの画像取得位置の設定、調整等に用いられる。また、顕微鏡部10には、これらの顕微鏡部10の各部を駆動制御するための駆動制御部40が設けられている。
制御部60は、データ処理部70と、データ記憶部75と、画像取得制御部80とを有している。データ処理部70には、マクロ画像取得部20で取得されたマクロ画像の画像データ、及びミクロ画像取得部30で取得されたミクロ画像の画像データが入力されており、これらの画像データについて必要なデータ処理が行われる。また、このデータ処理部70では、ミクロ画像取得に対する撮像条件の設定も行われる。
画像取得制御部80は、駆動制御部40を介して、顕微鏡部10における試料Sの画像取得動作を制御する。また、データ処理部70に入力された画像データ、画像データを処理して得られた各種のデータや情報、あるいは画像取得制御部80で用いられる制御情報等は、必要に応じてデータ記憶部75に記憶、保持される。
この制御部60は、例えばCPU及び必要なメモリ、ハードディスクなどの記憶装置を含むコンピュータによって構成される。また、この制御部60に対して、表示装置61、及び入力装置62が接続されている。表示装置61は、例えばCRTディスプレイまたは液晶ディスプレイであり、本画像取得装置の動作に必要な操作画面の表示、あるいは取得された試料Sの画像の表示等に用いられる。また、入力装置62は、例えばキーボードまたはマウスであり、画像取得に必要な情報の入力、画像取得動作についての指示の入力等に用いられる。
次に、図1に示した画像取得装置における顕微鏡部10の構成について説明する。図2は、顕微鏡部10の構成を概略的に示す図である。図2に示すように、本実施形態による顕微鏡部10は、試料Sの光像の取得に利用される透過型の顕微鏡システムとして構成されている。ここで、図中に示すように、水平方向で互いに直交する2方向をX軸方向及びY軸方向とし、水平方向に直交する垂直方向をZ軸方向とする。これらのうち、垂直方向であるZ軸方向が本顕微鏡システムにおける画像取得の光軸の方向となっている。また、図2においては、主にマクロ画像取得部20及びミクロ画像取得部30の構成を示し、試料格納部11及び試料搬送部14等については図示を省略している。
試料Sは、画像取得部20、30における画像取得時には、試料ステージ15上に載置される。この試料ステージ15は、ステッピングモータ、DCモータ、またはサーボモータ等を用い、X軸方向及びY軸方向に移動可能なXYステージとして構成されている。このような構成において、試料ステージ15をXY面内で駆動することにより、画像取得部20、30での試料Sに対する画像取得位置の設定、調整が行われる。また、本実施形態においては、この試料ステージ15は、マクロ画像取得部20での画像取得位置、及びミクロ画像取得部30での画像取得位置の間で移動可能となっている。
試料Sのマクロ画像を取得するためのマクロ画像取得位置に対し、光軸20a上の所定位置にそれぞれマクロ画像取得部20、及びマクロ用光源25が設置されている。マクロ用光源25は、試料Sに対してマクロ画像取得用の光像を生成するための光を照射する光源であり、試料ステージ15の下方に設置されている。
また、マクロ画像取得部20は、試料Sの光像による2次元画像の取得が可能な2次元CCDセンサなどの撮像装置21を用いて構成されている。また、試料Sが配置されるマクロ画像取得位置と、撮像装置21との間には、試料Sの光像を導く光学系として撮像光学系22が設けられている。
一方、試料Sのミクロ画像を取得するためのミクロ画像取得位置に対し、光軸30a上の所定位置にそれぞれミクロ画像取得部30、及びミクロ用光源35が設置されている。ミクロ用光源35は、試料Sに対してミクロ画像取得用の光像を生成するための光を照射する光源であり、集光レンズ36とともに試料ステージ15の下方に設置されている。
また、ミクロ画像取得部30は、試料Sの光像による1次元画像の取得が可能な1次元CCDセンサなどの撮像装置31を用いて構成されている。また、試料Sが配置されるミクロ画像取得位置と、撮像装置31との間には、試料Sの光像を導く光学系として対物レンズ32、及び導光光学系34が設けられている。対物レンズ32は、試料Sを透過した光を入射して試料Sの光像を生成する。また、導光光学系34は、例えばチューブレンズから構成され、試料Sの光像を撮像装置31へと導く。
また、対物レンズ32に対して、ステッピングモータまたはピエゾアクチュエータ等を用いたZステージ33が設けられており、このZステージ33で対物レンズ32をZ軸方向に駆動することで、試料Sに対する焦点合わせ等が可能となっている。なお、このミクロ画像取得部30での撮像装置31としては、1次元画像の取得が可能な撮像装置に限らず、例えば、2次元画像の取得及びTDI駆動が可能な撮像装置などを用いることも可能である。一般には、撮像装置31としては、具体的な画像取得装置の構成等に応じて、1次元画像または2次元画像の取得が可能な撮像装置を適宜選択して用いれば良い。
また、このミクロ画像取得用の撮像装置31としては、例えば3板式CCDカメラなどのカラー画像が取得可能な撮像装置を用いることが好ましい。なお、マクロ画像取得用の撮像装置21については、必要に応じて、白黒画像取得用の撮像装置、またはカラー画像が取得可能な撮像装置のいずれを用いても良い。また、撮像装置31についても、カラー画像を取得する必要がない場合には、白黒画像取得用の撮像装置を用いても良い。
これらの試料ステージ15、マクロ画像取得部20、ミクロ画像取得部30、及び光源25、35に対して、駆動制御部40には、ステージ制御部41、撮像装置制御部42、及び光源制御部43が設けられている。ステージ制御部41は、XYステージである試料ステージ15、及びZステージ33を駆動制御することにより、試料Sに対する撮像条件の設定、調整等を行う。また、撮像装置制御部42は、撮像装置21、31を駆動制御することにより、試料Sの画像取得を制御する。また、光源制御部43は、光源25、35を駆動制御することにより、試料Sに対する画像取得用の光の照射を制御する。なお、顕微鏡部10の各部の制御については、駆動制御部40を介さずに制御部60の画像取得制御部80によって直接に制御する構成など、他の構成を用いても良い。
ここで、画像取得部20、30における試料Sのマクロ画像及びミクロ画像の取得について説明しておく。マクロ画像取得部20では、ミクロ画像の撮像条件の設定に用いられる試料Sの全体像であるマクロ画像が取得される。例えば、上記したスライドガラスに生体サンプル等が密封されたスライドを試料Sとした場合、マクロ画像としては、スライド全体、またはスライドのうちで画像取得の対象物となる生体サンプルを含む所定範囲の画像が取得される。
また、ミクロ画像取得部30では、設定された撮像条件を参照して、目的とする解像度での試料Sのミクロ画像が取得される。このミクロ画像の取得は、図3(a)に模式的に示すように、マクロ画像よりも高い所定の解像度で試料Sを2次元に走査することによって行われる。ここで、1次元CCDカメラなどの撮像装置31を用いたミクロ画像の取得では、試料Sに対して平行なXY面内において、撮像装置31での撮像面の長手方向をX軸方向、この長手方向に直交する方向をY軸方向とする。このとき、ミクロ画像の取得においては、撮像装置31での撮像面の長手方向に直交する方向、図3(a)においてはY軸の負の方向が、試料Sに対する走査方向となる。
1次元CCDカメラなどの撮像装置31を用いたミクロ画像の取得では、まず、撮像装置31によって試料ステージ15上の試料Sを走査方向(Y軸の負の方向)に走査して、所望の解像度を有するストリップ状の部分画像Aを取得する。さらに、図3(a)に示すように、このような部分画像の取得を撮像面の長手方向(X軸の正の方向)に沿って撮像位置をずらしながら複数回繰り返して、複数の部分画像A、B、…、Iを取得する。
このようにして得られた部分画像A〜IをX軸方向に並べて合成することで、試料Sの全体のミクロ画像(例えば、バーチャル顕微鏡でのデジタルスライド)を生成することができる。このようなミクロ画像の取得方法によれば、試料Sの画像データを充分に高い解像度で好適に取得することが可能である。なお、図3(a)中において、部分画像A内に斜線で示したX軸方向を長手方向とする領域は、撮像装置31での撮像面に対応する撮像領域を示している。
なお、一般にミクロ画像取得部30が1次元画像または2次元画像の取得が可能な撮像装置を用いて構成されている場合、撮像装置での撮像面における一の方向をミクロ画像を取得する際の走査方向とする。そして、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の他の方向に沿って撮像位置をずらしながら複数回繰り返すことで、ミクロ画像となる複数の部分画像を取得することができる。
また、ミクロ画像の撮像条件の設定については、マクロ画像取得部20の撮像装置21で取得されたマクロ画像を参照して、ミクロ画像の撮像条件として画像取得範囲、及び焦点計測位置を設定することが好ましい。これにより、試料Sの全体像であるマクロ画像で得られる情報から、ミクロ画像取得に用いられるパラメータを好適に設定して、高解像度で良好な状態の試料の画像データを取得することが可能となる。
具体的には、上記と同様にスライドを試料Sとした場合、図3(b)に示すように、試料Sに対する画像取得範囲は、画像取得の対象であるスライド中の生体サンプルS0を含む矩形状の範囲Rによって設定することができる。ミクロ画像取得部30における試料Sの2次元の走査(図3(a)参照)は、このように設定された画像取得範囲R内について行われる。また、このような画像取得範囲Rの設定を自動で行う場合には、例えば、マクロ画像での輝度パターンに対して設定された閾値を参照して画像を二値化することで画像取得の対象物(例えば生体サンプルS0)が存在する範囲を判別し、その判別結果に基づいて画像取得範囲Rを設定する方法を用いることができる。
図4は、マクロ画像を二値化するための閾値の設定方法を示すグラフである。図4のグラフにおいて、横軸はマクロ画像の各画素での輝度値を示している。ここで、本実施形態で取得されるマクロ画像では、マクロ画像取得部20の透過型の構成により、生体サンプルS0が存在しないスライドガラスのみの領域で最も輝度が高くなる。
マクロ画像に対する閾値の設定においては、例えば、図4に示すように、その輝度分布において2つのピークP1、P2を求め、その中心の輝度値を閾値Tとして設定する方法を用いることができる。そして、この閾値によって画像を二値化することによって、画像中で対象物S0が存在する範囲を容易に判別することができる。さらに、判別された範囲のうち、指定された面積以上の連続した範囲を1つの対象物S0の範囲とし、すべての対象物S0を包含する最小の矩形の領域を画像取得範囲Rとして設定する。なお、閾値の設定については、上記した方法以外にも、例えばピークの輝度値に対してあらかじめ固定に決められた割合で閾値を設定する方法など、様々な方法を用いることができる。
また、二値化されたマクロ画像における対象物S0が存在する範囲の判別においては、二値化された画像での対象物の像に対して、n回の収縮処理(erosion処理:絵の塊を小さくする処理)を行い、続いて、n回の膨張処理(dilation処理:絵の塊を大きくする処理)を行うことが好ましい。これにより、画像中で対象物の像以外の小さいノイズ等を取り除くことができる。また、スライドのカバーグラスのエッジやスライド内のゴミを取り除くためのフィルタリング処理をさらに行っても良い。
また、焦点計測位置は、ミクロ画像取得部30において、試料Sのミクロ画像の取得に先立って試料Sに対する焦点情報を取得する際に用いられるものである。ミクロ画像取得部30では、設定された焦点計測位置について撮像装置31を用いて焦点計測を行って、試料Sのミクロ画像を取得する際の焦点情報としての焦点位置を決定する。この焦点計測位置は、例えば試料Sの水平面内での傾き、すなわち水平面内での焦点位置のずれが問題にならない場合には、試料Sに対して1点の焦点計測位置を設定すれば良い。
また、水平面内での焦点位置のずれを考慮する必要がある場合には、試料Sに対して3点以上の焦点計測位置を設定することが好ましい。このように、3点もしくはそれ以上の焦点計測位置を設定して焦点計測を行うことにより、試料Sの画像取得範囲Rに対する2次元の焦点マップを求めることができる。例えば、焦点位置についての焦点マップを平面状の焦点面として決定する場合、3点の焦点計測位置での計測結果点を含む平面から焦点面を求めることができる。また、4点以上の焦点計測位置を用いた場合、その計測結果点から最小二乗法等のフィッティング手法を用いて焦点面を求めることができる。
図3(b)においては、マクロ画像を用いた焦点計測位置の設定について、9点の焦点計測位置を自動で設定する場合の例を示している。ここでは、試料Sに対して先に設定された画像取得範囲Rを3×3で9等分し、そのそれぞれの領域の中心点によって、9点の焦点計測位置Pを設定している。
また、ここでは、9点の焦点計測位置のうち8点については初期設定された位置が画像取得の対象物である生体サンプルS0の範囲内に含まれているため、そのまま焦点計測位置として設定される。一方、左下の1点については生体サンプルS0の範囲外にあり、そのままでは焦点計測位置とすることができない。このため、この左下の焦点計測位置については、例えば画像取得範囲R内で中心に向けて移動するなどの方法で求められる位置Qを焦点計測位置として設定しても良い。あるいは、このような位置については焦点計測位置から除外しても良い。
なお、4点以上の焦点計測位置から最小二乗法を用いて焦点面を求める場合、焦点計測位置の中で求められた焦点面から離れすぎている計測位置があれば、それを除いて再度、焦点面を求め直すことが好ましい。また、焦点面を正常に求めることができなかった場合には、その対象物はゴミであるとして除外することが好ましい。
以上説明した例のように、試料Sをスライドとした場合、ミクロ画像を取得するための撮像条件については、好ましくは、まず、マクロ画像取得部20で取得されたマクロ画像を参照して、ミクロ画像の撮像条件として生体サンプルS0を含む画像取得範囲R、及び所定の点数の焦点計測位置Pを設定する。そして、ミクロ画像取得部30において焦点計測位置Pに基づいて試料Sに対する焦点位置または焦点面などについての焦点情報を取得するとともに、得られた焦点情報、及び設定された画像取得範囲Rに基づいて、試料Sのミクロ画像の取得が行われる。
なお、試料Sのマクロ画像を用いた画像取得範囲R、及び焦点計測位置Pの設定については、図3(b)に示した例に限らず、具体的には様々な方法を用いて良い。例えば、図3(b)においては、焦点計測位置Pの設定については所定の設定アルゴリズムを用いて自動で設定する例を示したが、手動で焦点計測位置を設定する場合には、操作者がマクロ画像を確認した上で、適当な点数、配置となるように焦点計測位置を設定すれば良い。また、ミクロ画像の撮像条件の設定方法については、さらに後述する。
続いて、図1に示した画像取得装置における制御部60の構成について説明する。図5は、制御部60の構成を示すブロック図である。図5に示すように、本実施形態による制御部60は、データ処理部70と、データ記憶部75と、画像取得制御部80とを有して構成されている。
データ処理部70は、撮像条件設定部71と、試料データ作成部72とを有する。撮像条件設定部71は、試料Sに対するミクロ画像取得の際の撮像条件として、画像取得の対象物S0を含む範囲(対象物の全部または撮像したい一部を含む範囲)に応じた画像取得範囲R、及び画像取得範囲Rでの対象物S0の画像取得についての焦点情報(例えば焦点位置、焦点面、焦点マップ等)を設定する設定手段である。また、試料データ作成部72は、ミクロ画像取得部30で取得されたミクロ画像を用い、試料Sの画像データである試料データを作成する。
図6は、ミクロ画像を用いた試料データの作成について模式的に示す図である。ここでは、顕微鏡部10のミクロ画像取得部30で取得されたミクロ画像の画像データとして、ストリップ状の部分画像A、B、C、…の画像データ群が制御部60に入力される(図3(a)参照)。試料データ作成部72は、これらの複数の部分画像を並べて合成し、試料Sの全体に対するミクロ画像となる画像データを生成して試料データとする。この試料データは、例えば、バーチャル顕微鏡での画像データとして利用することができる。なお、試料Sの画像データについては、必要に応じて、データ圧縮を行っても良い。また、顕微鏡部10から入力された画像データ、及び試料データ作成部72で作成された試料データは、必要に応じてデータ記憶部75に記憶される。
画像取得制御部80は、マクロ画像取得制御部81と、ミクロ画像取得制御部82とを有する。マクロ画像取得制御部81は、マクロ画像取得部20による試料Sのマクロ画像の取得動作を制御する。また、ミクロ画像取得制御部82は、ミクロ画像取得部30によるミクロ画像の取得動作を制御する。
また、これらの画像取得制御部81、82による試料Sのマクロ画像及びミクロ画像の取得動作の制御、及び撮像条件設定部71による撮像条件の設定は、画像取得処理について選択された制御モードにしたがって行われる。本実施形態においては、制御部60は、その制御モードとして、全自動モード、手動モード、及び半自動モードの3つの制御モードを有している。
全自動モードにおいては、制御部60のマクロ画像取得制御部81は、試料格納部11で格納位置にある試料Sをマクロ画像取得部20での画像取得位置に配置してマクロ画像を取得させる制御を行う。また、撮像条件設定部71は、マクロ画像が取得された試料Sについて、マクロ画像に対応するミクロ画像の撮像条件を自動で設定する。また、ミクロ画像取得制御部82は、撮像条件が設定された試料Sをミクロ画像取得部30での画像取得位置に配置し、撮像条件を参照してミクロ画像を取得させる制御を行う。
なお、手動モードについては、各ステップを操作者からの指示によって手動で行う以外は、基本的には全自動モードでの画像取得手順と同様である。ただし、手動モードにおいても、操作者からの指示が不要なステップについては、自動で行うこととしても良い。
半自動モードにおいては、制御部60のマクロ画像取得制御部81は、複数の試料Sのそれぞれについて、試料格納部11で格納位置にある試料Sをマクロ画像取得部20での画像取得位置に配置してマクロ画像を取得させ、さらに試料Sを待機位置に配置させる制御を行う。また、撮像条件設定部71は、マクロ画像が取得された試料Sについて、マクロ画像、及びそれに対応する撮像条件を操作者に確認させてミクロ画像の撮像条件を設定する。また、ミクロ画像取得制御部82は、待機位置にあって撮像条件が設定された試料Sをミクロ画像取得部30での画像取得位置に配置し、撮像条件を参照してミクロ画像を取得させる制御を行う。なお、本実施形態においては、試料Sの待機位置は、試料格納部11での格納位置に設定されている。
なお、本実施形態の画像取得装置においては、操作者によって試料格納部11にセットされる複数の試料Sに対応してセッションが定義され、複数の試料Sの試料グループと、それに対応するマクロ画像、撮像条件、ミクロ画像などのデータグループとが、このセッションによって対応付けられる。このような構成に対応して、図5に示した制御部60には、データ処理部70においてセッション管理部73が、また、画像取得制御部80においてセッション切換部83が設けられている。
セッション管理部73は、マクロ画像、撮像条件、ミクロ画像などのデータグループをセッション毎に管理し、必要に応じてデータ記憶部75に記憶させる。図5のデータ記憶部75においては、そのようなデータ管理の例として、セッション1、セッション2、…の複数のセッションのデータグループが記憶されている場合を示している。また、セッション切換部83は、複数の試料Sの試料グループの交換に伴う画像取得処理の切換えを制御するとともに、セッション管理部73に対して、対応するデータグループの切換えを指示する。このように、複数の試料Sの試料グループと画像取得でのデータグループとを、セッションという概念を用いて対応付けることにより、試料Sの画像取得処理の制御、及びそれに対応するデータの管理を好適に行うことができる。
次に、制御部60の撮像条件設定部71における撮像条件の設定方法についてさらに説明する。撮像条件設定部71では、上述したように、試料Sに対するミクロ画像取得の際の撮像条件として、画像取得の対象物S0を含む範囲に応じた画像取得範囲R、及び画像取得範囲Rでの対象物S0の画像取得についての焦点情報が設定される。
本実施形態による画像取得装置においては、顕微鏡部10にマクロ画像取得部20が設けられていることに対応して、撮像条件設定部71において、マクロ画像取得部20で取得されたマクロ画像を参照して、画像取得範囲R、及び焦点情報を含むミクロ画像の撮像条件が設定される。この場合、好ましくは、撮像条件設定部71は、試料Sに対して取得されたマクロ画像を参照して、画像取得範囲R、及び画像取得範囲R内での焦点計測位置Pを自動で、または操作者によって手動で設定する(図3(b)参照)。そして、ミクロ画像取得制御部82を介して、ミクロ画像取得部30を用いて焦点計測位置に対して焦点計測を行い、その計測結果を参照して焦点情報を設定する。
ミクロ画像取得部30を用いた焦点計測の具体的な方法については、例えば、撮像装置31または別個に設けられた焦点計測用の撮像装置を用いて、焦点計測位置Pを含む所定範囲で試料Sの2次元画像を取得する。そして、焦点が合っている場合に画像のコントラストが大きくなることを利用して、その焦点計測位置Pで焦点が合うZ位置(焦点位置)を決定する方法を用いることができる。また、試料Sを含む水平面内での焦点位置の分布を考慮する必要がある場合における複数の焦点計測位置Pの設定、及びそれらを用いた焦点面または焦点マップの設定については、上述した通りである。
このような試料Sに対する焦点情報を含む撮像条件の設定、及びミクロ画像取得時での撮像条件の適用については、図3(b)に示したように、試料S内に単一の対象物S0がある場合には、対象物S0に対応して設定された画像取得範囲Rの全体に対して共通の焦点情報を設定すれば良い。そのような焦点情報の設定方法としては、例えば、画像取得範囲Rの全体に対して単一の焦点面を設定する方法がある。
一方、画像取得の対象となる試料Sでは、図7に示すように、試料S内において複数の対象物(図7中では3つの対象物S1〜S3)が存在する場合がある。例えば、スライドガラスに人体や動物などの生体サンプル(組織サンプル)が密封されたスライドを試料Sとする場合、画像取得の対象となる生体サンプルのサイズは様々である。したがって、スライドの大きさに対して生体サンプルのサイズが小さい場合には、複数個の生体サンプル(複数個の対象物)を含む状態でスライド(試料)が作成されることがある。代表的なものとしては、サンプリングされた検体が多数配列された組織マイクロアレイ(tissue microarray)が挙げられる。
また、画像取得の対象となる生体サンプルは、サンプルの厚さは同様のものとして操作者によって作成されるのが通常であるが、スライスを作成する機械の精度、あるいは操作者の熟練度などにより、生体サンプルの厚さ、あるいはサンプル内での厚さ分布にばらつきが発生する。このようなばらつきがある場合、複数個の生体サンプルを含む単一の画像取得範囲、及びそれに対応する単一の焦点面を設定する方法では、複数のサンプルのそれぞれについて、良好な状態の画像を取得することができない。
これに対して、本実施形態の画像取得装置では、撮像条件設定部71において、試料Sに対する画像取得範囲Rは必ずしも単一の範囲ではなく、複数の画像取得範囲を設定することが可能となっている。このような複数の画像取得範囲の設定は、例えば、試料Sのマクロ画像を参照し、高解像度でのミクロ画像取得を行うべき対象物の像のマクロ画像内での個数、配置、及び形状等を考慮して自動で、または操作者によって手動で行われる。
具体的には、図7に示した画像例においては、試料Sに対して設定された全体の画像取得範囲内において、画像取得の対象物として、第1対象物S1、第2対象物S2、及び第3対象物S3の3つの対象物の像が存在している。また、マクロ画像上での画像取得範囲に対して、ミクロ画像取得時での部分画像の走査領域に対応する画像領域L1、L2、…、L18を考えると、対象物S1は画像領域L2〜L5内に、対象物S2は画像領域L6〜L12内に、また、対象物S3は画像領域L14〜L17内にそれぞれ存在する。
このような例では、それぞれミクロ画像での部分画像に対応する複数の画像領域L1〜L18のうちで、複数の対象物の像が混在している画像領域が存在しない。このため、図7中に実線で区分して示すように、画像領域L1〜L5を対象物S1に対応する第1画像取得範囲R1、画像領域L6〜L12を対象物S2に対応する第2画像取得範囲R2、画像領域L13〜L18を対象物S3に対応する第3画像取得範囲R3として、3つの画像取得範囲を設定することができる。また、これらの3つの画像取得範囲R1〜R3を合わせた範囲が全体の画像取得範囲Rとなる。
また、この場合、これらの画像取得範囲R1〜R3に対応して、それぞれ別個の焦点情報として第1焦点情報、第2焦点情報、及び第3焦点情報が設定される。これらの焦点情報については、例えば上述したように、それぞれの画像取得範囲において対象物の像内で焦点計測位置を設定し、その焦点計測位置に対して焦点計測を行った計測結果を参照して焦点情報を設定する方法を用いることができる。また、図7の例では、上記したように複数の画像取得範囲が混在している画像領域がなく、すべての画像領域において、適用される焦点情報は対応する単一の焦点情報となっている。
一方、図8に示した画像例においては、全体の画像取得範囲内において、図7と同様に第1対象物S1、第2対象物S2、及び第3対象物S3の3つの対象物の像が存在している。また、マクロ画像上での画像取得範囲で画像領域L1〜L18を考えると、対象物S1は画像領域L4〜L7内に、対象物S2は画像領域L6〜L12内に、また、対象物S3は画像領域L11〜L14内にそれぞれ存在する。
このような例では、複数の画像領域L1〜L18のうちで、複数の対象物の像が混在している画像領域が存在する。したがって、この場合には、図8中に実線で区分して示すように、対象物S1〜S3がそれぞれ異なる画像取得範囲内に位置するように、対応する3つの画像取得範囲R1〜R3を設定することが好ましい。
ここでは、画像領域(ミクロ画像での部分画像)L1〜L18のうちで、例えば画像領域L7に着目すると、この画像領域L7には、その上方部分を構成して第1画像取得範囲R1に属する第1領域と、下方部分を構成して第2画像取得範囲R2に属する第2領域とが混在している。このように、複数の画像取得範囲が混在している画像領域については、ミクロ画像取得時に対応する部分画像を走査する際に、上記した第1領域と第2領域とのそれぞれで、焦点制御に適用される焦点情報を第1焦点情報と第2焦点情報とで切り換えて、その部分画像を取得するための試料Sの走査を行うように、撮像条件を設定する。
図9は、部分画像を取得するための試料の走査方法の例を示すグラフである。このグラフにおいて、横軸は走査方向での位置(a.u.)を示し、縦軸は焦点位置に対応するZ位置(a.u.)を示している。この走査例では、その前半の走査区間F1において、第1画像取得範囲R1に対応する第1焦点面が適用されて焦点制御が行われている。また、その後半の走査区間F2においては焦点情報が切り換えられ、第2画像取得範囲R2に対応する第2焦点面F2が適用されて焦点制御が行われている。
なお、図1に示した画像取得装置において実行される画像取得方法に対応する処理は、画像取得処理をコンピュータに実行させるための画像取得プログラムによって実現可能である。例えば、画像取得装置の制御部60は、画像取得処理に必要な各ソフトウェアプログラムを動作させるCPUと、上記ソフトウェアプログラムなどが記憶されるROMと、プログラムの実行中に一時的にデータが記憶されるRAMとによって構成することができる。このような構成において、CPUによって所定の画像取得プログラムを実行することにより、上記した画像取得装置、及び画像取得方法を実現することができる。
また、試料の画像取得のための各処理をCPUによって実行させるための上記プログラムは、コンピュータ読取可能な記録媒体に記録して頒布することが可能である。このような記録媒体には、例えば、ハードディスク及びフレキシブルディスクなどの磁気媒体、CD−ROM及びDVD−ROMなどの光学媒体、フロプティカルディスクなどの磁気光学媒体、あるいはプログラム命令を実行または格納するように特別に配置された、例えばRAM、ROM、及び半導体不揮発性メモリなどのハードウェアデバイスなどが含まれる。
本実施形態による画像取得装置、画像取得方法、及び画像取得プログラムの効果について説明する。
上記した画像取得装置、画像取得方法、及び画像取得プログラムにおいては、試料S内に含まれる画像取得の対象物について、撮像条件設定部71において、画像取得範囲R、及びミクロ画像取得時に参照すべき焦点面などの焦点情報を撮像条件として設定する。そして、このような構成において、例えば図7及び図8に示したように試料S内に複数の対象物S1〜S3が含まれている場合など、試料Sに対して複数の画像取得範囲が設定された場合に、その画像取得範囲毎に別個に焦点情報を求めることとしている。これにより、複数の画像取得範囲を含む試料全体に対する焦点制御を好適に行うことができる。
また、試料Sに対してこのような複数の画像取得範囲、及びそれに対応する複数の焦点情報(例えば複数の焦点面、焦点マップ)が設定された場合で、さらに、試料Sを走査して取得される複数の部分画像のうちで、複数の画像取得範囲が混在している部分画像がある場合、例えば図9のグラフに示したように、その部分画像の走査において途中で焦点情報を切り換える構成としている。このような構成では、複数の対象物のそれぞれについての画像を、好適に焦点制御を行いつつ1回の画像取得処理で取得することができる。これにより、試料S内に複数の対象物が含まれる場合でも、それらの対象物に対応して複数の画像取得範囲及び焦点情報を設定して、そのそれぞれの画像を好適に取得することが可能となる。また、そのような複数の対象物を含む試料Sに対して必要な画像取得作業が簡単化される。
ここで、ミクロ画像取得部30に用いられる撮像装置31については、1次元画像の取得が可能、または2次元画像の取得及びTDI駆動が可能な撮像装置31を用い、撮像装置31での撮像面の長手方向に直交する方向を走査方向としてミクロ画像取得部30を構成することが好ましい。また、この場合、ミクロ画像取得制御部82によって制御されるミクロ画像の取得において、撮像装置31によって試料Sを走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の長手方向に沿って撮像位置をずらしながら複数回繰返して、ミクロ画像となる複数の部分画像を取得することが好ましい。
このような構成によれば、図3(a)に示したように、1次元センサまたはTDI駆動2次元センサで試料Sを一方向に走査したストリップ状の部分画像を高解像度で取得するとともに、他方向について複数の部分画像を合成して試料Sの全体のミクロ画像とすることで、試料の画像データを充分に高い解像度で好適に取得することができる。
また、図1に示した画像取得装置では、ミクロ画像取得部30に加えてマクロ画像取得部20を設けるとともに、撮像条件設定部71においてマクロ画像を参照してミクロ画像の撮像条件となる画像取得範囲、及び焦点情報を設定している。これにより、試料Sに対するミクロ画像の撮像条件を好適に設定して、例えばバーチャル顕微鏡で用いられる試料の画像データとなるような高解像度のミクロ画像を効率良く取得することができる。
また、上記した画像取得装置では、試料Sに対してミクロ画像取得を行う際の焦点面などの焦点情報の設定方法については、撮像条件設定部71において、画像取得範囲R、及び画像取得範囲R内での焦点計測位置Pを設定するとともに、焦点計測位置Pに対して焦点計測を行った計測結果を参照して焦点情報を設定している。
このように、最初に焦点計測位置Pを設定し、その焦点計測位置Pについて試料Sに対する焦点計測を行った上で焦点情報を設定することにより、試料Sに含まれる対象物の画像を良好な状態で取得することが可能となる。また、この場合、上述したように、マクロ画像取得部20で取得されたマクロ画像を参照して画像取得範囲R及び焦点計測位置Pを設定するとともに、焦点計測位置Pに対して、ミクロ画像取得部30を用いて焦点計測を行うことで、焦点面または焦点マップなどの焦点情報を設定することが好ましい。
また、試料S内に複数の対象物が含まれる場合の画像取得範囲の設定方法については、撮像条件設定部71において、試料Sに対して画像取得の対象物として第1対象物S1、及び第2対象物S2が判別された場合(図8参照)に、第1対象物S1の像と第2対象物S2の像との間で試料の像を区分することによって、第1画像取得範囲R1と、第2画像取得範囲R2とを設定することが好ましい。
これにより、試料S内に複数の対象物が含まれている場合でも、それに対応する複数の画像取得範囲を好適かつ確実に設定することが可能となる。また、第1、第2対象物の像の間での区分線の設定については、例えばマクロ画像での対象物の像について膨張処理を行って得られる第1、第2対象物の境界線を区分線とする方法を用いることができる。また、これ以外にも様々な設定方法を用いることが可能である。
具体的には、例えばマクロ画像を二値化した後、複数の対象物の像を含む二値化されたマクロ画像に対して、膨張処理(dilation処理:絵の塊を大きくする処理)を行う。そして、複数の対象物のそれぞれを最大まで膨張させたときに形成される対象物同士の境界線を区分線として、画像取得範囲を設定する方法を用いることができる。このような方法では、隣接する対象物同士の中間の位置が画像取得範囲の区分位置となる。このように、対象物同士の中間の位置を区分位置とする方法は、マクロ画像とミクロ画像との間での撮像位置のずれの影響、あるいはZステージ33で対物レンズ32を駆動する際の駆動ずれの影響(図2参照)等を防止する点でも有効である。
また、このような複数の画像取得範囲の設定では、上記した膨張処理の例のように、所定の設定アルゴリズムを用いて自動で範囲設定を実行することが可能な設定方法を用いることが好ましい。このような自動での撮像条件の設定は、例えば、図1に示した画像取得装置のように、試料格納部11にセットされた複数の試料Sを対象として画像取得処理を行うような場合に有用である。
また、部分画像を取得するための試料Sの走査における焦点情報の切換については、図10のグラフに示すように、第1画像取得範囲R1に属する第1領域に対応する前半の走査区間F1で第1焦点面を適用し、第2画像取得範囲R2に属する第2領域に対応する後半の走査区間F2で第2焦点面を適用するとともに、それらの区間F1、F2の境界点で適用する焦点面を切り換える方法を用いることができる。このような焦点情報の切換方法は、例えば焦点制御に用いられる対物レンズ32のZステージ33がピエゾアクチュエータを用いて構成され、高速での切換が可能な場合に好適である。
あるいは、図11のグラフに示すように、同様に、第1画像取得範囲R1に属する第1領域に対応する前半の走査区間F1で第1焦点面を適用し、第2画像取得範囲R2に属する第2領域に対応する後半の走査区間F2で第2焦点面を適用するとともに、それらの区間F1、F2の境界点を含む一定幅の区間を切換区間F0として焦点面を切り換える方法を用いることができる。このような焦点情報の切換方法は、例えばZステージ33がステッピングモータを用いて構成されていて、高速でのZ位置の変化への追従が難しいような場合に好適である。この場合、切換区間F0でのZ位置の変化率は、ステッピングモータ等の駆動手段での最大変化速度以下に設定することが好ましい。
また、このような部分画像の走査時における焦点情報の切換は、必要に応じて2回以上行っても良い。例えば図12に示す例では、図12(a)に示すように画像領域(部分画像の走査領域)Lにおいて、2つの対象物S1、S2の像が混在している。具体的には、画像領域Lを走査方向に沿ってみると、図12(b)に示すように、対象物S2の像を含む領域R2a、対象物の像を含まない領域R0a、対象物S1の像を含む領域R1a、対象物の像を含まない領域R0b、及び対象物S2の像を含む領域R2bが存在する。
これに対応して、領域R0a、R0bのそれぞれでの中間点を境界点として、領域R1aを含み第1画像取得範囲を構成する第1領域R1、及び領域R2a、R2bを含み第2画像取得範囲を構成する第2領域R2を設定して、対応する走査区間F1、F2で焦点情報の切換を行うことが可能である。また、このような焦点情報の切換は、画像領域に3つ以上の対象物の像が混在する場合にも同様に実行することが可能である。
また、撮像条件設定部71において、第1画像取得範囲、及び第2画像取得範囲が設定され、それに対応して第1焦点情報、及び第2焦点情報が設定された場合でも、複数の画像取得範囲が混在していない部分画像、例えば第1画像取得範囲に属する第1領域が存在して、第2画像取得範囲に属する第2領域がない部分画像については、焦点情報を単一の第1焦点情報として、その部分画像を取得するための試料の走査を行うことが好ましい。
これにより、試料Sに対して複数の画像取得範囲が設定された場合に、ミクロ画像の取得において、複数の画像取得範囲が混在している部分画像、及びそのような画像取得範囲の混在がない部分画像のいずれについても、部分画像を取得するための試料の走査を好適に実行することが可能となる。
ただし、このように複数の画像取得範囲が混在していない部分画像での試料の走査については、具体的な画像取得範囲の設定方法に応じた走査方法を用いれば良い。例えば、図13に示した画像例では、対象物S1〜S3の配置は図7の例と同様であるが、それに対応する画像取得範囲R1〜R3の設定方法が異なっている。すなわち、図13の例では、複数の対象物の像が混在している画像領域は存在しないものの、画像取得範囲R1〜R3の設定においては図8の例と同様の設定方法が適用されている。このような方法では、複数の画像取得範囲の設定が必要な場合において、複数の対象物の像が混在している画像領域が存在しているか否かにかかわらず、同一の方法で画像取得範囲の設定を実行することができる。
なお、上記実施形態の画像取得装置では、制御部60において、各試料Sに対するマクロ画像の取得、撮像条件の設定、及びミクロ画像の取得を制御する制御モードとして、マクロ画像を参照してミクロ画像の撮像条件を設定する際に操作者が必要な確認を行う半自動モードを設けている。これにより、例えば試料Sとなるスライド内に余分な対象物があった場合でも、その影響を確実に除外して試料に対する撮像条件を正しく設定することが可能となる。
また、上記した半自動モードにおいて、マクロ画像取得部20でマクロ画像が取得された試料Sを待機位置に配置することとしている。このような構成では、試料Sのマクロ画像の取得、及びマクロ画像を用いた撮像条件の設定を、ミクロ画像の取得とは独立に行うことが可能となる。これにより、操作者は、複数の試料Sに対するマクロ画像の取得、及び撮像条件の設定を終了した後は、ミクロ画像の取得が完了するまで画像取得装置に付いている必要がなくなる。これにより、操作者の作業負担が大幅に軽減される。
なお、マクロ画像取得後の試料Sの待機位置については、上記実施形態においては、試料格納部11での格納位置を待機位置とし、マクロ画像が取得された試料Sを再び格納位置に戻す構成としている。これにより、顕微鏡部10の構成を簡素化することができる。あるいは、試料格納部11とは別に、複数の試料Sを待機させることが可能な試料待機部を設ける構成としても良い。
また、上記した画像取得装置は、複数の試料Sのそれぞれを、試料格納部11での格納位置と、待機位置(上記構成では格納位置と一致)と、マクロ画像取得部20及びミクロ画像取得部30のそれぞれでの画像取得位置との間で移動させる試料移動手段として、試料搬送部14、及びXYステージである試料ステージ15を設けている。このような構成では、試料Sを各位置の間で移動させつつ行われるマクロ画像の取得、撮像条件の設定、及びミクロ画像の取得を好適に実現することができる。
また、制御部60による画像取得動作の制御モードとしては、半自動モードに加えて、全自動モードを用意している。このような構成では、各試料に対するマクロ画像の取得、撮像条件の設定、及びミクロ画像の取得を制御する制御モードとして、半自動モードによる画像取得と、全自動モードによる画像取得とのいずれかを操作者が適宜選択することにより、画像取得の対象となる複数の試料Sの状態、例えば各試料Sにゴミが多いか少ないか等に応じて、好適な方法で画像取得を実行することが可能となる。なお、これらの制御モードについては、例えば半自動モードの実行中での全自動モードへの切換えなど、制御モードの切換えを可能に構成しても良い。また、全自動モード及び半自動モードのいずれにおいても、画像取得処理が完了した後に、取得されたミクロ画像に問題があれば、その試料Sについて再度、画像取得をやり直すことが可能となっていることが好ましい。
本発明による画像取得装置、画像取得方法、及び画像取得プログラムは、上記実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、上記実施形態においては、撮像条件設定部71においてマクロ画像を参照してミクロ画像の撮像条件となる画像取得範囲、及び焦点計測位置を設定し、さらに、焦点計測位置に基づいて試料Sに対する焦点情報を取得しているが、試料に対する画像取得範囲と焦点情報との設定方法については、これ以外にも様々な方法を用いて良い。
また、上記実施形態の画像取得装置では、マクロ画像取得部20と、ミクロ画像取得部30とを別個に備える構成としたが、マクロ画像またはミクロ画像の取得に応じて切換可能な画像取得用光学系を設けることにより、光源、画像取得手段を単一の光源、単一の画像取得手段として構成しても良い。この場合、切換可能な画像取得用光学系としては、マクロ画像取得用対物レンズと、ミクロ画像取得用対物レンズとを含むレボルバを備える光学系が例として挙げられる。
また、上記実施形態においては、ミクロ画像取得部30での撮像装置31として、1次元画像の取得が可能な撮像装置や、2次元画像の取得及びTDI駆動が可能な撮像装置を例示したが、これらに限定されるものではなく、例えば2次元CCDカメラ(エリアセンサ)などの撮像装置を用いても良い。この場合、米国特許第6816606号公報に開示されているように、高解像度のタイル画像を複数取得して合成することにより、試料Sの全体のミクロ画像を生成することができる。
また、上記実施形態においては、透過型の顕微鏡システムを用いて画像取得装置を構成したが、これに限定されない。例えば、蛍光観察の場合にあっては、光源を透過照明に代えて落射照明とし、反射型の顕微鏡システムとして構成すれば良い。
なお、例えば、マクロ画像を取得するための画像取得装置に対して、ミクロ画像取得装置を別に設けるような場合には、マクロ画像用の画像取得装置においては、ミクロ画像取得装置でのミクロ画像の取得方法を適切に想定し、それに対して上記と同様の方法で撮像条件を設定すれば良い。
このような場合には、画像取得装置は、試料のマクロ画像を取得するためのマクロ画像取得部と、マクロ画像を参照し、試料のミクロ画像の撮像条件として、画像取得の対象物を含む範囲に応じた画像取得範囲、及び画像取得範囲での対象物の画像取得についての焦点情報を設定する撮像条件設定部とを備えて構成すれば良い。
また、このような構成において、ミクロ画像の取得方法を適切に想定することについては、撮像条件設定部は、ミクロ画像の取得方法について、1次元画像または2次元画像の取得が可能な撮像装置を有するとともに、撮像装置での撮像面における一の方向をミクロ画像を取得する際の走査方向として構成されたミクロ画像取得手段を用い、撮像装置によって試料を走査方向に走査して部分画像を取得し、この部分画像の取得を撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、ミクロ画像となる複数の部分画像を取得させる方法を想定することが好ましい。
また、撮像条件の設定については、上記実施形態と同様に、撮像条件設定部は、画像取得範囲として少なくとも第1画像取得範囲、及び第2画像取得範囲が設定された場合に、それに対応して焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、複数の部分画像に含まれる部分画像について、第1画像取得範囲に属する第1領域と、第2画像取得範囲に属する第2領域とが混在する場合に、第1領域と第2領域とのそれぞれで、焦点情報を第1焦点情報と第2焦点情報とで切り換えて、その部分画像を取得するための試料の走査を行うように、撮像条件を設定することが好ましい。このような構成は、画像取得方法、及び画像取得プログラムについても同様である。
本発明は、試料内に複数の対象物が含まれる場合でも、そのそれぞれの画像を好適に取得することが可能な画像取得装置、画像取得方法、及び画像取得プログラムとして利用可能である。
画像取得装置の一実施形態の構成を示すブロック図である。 画像取得装置における顕微鏡部の構成を概略的に示す図である。 試料の画像の取得方法を模式的に示す図である。 マクロ画像を二値化するための閾値の設定方法を示すグラフである。 画像取得装置における制御部の構成を示すブロック図である。 ミクロ画像を用いた試料データの作成について模式的に示す図である。 試料に対する画像取得範囲の設定の例を模式的に示す図である。 試料に対する画像取得範囲の設定の例を模式的に示す図である。 部分画像を取得するための試料の走査方法の例を示すグラフである。 部分画像を取得するための試料の走査方法の例を示すグラフである。 部分画像を取得するための試料の走査方法の例を示すグラフである。 部分画像を取得するための試料の走査方法の例を示すグラフである。 試料に対する画像取得範囲の設定の例を模式的に示す図である。
符号の説明
10…顕微鏡部、11…試料格納部、12…扉、13…インターロック機構、14…試料搬送部、15…試料ステージ、20…マクロ画像取得部、21…マクロ用撮像装置、22…撮像光学系、25…マクロ用光源、30…ミクロ画像取得部、31…ミクロ用撮像装置、32…対物レンズ、33…Zステージ、34…導光光学系、35…ミクロ用光源、36…集光レンズ、38…画像補正部、40…駆動制御部、41…ステージ制御部、42…撮像装置制御部、43…光源制御部、
60…制御部、61…表示装置、62…入力装置、70…データ処理部、71…撮像条件設定部、72…試料データ作成部、73…セッション管理部、75…データ記憶部、80…画像取得制御部、81…マクロ画像取得制御部、82…ミクロ画像取得制御部、83…セッション切換部。

Claims (12)

  1. 試料のマクロ画像を取得するためのマクロ画像取得手段と、
    前記試料を所定の解像度で走査して、そのミクロ画像を取得するためのミクロ画像取得手段と、
    前記試料に対して、画像取得の対象物を含む範囲に応じた画像取得範囲、及び前記画像取得範囲での前記対象物の画像取得についての焦点情報を設定する撮像条件設定手段と、
    前記ミクロ画像取得手段による前記ミクロ画像の取得動作を制御するミクロ画像取得制御手段とを備え、
    前記ミクロ画像取得手段は、1次元画像または2次元画像の取得が可能な撮像装置を有するとともに、前記撮像装置での撮像面における一の方向を前記ミクロ画像を取得する際の走査方向として構成され、
    前記撮像条件設定手段は、前記マクロ画像を参照して、前記画像取得範囲、及び前記画像取得範囲内での焦点計測位置を設定するとともに、前記ミクロ画像の取得に先立って、前記焦点計測位置に対して前記ミクロ画像取得手段を用いて焦点計測を行った計測結果を参照して前記焦点情報を設定し、
    前記ミクロ画像取得制御手段は、前記画像取得範囲、及び前記焦点情報を設定した上で行われる前記ミクロ画像の取得において、前記撮像装置によって前記試料を前記走査方向に走査して部分画像を取得し、この部分画像の取得を前記撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、前記ミクロ画像となる複数の部分画像を取得させる制御を行い、
    前記撮像条件設定手段は、前記試料に対して、前記対象物として、少なくとも第1対象物、及び第2対象物が判別された場合に、前記第1対象物の像と前記第2対象物の像との間で前記試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定するとともに、
    前記撮像条件設定手段は、前記画像取得範囲として少なくとも前記第1画像取得範囲、及び前記第2画像取得範囲が設定された場合に、それに対応して前記焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、前記複数の部分画像に含まれる部分画像について、前記第1画像取得範囲に属する第1領域と、前記第2画像取得範囲に属する第2領域とが混在する場合に、前記第1領域と前記第2領域とのそれぞれで、前記焦点情報を前記第1焦点情報と前記第2焦点情報とで切り換えて、その部分画像を取得するための前記試料の走査を行うことを特徴とする画像取得装置。
  2. 前記撮像条件設定手段は、前記画像取得範囲として少なくとも前記第1画像取得範囲、及び前記第2画像取得範囲が設定された場合に、それに対応して前記焦点情報として前記第1焦点情報、及び前記第2焦点情報を設定し、かつ、前記複数の部分画像に含まれる部分画像について、前記第1画像取得範囲に属する第1領域が存在して、前記第2画像取得範囲に属する第2領域がない場合に、前記焦点情報を前記第1焦点情報として、その部分画像を取得するための前記試料の走査を行うことを特徴とする請求項1記載の画像取得装置。
  3. 前記撮像条件設定手段は、前記第1画像取得範囲、前記第2画像取得範囲に対応する前記第1焦点情報、前記第2焦点情報として、それぞれ第1焦点面、第2焦点面を設定し、前記第1領域に対応する走査区間で前記第1焦点面を適用し、前記第2領域に対応する走査区間で前記第2焦点面を適用するとともに、それらの走査区間の境界点で焦点面を切り換えることを特徴とする請求項1または2記載の画像取得装置。
  4. 前記撮像条件設定手段は、前記第1画像取得範囲、前記第2画像取得範囲に対応する前記第1焦点情報、前記第2焦点情報として、それぞれ第1焦点面、第2焦点面を設定し、前記第1領域に対応する走査区間で前記第1焦点面を適用し、前記第2領域に対応する走査区間で前記第2焦点面を適用するとともに、それらの走査区間の境界点を含む一定幅の区間を切換区間として焦点面を切り換えることを特徴とする請求項1〜3のいずれか一項記載の画像取得装置。
  5. 試料のマクロ画像を取得するためのマクロ画像取得ステップと、
    前記試料を所定の解像度で走査して、そのミクロ画像を取得するためのミクロ画像取得ステップと、
    前記試料に対して、画像取得の対象物を含む範囲に応じた画像取得範囲、及び前記画像取得範囲での前記対象物の画像取得についての焦点情報を設定する撮像条件設定ステップと、
    前記ミクロ画像取得ステップによる前記ミクロ画像の取得動作を制御するミクロ画像取得制御ステップとを備え、
    前記ミクロ画像取得ステップは、1次元画像または2次元画像の取得が可能な撮像装置を有するミクロ画像取得手段を用いるとともに、前記撮像装置での撮像面における一の方向を前記ミクロ画像を取得する際の走査方向として構成され、
    前記撮像条件設定ステップは、前記マクロ画像を参照して、前記画像取得範囲、及び前記画像取得範囲内での焦点計測位置を設定するとともに、前記ミクロ画像の取得に先立って、前記焦点計測位置に対して前記ミクロ画像取得手段を用いて焦点計測を行った計測結果を参照して前記焦点情報を設定し、
    前記ミクロ画像取得制御ステップは、前記画像取得範囲、及び前記焦点情報を設定した上で行われる前記ミクロ画像の取得において、前記撮像装置によって前記試料を前記走査方向に走査して部分画像を取得し、この部分画像の取得を前記撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、前記ミクロ画像となる複数の部分画像を取得させる制御を行い、
    前記撮像条件設定ステップは、前記試料に対して、前記対象物として、少なくとも第1対象物、及び第2対象物が判別された場合に、前記第1対象物の像と前記第2対象物の像との間で前記試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定するとともに、
    前記撮像条件設定ステップは、前記画像取得範囲として少なくとも前記第1画像取得範囲、及び前記第2画像取得範囲が設定された場合に、それに対応して前記焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、前記複数の部分画像に含まれる部分画像について、前記第1画像取得範囲に属する第1領域と、前記第2画像取得範囲に属する第2領域とが混在する場合に、前記第1領域と前記第2領域とのそれぞれで、前記焦点情報を前記第1焦点情報と前記第2焦点情報とで切り換えて、その部分画像を取得するための前記試料の走査を行うことを特徴とする画像取得方法。
  6. 前記撮像条件設定ステップは、前記画像取得範囲として少なくとも前記第1画像取得範囲、及び前記第2画像取得範囲が設定された場合に、それに対応して前記焦点情報として前記第1焦点情報、及び前記第2焦点情報を設定し、かつ、前記複数の部分画像に含まれる部分画像について、前記第1画像取得範囲に属する第1領域が存在して、前記第2画像取得範囲に属する第2領域がない場合に、前記焦点情報を前記第1焦点情報として、その部分画像を取得するための前記試料の走査を行うことを特徴とする請求項記載の画像取得方法。
  7. 前記撮像条件設定ステップは、前記第1画像取得範囲、前記第2画像取得範囲に対応する前記第1焦点情報、前記第2焦点情報として、それぞれ第1焦点面、第2焦点面を設定し、前記第1領域に対応する走査区間で前記第1焦点面を適用し、前記第2領域に対応する走査区間で前記第2焦点面を適用するとともに、それらの走査区間の境界点で焦点面を切り換えることを特徴とする請求項5または6記載の画像取得方法。
  8. 前記撮像条件設定ステップは、前記第1画像取得範囲、前記第2画像取得範囲に対応する前記第1焦点情報、前記第2焦点情報として、それぞれ第1焦点面、第2焦点面を設定し、前記第1領域に対応する走査区間で前記第1焦点面を適用し、前記第2領域に対応する走査区間で前記第2焦点面を適用するとともに、それらの走査区間の境界点を含む一定幅の区間を切換区間として焦点面を切り換えることを特徴とする請求項5〜7のいずれか一項記載の画像取得方法。
  9. 試料のマクロ画像を取得するためのマクロ画像取得手段と、前記試料を所定の解像度で走査して、そのミクロ画像を取得するためのミクロ画像取得手段を備える画像取得装置に適用され、
    前記試料に対して、画像取得の対象物を含む範囲に応じた画像取得範囲、及び前記画像取得範囲での前記対象物の画像取得についての焦点情報を設定する撮像条件設定処理と、
    前記ミクロ画像取得手段による前記ミクロ画像の取得動作を制御するミクロ画像取得制御処理とをコンピュータに実行させるとともに、
    前記ミクロ画像取得手段は、1次元画像または2次元画像の取得が可能な撮像装置を有するとともに、前記撮像装置での撮像面における一の方向を前記ミクロ画像を取得する際の走査方向として構成され、
    前記撮像条件設定処理は、前記マクロ画像を参照して、前記画像取得範囲、及び前記画像取得範囲内での焦点計測位置を設定するとともに、前記ミクロ画像の取得に先立って、前記焦点計測位置に対して前記ミクロ画像取得手段を用いて焦点計測を行った計測結果を参照して前記焦点情報を設定し、
    前記ミクロ画像取得制御処理は、前記画像取得範囲、及び前記焦点情報を設定した上で行われる前記ミクロ画像の取得において、前記撮像装置によって前記試料を前記走査方向に走査して部分画像を取得し、この部分画像の取得を前記撮像面の他の方向に沿って撮像位置をずらしながら複数回繰返して、前記ミクロ画像となる複数の部分画像を取得させる制御を行い、
    前記撮像条件設定処理は、前記試料に対して、前記対象物として、少なくとも第1対象物、及び第2対象物が判別された場合に、前記第1対象物の像と前記第2対象物の像との間で前記試料の像を区分することによって、第1画像取得範囲と、第2画像取得範囲とを設定するとともに、
    前記撮像条件設定処理は、前記画像取得範囲として少なくとも前記第1画像取得範囲、及び前記第2画像取得範囲が設定された場合に、それに対応して前記焦点情報として第1焦点情報、及び第2焦点情報を設定し、かつ、前記複数の部分画像に含まれる部分画像について、前記第1画像取得範囲に属する第1領域と、前記第2画像取得範囲に属する第2領域とが混在する場合に、前記第1領域と前記第2領域とのそれぞれで、前記焦点情報を前記第1焦点情報と前記第2焦点情報とで切り換えて、その部分画像を取得するための前記試料の走査を行うことを特徴とする画像取得プログラム。
  10. 前記撮像条件設定処理は、前記画像取得範囲として少なくとも前記第1画像取得範囲、及び前記第2画像取得範囲が設定された場合に、それに対応して前記焦点情報として前記第1焦点情報、及び前記第2焦点情報を設定し、かつ、前記複数の部分画像に含まれる部分画像について、前記第1画像取得範囲に属する第1領域が存在して、前記第2画像取得範囲に属する第2領域がない場合に、前記焦点情報を前記第1焦点情報として、その部分画像を取得するための前記試料の走査を行うことを特徴とする請求項記載の画像取得プログラム。
  11. 前記撮像条件設定処理は、前記第1画像取得範囲、前記第2画像取得範囲に対応する前記第1焦点情報、前記第2焦点情報として、それぞれ第1焦点面、第2焦点面を設定し、前記第1領域に対応する走査区間で前記第1焦点面を適用し、前記第2領域に対応する走査区間で前記第2焦点面を適用するとともに、それらの走査区間の境界点で焦点面を切り換えることを特徴とする請求項9または10記載の画像取得プログラム。
  12. 前記撮像条件設定処理は、前記第1画像取得範囲、前記第2画像取得範囲に対応する前記第1焦点情報、前記第2焦点情報として、それぞれ第1焦点面、第2焦点面を設定し、前記第1領域に対応する走査区間で前記第1焦点面を適用し、前記第2領域に対応する走査区間で前記第2焦点面を適用するとともに、それらの走査区間の境界点を含む一定幅の区間を切換区間として焦点面を切り換えることを特徴とする請求項9〜11のいずれか一項記載の画像取得プログラム。
JP2006055547A 2006-03-01 2006-03-01 画像取得装置、画像取得方法、及び画像取得プログラム Active JP4917331B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2006055547A JP4917331B2 (ja) 2006-03-01 2006-03-01 画像取得装置、画像取得方法、及び画像取得プログラム
US11/477,822 US7801352B2 (en) 2006-03-01 2006-06-30 Image acquiring apparatus, image acquiring method, and image acquiring program
EP07250729A EP1830217B1 (en) 2006-03-01 2007-02-21 Image acquiring apparatus, image acquiring method, and image acquiring program
EP10184178A EP2273302B1 (en) 2006-03-01 2007-02-21 Image acquiring apparatus, image acquiring method and image acquiring program
ES07250729T ES2361365T3 (es) 2006-03-01 2007-02-21 Aparato de captura de imágenes, método de captura de imágenes y programa de captura de imágenes.
AT07250729T ATE504856T1 (de) 2006-03-01 2007-02-21 Bilderfassungsvorrichtung, bilderfassungsverfahren und bilderfassungsprogramm
DE602007013639T DE602007013639D1 (de) 2006-03-01 2007-02-21 Bilderfassungsvorrichtung, Bilderfassungsverfahren und Bilderfassungsprogramm
US12/857,110 US7978898B2 (en) 2006-03-01 2010-08-16 Image acquiring apparatus, image acquiring method, and image acquiring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006055547A JP4917331B2 (ja) 2006-03-01 2006-03-01 画像取得装置、画像取得方法、及び画像取得プログラム

Publications (2)

Publication Number Publication Date
JP2007233098A JP2007233098A (ja) 2007-09-13
JP4917331B2 true JP4917331B2 (ja) 2012-04-18

Family

ID=38134649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006055547A Active JP4917331B2 (ja) 2006-03-01 2006-03-01 画像取得装置、画像取得方法、及び画像取得プログラム

Country Status (6)

Country Link
US (2) US7801352B2 (ja)
EP (2) EP1830217B1 (ja)
JP (1) JP4917331B2 (ja)
AT (1) ATE504856T1 (ja)
DE (1) DE602007013639D1 (ja)
ES (1) ES2361365T3 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11555995B2 (en) 2020-05-20 2023-01-17 Evident Corporation Microscope system, control method, and recording medium
US11611722B2 (en) 2020-05-20 2023-03-21 Evident Corporation Microscope system, control method, and recording medium

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8743195B2 (en) * 2008-10-24 2014-06-03 Leica Biosystems Imaging, Inc. Whole slide fluorescence scanner
US8787690B2 (en) 2008-11-12 2014-07-22 Abbyy Development Llc Binarizing an image
US8098945B2 (en) * 2008-11-12 2012-01-17 Abbyy Software Ltd. Method and system for binarizing an image
JP5497386B2 (ja) 2009-09-11 2014-05-21 浜松ホトニクス株式会社 画像取得装置
KR20130083453A (ko) 2010-10-29 2013-07-22 캐논 가부시끼가이샤 현미경, 화상 취득 장치 및 화상 취득 시스템
CA2824447C (en) * 2010-12-24 2018-03-20 Huron Technologies International Inc. Pathology slide scanner
JP5868005B2 (ja) * 2011-02-04 2016-02-24 キヤノン株式会社 撮像装置、撮像条件設定方法、プログラム
JP2013011856A (ja) * 2011-06-01 2013-01-17 Canon Inc 撮像システムおよびその制御方法
EP2734838B1 (en) 2011-07-20 2019-04-24 Mikroscan Technologies, Inc. Network-based pathology system with desktop slide scanner
DE102011084347B4 (de) 2011-10-12 2022-07-21 Carl Zeiss Microscopy Gmbh Mikroskop und Mikroskopierverfahren zur Durchführung eines Multipositionsexperimentes
WO2014112085A1 (ja) 2013-01-17 2014-07-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
US9860437B2 (en) * 2011-12-19 2018-01-02 Hamamatsu Photonics K.K. Image capturing apparatus and focusing method thereof
DE102012101377B4 (de) 2012-02-21 2017-02-09 Leica Biosystems Nussloch Gmbh Verfahren bei der Vorbereitung von Proben zum Mikroskopieren und Vorrichtung zum Überprüfen der Eindeckqualität von Proben
US10955655B2 (en) 2012-07-04 2021-03-23 Sony Corporation Stitching images based on presence of foreign matter
JP5923026B2 (ja) * 2012-10-31 2016-05-24 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
DE102012022603B3 (de) * 2012-11-19 2014-05-08 Acquifer Ag Vorrichtung und Verfahren zur Mikroskopie einer Vielzahl von Proben
CN104919351B (zh) * 2013-01-17 2017-05-24 浜松光子学株式会社 图像取得装置以及图像取得装置的聚焦方法
EP3333608B1 (en) * 2013-01-17 2021-02-24 Hamamatsu Photonics K.K. Image capturing appartus and focusing method thereof
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2014174919A1 (ja) 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
WO2014175219A1 (ja) * 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料の合焦点情報を取得する方法及びシステム
JP6266601B2 (ja) * 2013-04-26 2018-01-24 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
WO2014179269A2 (en) * 2013-04-30 2014-11-06 Molecular Devices, Llc Apparatus and method for generating in-focus images using parallel imaging in a microscopy system
JP6134249B2 (ja) * 2013-11-01 2017-05-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
JP2017506367A (ja) 2013-11-15 2017-03-02 マイクロスキャン テクノロジーズ,インク. 地質学のスキャナ
US10162166B2 (en) 2014-10-28 2018-12-25 Mikroscan Technologies, Inc. Microdissection viewing system
JP6635052B2 (ja) * 2015-02-05 2020-01-22 株式会社ニコン 構造化照明顕微鏡、及び観察方法
WO2016178856A1 (en) * 2015-05-01 2016-11-10 The Board Of Regents Of The University Of Texas System Uniform and scalable light-sheets generated by extended focusing
US10509215B2 (en) * 2016-03-14 2019-12-17 Olympus Corporation Light-field microscope
US10876970B2 (en) 2016-04-12 2020-12-29 The Board Of Regents Of The University Of Texas System Light-sheet microscope with parallelized 3D image acquisition
DE102016110988A1 (de) * 2016-06-15 2017-12-21 Sensovation Ag Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop
WO2018126138A1 (en) * 2016-12-30 2018-07-05 Leica Biosystems Imaging, Inc. Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor
EP3625601A4 (en) 2017-09-29 2021-03-03 Leica Biosystems Imaging, Inc. TWO-PASS MACROIMAGE
CN110763679A (zh) * 2019-10-31 2020-02-07 湖南爱威医疗科技有限公司 图像采集方法和装置、显微镜系统、计算机可读存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647025A (en) 1994-09-20 1997-07-08 Neopath, Inc. Automatic focusing of biomedical specimens apparatus
US5787208A (en) * 1995-06-07 1998-07-28 Neopath, Inc. Image enhancement method and apparatus
ATE236386T1 (de) * 1995-11-30 2003-04-15 Chromavision Med Sys Inc Verfahren zur automatischen bildanalyse biologischer proben
US6272235B1 (en) 1997-03-03 2001-08-07 Bacus Research Laboratories, Inc. Method and apparatus for creating a virtual microscope slide
US6396941B1 (en) 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US6404906B2 (en) 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
US6847729B1 (en) 1999-04-21 2005-01-25 Fairfield Imaging Limited Microscopy
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
GB0023653D0 (en) * 2000-09-27 2000-11-08 Cambridge Consultants Device for dispensing particulate material
US7155049B2 (en) 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
US6816606B2 (en) 2001-02-21 2004-11-09 Interscope Technologies, Inc. Method for maintaining high-quality focus during high-throughput, microscopic digital montage imaging
JP2003295063A (ja) * 2002-03-29 2003-10-15 Natl Inst Of Radiological Sciences 顕微鏡装置
JP2004101871A (ja) 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置
JP4544850B2 (ja) * 2002-11-29 2010-09-15 オリンパス株式会社 顕微鏡画像撮影装置
GB2398196B (en) 2003-02-05 2005-06-01 Fairfield Imaging Ltd Microscope system and method
JP2004354556A (ja) * 2003-05-28 2004-12-16 Nikon Corp 観察装置
US20050089208A1 (en) 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide
US7925070B2 (en) * 2004-03-30 2011-04-12 Sysmex Corporation Method for displaying virtual slide and terminal device for displaying virtual slide
JP2006003653A (ja) * 2004-06-17 2006-01-05 Olympus Corp 生体試料観察システム
US20060038144A1 (en) 2004-08-23 2006-02-23 Maddison John R Method and apparatus for providing optimal images of a microscope specimen

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11555995B2 (en) 2020-05-20 2023-01-17 Evident Corporation Microscope system, control method, and recording medium
US11611722B2 (en) 2020-05-20 2023-03-21 Evident Corporation Microscope system, control method, and recording medium

Also Published As

Publication number Publication date
ES2361365T3 (es) 2011-06-16
EP1830217A1 (en) 2007-09-05
US20100309306A1 (en) 2010-12-09
JP2007233098A (ja) 2007-09-13
EP1830217B1 (en) 2011-04-06
EP2273302A1 (en) 2011-01-12
US7801352B2 (en) 2010-09-21
ATE504856T1 (de) 2011-04-15
US7978898B2 (en) 2011-07-12
US20070206097A1 (en) 2007-09-06
EP2273302B1 (en) 2012-09-12
DE602007013639D1 (de) 2011-05-19

Similar Documents

Publication Publication Date Title
JP4917331B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP4917329B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP4917330B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
US7248403B2 (en) Microscopic image capture apparatus and microscopic image capturing method
US7885447B2 (en) Image acquiring apparatus including macro image acquiring and processing portions, image acquiring method, and image acquiring program
US7756357B2 (en) Microscope system for obtaining high and low magnification images
CN102313980A (zh) 信息处理装置、镜台波动校正方法和程序
CN1707245A (zh) 荧光显微镜,使用荧光显微镜系统的显示方法和计算机可读介质
JP2008191427A (ja) バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP2008051773A (ja) 蛍光画像取得装置、及び蛍光画像取得方法
JP4878815B2 (ja) 顕微鏡装置
KR102135523B1 (ko) 촬영 장치 및 방법과 촬영 제어 프로그램
JP6940696B2 (ja) 二次元および三次元の固定式z走査
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2006284965A (ja) 顕微鏡装置及び拡大画像生成方法
JP2008051772A (ja) 蛍光画像取得装置、及び蛍光画像取得方法
JP2017173683A (ja) 顕微鏡システムおよび標本観察方法
JP2007102102A (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP2006189510A (ja) 顕微鏡装置及び拡大画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4917331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250