JP5927973B2 - Imaging apparatus, imaging control program, and imaging method - Google Patents
Imaging apparatus, imaging control program, and imaging method Download PDFInfo
- Publication number
- JP5927973B2 JP5927973B2 JP2012031923A JP2012031923A JP5927973B2 JP 5927973 B2 JP5927973 B2 JP 5927973B2 JP 2012031923 A JP2012031923 A JP 2012031923A JP 2012031923 A JP2012031923 A JP 2012031923A JP 5927973 B2 JP5927973 B2 JP 5927973B2
- Authority
- JP
- Japan
- Prior art keywords
- focus position
- imaging
- detected
- region
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
Description
本技術は、検体を撮像領域毎に撮像して拡大画像を取得する撮像装置、撮像制御プログラム及び撮像方法に関する。 The present technology relates to an imaging apparatus, an imaging control program, and an imaging method that acquire an enlarged image by imaging a specimen for each imaging region.
顕微鏡を用いて検体の高倍率画像を撮像する撮像装置において、検体の部分的領域（撮像領域）毎に高倍率画像を撮像し、得られた画像を繋ぎ合わせることによって検体の全領域の高倍率画像を取得する撮像装置がある。例えば、細胞組織スライドを顕微鏡を介して撮像することによってスライドをデジタル画像データとして保存し、病理診断等に供するＤＰＩスキャナーやＤＰＩビューワーが知られている。 In an imaging device that captures a high-magnification image of a specimen using a microscope, a high-magnification image is captured for each partial area (imaging area) of the specimen, and the obtained images are joined together to obtain a high magnification of the entire area of the specimen. There are imaging devices that acquire images. For example, DPI scanners and DPI viewers are known in which slides are stored as digital image data by imaging cell tissue slides through a microscope and used for pathological diagnosis and the like.
このような撮像装置では、一般に被写界深度が非常に狭い（１μｍ程度）ため、厚みのある検体（細胞組織等）のうち焦点状態が最良になる合焦位置で撮像を行う必要がある。しかし、細胞組織等の検体は不規則なうねりを持ってることが多く、最適な合焦位置は撮像領域毎に異なるため、理想的には撮像領域を撮像する毎に、合焦位置を調整することが望ましい。 In such an imaging apparatus, since the depth of field is generally very narrow (about 1 μm), it is necessary to perform imaging at a focus position where the focus state is the best among thick specimens (cell tissue, etc.). However, specimens such as cell tissues often have irregular undulations, and the optimal focus position differs for each imaging area. Ideally, the focus position is adjusted each time the imaging area is imaged. It is desirable.
しかし、ひとつの検体に設定される撮像領域は膨大（数百〜数千）であることが多く、撮像領域毎に検体と顕微鏡光学系の相対位置を調整し、最適な合焦位置を求めることは、多大の時間が必要であることから現実的ではない。このため、検体上で選択された代表点で事前に焦点位置を探索し、その結果から撮像領域毎の合焦位置を推定する撮像方式が用いられる。例えば、特許文献１には、所定間隔の撮像領域について合焦位置を検出し、各撮像領域について合焦位置を推定する「合焦装置」が開示されている。 However, the imaging area set for one specimen is often enormous (hundreds to thousands), and the relative position between the specimen and the microscope optical system is adjusted for each imaging area to obtain the optimum in-focus position. Is not realistic because it takes a lot of time. For this reason, an imaging method is used in which the focal position is searched in advance at the representative point selected on the specimen, and the in-focus position for each imaging area is estimated from the result. For example, Patent Document 1 discloses a “focusing device” that detects a focusing position for imaging regions at a predetermined interval and estimates a focusing position for each imaging region.
しかしながら、特許文献１に記載のような、検体画像の代表点から合焦位置を推定する撮像方式では、検体の合焦位置が推定の範囲を超える場合もあり、さらには測定装置の熱膨張等によっても合焦位置が変動するおそれがある。即ち、検体画像を複数の撮像領域毎に撮像する撮像装置においては、所要時間の短縮と、良好な（画像全体において焦点が合っている）検体画像の両立が課題となっている。 However, in the imaging method for estimating the in-focus position from the representative point of the specimen image as described in Patent Document 1, the in-focus position of the specimen may exceed the estimation range, and further, the thermal expansion of the measuring device, etc. The focus position may also fluctuate depending on the condition. That is, in an imaging apparatus that captures a specimen image for each of a plurality of imaging regions, there is a problem of both shortening the required time and good specimen image (focused on the entire image).
以上のような事情に鑑み、本技術の目的は、撮像所要時間が短く、かつ焦点の合った検体画像の撮像が可能な撮像装置、撮像制御プログラム及び撮像方法を提供することにある。 In view of the circumstances as described above, an object of the present technology is to provide an imaging apparatus, an imaging control program, and an imaging method capable of imaging a focused specimen image with a short imaging time.
以上のような事情に鑑み、本技術の一形態に係る撮像装置は、撮像領域設定部と、合焦位置検出部と、合焦位置決定部と、撮像制御部とを具備する。
上記撮像領域設定部は、検体を含む撮像範囲に複数の撮像領域を設定する。
上記合焦位置検出部は、撮像領域のそれぞれに対して、合焦位置を検出する。
上記合焦位置決定部は、上記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して上記合焦位置検出部によって検出された合焦位置を用いて推定する。
上記撮像制御部は、上記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させる。
In view of the circumstances as described above, an imaging apparatus according to an embodiment of the present technology includes an imaging region setting unit, a focus position detection unit, a focus position determination unit, and an imaging control unit.
The imaging area setting unit sets a plurality of imaging areas in an imaging range including a specimen.
The focus position detection unit detects the focus position for each of the imaging regions.
The in-focus position determining unit is configured to detect the in-focus position of the imaging region in which the in-focus position is not detected by the in-focus position detecting unit, and the in-focus position detected by the in-focus position detecting unit with respect to the surrounding imaging region. Estimate using position.
The imaging control unit causes the imaging region to be imaged using the in-focus position determined by the in-focus position determining unit.
この構成によれば、合焦位置が検出されなかった撮像領域の合焦位置が、合焦位置が検出された撮像領域の合焦位置を用いて推定されるため、撮像制御部によって合焦位置が検出されなかった撮像領域が撮像される際、この推定された合焦位置を用いることができ、撮像領域単位で焦点が合っている検体画像の撮像が可能となる。 According to this configuration, since the in-focus position of the imaging area in which the in-focus position has not been detected is estimated using the in-focus position of the imaging area in which the in-focus position has been detected, the in-focus position is determined by the imaging control unit. When an imaging region in which no is detected is imaged, this estimated focus position can be used, and a specimen image in focus can be captured in units of imaging regions.
上記複数の撮像領域のそれぞれに対して検体の有無を判定する領域判定部をさらに具備し、上記合焦位置検出部は、上記領域判定部によって検体が存在すると判定された撮像領域に対して、合焦位置を検出してもよい。 An area determination unit that determines the presence / absence of a sample for each of the plurality of imaging regions is further provided, and the in-focus position detection unit is configured to detect the presence of the sample by the region determination unit. The in-focus position may be detected.
この構成によれば、検体が存在しない撮像領域、即ち、撮像する必要のない撮像領域については合焦位置の検出が省略されるため、撮像プロセスの所要時間を短縮することが可能となる。 According to this configuration, it is possible to shorten the time required for the imaging process because the detection of the in-focus position is omitted for an imaging area where no specimen exists, that is, an imaging area where imaging is not necessary.
上記合焦位置決定部が合焦位置を検出する撮像領域の順序を決定する撮像順序決定部をさらに具備し、上記撮像順序決定部は、近接する撮像領域を優先する順序としてもよい。 The focusing position determination unit may further include an imaging order determination unit that determines the order of imaging regions in which the focusing position is detected, and the imaging order determination unit may prioritize imaging regions that are close to each other.
上述のように、合焦位置が検出されなかった撮像領域の合焦位置は、合焦位置が検出された撮像領域の合焦位置を用いて推定されるため、推定対象の撮像領域の周囲に合焦位置が検出された撮像領域が多いほうがより正確な推定が可能となる。したがって、撮像順序決定部が、近接する撮像領域を優先する順序を割り当てることにより、推定対象の撮像領域の周囲に合焦位置が検出された撮像領域が存在する可能性が上昇し、推定対象の撮像領域の合焦位置をより正確に推定することが可能となる。 As described above, since the in-focus position of the imaging region in which the in-focus position has not been detected is estimated using the in-focus position of the imaging area in which the in-focus position has been detected, More accurate estimation is possible as the number of imaging regions where the in-focus position is detected is larger. Therefore, when the imaging order determination unit assigns an order in which the adjacent imaging areas are prioritized, there is an increased possibility that there is an imaging area in which the in-focus position is detected around the estimation target imaging area. It becomes possible to estimate the in-focus position of the imaging region more accurately.
上記撮像順序決定部は、検体の存在割合が高い撮像領域の中で近接する撮像領域を優先し、次に検体の存在割合が低い撮像領域の中で近接する撮像領域を優先する順序としてもよい。 The imaging order determination unit may prioritize an imaging region that is close in an imaging region with a high specimen presence ratio and then give priority to an imaging area that is adjacent in an imaging area with a low specimen presence ratio. .
上述のように、推定対象の撮像領域の周囲に合焦位置が検出された撮像領域が多いほうがより正確な推定が可能となるが、検体の存在割合に応じて近接する撮像領域を優先する順序とすることによって、検体の存在割合が高い撮像領域、即ち合焦位置が検出できる可能性が高い撮像領域に対して先行して合焦位置の検出がなされる。このため、合焦位置の推定が必要となる可能性が高い、検体の存在割合が低い撮像領域に対して合焦位置の推定がなされる際、既に合焦位置の検出がなされた検体の存在割合が高い撮像領域の合焦位置を推定に利用することが可能となる。即ち、上述の撮像順序（検体の存在割合に係わらずに近接する撮像領域を優先する順序）と比べてもさらに、推定対象の撮像領域の合焦位置をより正確に推定することが可能となる。 As described above, more accurate estimation is possible when there are more imaging areas in which in-focus positions are detected around the imaging area to be estimated, but the order in which imaging areas close to each other are given priority according to the presence ratio of the specimen By doing so, the in-focus position is detected in advance for an imaging area in which the presence ratio of the specimen is high, that is, an imaging area in which the in-focus position is highly likely to be detected. For this reason, when the focus position is estimated for an imaging region where the focus position is likely to be estimated and the specimen presence ratio is low, the presence of the focus position already detected is detected. It is possible to use the in-focus position of the imaging region with a high ratio for estimation. In other words, the in-focus position of the imaging region to be estimated can be estimated more accurately than the above-described imaging sequence (order in which adjacent imaging regions are given priority regardless of the presence ratio of the specimen). .
上記合焦位置決定部は、上記合焦位置検出部によって合焦位置が検出された撮像領域のうち検体が偏在する撮像領域の合焦位置を、偏在方向に隣接した領域において上記合焦位置検出部によって検出された合焦位置を用いて推定してもよい。 The in-focus position determination unit detects the in-focus position of the imaging region where the specimen is unevenly distributed among the imaging regions in which the in-focus position is detected by the in-focus position detection unit in the region adjacent to the uneven distribution direction. You may estimate using the focus position detected by the part.
撮像領域において検体が偏在している（均一に分布していない）場合においては、合焦位置が検出されたとしても、検体の偏在に起因して正確な合焦位置が検出されていないおそれがある。したがって、このような場合に、偏在方向に隣接した領域において検出された合焦位置を検体が偏在する撮像領域の合焦位置の推定に利用することによって、検体が偏在する撮像領域の合焦位置をより正確に決定することが可能となる。 When the specimen is unevenly distributed in the imaging region (not uniformly distributed), there is a possibility that the accurate focus position is not detected due to the uneven distribution of the specimen even if the focus position is detected. is there. Accordingly, in such a case, the in-focus position of the imaging region where the specimen is unevenly distributed is used by estimating the in-focus position of the imaging area where the specimen is unevenly distributed by using the in-focus position detected in the region adjacent to the uneven distribution direction. Can be determined more accurately.
上記合焦位置決定部は、上記合焦位置検出部によって合焦位置が検出された撮像領域の合焦位置と、周囲の撮像領域に対して上記合焦位置検出部において位相差検出判定可能な面積割合が閾値を超えないときには、合焦位置が検出された撮像領域の合焦位置を推定された合焦位置としてもよい。 The in-focus position determination unit can detect and detect the phase difference in the in-focus position detection unit with respect to the in-focus position of the imaging region where the in-focus position is detected by the in-focus position detection unit and the surrounding imaging region. When the area ratio does not exceed the threshold value, the in-focus position of the imaging region where the in-focus position is detected may be set as the estimated in-focus position.
検体と異なる平面に存在する異物（ゴミ等）、あるいは周囲と屈折率と異なる検体（赤血球等）等に起因して特定の撮像領域において検出された合焦位置が周囲の撮像領域において検出された合焦位置と著しく相違する場合がある。この構成によればそのような場合に検出された合焦位置を破棄し、推定された合焦位置を利用することが可能であり、即ち正確な合焦位置の決定が可能である。 The in-focus position detected in a specific imaging area was detected in the surrounding imaging area due to foreign matter (dust etc.) existing in a different plane from the specimen, or a specimen (red blood cell etc.) having a refractive index different from that of the surrounding area. There may be a significant difference from the in-focus position. According to this configuration, the in-focus position detected in such a case can be discarded, and the estimated in-focus position can be used, that is, an accurate in-focus position can be determined.
上記合焦位置決定部は、上記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して上記合焦位置検出部によって検出された合焦位置の最小二乗近似平面による近似値、または隣接する撮像領域に対して上記合焦位置検出部によって検出された合焦位置の平均値としてもよい。 The in-focus position determination unit is configured to detect the in-focus position of the imaging region in which the in-focus position is not detected by the in-focus position detection unit with respect to the surrounding imaging region. It is good also as an approximate value by the least square approximate plane of a position, or it is good also as an average value of the focus position detected by the said focus position detection part with respect to the adjacent imaging region.
この構成によれば、合焦位置が検出されなかった撮像領域の合焦位置を、最小二乗近似平面による近似値を用いて推定することができる。また、合焦位置が検出された撮像領域の数が、最小二乗近似平面を形成するのに不足する場合には、隣接する撮像領域において検出された合焦位置の平均値を利用して、合焦位置が検出されなかった撮像領域の合焦位置を推定することが可能である。 According to this configuration, the in-focus position of the imaging region in which the in-focus position has not been detected can be estimated using the approximate value obtained from the least square approximation plane. In addition, when the number of imaging areas in which the in-focus positions are detected is insufficient to form the least-square approximate plane, the average value of the in-focus positions detected in the adjacent imaging areas is used. It is possible to estimate the in-focus position of the imaging area where the in-focus position has not been detected.
上記合焦位置検出部は、撮像領域の位相差画像からその撮像領域の合焦位置を検出してもよい。 The focus position detection unit may detect a focus position of the imaging area from a phase difference image of the imaging area.
位相差画像では、撮像領域毎に同一の焦点位置で撮像した場合であっても、位相差画像を画像処理することで撮像時の合焦平面に対する凹凸情報が得られるため、その凹凸情報から合焦位置を検出することが可能である。したがって、合焦位置の検出に位相差画像を用いることにより、撮像領域毎に顕微鏡光学系を調整して合焦位置を探索する場合に比べて撮像所要時間の大幅な短縮が可能である。 In the phase difference image, even if the image is captured at the same focal position for each imaging region, the unevenness information for the in-focus plane at the time of imaging can be obtained by image processing of the phase difference image. It is possible to detect the focal position. Therefore, by using the phase difference image for detection of the in-focus position, it is possible to significantly reduce the time required for imaging compared to the case where the in-focus position is searched by adjusting the microscope optical system for each imaging area.
以上のような事情に鑑み、本技術の一形態に係る撮像制御プログラムは、撮像領域設定部と、合焦位置検出部と、合焦位置決定部と、撮像制御部ととしてコンピュータを機能させる。
上記撮像領域設定部は、検体を含む撮像範囲に複数の撮像領域を設定する。
上記合焦位置検出部は、撮像領域のそれぞれに対して、合焦位置を検出する。
上記合焦位置決定部は、上記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して上記合焦位置検出部によって検出された合焦位置を用いて推定する。
上記撮像制御部は、上記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させる。
In view of the circumstances as described above, an imaging control program according to an embodiment of the present technology causes a computer to function as an imaging area setting unit, a focus position detection unit, a focus position determination unit, and an imaging control unit.
The imaging area setting unit sets a plurality of imaging areas in an imaging range including a specimen.
The focus position detection unit detects the focus position for each of the imaging regions.
The in-focus position determining unit is configured to detect the in-focus position of the imaging region in which the in-focus position is not detected by the in-focus position detecting unit, and the in-focus position detected by the in-focus position detecting unit with respect to the surrounding imaging region. Estimate using position.
The imaging control unit causes the imaging region to be imaged using the in-focus position determined by the in-focus position determining unit.
以上のような事情に鑑み、本技術の一形態に係る撮像方法は、撮像領域設定部が、検体を含む撮像範囲に複数の撮像領域を設定する。
合焦位置検出部が、撮像領域のそれぞれに対して、合焦位置を検出する。
合焦位置決定部が、上記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して上記合焦位置検出部によって検出された合焦位置を用いて推定する。
撮像制御部が、上記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させる。
In view of the circumstances as described above, in the imaging method according to an embodiment of the present technology, the imaging region setting unit sets a plurality of imaging regions in the imaging range including the specimen.
The focus position detection unit detects the focus position for each of the imaging regions.
The in-focus position is determined by the in-focus position detecting unit with respect to the surrounding image area, and the in-focus position is detected by the in-focus position detecting unit. Estimate using.
The imaging control unit causes the imaging region to be imaged using the in-focus position determined by the in-focus position determining unit.
以上のように、本技術によれば、撮像所要時間が短く、かつ焦点の合った検体画像の撮像が可能な撮像装置、撮像制御プログラム及び撮像方法を提供することが可能となる。 As described above, according to the present technology, it is possible to provide an imaging apparatus, an imaging control program, and an imaging method that can capture a focused specimen image with a short imaging time.
［撮像装置の構成］
本実施形態に係る撮像装置の構成について説明する。図１は本実施形態に係る撮像装置１００の構成を示す模式図である。同図に示すように、撮像装置１００は、顕微鏡１１０と顕微鏡制御ユニット１３０によって構成されている。顕微鏡１１０の各部は顕微鏡制御ユニット１３０に接続されている。なお、顕微鏡制御ユニット１３０は、顕微鏡１１０に搭載されていてもよく、顕微鏡１１０とは別の情報処理装置等に搭載されていてもよい。
[Configuration of imaging device]
A configuration of the imaging apparatus according to the present embodiment will be described. FIG. 1 is a schematic diagram illustrating a configuration of an imaging apparatus 100 according to the present embodiment. As shown in the figure, the imaging apparatus 100 includes a microscope 110 and a microscope control unit 130. Each part of the microscope 110 is connected to the microscope control unit 130. Note that the microscope control unit 130 may be mounted on the microscope 110, or may be mounted on an information processing apparatus or the like other than the microscope 110.
顕微鏡１１０は、顕微鏡制御ユニット１３０による制御を受けて検体の高倍率画像を撮像する。顕微鏡１１０は、高倍率画像に加えて検体の位相差画像を撮像することが可能な顕微鏡である。 The microscope 110 takes a high-magnification image of the specimen under the control of the microscope control unit 130. The microscope 110 is a microscope that can capture a phase difference image of a specimen in addition to a high-magnification image.
顕微鏡１１０は、光源１１１、コンデンサレンズ１１２、ステージ１１３、対物レンズ１１４、ハーフミラー１１５、フィールドレンズ１１６、絞りマスク１１７、セパレータレンズ１１８、撮像素子１１９及び撮像素子１２０を有する。ステージ１１３には、検体が固定されたプレパラートＰが載置されている。なお、顕微鏡１１０の構成は一例であり、ここに示すものと異なる構成とすることも可能である。 The microscope 110 includes a light source 111, a condenser lens 112, a stage 113, an objective lens 114, a half mirror 115, a field lens 116, an aperture mask 117, a separator lens 118, an image sensor 119 and an image sensor 120. On the stage 113, a preparation P on which a specimen is fixed is placed. Note that the configuration of the microscope 110 is an example, and a configuration different from that shown here may be used.
光源１１１は、プレパラートＰに照射される照明光を出射する。光源１１１は電球やＬＥＤ（Light Emitting Diode）等とすることができる。光源１１１は、顕微鏡制御ユニット１３０によって発光タイミング等の制御を受ける。コンデンサレンズ１１２は、光源１１１から出射された照明光をプレパラートＰに集光する。 The light source 111 emits illumination light applied to the preparation P. The light source 111 can be a light bulb, an LED (Light Emitting Diode), or the like. The light source 111 is controlled by the microscope control unit 130 such as light emission timing. The condenser lens 112 condenses the illumination light emitted from the light source 111 on the preparation P.
ステージ１１３はプレパラートＰを支持し、顕微鏡制御ユニット１３０による制御を受けてその位置をＸ−Ｙ平面（プレパラートＰに平行な平面）方向及びＺ方向（プレパラートＰに垂直な方向）に移動させる。ステージ１１３はＸ−Ｙ平面方向に移動することによって、顕微鏡光学系（対物レンズ１１４等）の視野範囲を規定し、Ｚ方向に移動することによって顕微鏡光学系の焦点位置を規定するものとすることができる。 The stage 113 supports the preparation P, and receives the control of the microscope control unit 130 to move its position in the XY plane (plane parallel to the preparation P) direction and the Z direction (direction perpendicular to the preparation P). The stage 113 moves in the XY plane direction to define the field of view of the microscope optical system (objective lens 114, etc.), and moves in the Z direction to define the focal position of the microscope optical system. Can do.
対物レンズ１１４は、プレパラートＰを透過した光を所定の拡大倍率で拡大させる。対物レンズ１１４は、拡大倍率が異なる複数のレンズによって構成されるものとしてもよい。 The objective lens 114 enlarges the light transmitted through the preparation P at a predetermined magnification. The objective lens 114 may be configured by a plurality of lenses having different magnifications.
ハーフミラー１１５は、対物レンズ１１４を透過した光の一部を反射し、残りを透過させる。ハーフミラー１１５は、位相差像として撮像される光と、通常の（位相差像ではない）顕微鏡画像として撮像される光を分離するものである。フィールドレンズ１１６は、ハーフミラー１１５によって反射された光を屈折させ、絞りマスク１１７に入射させる。 The half mirror 115 reflects a part of the light transmitted through the objective lens 114 and transmits the rest. The half mirror 115 separates light picked up as a phase difference image and light picked up as a normal (not phase difference image) microscope image. The field lens 116 refracts the light reflected by the half mirror 115 and makes it incident on the aperture mask 117.
絞りマスク１１７は、フィールドレンズ１１６から出射される光を分割し、それぞれをセパレータレンズ１１８に入射させる。絞りマスク１１７は、フィールドレンズ１１６の光軸と直交する面内に、その光軸を境界として対象となる位置に光路となる一対の開口が設けられたマスクであるものとすることができる。 The aperture mask 117 divides the light emitted from the field lens 116 and causes each to enter the separator lens 118. The aperture mask 117 may be a mask in which a pair of openings serving as an optical path is provided in a target position with the optical axis as a boundary in a plane orthogonal to the optical axis of the field lens 116.
セパレータレンズ１１８は一対が配置され、絞りマスクによって分割されたそれぞれの光を撮像素子１１９の受光面に結合させるレンズである。撮像素子１１９は、一対のセパレータレンズ１１８のそれぞれによって結像された光を光電変換し、位相差画像を生成する。撮像素子１１９は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等とすることができる。撮像素子１１９は、生成した位相差画像を顕微鏡制御ユニット１３０に出力する。 A pair of separator lenses 118 is a lens that couples each light divided by the aperture mask to the light receiving surface of the image sensor 119. The image sensor 119 photoelectrically converts the light imaged by each of the pair of separator lenses 118 to generate a phase difference image. The imaging element 119 can be a charge coupled device (CCD) image sensor, a complementary metal oxide semiconductor (CMOS) image sensor, or the like. The image sensor 119 outputs the generated phase difference image to the microscope control unit 130.
撮像素子１２０は、ハーフミラー１１５を透過した光を光電変換し、検体の画像（高倍率画像）を生成する。撮像素子１２０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等とすることができる。撮像素子１２０は、生成した画像を顕微鏡制御ユニット１３０に出力する。 The image sensor 120 photoelectrically converts the light transmitted through the half mirror 115 to generate an image of the specimen (high magnification image). The image sensor 120 can be a CCD image sensor, a CMOS image sensor, or the like. The image sensor 120 outputs the generated image to the microscope control unit 130.
顕微鏡制御ユニット１３０は、プロセッサやメモリ等のハードウェアと、それに読み込まれるソフトウェアの協働によって実現される。顕微鏡制御ユニット１３０は、顕微鏡１１０から出力される画像を取得するとともに、顕微鏡１１０による画像の撮像を制御する。 The microscope control unit 130 is realized by cooperation of hardware such as a processor and a memory and software read into the hardware. The microscope control unit 130 acquires an image output from the microscope 110 and controls image capturing by the microscope 110.
顕微鏡制御ユニット１３０は、撮像領域設定部１３１、領域判定部１３２、撮像順序決定部１３３、合焦位置検出部１３４、合焦位置決定部１３５及び撮像制御部１３６を有する。これらはそれぞれが互いに接続されるとともに、撮像領域設定部１３１は撮像素子１２０に、合焦位置検出部１３４は撮像素子１１９に、撮像制御部１３６は顕微鏡１１０の各部（光源１１１、ステージ１１３等）にそれぞれ接続されている。顕微鏡制御ユニット１３０の各部の機能については撮像装置１００の動作の説明と合わせて説明する。 The microscope control unit 130 includes an imaging area setting unit 131, an area determination unit 132, an imaging order determination unit 133, a focus position detection unit 134, a focus position determination unit 135, and an imaging control unit 136. These are connected to each other, the imaging region setting unit 131 is the imaging device 120, the in-focus position detection unit 134 is the imaging device 119, and the imaging control unit 136 is each part of the microscope 110 (light source 111, stage 113, etc.). Are connected to each. The function of each part of the microscope control unit 130 will be described together with the description of the operation of the imaging apparatus 100.
［撮像装置の動作］
撮像装置１００の動作について説明する。図２は、撮像装置１００の動作を示すフローチャートである。
[Operation of imaging device]
An operation of the imaging apparatus 100 will be described. FIG. 2 is a flowchart showing the operation of the imaging apparatus 100.
顕微鏡１１０にプレパラートＰがセットされ、ユーザによって撮像開始の操作入力がなされると、撮像プロセスが開始される。 When the preparation P is set in the microscope 110 and an operation input for starting imaging is performed by the user, the imaging process is started.
撮像制御部１３６によって、ステージ１１３が制御され、サムネイルカメラによって低倍率画像Ｇが撮像される（Ｓｔ１）。図３は、低倍率画像Ｇの例であり、検体（例えば細胞）Ｓと、検体Ｓが存在しない領域が含まれている。 The stage 113 is controlled by the imaging control unit 136, and the low-magnification image G is captured by the thumbnail camera (St1). FIG. 3 is an example of the low-magnification image G, and includes a specimen (for example, a cell) S and a region where the specimen S does not exist.
次に、撮像領域設定部１３１が、低倍率画像Ｇ上に撮像領域Ｒを設定する（Ｓｔ２）。図４は、撮像領域Ｒを示す模式図である。撮像領域Ｒは、低倍率画像Ｇ上に、同一の大きさで複数が配置される仮想的な領域であり、その大きさや数は、低倍率画像Ｇの大きさ（画素数）と目的とする高倍率画像の撮像倍率によって決定される。撮像領域Ｒは、実際には一つの低倍率画像Ｇ上に数百から数千領域が設定される。 Next, the imaging area setting unit 131 sets the imaging area R on the low-magnification image G (St2). FIG. 4 is a schematic diagram showing the imaging region R. The imaging region R is a virtual region in which a plurality of images having the same size are arranged on the low-magnification image G. The size and the number of the imaging region R are the same as the size (number of pixels) of the low-magnification image G. It is determined by the imaging magnification of the high-magnification image. As the imaging region R, several hundred to several thousand regions are actually set on one low-magnification image G.
続いて、領域判定部１３２が、各撮像領域Ｒ中に検体Ｓの像が含まれるかどうかを判定する（Ｓｔ３）。以下の説明において、検体Ｓの像が含まれると判定された撮像領域Ｒを撮像領域Ｔとする。図５は、撮像領域Ｔ（網掛けの領域）を示す模式図である。領域判定部１３２は、任意の画像処理によって判定をすることができる。例えば、領域判定部１３２は、各撮像領域Ｒについて輝度値の総和が閾値を超えない場合には、検体Ｓが存在する撮像領域Ｔであるものとすることができる。 Subsequently, the region determination unit 132 determines whether or not the image of the sample S is included in each imaging region R (St3). In the following description, an imaging region R that is determined to include an image of the specimen S is referred to as an imaging region T. FIG. 5 is a schematic diagram showing the imaging region T (shaded region). The region determination unit 132 can determine by any image processing. For example, the area determination unit 132 may be the imaging area T in which the specimen S exists when the sum of the luminance values does not exceed the threshold value for each imaging area R.
続いて、撮像順序決定部１３３が、撮像領域Ｔにおいて撮像する順序を決定する（Ｓｔ４）。図６は撮像順序決定部１３３が決定した撮像順序を示す模式図である。撮像順序決定部１３３による撮像順序の決定動作については後述するが、撮像順序決定部１３３は近接する撮像領域Ｔを優先する順序、あるいは検体Ｓの存在割合に応じて近接する撮像領域Ｔを優先する順序とすることができる。ここでは、撮像順序決定部１３３によって図６に示す撮像順序が決定されたものとして説明する。 Subsequently, the imaging order determination unit 133 determines the imaging order in the imaging region T (St4). FIG. 6 is a schematic diagram illustrating the imaging order determined by the imaging order determination unit 133. Although the imaging order determination operation by the imaging order determination unit 133 will be described later, the imaging order determination unit 133 prioritizes the imaging region T that is adjacent according to the order in which the imaging region T that is adjacent is prioritized or the presence ratio of the specimen S. Can be in order. Here, description will be made assuming that the imaging order shown in FIG. 6 is determined by the imaging order determination unit 133.
次に、撮像制御部１３６によってステージ１１３等が制御され、顕微鏡１１０の視野が撮像領域Ｔに一致するように移動される（Ｓｔ５）。いずれの撮像領域Ｔに移動されるかは、上記撮像順序決定部１３３によって決定された順序に従う。 Next, the stage 113 and the like are controlled by the imaging control unit 136 and moved so that the field of view of the microscope 110 coincides with the imaging region T (St5). Which imaging region T is moved follows the order determined by the imaging order determination unit 133.
続いて、顕微鏡１１０の視野内の撮像領域Ｔの位相差画像が撮像される（Ｓｔ６）。撮像制御部１３６によって光源１１１等が制御され、撮像素子１１９によって位相差画像が撮像される。撮像された位相差画像は、合焦位置検出部１３４に供給される。 Subsequently, a phase difference image of the imaging region T in the field of view of the microscope 110 is captured (St6). The imaging control unit 136 controls the light source 111 and the like, and the imaging element 119 captures a phase difference image. The captured phase difference image is supplied to the focus position detection unit 134.
次に、合焦位置検出部１３４が、顕微鏡１１０の視野内の撮像領域Ｔについて合焦位置を検出する（Ｓｔ７）。合焦位置は、撮像領域Ｔに含まれる検体Ｓの像に、最も顕微鏡１１０の焦点が合うときの、顕微鏡光学系とプレパラートＰの相対位置（距離）である。合焦位置検出部１３４は、撮像領域Ｔの位相差画像から合焦位置を検出することができる。図７は、位相差画像からの合焦位置の検出原理を示す模式図である。 Next, the focus position detection unit 134 detects the focus position for the imaging region T within the field of view of the microscope 110 (St7). The in-focus position is a relative position (distance) between the microscope optical system and the preparation P when the image of the specimen S included in the imaging region T is most focused on the microscope 110. The focus position detection unit 134 can detect the focus position from the phase difference image in the imaging region T. FIG. 7 is a schematic diagram showing the detection principle of the in-focus position from the phase difference image.
同図に示すように、合焦位置検出部１３４は、基準画像の全ピクセルに対して、各注目ピクセル周辺の検波窓内画像に相当する画像の中心となる対応ピクセル座標のサブピクセルレベルで検出する。次に、合焦位置検出部１３４は、各注目ピクセルと対応ピクセルの距離Ｄを算出し、defocus＝ｋ（Ｄ−Ｄ０）として当該撮像領域Ｔのデフォーカスマップを生成する（ｋ：デフォーカス／ピクセル計数［μｍ／pixel］、Ｄ０：合焦時基準位相差［pixel]）。 As shown in the figure, the in-focus position detection unit 134 detects all pixels of the reference image at the sub-pixel level of the corresponding pixel coordinates that are the center of the image corresponding to the image in the detection window around each pixel of interest. To do. Next, the focus position detection unit 134 calculates the distance D between each pixel of interest and the corresponding pixel, and generates a defocus map of the imaging region T as defocus = k (D−D 0 ) (k: defocus). / Pixel count [μm / pixel], D 0 : reference phase difference at the time of focusing [pixel]).
図８は、デフォーカスマップの例である。同図に示すようにデフォーカスマップは、当該撮像領域Ｔに含まれる各位置の凹凸情報が、位相差画像撮像時の合焦位置に対してのプラスあるいはマイナスによって示されたものである。図９は、図８に示すデフォーカスマップをデフォーカスプロファイルとして示したものであり、デフォーカス量（凹凸量）に対する頻度（ピクセル数）が示されている。図９に示すデフォーカスプロファイルでは、ピークが０．２μｍの位置にあり、即ち、位相差画像撮像時の焦点位置から０．２μｍ接近することにより、最も広い検体組織が合焦する焦点位置となることが示されている。 FIG. 8 is an example of a defocus map. As shown in the figure, the defocus map shows the unevenness information of each position included in the imaging region T by plus or minus with respect to the in-focus position at the time of phase difference image imaging. FIG. 9 shows the defocus map shown in FIG. 8 as a defocus profile, and shows the frequency (number of pixels) with respect to the defocus amount (unevenness amount). In the defocus profile shown in FIG. 9, the peak is at a position of 0.2 μm, that is, by approaching 0.2 μm from the focus position at the time of phase-contrast image capturing, the widest specimen tissue is in focus. It has been shown.
合焦位置検出部１３４は、このように、位相差画像の位相差を用いて撮像領域Ｔ毎に最も焦点が合う合焦位置を求めることができる。また、合焦位置検出部１３４は、位相差画像のコントラストを用いて合焦位置を求めることも可能である。位相差画像では、撮像領域Ｔ毎に同一の焦点位置で撮像した場合であっても、位相差画像を画像処理することにより撮像時の合焦平面に対する凹凸情報が得られるため、その凹凸情報から合焦位置を検出することが可能である。したがって、合焦位置の検出に位相差画像を用いることにより、撮像領域Ｔ毎に顕微鏡光学系を調整して合焦位置を探索する場合に比べて撮像所要時間の大幅な短縮が可能である。 In this way, the focus position detection unit 134 can obtain the focus position that is most focused for each imaging region T using the phase difference of the phase difference image. The focus position detection unit 134 can also obtain the focus position using the contrast of the phase difference image. In the phase difference image, even when images are captured at the same focal position for each imaging region T, the unevenness information for the in-focus plane at the time of imaging can be obtained by image processing of the phase difference image. It is possible to detect the in-focus position. Therefore, by using the phase difference image for the detection of the in-focus position, it is possible to significantly reduce the time required for imaging compared to the case where the in-focus position is searched by adjusting the microscope optical system for each imaging area T.
ここで、合焦位置検出部１３４が有効な合焦位置を求めることができるのは、その撮像領域Ｔ内に十分な凹凸情報（即ち検体Ｓの像）がある場合に限られる。例えば、図１０に太枠で示した撮像領域Ｔのように、撮像領域Ｔ内に検体Ｓの像がほとんど含まれない撮像領域Ｔについては、プロファイルとなる合焦ピクセル数が少ないため、有効な合焦位置を求めることができない。合焦位置検出部１３４は、検出された合焦位置（検出できなかった場合も含む）を合焦位置決定部１３５に供給する。 Here, the focus position detection unit 134 can obtain an effective focus position only when there is sufficient unevenness information (that is, an image of the specimen S) in the imaging region T. For example, the imaging region T in which the image of the specimen S is hardly included in the imaging region T, such as the imaging region T indicated by a thick frame in FIG. 10, is effective because the number of focused pixels serving as a profile is small. The in-focus position cannot be obtained. The in-focus position detection unit 134 supplies the detected in-focus position (including a case where it cannot be detected) to the in-focus position determination unit 135.
合焦位置決定部１３５は、合焦位置検出部１３４によって検出された合焦位置に基づいて、高倍率画像の撮像に利用する合焦位置を決定する（Ｓｔ８）。詳細は後述するが、合焦位置決定部１３５は、合焦位置検出部１３４によって有効な合焦位置が検出されなかった場合、又は有効な合焦位置が検出されたが一定の場合には、周囲の撮像領域Ｔにおいて検出された合焦位置を用いて合焦位置の推定を実施する。一方、合焦位置決定部１３５は、合焦位置検出部１３４によって検出された合焦位置が妥当な場合には、その合焦位置に決定する。合焦位置決定部１３５は、決定した合焦位置を撮像制御部１３６に供給する。 The focus position determination unit 135 determines a focus position used for capturing a high-magnification image based on the focus position detected by the focus position detection unit 134 (St8). Although details will be described later, the in-focus position determination unit 135 determines that when the in-focus position detection unit 134 does not detect an effective in-focus position or when an in-focus position is detected but is constant, The focus position is estimated using the focus position detected in the surrounding imaging region T. On the other hand, when the in-focus position detected by the in-focus position detector 134 is appropriate, the in-focus position determining unit 135 determines the in-focus position. The focus position determination unit 135 supplies the determined focus position to the imaging control unit 136.
撮像制御部１３６は、合焦位置検出部１３４によって決定された合焦位置を用いて、高倍率画像を撮像させる（ｓｔ９）。具体的には、撮像制御部１３６は、決定された合焦位置に一致するようにステージ１１３等を制御する。その後に撮像制御部１３６は、光源１１１等を制御し、撮像素子１２０に撮像領域Ｔの画像を撮像させる。 The imaging control unit 136 uses the in-focus position determined by the in-focus position detection unit 134 to capture a high-magnification image (st9). Specifically, the imaging control unit 136 controls the stage 113 and the like so as to coincide with the determined in-focus position. Thereafter, the imaging control unit 136 controls the light source 111 and the like, and causes the imaging element 120 to capture an image of the imaging region T.
ひとつの撮像領域Ｔに対して高倍率画像が撮像されると（Ｓｔ１０：Ｎｏ）、撮像順序決定部１３３によって決定された順序に従って、次の撮像領域Ｔに顕微鏡１１０の視野が移動され（Ｓｔ５）、位相差画像の撮像（Ｓｔ６）等が繰返される。低倍率画像Ｇ内の全ての撮像領域Ｔに対して高倍率画像の撮像が完了すると（Ｓｔ１０：Ｙｅｓ）、撮像プロセスが終了する。撮像された各撮像領域Ｔ毎の高倍率画像はスティッチングにより一枚の高倍率画像に結合され、ストレージ等に保存される。 When a high-magnification image is captured for one imaging region T (St10: No), the field of view of the microscope 110 is moved to the next imaging region T according to the order determined by the imaging order determination unit 133 (St5). The imaging of the phase difference image (St6) and the like are repeated. When the imaging of the high-magnification image is completed for all the imaging regions T in the low-magnification image G (St10: Yes), the imaging process ends. The captured high-magnification images for each imaging region T are combined into one high-magnification image by stitching and stored in a storage or the like.
以上のようにして、プレパラートＰ上の検体Ｓの高倍率画像が撮像される。上記撮像プロセスにおいては、領域判定部１３２によって、低倍率画像Ｇにおいて検体Ｓが含まれない撮像領域Ｔについては、視野の移動（Ｓｔ５）や位相差画像撮像（Ｓｔ６）以下のプロセスが実行されない。これにより、プレパラートＰにおいて検体Ｓが存在しない、不要な領域についてのこれらの撮像プロセスを省略することが可能である。 As described above, a high-magnification image of the specimen S on the preparation P is captured. In the imaging process described above, the area determination unit 132 does not execute processes following the visual field movement (St5) and phase difference imaging (St6) for the imaging region T in which the specimen S is not included in the low-magnification image G. Thereby, it is possible to omit these imaging processes for an unnecessary area where the specimen S does not exist in the preparation P.
また、合焦位置検出部１３４によって、各撮像領域Ｔ毎に位相差画像を利用した合焦位置の検出が実行され、高倍率画像の撮像に利用されるため、撮像領域Ｔ単位で正確な合焦位置による高倍率画像の撮像が可能である。 Further, since the focus position detection unit 134 detects the focus position using the phase difference image for each imaging region T and is used for capturing a high-magnification image, an accurate focusing is performed for each imaging region T. A high-magnification image can be captured by the focal position.
［合焦位置決定部による合焦位置の決定］
合焦位置決定部１３５による合焦位置の決定動作について説明する。図１１は、合焦位置決定部１３５による合焦位置の決定動作を示すフローチャートである。
[Focus position determination by the focus position determination unit]
The in-focus position determination operation by the in-focus position determination unit 135 will be described. FIG. 11 is a flowchart showing an in-focus position determination operation by the in-focus position determination unit 135.
同図に示すように、合焦位置検出部１３４によって合焦位置が検出（Ｓｔ７）されると、検出された合焦位置が合焦位置決定部１３５に供給される。また、合焦位置検出部１３４によって有効な合焦位置が検出されなかった場合も、その旨が合焦位置決定部１３５に供給される。 As shown in the figure, when the in-focus position is detected by the in-focus position detecting unit 134 (St7), the detected in-focus position is supplied to the in-focus position determining unit 135. Further, when a valid focus position is not detected by the focus position detection unit 134, the fact is supplied to the focus position determination unit 135.
合焦位置決定部１３５は、合焦位置検出部１３４によって合焦位置が検出された場合（Ｓｔ８１：Ｙｅｓ）、検体Ｓの像が撮像領域Ｔにおいて偏在しているかどうかを確認する（Ｓｔ８２）。図１２は、ひとつの撮像領域Ｔにおいて検体Ｓの像が偏在している例を示す模式図である。 When the in-focus position is detected by the in-focus position detector 134 (St81: Yes), the in-focus position determining unit 135 checks whether the image of the sample S is unevenly distributed in the imaging region T (St82). FIG. 12 is a schematic diagram illustrating an example in which the image of the specimen S is unevenly distributed in one imaging region T.
図１２に示す撮像領域Ｔ（太枠）においては、検体Ｓの像が撮像領域Ｔの上半分にのみ存在している。このような場合、合焦位置検出部１３４によって当該撮像領域Ｔの位相差画像から検出される合焦位置は、検体Ｓの像が偏在していない場合に比べてデフォーカスプロファイルのサンプル数が少ないために精度が低いものとなる。また、検体Ｓの周縁部においては検体Ｓがめくれていることも考えられる。 In the imaging region T (thick frame) shown in FIG. 12, the image of the specimen S exists only in the upper half of the imaging region T. In such a case, the in-focus position detected from the phase difference image in the imaging region T by the in-focus position detection unit 134 has a smaller number of samples in the defocus profile than in the case where the image of the specimen S is not unevenly distributed. Therefore, the accuracy is low. It is also conceivable that the sample S is turned over at the peripheral edge of the sample S.
したがって、このような検体Ｓの像が偏在している撮像領域Ｔから検出される合焦位置は、隣接する検体Ｓの像が偏在していない撮像領域Ｔから検出される合焦位置との整合性が小さい。このような場合、撮像された高倍率画像においては撮像領域Ｔ間の継ぎ目が目立つおそれがある。 Therefore, the in-focus position detected from the imaging region T where the image of the specimen S is unevenly distributed is aligned with the in-focus position detected from the imaging area T where the image of the adjacent sample S is not unevenly distributed. The nature is small. In such a case, there is a possibility that the joint between the imaging regions T is noticeable in the captured high-magnification image.
これに対して合焦位置決定部１３５は、検体Ｓの像が撮像領域Ｔにおいて偏在していることを検出し、かつ、当該撮像領域Ｔに隣接する撮像領域Ｔのうち検体Ｓの像が偏在している方向の撮像領域Ｔ（図１２中「Valid」）において合焦位置が検出されている場合（Ｓｔ８２：Ｙｅｓ）には、偏在している撮像領域Ｔから検出された合焦位置を破棄し、検体Ｓの像が偏在している方向に隣接する撮像領域Ｔにおいて検出された合焦位置を採用する（Ｓｔ８３）。このようにすることにより、検体Ｓの像が偏在している撮像領域Ｔにおける合焦位置の精度を確保し、隣接する撮像領域Ｔとの合焦位置の相違も解消することが可能となる。 On the other hand, the focus position determination unit 135 detects that the image of the specimen S is unevenly distributed in the imaging area T, and the image of the specimen S is unevenly distributed in the imaging area T adjacent to the imaging area T. If the in-focus position is detected in the imaging area T (“Valid” in FIG. 12) in the direction (St82: Yes), the in-focus position detected from the unevenly-existing imaging area T is discarded. Then, the in-focus position detected in the imaging region T adjacent in the direction in which the image of the specimen S is unevenly distributed is adopted (St83). By doing so, it is possible to ensure the accuracy of the in-focus position in the imaging region T where the image of the specimen S is unevenly distributed, and to eliminate the difference in the in-focus position from the adjacent imaging region T.
一方、合焦位置決定部１３５は、撮像領域Ｔにおいて検体Ｓが偏在していない場合、または検体Ｓが偏在しているが、検体Ｓの像が偏在している方向に隣接する撮像領域Ｔにおいて合焦位置が検出されていない場合（Ｓｔ８２：Ｎｏ）には、検出値の信頼性が十分であるかを確認する（Ｓｔ８４）。 On the other hand, the in-focus position determination unit 135 detects that the specimen S is not unevenly distributed in the imaging region T, or the specimen S is unevenly distributed, but in the imaging region T adjacent to the direction in which the image of the specimen S is unevenly distributed. If the in-focus position has not been detected (St82: No), it is confirmed whether the reliability of the detected value is sufficient (St84).
合焦位置決定部１３５は、決定対象の撮像領域Ｔにおいて位相差検出判定可能な面積割合が閾値を超えない場合（Ｓｔ８４：Ｙｅｓ）には、検出された合焦位置を採用しないものとすることができる。一方、合焦位置決定部１３５は、決定対象の撮像領域Ｔにおいて位相差検出判定可能な面積割合が閾値を超える場合（Ｓｔ８４：Ｎｏ）には、決定対象の撮像領域Ｔにおいて検出された合焦位置を採用する（Ｓｔ８５）ものとすることができる。 The in-focus position determination unit 135 does not adopt the detected in-focus position when the area ratio in which the phase difference detection determination can be performed in the imaging region T to be determined does not exceed the threshold (St84: Yes). Can do. On the other hand, when the area ratio that can be detected and detected by the phase difference exceeds the threshold value in the determination target imaging region T (St84: No), the focus position determination unit 135 determines the focus detected in the determination target imaging region T. The position may be adopted (St85).
続いて、合焦位置決定部１３５は、合焦位置検出部１３４によって合焦位置が検出されなかった場合（Ｓｔ８１：Ｎｏ）、または決定対象の撮像領域Ｔの周囲の撮像領域Ｔから推定された合焦位置と、決定対象の撮像領域Ｔにおいて位相差検出判定可能な面積割合が閾値を超えない場合（Ｓｔ８４：Ｙｅｓ）には、最小二乗近似平面を利用した合焦位置の推定が可能であるかを確認する（Ｓｔ８６）。 Subsequently, the in-focus position determination unit 135 is estimated from the imaging region T around the imaging region T to be determined when the in-focus position is not detected by the in-focus position detection unit 134 (St81: No). When the focus position and the area ratio in which the phase difference can be determined in the imaging region T to be determined do not exceed the threshold (St84: Yes), the focus position can be estimated using the least square approximation plane. (St86).
合焦位置決定部１３５は、決定対象の撮像領域Ｔの周囲に、合焦位置検出部１３４によって合焦位置が検出された撮像領域Ｔが同一直線上ではない３領域以上ある場合（Ｓｔ８６：Ｙｅｓ）には、最小二乗近似平面を利用した合焦位置の推定（Ｓｔ８７）が可能である。一方、決定対象の撮像領域Ｔの周囲において、合焦位置検出部１３４によって合焦位置が検出された撮像領域Ｔが３領域未満である場合（Ｓｔ８６：Ｎｏ）には、平均値を利用した合焦位置の推定が可能であるかを確認する（Ｓｔ８８）。 The in-focus position determination unit 135, when there are three or more imaging regions T in which the in-focus position is detected by the in-focus position detection unit 134 around the determination target imaging region T (St86: Yes) ) Can be used to estimate the in-focus position using the least square approximation plane (St87). On the other hand, when the imaging area T in which the in-focus position is detected by the in-focus position detection unit 134 is less than 3 areas around the imaging area T to be determined (St86: No), the average value is used. It is confirmed whether the focal position can be estimated (St88).
合焦位置決定部１３５は、決定対象の撮像領域Ｔの周囲に、合焦位置検出部１３４によって合焦位置が検出された撮像領域Ｔが１領域以上ある場合（Ｓｔ８８：Ｙｅｓ）には、平均値を利用した合焦位置の推定（Ｓｔ８９）が可能である。一方、決定対象の撮像領域Ｔの周囲において、合焦位置検出部１３４によって合焦位置が検出された撮像領域Ｔが１領域もない場合（Ｓｔ８９：Ｎｏ）には、合焦位置の推定がなされない（Ｓｔ９０）。 The in-focus position determining unit 135 calculates an average when there are one or more image capturing areas T in which the in-focus position is detected by the in-focus position detecting unit 134 around the image capturing area T to be determined (St88: Yes). It is possible to estimate the in-focus position using the value (St89). On the other hand, when there is no imaging region T in which the in-focus position is detected by the in-focus position detection unit 134 around the imaging region T to be determined (St89: No), the in-focus position is not estimated. (St90).
図１５は、最小二乗近似平面又は平均値による合焦位置の推定を説明するための図である。同図において撮像順序を矢印で示す。図１５（ａ）及び図１５（ｂ）において、合焦位置が検出された撮像領域Ｔには検出された合焦位置の数値例を示し、有効な合焦位置が検出されなかった撮像領域には「invalid」と示す。 FIG. 15 is a diagram for explaining the estimation of the in-focus position by the least square approximation plane or the average value. In the figure, the imaging order is indicated by arrows. In FIG. 15A and FIG. 15B, a numerical example of the detected focus position is shown in the imaging region T in which the in-focus position is detected, and the effective in-focus position is not detected. Indicates “invalid”.
合焦位置決定部１３５が、推定対象の撮像領域Ｔ（図中斜線）の合焦位置を推定する際、図１５（ａ）に示すように、推定対称の撮像領域ＴのＸ、Ｙ方向に合焦位置が検出された撮像領域Ｔが同一直線上ではない３領域以上である場合には、最小二乗近似平面を用いて推定対象の撮像領域Ｔの合焦位置を推定することができる。 When the in-focus position determination unit 135 estimates the in-focus position of the imaging region T to be estimated (slant line in the figure), as shown in FIG. 15A, the estimated symmetrical imaging region T in the X and Y directions. When the imaging area T from which the in-focus position is detected is three or more areas that are not on the same straight line, the in-focus position of the imaging area T to be estimated can be estimated using a least square approximation plane.
具体的には、求める近似平面をｚ＝ａｘ＋ｂｙ＋ｃとし、ＸＹを推定対象の撮像領域Ｔを（０、０）とした撮像領域Ｔのインデックスとし、各インデックス位置での合焦位置をＺｎとする。さらに推定対象の撮像領域Ｔに隣接する、合焦位置が検出された撮像領域Ｔの数をｎとすると、推定対象の撮像領域Ｔの合焦位置Ｚ０は以下の式を用いて推定することができる。 Specifically, the approximate plane to be obtained is z = ax + by + c, XY is an index of the imaging region T where the imaging region T to be estimated is (0, 0), and the in-focus position at each index position is Zn. Further, assuming that the number of imaging regions T adjacent to the estimation target imaging region T where the in-focus position is detected is n, the in-focus position Z 0 of the estimation target imaging region T is estimated using the following equation. Can do.
Ｎ≧３でかつＸＹ平面上で直交する配置にある場合、
Z0 = aveZ - a x aveX - b x aveY
a = (SySxz - SxySyz) / (SxSy - Sxy2)
b = (SxSyz - SxySxz) / (SxSy - Sxy2)
Sx = (1/N)Σ(xn-aveX)2
Sy = (1/N)Σ(yn-aveY)2
Sxy = (1/N)Σ(x-aveX)(y-aveY)
aveX, aveY, aveZ：合焦位置が検出された撮像領域Ｔのインデックス及びZ位置の平均値
When N ≧ 3 and the arrangement is orthogonal on the XY plane,
Z 0 = aveZ-ax aveX-bx aveY
a = (SySxz-SxySyz) / (SxSy-Sxy 2 )
b = (SxSyz-SxySxz) / (SxSy-Sxy 2 )
Sx = (1 / N) Σ (xn-aveX) 2
Sy = (1 / N) Σ (yn-aveY) 2
Sxy = (1 / N) Σ (x-aveX) (y-aveY)
aveX, aveY, aveZ: Average value of the index and Z position of the imaging region T where the in-focus position is detected
一方、図１５（ｂ）に示すように、推定対称の撮像領域ＴのＸ、Ｙ方向に合焦位置が検出された対象領域Ｔが同一直線上の３領域以上であるもしくは２領域以下である場合には、最小二乗近似平面が形成できないので、推定対象の撮像領域Ｔの合焦位置は、隣接する対象領域Ｔの合焦位置の平均値とすることができる。 On the other hand, as shown in FIG. 15B, the target area T in which the focus position is detected in the X and Y directions of the estimated symmetrical imaging area T is three or more areas on the same straight line or two or less areas. In this case, since the least square approximation plane cannot be formed, the focus position of the imaging region T to be estimated can be set to the average value of the focus positions of the adjacent target regions T.
以上のようにして、合焦位置決定部１３５は、合焦位置検出部１３４によって合焦位置が検出されなかった推定対象の撮像領域Ｔの合焦位置を、周囲の合焦位置が検出された撮像領域Ｔの合焦位置を用いて推定することが可能である。 As described above, the focus position determination unit 135 detects the focus position of the estimation target imaging region T in which the focus position is not detected by the focus position detection unit 134 and the surrounding focus positions. It is possible to estimate using the in-focus position of the imaging region T.
以上のようにして、合焦位置決定部１３５は、決定対象の撮像領域Ｔについて合焦位置検出部１３４によって検出された合焦位置又は、決定対象の撮像領域Ｔの周囲に位置する撮像領域Ｔの合焦位置から推定された合焦位置を、決定対象の撮像領域Ｔの合焦位置として決定する。 As described above, the in-focus position determination unit 135 detects the in-focus position detected by the in-focus position detection unit 134 for the determination target imaging region T or the imaging region T positioned around the determination target imaging region T. The in-focus position estimated from the in-focus position is determined as the in-focus position of the imaging region T to be determined.
図１３は、合焦位置の決定対象の撮像領域Ｔ（太枠）の周囲の撮像領域Ｔに異物が存在する例を示す模式図である。同図に示すように、カバーガラス上等、検体Ｓと焦点方向に離間した位置に異物（ゴミ等）が存在し、かつその撮像領域Ｔに検体Ｓの像が含まれない場合、その撮像領域Ｔにおいては、その異物に焦点が合う場合がある。 FIG. 13 is a schematic diagram illustrating an example in which a foreign object exists in the imaging region T around the imaging region T (thick frame) whose focus position is to be determined. As shown in the figure, when there is a foreign object (such as dust) at a position separated from the specimen S in the focal direction, such as on the cover glass, and the imaging area T does not include an image of the specimen S, the imaging area At T, the foreign object may be in focus.
図１４は、図１３において破線で示した撮像領域Ｔ群の各撮像領域Ｔの合焦位置を示すグラフである。同図に示すように、幾つかの撮像領域Ｔにおいては、カバーガラス上の異物に焦点が合ったことによって、本来の合焦位置とはカバーガラスの厚みに相当する距離の分離間している。このような場合において、合焦位置の検出ができなかった撮像領域Ｔの合焦位置の推定に、異物が含まれる撮像領域Ｔの合焦位置を用いると、本来の合焦位置とは相違する合焦位置が推定されてしまうおそれがある。その為、決定対象の撮像領域Ｔの周囲に位置する撮像領域Ｔの合焦位置から推定を行う場合（Ｓｔ８６、Ｓｔ８８）、決定対象の撮像領域Ｔの周囲に位置する撮像領域Ｔの合焦位置の分散が閾値を上回る場合、上位側に偏った異物起因の検出要素を推定上方から除外したのち、合焦位置の推定を行うことで、異物の影響を排除することが可能となる。 FIG. 14 is a graph showing the in-focus position of each imaging region T in the imaging region T group indicated by a broken line in FIG. As shown in the figure, in some imaging regions T, the foreign object on the cover glass is focused, so that the original focus position is separated by a distance corresponding to the thickness of the cover glass. . In such a case, if the in-focus position of the imaging area T including the foreign matter is used for estimation of the in-focus position of the imaging area T in which the in-focus position cannot be detected, it is different from the original in-focus position. The in-focus position may be estimated. Therefore, when the estimation is performed from the in-focus position of the imaging area T located around the imaging area T to be determined (St86, St88), the in-focus position of the imaging area T positioned around the imaging area T to be determined In the case where the variance of the above is greater than the threshold value, it is possible to eliminate the influence of the foreign matter by estimating the in-focus position after removing the detection element due to the foreign matter biased to the upper side from the estimated upper side.
また、図１９に示すように、撮像領域Ｔに赤血球が含まれる場合には、赤血球の屈折率は他の細胞と著しく異なることにより、当該撮像領域Ｔの合焦位置が周囲の撮像領域Ｔと大きく異なる場合がある。このような場合、図１１のＳｔ８４経てＳｔ８５の判定がなされる結果、撮像領域Ｔの矩形領域が周辺と著しく異なった焦点状態になる。そこで、Ｓｔ８４の判定において、検出値の信頼性が十分である場合であっても、Ｓｔ８６及びＳｔ８８にとる合焦位置の推定を行い、推定位置が検出位置と大きく異なる場合（閾値を超える場合／合焦面が著しく不連続な段差を形成する場合）、推定位置を採用することで、焦点状態の周辺タイルとの不連続性を緩和することができる。 Further, as shown in FIG. 19, when the imaging region T includes red blood cells, the refractive index of the red blood cells is significantly different from that of other cells, so that the in-focus position of the imaging region T is different from that of the surrounding imaging regions T. May vary greatly. In such a case, as a result of the determination of St85 through St84 of FIG. 11, the rectangular area of the imaging area T is in a focus state that is significantly different from the surrounding area. Therefore, in the determination of St84, even if the reliability of the detected value is sufficient, the in-focus position taken at St86 and St88 is estimated, and the estimated position is significantly different from the detected position (when exceeding the threshold / By adopting the estimated position, the discontinuity with the surrounding tile in the focused state can be reduced.
［撮像順序決定部による撮像順序の決定］
撮像順序決定部１３３による撮像順序の決定動作について説明する。上述のように、撮像順序決定部１３３は、領域判定部１３２によって検体Ｓが存在すると判定された撮像領域Ｔについて、位相差画像及び高倍率画像の撮像順序を決定する。ここで、撮像順序決定部１３３は、近接する撮像領域Ｔを優先する順序、あるいは検体Ｓの存在割合に応じて近接する撮像領域Ｔを優先する順序とすることができる。
[Determining the imaging sequence by the imaging sequence determination unit]
The operation of determining the imaging order by the imaging order determining unit 133 will be described. As described above, the imaging order determination unit 133 determines the imaging order of the phase difference image and the high-magnification image for the imaging region T determined by the region determination unit 132 that the sample S is present. Here, the imaging order determination unit 133 can set the order in which the adjacent imaging areas T are prioritized or the order in which the adjacent imaging areas T are prioritized according to the presence ratio of the specimen S.
まず、撮像順序決定部１３３が近接する撮像領域Ｔを優先する順序とする場合について説明する。上述の図６に示す撮像順序は、この場合の撮像順序を示すものである。撮像順序決定部１３３は、次のようなルールにしたがって近接する撮像領域Ｔを優先する順序を割り当てることができる。 First, a case will be described in which the imaging order determination unit 133 prioritizes the imaging areas T adjacent to each other. The imaging sequence shown in FIG. 6 described above indicates the imaging sequence in this case. The imaging order determination unit 133 can assign an order in which the adjacent imaging areas T are prioritized according to the following rules.
撮像順序決定部１３３は、最も左上に位置する撮像領域Ｔから、隣接する撮像領域Ｔのうち、左、下、右、上の優先順位、隣接する撮像領域Ｔが存在しない場合には、角が接する左下、右下、右上、左上の優先順位で次の撮像領域Ｔに移動させる順序とする。隣接あるいは角が接する撮像領域が存在しない場合には、最も接近する撮像領域Ｔに移動させる順序とする。撮像順序決定部１３３は全ての撮像領域Ｔに順序を決定するまで、これを繰返す。 The imaging order determination unit 133 determines the corner from the imaging area T positioned at the upper left to the left, the lower, the right, the upper priority, and the adjacent imaging area T among the adjacent imaging areas T. The order of movement to the next imaging region T is in the priority order of the lower left, lower right, upper right, and upper left in contact. When there is no imaging region that is adjacent or in contact with a corner, the sequence is moved to the closest imaging region T. The imaging order determining unit 133 repeats this until the order is determined for all the imaging areas T.
撮像順序決定部１３３が近接する撮像領域Ｔを優先する順序とすることによって、ひとつの撮像領域Ｔの周囲に、既に合焦位置が検出された撮像領域Ｔが存在する可能性が高まる。上述のように、合焦位置決定部１３５が、合焦位置検出部１３４により合焦位置が検出されなかった撮像領域Ｔに対して合焦位置を推定する際、推定対象の撮像領域Ｔの周囲に合焦位置が検出された撮像領域Ｔが多いほうがより正確な推定が可能となる。したがって、撮像順序決定部１３３がこの順序とすることにより、推定対象の撮像領域Ｔの周囲に合焦位置が検出された撮像領域Ｔが存在する可能性が上昇し、推定対象の撮像領域Ｔの合焦位置をより正確に推定することが可能となる。 When the imaging order determining unit 133 prioritizes the adjacent imaging areas T, the possibility that there is an imaging area T in which the in-focus position has already been detected around one imaging area T increases. As described above, when the in-focus position determination unit 135 estimates the in-focus position with respect to the imaging region T in which the in-focus position is not detected by the in-focus position detection unit 134, the surroundings of the estimation target imaging region T More accurate estimation is possible when there are more imaging regions T in which the in-focus positions are detected. Therefore, when the imaging order determination unit 133 sets this order, the possibility that there is an imaging region T in which the in-focus position is detected around the estimation target imaging region T increases, and the estimation target imaging region T It becomes possible to estimate the in-focus position more accurately.
また、撮像順序決定部１３３は、検体Ｓの存在割合に応じて近接する撮像領域Ｔを優先する順序とすることも可能である。図１６乃至図１８は、撮像順序決定部１３３による撮像順序の決定動作を説明する図である。 Further, the imaging order determination unit 133 can also set the order in which the adjacent imaging regions T are prioritized according to the presence ratio of the specimen S. FIG. 16 to FIG. 18 are diagrams for describing an imaging order determination operation by the imaging order determination unit 133.
撮像順序決定部１３３はまず、図１６に示すように、撮像領域Ｔを検体Ｓの存在割合が高い撮像領域Ｔ１と検体Ｓの存在割合が低い撮像領域Ｔ２に分ける。撮像順序決定部１３３は、例えば、撮像領域Ｔ毎の輝度値を用いて撮像領域Ｔ１と撮像領域Ｔ２に分けることができる。また、ここでは、撮像順序決定部１３３は撮像領域Ｔ１と撮像領域Ｔ２の２段階に撮像領域Ｔを分けているが、検体Ｓの存在割合に応じて３段階以上に分けてもよい。 First, as shown in FIG. 16, the imaging order determination unit 133 divides the imaging region T into an imaging region T1 in which the presence rate of the sample S is high and an imaging region T2 in which the presence rate of the sample S is low. The imaging order determination unit 133 can divide into the imaging area T1 and the imaging area T2 using, for example, the luminance value for each imaging area T. In addition, here, the imaging order determination unit 133 divides the imaging region T into two stages of the imaging region T1 and the imaging region T2, but it may be divided into three or more stages according to the presence ratio of the specimen S.
次に、撮像順序決定部１３３は、図１７に示すように検体Ｓの存在割合が高い撮像領域Ｔ１に対してのみ、上述の近接する撮像領域Ｔを優先する順序を割り当てる。即ち撮像順序決定部１３３は、最も左上に位置する撮像領域Ｔ１から、隣接する撮像領域Ｔ１のうち、左、下、右、上の優先順位、隣接する撮像領域Ｔ１が存在しない場合には、角が接する左下、右下、右上、左上の優先順位で次の撮像領域Ｔ１に移動させる順序とする。隣接あるいは角が接する撮像領域が存在しない場合には、最も接近する撮像領域Ｔ１に移動させる順序とする。撮像順序決定部１３３は全ての撮像領域Ｔ１に順序を決定するまで、これを繰返す。 Next, the imaging order determination unit 133 assigns an order in which the above-described adjacent imaging areas T are prioritized only to the imaging area T1 in which the presence ratio of the specimen S is high as illustrated in FIG. In other words, the imaging order determination unit 133 determines that the left, lower, right, and upper priority ranks of the adjacent imaging areas T1 from the imaging area T1 located at the upper left and the adjacent imaging area T1 do not exist. The lower left, lower right, upper right, and upper left are in order of priority, and are moved to the next imaging region T1. If there is no imaging region that is adjacent or touching the corner, the order is moved to the closest imaging region T1. The imaging order determining unit 133 repeats this until the order is determined for all the imaging areas T1.
続いて、撮像順序決定部１３３は、図１８に示すように検体Ｓの存在割合が低い撮像領域Ｔ２に対してのみ、上述の近接する撮像領域Ｔを優先する順序を割り当てる。即ち撮像順序決定部１３３は、最も左上に位置する撮像領域Ｔ２から、隣接する撮像領域Ｔ２のうち、左、下、右、上の優先順位、隣接する撮像領域Ｔ２が存在しない場合には、角が接する左下、右下、右上、左上の優先順位で次の撮像領域Ｔ２に移動させる順序とする。隣接あるいは角が接する撮像領域が存在しない場合には、最も接近する撮像領域Ｔ２に移動させる順序とする。撮像順序決定部１３３は全ての撮像領域Ｔ２に順序を決定するまで、これを繰返す。 Subsequently, the imaging order determining unit 133 assigns an order in which the above-described adjacent imaging areas T are prioritized only to the imaging area T2 in which the presence ratio of the specimen S is low as illustrated in FIG. In other words, the imaging order determination unit 133 determines that the left, lower, right, and upper priority ranks of the adjacent imaging areas T2 from the imaging area T2 located at the upper left and the adjacent imaging area T2 do not exist. The lower left, lower right, upper right, and upper left are in order of priority, and are moved to the next imaging region T2. If there is no imaging region that is adjacent or touching the corner, the order of movement is set to the closest imaging region T2. The imaging order determination unit 133 repeats this until the order is determined for all the imaging areas T2.
撮像順序決定部１３３が検体Ｓの存在割合に応じて近接する撮像領域Ｔを優先する順序とすることによって、検体Ｓの存在割合が高い撮像領域Ｔ、即ち合焦位置が検出できる可能性が高い撮像領域Ｔに対して先行して合焦位置検出部１３４による合焦位置の検出がなされる。このため、合焦位置の推定が必要となる可能性が高い、検体Ｓの存在割合が低い撮像領域Ｔにおいて、合焦位置検出部１３４による合焦位置の推定がなされる際、既に合焦位置の検出がなされた検体Ｓの存在割合が高い撮像領域Ｔの合焦位置を推定に利用することが可能となる。したがって、撮像順序決定部１３３がこの順序とすることにより、検体Ｓの存在割合に係わらずに近接する撮像領域Ｔを優先する順序と比べてさらに、推定対象の撮像領域Ｔの合焦位置をより正確に推定することが可能となる。 When the imaging order determination unit 133 sets the order of the imaging areas T that are close to each other according to the presence ratio of the specimen S, the imaging area T with a high presence ratio of the specimen S, that is, the focus position is highly likely to be detected. The in-focus position is detected by the in-focus position detector 134 prior to the imaging region T. Therefore, when the in-focus position is estimated by the in-focus position detecting unit 134 in the imaging region T in which there is a high possibility that the in-focus position needs to be estimated and the existence ratio of the specimen S is low, the in-focus position is already set. It is possible to use the in-focus position of the imaging region T where the presence ratio of the sample S in which the detection is performed is high for estimation. Therefore, when the imaging order determination unit 133 sets this order, the in-focus position of the imaging area T to be estimated is further increased compared to the order in which the imaging areas T that are close to each other are prioritized regardless of the presence ratio of the specimen S. It is possible to estimate accurately.
以上のように、本実施形態においては、低倍率画像に設定された各撮像領域に対して合焦位置の検出が実行され、高倍率画像の撮像の際に撮像領域毎に合焦位置が調整されるため、画像全体において焦点が合った高倍率画像の取得が可能である。一方で、合焦位置の検出に位相差画像を用いることにより、撮像領域毎に顕微鏡光学系を調整して合焦位置を探索する場合に比べて撮像所要時間の大幅な短縮が可能となっている。 As described above, in the present embodiment, the focus position is detected for each imaging region set in the low-magnification image, and the focus position is adjusted for each imaging region when the high-magnification image is captured. Therefore, it is possible to acquire a high-magnification image that is focused on the entire image. On the other hand, by using the phase difference image for the detection of the in-focus position, it is possible to significantly reduce the time required for imaging compared with the case where the in-focus position is searched by adjusting the microscope optical system for each imaging area. Yes.
また、合焦位置が検出されなかった撮像領域が存在する場合には、あるいは合焦位置が検出されたが所定の場合には、その周囲に位置する撮像領域において検出された合焦位置を用いて当該撮像領域の合焦位置が決定されるため、合焦位置が取得できない撮像領域の発生が防止されている。 Further, when there is an imaging region where the in-focus position has not been detected, or when the in-focus position is detected but in a predetermined case, the in-focus position detected in the surrounding imaging region is used. Since the in-focus position of the imaging area is determined, the occurrence of an imaging area in which the in-focus position cannot be acquired is prevented.
さらに、撮像領域の撮像順序を、合焦位置の検出が可能である可能性が高い（検体が多く含まれる）撮像領域を優先する順序とすることにより、合焦位置の推定が実効される際に推定対称の撮像領域の周囲に合焦位置が検出された撮像領域が存在する確率を上昇させ、推定される合焦位置の正確性を向上させることが可能となっている。加えて、撮像領域において検体が偏在している撮像領域や、異物等の存在により周囲に比べて合焦位置が著しく異なる撮像領域についても、検出された撮像領域の替わりに周囲の撮像領域の合焦位置が参照され、合焦位置を正確なものとすることが可能となっている。 Furthermore, when the imaging position of the imaging area is set to be an order in which the imaging areas that are likely to be able to detect the in-focus position (that includes many specimens) are prioritized, the in-focus position is estimated. In addition, it is possible to increase the probability that there is an imaging region in which the in-focus position is detected around the estimated symmetrical imaging region, and to improve the accuracy of the estimated in-focus position. In addition, in the imaging area where the specimen is unevenly distributed in the imaging area, and in the imaging area where the in-focus position is significantly different from the surrounding due to the presence of a foreign substance or the like, the alignment of the surrounding imaging areas is used instead of the detected imaging area. The focal position is referred to, and the in-focus position can be made accurate.
本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。 The present technology is not limited only to the above-described embodiments, and can be changed without departing from the gist of the present technology.
なお、本技術は以下のような構成も採ることができる。 In addition, this technique can also take the following structures.
（１）
検体を含む撮像範囲に複数の撮像領域を設定する撮像領域設定部と、
撮像領域のそれぞれに対して、合焦位置を検出する合焦位置検出部と、
上記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して上記合焦位置検出部によって検出された合焦位置を用いて推定する合焦位置決定部と、
上記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させる撮像制御部と
を具備する撮像装置。
(1)
An imaging region setting unit for setting a plurality of imaging regions in an imaging range including a specimen;
An in-focus position detector for detecting the in-focus position for each of the imaging regions;
Focusing that estimates the in-focus position of the imaging area in which the in-focus position is not detected by the in-focus position detecting unit using the in-focus position detected by the in-focus position detecting unit with respect to the surrounding imaging area A position determining unit;
An imaging apparatus comprising: an imaging control unit that images an imaging region using the in-focus position determined by the in-focus position determining unit.
（２）
上記（１）に記載の撮像装置であって、
上記複数の撮像領域のそれぞれに対して検体の有無を判定する領域判定部をさらに具備し、
上記合焦位置検出部は、上記領域判定部によって検体が存在すると判定された撮像領域に対して、合焦位置を検出する
撮像装置。
(2)
The imaging apparatus according to (1) above,
Further comprising an area determination unit for determining the presence or absence of a specimen for each of the plurality of imaging areas;
The in-focus position detection unit detects an in-focus position with respect to an imaging region in which it is determined by the region determination unit that a specimen is present.
（３）
上記（１）又は（２）に記載の撮像装置であって、
上記合焦位置決定部が合焦位置を検出する撮像領域の順序を決定する撮像順序決定部をさらに具備し、
上記撮像順序決定部は、近接する撮像領域を優先する順序とする
撮像装置。
(3)
The imaging apparatus according to (1) or (2) above,
The in-focus position determination unit further includes an imaging order determination unit that determines the order of imaging regions in which the in-focus position is detected,
The imaging apparatus according to claim 1, wherein the imaging order determining unit prioritizes an adjacent imaging area.
（４）
上記（１）から（３）のいずれかひとつに記載の撮像装置であって、
上記撮像順序決定部は、検体の存在割合が高い撮像領域の中で近接する撮像領域を優先し、次に検体の存在割合が低い撮像領域の中で近接する撮像領域を優先する順序とする
撮像装置。
(4)
The imaging apparatus according to any one of (1) to (3) above,
The imaging order determination unit prioritizes an imaging region that is close in an imaging region with a high specimen presence ratio, and then gives priority to an imaging area that is adjacent in an imaging area with a low specimen presence ratio. apparatus.
（５）
上記（１）から（４）のいずれかひとつに記載の撮像装置であって、
上記合焦位置決定部は、上記合焦位置検出部によって合焦位置が検出された撮像領域のうち検体が偏在する撮像領域の合焦位置を、偏在方向に隣接した領域において上記合焦位置検出部によって検出された合焦位置を用いて推定する
撮像装置。
(5)
The imaging apparatus according to any one of (1) to (4) above,
The in-focus position determination unit detects the in-focus position of the imaging region where the specimen is unevenly distributed among the imaging regions in which the in-focus position is detected by the in-focus position detection unit in the region adjacent to the uneven distribution direction. An imaging apparatus that estimates using a focus position detected by a unit.
（６）
上記（１）から（５）のいずれかひとつに記載の撮像装置であって、
上記合焦位置決定部は、上記合焦位置検出部によって合焦位置が検出された撮像領域において位相差検出判定可能な面積割合が閾値を超えないときには、合焦位置が検出された撮像領域の合焦位置を推定された合焦位置とする
撮像装置。
(6)
The imaging apparatus according to any one of (1) to (5) above,
The in-focus position determination unit is configured to detect the in-focus area of the imaging region in which the in-focus position is detected when the area ratio in which the phase difference detection can be determined in the imaging region in which the in-focus position is detected by the in-focus position detection unit does not exceed the threshold An imaging device that uses an in-focus position as an estimated in-focus position.
（７）
上記（１）から（６）のいずれかひとつに記載の撮像装置であって、
上記合焦位置決定部は、上記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して上記合焦位置検出部によって検出された合焦位置の最小二乗近似平面による近似値、または隣接する撮像領域に対して上記合焦位置検出部によって検出された合焦位置の平均値とする
撮像装置。
(7)
The imaging apparatus according to any one of (1) to (6) above,
The in-focus position determining unit is configured to detect the in-focus position of the imaging region in which the in-focus position is not detected by the in-focus position detecting unit, and the in-focus position detected by the in-focus position detecting unit with respect to the surrounding imaging region. An imaging apparatus that uses an approximate value obtained by a least-square approximate plane of a position, or an average value of in-focus positions detected by the in-focus position detection unit for adjacent imaging regions.
（８）
上記（１）から（７）のいずれかひとつに記載の撮像装置であって、
上記合焦位置検出部は、撮像領域の位相差画像からその撮像領域の合焦位置を検出する
撮像装置。
(8)
The imaging apparatus according to any one of (1) to (7) above,
The in-focus position detection unit detects an in-focus position of an imaging area from a phase difference image of the imaging area.
（９）
検体を含む撮像範囲に複数の撮像領域を設定する撮像領域設定部と、
撮像領域のそれぞれに対して、合焦位置を検出する合焦位置検出部と、
上記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して上記合焦位置検出部によって検出された合焦位置を用いて推定する合焦位置決定部と、
上記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させる撮像制御部と
としてコンピュータを機能させる撮像制御プログラム。
(9)
An imaging region setting unit for setting a plurality of imaging regions in an imaging range including a specimen;
An in-focus position detector for detecting the in-focus position for each of the imaging regions;
Focusing that estimates the in-focus position of the imaging area in which the in-focus position is not detected by the in-focus position detecting unit using the in-focus position detected by the in-focus position detecting unit with respect to the surrounding imaging area A position determining unit;
An imaging control program that causes a computer to function as an imaging control unit that images an imaging region using the in-focus position determined by the in-focus position determination unit.
（１０）
撮像領域設定部が、検体を含む撮像範囲に複数の撮像領域を設定し、
合焦位置検出部が、撮像領域のそれぞれに対して、合焦位置を検出し、
合焦位置決定部が、上記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して上記合焦位置検出部によって検出された合焦位置を用いて推定し、
撮像制御部が、上記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させる
撮像方法。
(10)
The imaging region setting unit sets a plurality of imaging regions in the imaging range including the specimen,
The focus position detection unit detects the focus position for each of the imaging regions,
The in-focus position is determined by the in-focus position detecting unit with respect to the surrounding image area, and the in-focus position is detected by the in-focus position detecting unit. Estimate using
An imaging method in which an imaging control unit images an imaging region using the in-focus position determined by the in-focus position determining unit.
１００…撮像装置
１３１…撮像領域設定部
１３２…領域判定部
１３３…撮像順序決定部
１３４…合焦位置検出部
１３５…合焦位置決定部
１３６…撮像制御部
DESCRIPTION OF SYMBOLS 100 ... Imaging device 131 ... Imaging region setting part 132 ... Area determination part 133 ... Imaging order determination part 134 ... Focus position detection part 135 ... Focus position determination part 136 ... Imaging control part
Claims (8)
撮像領域のそれぞれに対して、合焦位置を検出する合焦位置検出部と、
前記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して前記合焦位置検出部によって検出された合焦位置を用いて推定する合焦位置決定部と、
前記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させる撮像制御部と、
前記複数の撮像領域のそれぞれに対して検体の有無を判定する領域判定部と
を具備し、
前記合焦位置検出部は、前記領域判定部によって検体が存在すると判定された撮像領域に対して、合焦位置を検出し、
前記合焦位置決定部は、前記合焦位置検出部によって合焦位置が検出された撮像領域のうち検体が偏在する撮像領域の合焦位置を、偏在方向に隣接した領域において前記合焦位置検出部によって検出された合焦位置を用いて推定する
撮像装置。 An imaging region setting unit for setting a plurality of imaging regions in an imaging range including a specimen;
An in-focus position detector for detecting the in-focus position for each of the imaging regions;
Focusing that estimates the in-focus position of the imaging area in which the in-focus position is not detected by the in-focus position detecting unit using the in-focus position detected by the in-focus position detecting unit with respect to the surrounding imaging area A position determining unit;
An imaging control unit that images an imaging region using the in-focus position determined by the in-focus position determination unit;
An area determination unit for determining the presence or absence of a specimen for each of the plurality of imaging areas,
The in-focus position detection unit detects an in-focus position with respect to an imaging region determined by the region determination unit to include a specimen;
The in-focus position determination unit detects the in-focus position of the imaging region where the specimen is unevenly distributed in the imaging region where the in-focus position is detected by the in-focus position detection unit in the region adjacent to the uneven distribution direction. An imaging apparatus that estimates using a focus position detected by a unit.
前記合焦位置決定部が合焦位置を検出する撮像領域の順序を決定する撮像順序決定部をさらに具備し、
前記撮像順序決定部は、近接する撮像領域を優先する順序とする
撮像装置。 The imaging apparatus according to claim 1,
The in-focus position determination unit further includes an imaging order determination unit that determines the order of imaging regions in which the in-focus position is detected,
The imaging apparatus according to claim 1, wherein the imaging order determination unit prioritizes an adjacent imaging area.
前記撮像順序決定部は、検体の存在割合が高い撮像領域の中で近接する撮像領域を優先し、次に検体の存在割合が低い撮像領域の中で近接する撮像領域を優先する順序とする
撮像装置。 The imaging apparatus according to claim 2,
The imaging order determination unit prioritizes an imaging region that is close in an imaging region with a high specimen presence ratio, and then gives priority to an imaging area that is in proximity among imaging areas with a low specimen presence ratio. apparatus.
前記合焦位置決定部は、前記合焦位置検出部によって合焦位置が検出された撮像領域の合焦位置と、周囲の撮像領域に対して前記合焦位置検出部において位相差検出判定可能な面積割合が閾値を超えないときには、合焦位置が検出された撮像領域の合焦位置を推定された合焦位置とする
撮像装置。 The imaging apparatus according to any one of claims 1 to 3,
The in-focus position determination unit can detect and detect the phase difference in the in-focus position detection unit with respect to the in-focus position of the imaging region in which the in-focus position is detected by the in-focus position detection unit and the surrounding imaging region. When the area ratio does not exceed the threshold, the imaging apparatus sets the in-focus position of the imaging region in which the in-focus position is detected as the estimated in-focus position.
前記合焦位置決定部は、前記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して前記合焦位置検出部によって検出された合焦位置の最小二乗近似平面による近似値、または隣接する撮像領域に対して前記合焦位置検出部によって検出された合焦位置の平均値とする
撮像装置。 The imaging apparatus according to any one of claims 1 to 4,
The in-focus position determining unit is configured to detect the in-focus position of the imaging region in which the in-focus position is not detected by the in-focus position detecting unit, and the in-focus position detected by the in-focus position detecting unit with respect to the surrounding imaging region. An imaging apparatus that uses an approximate value by a least square approximate plane of positions, or an average value of in-focus positions detected by the in-focus position detection unit for adjacent imaging regions.
前記合焦位置検出部は、撮像領域の位相差画像からその撮像領域の合焦位置を検出する
撮像装置。 The imaging apparatus according to any one of claims 1 to 5,
The in-focus position detection unit detects an in-focus position of an imaging area from a phase difference image of the imaging area.
撮像領域のそれぞれに対して、合焦位置を検出する合焦位置検出部と、
前記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して前記合焦位置検出部によって検出された合焦位置を用いて推定する合焦位置決定部と、
前記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させる撮像制御部と、
前記複数の撮像領域のそれぞれに対して検体の有無を判定する領域判定部と
としてコンピュータを機能させる撮像制御プログラムであって、
前記合焦位置検出部は、前記領域判定部によって検体が存在すると判定された撮像領域に対して、合焦位置を検出し、
前記合焦位置決定部は、前記合焦位置検出部によって合焦位置が検出された撮像領域のうち検体が偏在する撮像領域の合焦位置を、偏在方向に隣接した領域において前記合焦位置検出部によって検出された合焦位置を用いて推定する
撮像制御プログラム。 An imaging region setting unit for setting a plurality of imaging regions in an imaging range including a specimen;
An in-focus position detector for detecting the in-focus position for each of the imaging regions;
Focusing that estimates the in-focus position of the imaging area in which the in-focus position is not detected by the in-focus position detecting unit using the in-focus position detected by the in-focus position detecting unit with respect to the surrounding imaging area A position determining unit;
An imaging control unit that images an imaging region using the in-focus position determined by the in-focus position determination unit;
An imaging control program that causes a computer to function as an area determination unit that determines the presence or absence of a specimen for each of the plurality of imaging areas,
The in-focus position detection unit detects an in-focus position with respect to an imaging region determined by the region determination unit to include a specimen;
The in-focus position determination unit detects the in-focus position of the imaging region where the specimen is unevenly distributed in the imaging region where the in-focus position is detected by the in-focus position detection unit in the region adjacent to the uneven distribution direction. The imaging control program which estimates using the focus position detected by the part.
合焦位置検出部が、撮像領域のそれぞれに対して、合焦位置を検出し、
合焦位置決定部が、前記合焦位置検出部によって合焦位置が検出されなかった撮像領域の合焦位置を、周囲の撮像領域に対して前記合焦位置検出部によって検出された合焦位置を用いて推定し、
撮像制御部が、前記合焦位置決定部によって決定された合焦位置を利用して、撮像領域を撮像させ、
領域判定部が、前記複数の撮像領域のそれぞれに対して検体の有無を判定する
撮像方法であって、
前記合焦位置検出部は、前記領域判定部によって検体が存在すると判定された撮像領域に対して、合焦位置を検出し、
前記合焦位置決定部は、前記合焦位置検出部によって合焦位置が検出された撮像領域のうち検体が偏在する撮像領域の合焦位置を、偏在方向に隣接した領域において前記合焦位置検出部によって検出された合焦位置を用いて推定する
撮像方法。 The imaging region setting unit sets a plurality of imaging regions in the imaging range including the specimen,
The focus position detection unit detects the focus position for each of the imaging regions,
The in-focus position is detected by the in-focus position detecting unit with respect to the surrounding image area, with the in-focus position determining unit detecting the in-focus position of the in-focus area where the in-focus position is not detected by the in-focus position detecting unit. Estimate using
The imaging control unit uses the in-focus position determined by the in-focus position determination unit to image the imaging area,
An area determination unit is an imaging method for determining the presence or absence of a specimen for each of the plurality of imaging areas,
The in-focus position detection unit detects an in-focus position with respect to an imaging region determined by the region determination unit to include a specimen;
The in-focus position determination unit detects the in-focus position of the imaging region where the specimen is unevenly distributed in the imaging region where the in-focus position is detected by the in-focus position detection unit in the region adjacent to the uneven distribution direction. An imaging method that estimates using a focus position detected by a unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012031923A JP5927973B2 (en) | 2012-02-16 | 2012-02-16 | Imaging apparatus, imaging control program, and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012031923A JP5927973B2 (en) | 2012-02-16 | 2012-02-16 | Imaging apparatus, imaging control program, and imaging method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013167816A JP2013167816A (en) | 2013-08-29 |
| JP2013167816A5 JP2013167816A5 (en) | 2015-03-26 |
| JP5927973B2 true JP5927973B2 (en) | 2016-06-01 |
Family
ID=49178235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012031923A Active JP5927973B2 (en) | 2012-02-16 | 2012-02-16 | Imaging apparatus, imaging control program, and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5927973B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115066641A (en) * | 2020-02-20 | 2022-09-16 | 索尼集团公司 | Microscope system, imaging method and imaging apparatus |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6317416A (en) * | 1986-06-09 | 1988-01-25 | Minolta Camera Co Ltd | Focus detecting device |
| JP3863993B2 (en) * | 1998-03-18 | 2006-12-27 | オリンパス株式会社 | microscope |
| JP4388298B2 (en) * | 2003-04-18 | 2009-12-24 | オリンパス株式会社 | Microscope system |
| EP3410395B1 (en) * | 2004-05-27 | 2020-03-11 | Leica Biosystems Imaging, Inc. | System and method for assessing virtual slide image quality |
| JP4663602B2 (en) * | 2006-08-14 | 2011-04-06 | オリンパス株式会社 | Automatic focusing device, microscope and automatic focusing method |
| JP2010211022A (en) * | 2009-03-11 | 2010-09-24 | Seiko Epson Corp | Method for adjusting focal position of image recognition optical system, image recognition optical system, and head alignment device |
| JP5471715B2 (en) * | 2010-03-30 | 2014-04-16 | ソニー株式会社 | Focusing device, focusing method, focusing program, and microscope |
| JP5537281B2 (en) * | 2010-06-21 | 2014-07-02 | オリンパス株式会社 | Microscope device and image acquisition method |
-
2012
- 2012-02-16 JP JP2012031923A patent/JP5927973B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013167816A (en) | 2013-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6887960B2 (en) | Systems and methods for autofocus triggers | |
| US11156823B2 (en) | Digital microscope apparatus, method of searching for in-focus position thereof, and program | |
| US11320642B2 (en) | Information processing apparatus, information processing method, and information processing program | |
| US8830313B2 (en) | Information processing apparatus, stage-undulation correcting method, program therefor | |
| US9176311B2 (en) | Microscope control device and optical distortion correction method | |
| US9046677B2 (en) | Microscope system and autofocus method | |
| JP5053691B2 (en) | Specimen scanner device and specimen position detection method using the device | |
| US20160063307A1 (en) | Image acquisition device and control method therefor | |
| JP5927973B2 (en) | Imaging apparatus, imaging control program, and imaging method | |
| US9229211B2 (en) | Imaging apparatus, imaging control program, and imaging method | |
| JP5471715B2 (en) | Focusing device, focusing method, focusing program, and microscope | |
| WO2016031214A1 (en) | Image acquisition apparatus and control method thereof | |
| JP5149984B2 (en) | Imaging device | |
| JP2014149381A (en) | Image acquisition apparatus and image acquisition method | |
| JP5209137B2 (en) | Imaging device | |
| JP2022129747A (en) | Electronic apparatus and control method of the same | |
| JP2013174709A (en) | Microscope device and virtual microscope device | |
| WO2024014079A1 (en) | Cell observation device and imaging method used in cell observation device | |
| JP5428559B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP2018005337A (en) | Image processing device, imaging device, image processing method, and program | |
| JP2016091005A (en) | Image acquisition device, image acquisition method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150206 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160304 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160411 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5927973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |