JP5562653B2 - バーチャルスライド作成装置およびバーチャルスライド作成方法 - Google Patents

Description

本発明は、バーチャルスライド作成装置およびバーチャルスライド作成方法に関するものである。

従来、病理診断等の医療の現場では、組織や細胞等の観察対象のごく一部の限定された微細構造を把握するだけでなく、観察対象の全体像も把握しながら診断を行う必要があり、全体像と微細な観察像とを効率的に観察する手法としてバーチャルスライドが知られている（例えば、特許文献１参照。）。
バーチャルスライドは、観察対象の各部を部分的に撮影した高倍率の顕微鏡画像の撮影を、撮影範囲が部分的に重なるようにずらして繰り返し行い、取得された複数枚の顕微鏡画像を画像処理してズレの内容に貼り合わせることにより、仮想的に、観察対象全体を一度に撮影したようなスライド画像を観察可能にするものである。

特許文献１に開示されているバーチャルスライド作成方法では、観察対象を搭載したＸＹステージを駆動して、対物レンズの光軸に対する観察対象の位置をずらして位置決めした各位置において、顕微鏡画像を繰り返し撮影している。そして、取得された複数枚の顕微鏡画像をズレなく貼り合わせるために、隣接する顕微鏡画像にオーバラップを設けて撮影し、オーバラップさせた範囲内で画像パターン認識を行って顕微鏡画像を一致させている。

特開２００８−１９１４２７号公報

しかしながら、オーバラップの幅が大きくなるほど、画像パターン認識のような画像処理に要する時間がかかるようになるという不都合がある。一方、このオーバラップの幅を小さく設定しようとすると、ＸＹステージを精密に位置決めしなければならず、位置決めに要する時間が増加してしまい、顕微鏡画像を取得するのに要する時間が増大してしまうという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、顕微鏡画像の取得に要する時間を増大させることなく画像処理に要する時間の短縮を図り、バーチャルスライドを得るための所要時間を短縮することができるバーチャルスライド作成装置およびバーチャルスライド作成方法を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、標本を搭載するステージと、該ステージ上に搭載された標本からの光を集光する対物レンズと、前記ステージおよび前記対物レンズの少なくとも一方を該対物レンズの光軸に交差する方向に相対的に移動させる相対移動機構と、該相対移動機構による前記ステージと前記対物レンズとの相対位置情報を取得する位置検出部と、前記対物レンズにより集光された光を撮影して標本の部分的な拡大画像を取得する撮像部と、前記ステージおよび前記対物レンズの少なくとも一方の該対物レンズの光軸に交差する方向への移動中に、前記撮像部により取得された拡大画像と該拡大画像の取得時における前記位置検出部により検出された前記ステージと前記対物レンズとの相対位置情報とを対応づけて記憶する記憶部と、前記ステージおよび前記対物レンズの少なくとも一方の該対物レンズの光軸に交差する方向への移動中に、前記記憶部に記憶されている複数枚の拡大画像を該拡大画像に対応づけて記憶されている相対位置情報に従って貼り合わせる画像処理部とを備えるバーチャルスライド作成装置を提供する。

本発明によれば、ステージに標本を搭載して、相対移動機構を作動させることにより、対物レンズと標本とを対物レンズの光軸に交差する方向に相対的に移動させることにより、撮像部によって標本の各部の部分的な拡大画像の取得が可能となる。そして、撮像部の作動により標本の部分的な拡大画像を取得し、その取得時において位置検出部の作動により対物レンズとステージとの相対位置情報が取得され、記憶部には、拡大画像とその取得時における相対位置情報とが対応づけて記憶される。

この場合において、拡大画像の取得時に取得された相対位置情報を拡大画像に対応づけるので、相対移動機構によってステージと対物レンズとを精密に位置決めすることなく、拡大画像に正確な位置情報を付与することができる。すなわち、ステージと対物レンズとの精密な位置決めを行わないので、位置決めに要する時間を短縮することができるとともに、拡大画像には正確な位置情報を付与するので、画像処理部によって拡大画像どうしを配列する際の画像処理に要する時間も短縮することができる。その結果、バーチャルスライドを得るための所要時間を大幅に短縮することができる。

上記発明においては、前記相対移動機構が、前記ステージおよび前記対物レンズの少なくとも一方を、予め設定された相対的な撮像位置にオープンループ制御によって移動させるとともに、移動終了時点で移動完了信号を出力し、前記撮像部が、前記相対移動機構からの移動完了信号に応じて標本の部分的な拡大画像を取得してもよい。
このようにすることで、検出された相対位置情報に基づいて相対移動機構をフィードバック制御しないので、ステージと対物レンズとの精密な位置決めが行われず、位置決めに要する時間を短縮することができる。

また、上記発明においては、前記相対移動機構が、前記ステージおよび前記対物レンズの少なくとも一方の移動パターンを記憶し、該移動パターンに従って移動させてもよい。
このようにすることで、予め設定された移動パターンに従ってステージおよび対物レンズの少なくとも一方を移動させるだけで、各撮像位置への移動のための座標指定やコマンド通信時間を短縮し、さらに短時間でバーチャルスライドを作成することができる。

また、前記相対移動機構が、トリガ信号によって、前記ステージおよび前記対物レンズの少なくとも一方を、一の相対的な撮像位置から他の相対的な撮像位置へ移動開始させてもよい。
このようにすることで、トリガ信号に従ってステージおよび対物レンズの少なくとも一方を移動させるだけで、各撮像位置への移動のための座標指定やコマンド通信時間を短縮し、さらに短時間でバーチャルスライドを作成することができる。

また、上記発明においては、隣接する前記相対的な撮像位置どうしが、相互にオーバラップする拡大画像を取得可能な位置に設定され、前記画像処理部が、隣接する拡大画像に対応づけて記憶されている相対位置情報に基づいて、拡大画像の中心から等距離に配置される画素列の輝度情報を用いて画像パターン認識処理を実行してもよい。
このようにすることで、隣接する拡大画像間のオーバラップ部分の全体を画像パターン認識に使用しないので、画像処理の処理量を低減し、短時間でバーチャルスライドを作成することができる。すなわち、オーバラップ部分の幅寸法を大きく設定しても、画像パターン認識の所要時間を増大させずに済み、さらに大まかな位置決めだけで足りるので、位置決めに要する時間を大幅に短縮することができる。

また、本発明は、標本および該標本の部分的な拡大画像を取得する撮像光学系の少なくとも一方を該撮像光学系の光軸に交差する方向に相対的に移動させる移動ステップと、前記標本と前記撮像光学系との相対位置情報を取得する検出ステップと、該検出ステップにおいて相対位置情報が取得された時点において前記撮像光学系により前記標本の拡大画像を取得する撮影ステップと、前記移動ステップ中に、前記撮影ステップにより取得された拡大画像と該拡大画像の取得時における前記標本と前記撮像光学系との相対位置情報とを対応づけて記憶する記憶ステップと、前記移動ステップ中に、前記記憶ステップにおいて記憶された複数枚の拡大画像を該拡大画像に対応づけて記憶されている相対位置情報に従って貼り合せる画像処理ステップとを含むバーチャルスライド作成方法を提供する。

上記発明においては、前記移動ステップが、隣接する拡大画像をオーバラップさせるように前記標本および前記撮像光学系の少なくとも一方を移動させ、前記画像処理ステップが、隣接する拡大画像に対応づけて記憶されている相対位置情報に基づいて、拡大画像の中心から等距離に配置される画素列の輝度情報を用いて画像パターン認識処理を実行してもよい。

本発明によれば、顕微鏡画像の取得に要する時間を増大させることなく画像処理に要する時間の短縮を図り、バーチャルスライドを得るための所要時間を短縮することができるという効果を奏する。

本発明の一実施形態に係るバーチャルスライド作成装置を示す全体構成図である。 図１のバーチャルスライド作成装置の制御部に備えられた記憶部および画像処理部を示すブロック図である。 図１のバーチャルスライド作成装置を用いたバーチャルスライド作成方法を説明するタイムチャートである。 図３のバーチャルスライド作成方法を説明するフローチャートである。 図４のバーチャルスライド作成方法における画像貼合せステップを説明する図である。 図５のバーチャルスライド作成方法の画像貼り合わせステップの変形例を説明する図である。

本発明の一実施形態に係るバーチャルスライド作成装置およびバーチャルスライド作成方法について、図面を参照して以下に説明する。
本実施形態に係るバーチャルスライド作成装置１は、図１に示されるように、顕微鏡本体２と、該顕微鏡本体２を制御するとともにバーチャルスライドを生成する制御部３と、生成されたバーチャルスライドを表示する表示部４とを備えている。

顕微鏡本体２は、スライドガラス上に載置された標本Ａを搭載するステージ５と、該ステージ５を水平２方向に移動させるモータ（相対移動機構）６ａ，６ｂと、該モータ６ａ，６ｂにより移動されたステージ５の原点に対する位置（相対位置情報）を検出するセンサ（位置検出部）７ａ，７ｂと、標本Ａに対向して配置され、標本Ａからの光を集光する対物レンズ８と、該対物レンズ８により集光された光を撮影して標本Ａの拡大画像を取得するＣＣＤのような撮像部９とを備えている。

ステージ５は、モータ６ａによって矢印Ｘ方向に移動し、モータ６ｂによって矢印Ｘに対して直交する矢印Ｙ方向に移動するようになっている。
センサ７ａ，７ｂは、ステージ５の位置を検出すると、それを一時的に記憶し、制御部３に向けて送信するようになっている。具体的には、センサ７ａがステージ５の矢印Ｘ方向の位置を検出し、センサ７ｂがステージ５の矢印Ｙ方向の位置を検出するようになっている。
また、撮像部９は、標本Ａの拡大画像を取得すると、それを一時的に記憶し、制御部３に向けて送信するようになっている。

制御部３は、図２に示されるように、顕微鏡本体２により取得された画像を記憶する記憶部１０と、該記憶部１０に記憶された画像を配列してバーチャルスライドを生成する画像処理部１１とを備えている。
制御部３は、予め設定された移動パターンを記憶しており、対物レンズ８に対してステージ５を移動パターンに従って移動するようにモータ６ａ，６ｂに対して移動指令信号を出力するようになっている。モータ６ａ，６ｂは、制御部３により出力される移動指令信号によってオープンループ制御され、移動指令信号に一致する移動量だけステージ５を移動させるようになっている。

制御部３が、移動パターンによって予め定められ位置にステージ５が配置される分の移動量だけモータ６ａ，６ｂを作動させると、モータ６ａ，６ｂから移動完了信号が発せられるようになっている。制御部３は、移動完了信号を受信すると、センサ７ａ，７ｂに対してステージ５の位置情報を検出するよう指令するとともに、顕微鏡本体２の撮像部９に対して画像を取得するよう指令するようになっている。そして、制御部３は、撮像部９による拡大画像の取得が終了した時点で、モータ６ａ，６ｂに対してステージ５を移動させるよう指令するようになっている。

センサ７ａ，７ｂによる、位置情報の制御部３への送信および撮像部９による画像情報の制御部３への送信は、モータ６ａ，６ｂによるステージ５の移動中に行われるようになっている。送信されてきた位置情報と画像情報とは制御部３に設けられた記憶部１０に対応づけて記憶されるようになっている。

画像処理部１１は、記憶部１０に記憶されている標本Ａ各部の拡大画像を配列することにより拡大画像を貼り合わせてバーチャルスライドを生成するようになっている。具体的には、標本Ａ各部の拡大画像には、該拡大画像が取得された時点におけるステージ５の位置情報が対応づけて記憶されているので、当該ステージ５の位置情報に従って拡大画像を配列するように合成するだけで、バーチャルスライドを生成することができるようになっている。この画像処理部１１による貼り合わせ処理も、モータ６ａ，６ｂによるステージ５の移動中に行われるようになっている。

このように構成された本実施形態に係るバーチャルスライド生成装置１を用いたバーチャルスライド生成方法について、図３および図４を参照して以下に説明する。
本実施形態に係るバーチャルスライド生成装置１を用いて標本Ａのバーチャルスライドを生成するには、まず、制御部３が、予め設定された移動パターンに従って、最初の撮像位置にステージ５を移動させるようモータ６ａ，６ｂに対して移動指令信号を出力する（ステップＳ１）。

モータ６ａ，６ｂは、制御部３からの移動指令信号に応じてステージ５を移動させる（ステップＳ２）。この際、モータ６ａ，６ｂはセンサ７ａ，７ｂにより検出される位置情報によってフィードバック制御されることなく、制御部３によるオープンループ制御によって、移動指令信号に従う移動量だけ移動して各撮像位置に停止する。そして、撮像位置に停止した時点で、モータ６ａ，６ｂは移動完了信号を制御部３に対して出力する（ステップＳ３）。

移動完了信号を受信した制御部３は、センサ７ａ，７ｂに対してステージ５の現在位置を記憶するよう指令するとともに、撮像部９に対して現在位置において標本Ａの拡大画像の取得を行うように指令する。指令を受けたセンサ７ａ，７ｂは、現在位置を一時記憶し、撮像部９は、現在位置における拡大画像を取得し、一時記憶し、撮像完了信号を制御部３に対して出力する（ステップＳ４）。

そして、制御部３は、撮像完了信号を受信した時点で、予め設定された移動パターンに従って、次の撮像位置にステージ５を移動させるようモータ６ａ，６ｂに対して移動指令信号（トリガ信号）を出力する（ステップＳ５）。
モータ６ａ，６ｂは制御部３からの移動指令信号に応じてステージ５を移動させる（ステップＳ６）。撮像部３およびセンサ７ａ，７ｂは、モータ６ａ，６ｂによるステージ５の移動が開始すると、一時記憶していた拡大画像情報および位置情報を制御部３に対して送信する（ステップＳ７）。制御部３は、送信されてきた拡大画像情報と位置情報とを対応づけて記憶部１０に記憶するとともに、画像処理部１１により、記憶部１０に記憶されている拡大画像情報をそれに対応づけて記憶されている位置情報に従って貼り合わせることにより、バーチャルスライドを生成する（ステップＳ８）。

この拡大画像情報および位置情報の制御部３への送信、記憶部１０への記憶および貼合せ処理は、モータ６ａ，６ｂによるステージ５の次の撮像位置への移動中に行われ、移動完了するまでに終了する。その後、ステップＳ３からの動作が繰り返され、予め設定された移動パターンによって予定されていた全ての撮像位置における拡大画像情報の貼り合わせ処理が終了した時点で、バーチャルスライドの生成処理が終了する（ステップＳ９）。

このように、本実施形態に係るバーチャルスライド生成装置１およびバーチャルスライド生成方法によれば、モータ６ａ，６ｂの制御をオープンループ制御として、フィードバック制御しないので、機構系のバックラッシュ等の誤差発生要因によって各撮像位置への正確な位置決めは行われないが、位置決め精度を必要としない分だけ、迅速に位置決めすることができる。その一方で、画像と該画像を取得した正確な位置とが対応づけて記憶されるので、図５に示されるように、記憶されている位置に従って画像を配列していくだけで、複雑な画像処理を行うことなく、簡単にバーチャルスライドを生成することができる。すなわち、画像処理に要する時間を短縮でき、短時間でバーチャルスライドを生成することができる。

そして、短時間で移動完了するので、１枚の拡大画像を取得するためのサイクルタイムを短縮することができるとともに、画像処理に要する時間を短縮することで、一の撮像位置から他の撮像位置への移動中に画像の貼り合わせ処理を行うことができる。したがって、複数枚の拡大画像を貼り合わせてバーチャルスライドを生成する時間を大幅に短縮することができるという利点がある。

また、この場合において、機構系の誤差発生要因を見込んだ分だけ撮像範囲が重なるように移動パターンにおける各撮像位置を設定しておくことにより、大まかな位置決めによって撮像されない領域が発生してしまうのを防止することができる。

なお、本実施形態においては、モータ６ａ，６ｂをオープンループ制御することにより、フィードバックによる位置決め時間の延長を防止することとしたが、これに代えて、モータのフィードバック制御を行うことにしてもよい。この場合においても、位置決め精度を低下させることができ、結果として位置決め時間を短縮することができる。

また、拡大画像どうしを貼り合わせる処理を、取得した各拡大画像に対応づけて記憶した位置にしたがって画像を配列するだけで行うこととしたが、これに代えて、以下の方法によって、拡大画像を重なり部分において画像パターン認識を行って、拡大画像間の位置ずれを補正することにしてもよい。

すなわち、撮像位置の位置決めを大まかに行う本実施形態に係るバーチャルスライド画像生成方法では、拡大画像Ｇ１，Ｇ２間の重なり部分の幅が、精度よく位置決めする場合と比較して比較的大きくなる。このため、重なり部分全体を使って画像パターン認識を行うのでは画像処理に膨大な時間がかかる。そこで、図６に示されるように、センサ７ａ，７ｂによって取得した各拡大画像の中心位置Ｐ１，Ｐ２の座標を用いて、隣接する拡大画像の中心位置Ｐ１，Ｐ２から等距離に配される数画素の幅αを有する画素列どうしの画像パターン認識を行うことにより、画像処理に要する時間を短縮することができる。

また、本実施形態においては、制御部３が予め設定されている移動パターンに従って、ステージ５を移動させ、各撮像位置に停止させることとしたが、これに代えて、予め各撮像位置における待ち時間を設定し、待ち時間の経過後に自動的に次の撮像位置への移動が開始されるようにしてもよい。
また、本実施形態においては、対物レンズ８を固定し、標本Ａを搭載したステージ５を移動させることとしたが、これに代えて、ステージ５を固定し対物レンズ８を移動させてもよい。また、対物レンズ８およびステージ５の両方を相対的に移動させてもよい。

１ バーチャルスライド作成装置
５ ステージ
６ａ，６ｂ モータ（相対移動機構）
７ａ，７ｂ センサ（位置検出部）
８ 対物レンズ
９ 撮像部
１０ 記憶部
１１ 画像処理部
Ａ 標本
Ｇ１，Ｇ２ 拡大画像
Ｐ１，Ｐ２ 中心
Ｓ２ 移動ステップ
Ｓ４ 検出ステップ、撮影ステップ
Ｓ７ 送信ステップ（記憶ステップ）
Ｓ８ 画像貼合せステップ（画像処理ステップ）

Claims (7)

1. 標本を搭載するステージと、
   該ステージ上に搭載された標本からの光を集光する対物レンズと、
   前記ステージおよび前記対物レンズの少なくとも一方を該対物レンズの光軸に交差する方向に相対的に移動させる相対移動機構と、
   該相対移動機構による前記ステージと前記対物レンズとの相対位置情報を取得する位置検出部と、
   前記対物レンズにより集光された光を撮影して標本の部分的な拡大画像を取得する撮像部と、
   前記ステージおよび前記対物レンズの少なくとも一方の該対物レンズの光軸に交差する方向への移動中に、前記撮像部により取得された拡大画像と該拡大画像の取得時における前記位置検出部により検出された前記ステージと前記対物レンズとの相対位置情報とを対応づけて記憶する記憶部と、
   前記ステージおよび前記対物レンズの少なくとも一方の該対物レンズの光軸に交差する方向への移動中に、前記記憶部に記憶されている複数枚の拡大画像を該拡大画像に対応づけて記憶されている相対位置情報に従って貼り合わせる画像処理部とを備えるバーチャルスライド作成装置。
2. 前記相対移動機構が、前記ステージおよび前記対物レンズの少なくとも一方を、予め設定された相対的な撮像位置にオープンループ制御によって移動させるとともに、移動終了時点で移動完了信号を出力し、
   前記撮像部が、前記相対移動機構からの移動完了信号に応じて標本の部分的な拡大画像を取得する請求項１に記載のバーチャルスライド作成装置。
3. 前記相対移動機構が、前記ステージおよび前記対物レンズの少なくとも一方の移動パターンを記憶し、該移動パターンに従って移動させる請求項２に記載のバーチャルスライド作成装置。
4. 前記相対移動機構が、トリガ信号によって、前記ステージおよび前記対物レンズの少なくとも一方を、一の相対的な撮像位置から他の相対的な撮像位置へ移動開始させる請求項３に記載のバーチャルスライド作成装置。
5. 隣接する前記相対的な撮像位置どうしが、相互にオーバラップする拡大画像を取得可能な位置に設定され、
   前記画像処理部が、隣接する拡大画像に対応づけて記憶されている相対位置情報に基づいて、拡大画像の中心から等距離に配置される画素列の輝度情報を用いて画像パターン認識処理を実行する請求項１から請求項４のいずれかに記載のバーチャルスライド作成装置。
6. 標本および該標本の部分的な拡大画像を取得する撮像光学系の少なくとも一方を該撮像光学系の光軸に交差する方向に相対的に移動させる移動ステップと、
   前記標本と前記撮像光学系との相対位置情報を取得する検出ステップと、
   該検出ステップにおいて相対位置情報が取得された時点において前記撮像光学系により前記標本の拡大画像を取得する撮影ステップと、
   前記移動ステップ中に、前記撮影ステップにより取得された拡大画像と該拡大画像の取得時における前記標本と前記撮像光学系との相対位置情報とを対応づけて記憶する記憶ステップと、
   前記移動ステップ中に、前記記憶ステップにおいて記憶された複数枚の拡大画像を該拡大画像に対応づけて記憶されている相対位置情報に従って貼り合せる画像処理ステップとを含むバーチャルスライド作成方法。
7. 前記移動ステップが、隣接する拡大画像をオーバラップさせるように前記標本および前記撮像光学系の少なくとも一方を移動させ、
   前記画像処理ステップが、隣接する拡大画像に対応づけて記憶されている相対位置情報に基づいて、拡大画像の中心から等距離に配置される画素列の輝度情報を用いて画像パターン認識処理を実行する請求項６に記載のバーチャルスライド作成方法。

Images