JP6147080B2 - 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム - Google Patents

Description

本発明は、複数の画像を貼り合わせた貼り合わせ画像を生成する顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラムに関する。

顕微鏡の分野では、試料の異なる領域を撮像した複数の画像を貼り合わせることにより、装置の視野よりも広い領域を撮像した広視野画像（以降、貼り合わせ画像と記す）を生成する技術が知られている。

この技術では、貼り合わせ画像を構成する複数の画像（以降、要素画像と記す）を高倍率の対物レンズを用いて取得するほど、高解像の貼り合わせ画像が生成される。その一方で、対物レンズの倍率が高いほど、装置の視野が狭くなり要素画像の枚数が増えてしまうため、貼り合わせ画像の生成に時間が掛かってしまう。

このような技術的な課題に関連する技術は、例えば、特許文献１に開示されている。特許文献１に開示される顕微鏡画像撮影装置は、低倍率対物レンズで取得した低倍率視野サイズの画像情報を、高倍率対物レンズの視野サイズに対応する高倍率視野サイズの画像情報に分割し、それぞれの高倍率視野サイズの画像情報内に標本像が有るか否かを調査し、標本像が有ると判明した高倍率視野サイズ部分のみについて高倍率対物レンズで高精細画像情報を取得する。
従って、特許文献１に開示される技術を用いることで、高倍率対物レンズで取得する要素画像の枚数を減らすことができる。

特開２００４−１０１８７１号公報

しかしながら、特許文献１に開示される顕微鏡画像撮影装置は、高倍率対物レンズで高精細画像情報（要素画像）を取得する前に、スライドガラス全面を低倍対物レンズの視野サイズで区分し、区分された各領域の画像情報を低倍率対物レンズで取得する。つまり、利用者が不要であると認識している領域であっても、低倍率対物レンズで画像情報を一律に取得し、取得した画像情報に基づいて高倍率対物レンズでの高精細画像情報（要素画像）の取得の要否が判断される。このため、高倍率対物レンズで取得する要素画像の枚数が減っているにもかかわらず、貼り合わせ画像の生成時間が十分に短縮されない。

以上のような実情を踏まえ、貼り合わせ画像の生成時間を短縮するための技術を提供することを目的とする。

本発明の第１の態様は、要素画像を貼り合わせて貼り合わせ画像を生成するための顕微鏡システムであって、前記貼り合わせ画像を構成する前記要素画像を取得する要素画像取得部と、ユーザによって指定された試料の領域である複数のユーザ指定領域を撮像して、複数のユーザ画像を取得するユーザ画像取得部と、前記複数のユーザ指定領域を含む矩形領域を決定する矩形領域決定部と、前記矩形領域決定部により決定された前記矩形領域を満たすように前記矩形領域に格子状に配置された前記要素画像取得部の視野サイズを有する複数の領域の各々を、前記要素画像を取得する候補となる領域である候補領域として決定する候補領域決定部と、前記候補領域決定部で決定された複数の候補領域から前記要素画像を取得する要素領域を選択する要素領域選択部と、を備え、前記要素画像取得部は、前記試料を走査する走査部を有する光学系を備え、前記走査部の走査量に基づいて前記要素画像取得部の視野サイズが決定される顕微鏡システムを提供する。

本発明の第２の態様は、第１の態様に記載の顕微鏡システムにおいて、前記要素領域選択部は、前記候補領域決定部で決定された複数の候補領域のうちの前記複数のユーザ指定領域の少なくとも１つと重複する領域を含む候補領域を、前記要素領域として選択する顕微鏡システムを提供する。

本発明の第３の態様は、第１の態様に記載の顕微鏡システムにおいて、さらに、前記要素領域選択部は、前記ユーザによる選択に基づいて、前記候補領域決定部で決定された複数の候補領域から前記要素領域を選択する顕微鏡システムを提供する。

本発明の第４の態様は、第１の態様に記載の顕微鏡システムにおいて、前記候補領域決定部は、前記矩形領域に格子状に配置された前記複数の領域が前記矩形領域からはみ出すことなく前記矩形領域を満たすように、前記走査部の走査量を決定する顕微鏡システムを提供する。

本発明の第５の態様は、第４の態様に記載の顕微鏡システムにおいて、前記候補領域決定部は、前記矩形領域に格子状に配置された前記複数の領域が前記矩形領域からはみ出すことなく前記矩形領域を満たすように、前記走査部の異なる複数の走査量を決定する顕微鏡システムを提供する。

本発明の第６の態様は、第１の態様乃至第５の態様のいずれか１つに記載の顕微鏡システムにおいて、さらに、表示装置と、前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記候補領域決定部で決定された複数の候補領域の位置を示す位置画像が重ねて表示されるように、前記表示装置を制御する顕微鏡システムを提供する。

本発明の第７の態様は、第１の態様乃至第５の態様のいずれか１つに記載の顕微鏡システムにおいて、さらに、表示装置と、前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記要素領域選択部で選択された複数の要素領域の位置を示す位置画像が重ねて表示されるように、前記表示装置を制御する顕微鏡システムを提供する。

本発明の第８の態様は、第６の態様または第７の態様に記載の顕微鏡システムにおいて、前記マップ画像上に重ねられる前記位置画像は、半透明な画像である顕微鏡システムを提供する。

本発明の第９の態様は、第１の態様乃至第５の態様のいずれか１つに記載の顕微鏡システムにおいて、さらに、表示装置と、前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記候補領域決定部で決定された複数の候補領域の位置を示し且つ前記複数の候補領域のうちの前記要素領域選択部で選択された複数の要素領域の位置を要素領域でない候補領域の位置と区別して示す位置画像が重ねて表示されるように、前記表示装置を制御する顕微鏡システムを提供する。

本発明の第１０の態様は、第９の態様に記載の顕微鏡システムにおいて、前記マップ画像上に重ねられる前記位置画像は、前記候補領域の部分と前記要素領域の部分とで透明度が異なる半透明な画像である顕微鏡システムを提供する。

本発明の第１１の態様は、第１の態様乃至第５の態様のいずれか１つに記載の顕微鏡システムにおいて、さらに、前記要素領域選択部で選択された複数の要素領域の座標情報を記憶する記憶部を備える顕微鏡システムを提供する。

本発明の第１２の態様は、第１の態様乃至第５の態様のいずれか１つに記載の顕微鏡システムにおいて、さらに、前記矩形領域決定部で決定された矩形領域のサイズまたは位置の少なくとも一方を変更する矩形領域変更部を備え、前記要素領域選択部は、前記要素領域選択部で選択された複数の要素領域のうちの前記矩形領域変更部により変更された矩形領域に収まる領域を要素領域として再選択する顕微鏡システムを提供する。

本発明の第１３の態様は、第１２の態様に記載の顕微鏡システムにおいて、さらに、前記矩形領域変更部により矩形領域が変更される前に前記要素領域選択部で選択された複数の要素領域の座標情報を記憶する記憶部を備える顕微鏡システムを提供する。

本発明の第１４の態様は、第１１の態様または第１３の態様に記載の顕微鏡システムにおいて、さらに、表示装置と、前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記記憶部に記憶された前記複数の要素領域の座標情報に基づいて、試料の画像である試料画像上に、前記複数の要素領域の位置を示す位置画像を重ねて前記表示装置に表示させる顕微鏡システムを提供する。

本発明の第１５の態様は、第１４の態様に記載の顕微鏡システムにおいて、前記表示制御部は、ユーザによって指定された位置が前記位置画像中の前記複数の要素領域に対応する領域の外側であるときに、前記指定された位置が前記位置画像の中心と一致するように前記位置画像を前記試料画像に対して移動させる顕微鏡システムを提供する。

本発明の第１６の態様は、第１４の態様に記載の顕微鏡システムにおいて、前記表示制御部は、ユーザによって指定された位置が前記位置画像中の前記複数の要素領域に対応する領域の内側であるときに、前記指定された位置が前記指定された位置を含む要素領域の中心と一致するように前記位置画像を前記試料画像に対して移動させる顕微鏡システムを提供する。

本発明の第１７の態様は、貼り合わせ画像を生成する顕微鏡システムの貼り合わせ領域を決定する方法であって、ユーザによって指定された複数のユーザ指定領域を含む矩形領域を満たすように、前記矩形領域に格子状に配置された前記顕微鏡システムの要素画像取得部の視野サイズを有する複数の領域の各々を、前記貼り合わせ画像を構成する要素画像を取得する候補となる領域である候補領域として決定し、前記複数の候補領域から、前記要素画像取得部が前記要素画像を取得する要素領域を選択し、前記要素領域からなる貼り合わせ領域を決定し、前記要素画像取得部が備える光学系が有する、試料を走査する走査部の走査量に基づいて、前記要素画像取得部の視野サイズを決定する
方法を提供する。

本発明の第１８の態様は、貼り合わせ画像を構成する要素画像を取得する要素画像取得部を備える顕微鏡システムのプログラムであって、ユーザによって指定された複数のユーザ指定領域を含む矩形領域を満たすように、前記矩形領域に格子状に配置された前記要素画像取得部の視野サイズを有する複数の領域の各々を、前記要素画像を取得する候補となる領域である候補領域として決定し、前記複数の候補領域から前記要素画像を取得する要素領域を選択し、前記要素領域からなる貼り合わせ領域を決定し、前記要素画像取得部が備える光学系が有する、試料を走査する走査部の走査量に基づいて、前記要素画像取得部の視野サイズを決定する処理をコンピュータに実行させるプログラムを提供する。

本発明によれば、貼り合わせ画像の生成時間を短縮するための技術を提供することができる。

本発明の一実施形態に係る顕微鏡システムの構成を示す図である。 図１に示す制御装置のハードウェア構成を示す図である。 図１に示す顕微鏡システムで行われる貼り合わせ領域決定処理の手順を示すフローチャートである。 図１に示す表示装置に表示される画面の一例を示す図である。 矩形領域決定処理について説明するための図である。 矩形領域決定処理について説明するための別の図である。 候補領域決定処理について説明するための図である。 候補領域決定処理について説明するための別の図である。 候補領域決定処理について説明するためのさらに別の図である。 要素領域決定処理について説明するための図である。 要素領域決定処理について説明するための別の図である。 要素領域決定処理について説明するためのさらに別の図である。 矩形領域と候補領域の決定方法の別の例を示した図である。 図１に示す制御装置の機能ブロック図である。

図１は、本発明の一実施形態に係る顕微鏡システム１の構成を示す図である。顕微鏡システム１は、試料の異なる領域を撮像した複数の共焦点画像を取得し、それらの共焦点画像を撮像した領域の位置関係に従って貼り合わせることで、貼り合わせ画像を生成する顕微鏡システムである。
顕微鏡システム１は、図１に示すように、共焦点顕微鏡本体１００、表示装置１２０、入力装置１３０、及び、制御装置１４０を備えている。

共焦点顕微鏡本体１００は、レーザ光源１０１、偏光ビームスプリッタ（以降、ＰＢＳと記す）１０２、試料１０６を走査する二次元走査部１０３、１／４λ板１０４、試料１０６に光を照射する対物レンズ１０５、結像レンズ１０７、ピンホール板１０８、光検出器１０９、ＡＤ変換器１１０、レボルバ１１１、Ｘ−Ｙステージ１１４、白色光源１１５、結像レンズ１１６、及び、ＣＣＤカメラ１１７を備えている。

なお、レボルバ１１１は、対物レンズ１０５を切り替える手段であるとともに、対物レンズ１０５と試料１０６との間の相対距離を変化させるＺ位置変更手段でもある。また、Ｘ−Ｙステージ１１４は、試料１０６を対物レンズ１０５に対して対物レンズ１０５の光軸と直交する方向に移動させるＸＹ位置変更手段である。

レーザ光源１０１から出射したレーザ光は、ＰＢＳ１０２を透過した後、二次元走査部１０３に入射する。二次元走査部１０３は、例えばガルバノミラーである。二次元走査部１０３で偏向されたレーザ光は、１／４λ板１０４で直線偏光から円偏光に変換された後に、レボルバ１１１に装着されている対物レンズ１０５を経由して試料１０６へ照射される。

共焦点顕微鏡本体１００では、二次元走査部１０３は対物レンズ１０５の瞳位置と光学的に共役な位置に配置されている。このため、二次元走査部１０３がレーザ光を偏向させることで、レーザ光の集光位置が対物レンズ１０５の焦点面上をＸＹ方向に移動し、これによって、試料１０６がレーザ光で二次元に走査される。

ここで、二次元走査部１０３による二次元走査と、レボルバ１１１の回転駆動により共焦点顕微鏡本体１００の光路上に配置される対物レンズ１０５の切替と、対物レンズ１０５の光軸方向（Ｚ方向）へのレボルバ１１１の駆動と、対物レンズ１０５の光軸と直交する方向（ＸＹ方向）へのＸ−Ｙステージ１１４の駆動は、制御装置１４０によって制御される。なお、二次元走査部１０３による二次元走査の手法としては、共焦点顕微鏡で一般的に使用されている、ラスタスキャンを採用する。

試料１０６の表面で反射したレーザ光（以降、反射光と記す）は、対物レンズ１０５を経由して入射する１／４λ板１０４で円偏光から直線偏光に変換された後に、二次元走査部１０３を経由してＰＢＳ１０２に入射する。このとき、ＰＢＳ１０２に入射する反射光は、レーザ光源１０１側からＰＢＳ１０２に入射するレーザ光の偏光面とは直交する偏光面を有しているため、ＰＢＳ１０２で反射して、結像レンズ１０７に導かれる。

結像レンズ１０７は、ＰＢＳ１０２で反射した反射光を集光させる。ＰＢＳ１０２からの反射光路上に設けられたピンホール板１０８には、対物レンズ１０５の焦点面に形成されるレーザ光の集光位置と光学的に共役な位置にピンホールが形成されている。このため、試料１０６表面のある部位が対物レンズ１０５によるレーザ光の集光位置にある場合には、この部位からの反射光は、ピンホールに集光されて当該ピンホールを通過する。その一方、試料１０６表面のある部位が対物レンズ１０５によるレーザ光の集光位置からずれている場合には、この部位からの反射光は、ピンホールに集光しないので、ピンホールを通過せず、ピンホール板１０８によって遮断される。

ピンホールを通過した光は、光検出器１０９で検出される。光検出器１０９は、例えば、光電子増倍管（ＰＭＴ）である。光検出器１０９は、このピンホールを通過した光、すなわち、試料１０６の表面のうち対物レンズ１０５によるレーザ光の集光位置に位置する部位のみからの反射光を受光し、その受光光量に応じた大きさの検出信号を、当該部位の輝度を示す輝度信号として出力する。アナログ信号であるこの輝度信号は、ＡＤ変換器１１０でアナログ−デジタル変換された上で、当該部位の輝度を示す輝度値情報として制御装置１４０に入力される。制御装置１４０は、この輝度値情報と、二次元走査部１０３による二次元走査における走査位置の情報とに基づき、試料１０６の共焦点画像を生成する。

即ち、顕微鏡システム１では、レーザ光源１０１から対物レンズ１０５までの構成、対物レンズ１０５から光検出器１０９までの構成、ＡＤ変換器１１０、及び、制御装置１４０が、共焦点画像を取得する手段として機能する。

なお、共焦点画像は、本実施形態では貼り合わせ画像を構成する要素画像である。このため、以降では、要素画像である共焦点画像を取得する手段を要素画像取得部と記す。また、要素画像を取得する試料１０６上の領域を要素領域と記し、要素画像から構成される貼り合わせ画像を取得する試料１０６上の領域を貼り合わせ領域と記す。従って、貼り合わせ領域は要素領域から構成されている。

一方、白色光源１１５から出射した光（白色光）は、レボルバ１１１に装着されている対物レンズ１０５の瞳位置に集光して、その後、試料１０６に照射される。これにより、ケーラー照明により試料１０６が照明される。試料１０６表面で反射した反射光は、結像レンズ１１６へ入射し、結像レンズ１１６は、この反射光をＣＣＤ（結合素子）カメラ１１７の受光面に集光する。

ＣＣＤカメラ１１７は、対物レンズ１０５の焦点面と光学的に共役な位置に受光面を有するカメラである。ＣＣＤカメラ１１７は受光面に集光された反射光により試料１０６を撮像して、試料１０６の非共焦点画像を生成する。生成された非共焦点画像は制御装置１４０に送られる。

即ち、顕微鏡システム１では、白色光源１１５から対物レンズ１０５までの構成、対物レンズ１０５からＣＣＤカメラ１１７までの構成、及び、ＣＣＤカメラ１１７を制御する制御装置１４０が、非共焦点画像を取得する手段として機能する。

なお、非共焦点画像は、本実施形態ではユーザによって指定された試料１０６上の領域（以降、ユーザ指定領域）を撮像することによって取得されるユーザ画像である。このため、以降では、ユーザ画像である非共焦点画像を取得する手段をユーザ画像取得部と記す。また、複数のユーザ画像をこれらが撮像された領域の並びどおりに並べた画像をマップ画像と記す。

表示装置１２０は、例えば、液晶ディスプレイ装置である。入力装置１３０は、例えば、マウスやキーボードなどである。表示装置１２０及び入力装置１３０は、タッチパネルディスプレイ装置として一体に構成されてもよい。

制御装置１４０は、制御プログラムを実行するコンピュータである。制御装置１４０は、図２に示すように、ＣＰＵ１４１、メモリ１４２、入出力Ｉ／Ｆ１４３、外部記憶装置１４４、可搬記録媒体１４６を収容する可搬記録媒体駆動装置１４５を備えていて、それらがバス１４７で接続されることにより各種データが各要素間で授受可能となっている。そして、ＣＰＵ１４１が外部記憶装置１４４または可搬記録媒体１４６に記憶された制御プログラムをメモリ１４２にロードして実行することで、制御装置１４０により顕微鏡システム１の動作が制御される。

メモリ１４２は、例えば、ＲＡＭ（Random Access Memory）である。入出力Ｉ／Ｆ１４３は、例えば、共焦点顕微鏡本体１００、表示装置１２０、入力装置１３０などの制御装置１４０の外部にある装置との間でデータを授受するためのインターフェースである。外部記憶装置１４４は、制御プログラムや制御プログラムの実行に必要な情報を不揮発的に記憶するものであり、例えば、ハードディスク装置である。可搬記録媒体駆動装置１４５は、光ディスクやコンパクトフラッシュ（登録商標）などの可搬記録媒体１４６を収容するものであり、可搬記録媒体１４６は、外部記憶装置１４４と同様に、制御プログラムや制御プログラムの実行に必要な情報を不揮発的に記憶するものである。

以上のように構成された顕微鏡システム１では、ユーザによって指定された不定形な領域から貼り合わせ画像を取得する貼り合わせ領域が決定される。以下、図３から図１２を参照しながら、貼り合わせ領域決定処理の手順について説明する。

図３は、顕微鏡システム１で行われる貼り合わせ領域決定処理の手順を示すフローチャートである。図４は、貼り合わせ領域決定処理において表示装置１２０に表示される画面の一例を示す図である。図５及び図６は、貼り合わせ領域決定処理中の矩形領域決定処理について説明するための図である。図７から図９は、貼り合わせ領域決定処理中の候補領域決定処理について説明するための図である。図１０から図１２は、貼り合わせ領域決定処理中の要素領域決定処理について説明するための図である。

図３に示す貼り合わせ領域決定処理は、ＣＰＵ１４１が外部記憶装置１４４または可搬記録媒体１４６に格納された制御プログラムをメモリ１４２に展開して実行することにより行われる。

貼り合わせ領域決定処理が開始されると、制御装置１４０は、図４に示す画面２００を表示装置１２０に表示させる（図３のステップＳ１、ＧＵＩ画面表示処理）。即ち、制御装置１４０は、本実施形態では、表示装置１２０を制御する表示制御部である。

次に、制御装置１４０は、ユーザからの指示に従ってマップ画像を生成し、生成したマップ画像を表示装置１２０に表示させる（図３のステップＳ２、マップ画像生成処理）。即ち、制御装置１４０は、本実施形態ではマップ画像を生成するマップ画像生成部である。

ステップＳ２では、まず、ユーザが、画面２００の操作部２０３で対物レンズの倍率を指定した後、操作部２０４の開始／終了ボタンを押下して、マップ画像生成処理の開始を指示する。これを受けて、制御装置１４０が、図４に示すように画像表示部２０１上にカーソルＣ１を表示させる。

なお、カーソルＣ１の位置は、試料１０６が配置されているＸ−Ｙステージ１１４の座標に対応している。より具体的には、例えば、画像表示部２０１全体に対するカーソルＣ１の位置は、Ｘ−Ｙステージ１１４の可動範囲全体に対するユーザ画像取得部の視野の現在位置を示している。

また、カーソルＣ１のサイズは、対物レンズ１０５の倍率などによって定まるユーザ画像取得部の視野サイズに対応している。より具体的には、例えば、画像表示部２０１全体に対するカーソルＣ１のサイズの比は、Ｘ−Ｙステージ１１４の可動範囲全体に対するユーザ画像取得部の視野サイズの比を示している。

ステップＳ２では、さらに、ユーザは、カーソルＣ１を移動させることにより、Ｘ−Ｙステージ１１４を移動させて、Ｘ−Ｙステージ１１４上に配置された試料１０６の任意の領域にユーザ画像取得部の視野を合わせる。そして、ユーザが操作部２０４の画像取得ボタンを押下することで、ユーザ画像取得部は、ユーザによって合わせされた試料１０６上の領域（ユーザ指定領域）を自動で撮像して非共焦点画像Ｐ１（ユーザ画像）を取得する。なお、自動で撮像する方法としては、例えば、ユーザ画像取得部が所定時間間隔で撮像するように予め設定しておく。取得した非共焦点画像Ｐ１は、ユーザによって合わせされた試料１０６上の領域（ユーザ指定領域）に対応する画像表示部２０１上の領域Ｄ１（以降、ユーザ指定領域に対応する領域と記す）に表示される。これが、操作部２０４の開始／終了ボタンが押下されるまで、繰り返されることで、図４に示すように、ユーザ画像取得部で取得した複数の非共焦点画像Ｐ１をこれらが撮像された複数のユーザ指定領域の並びどおりに並べたマップ画像Ｐｍが、画像表示部２０１に表示される。その後、ユーザが再び操作部２０４の開始／終了ボタンを押下して、マップ画像生成処理の終了を指示する。なお、上記では、操作部２０４の開始／終了ボタンを押下し、再び操作部２０４の開始／終了ボタンが押下されるまで、ユーザ画像取得部は、ユーザによって合わせされた試料１０６上の領域（ユーザ指定領域）を自動で撮像して非共焦点画像Ｐ１（ユーザ画像）を取得する方法（オートモード）について説明したが、操作部２０４の開始／終了ボタンを押下後、試料１０６の任意の領域にユーザ画像取得部の視野を合わせ、ユーザが操作部２０４の画像取得ボタンを押下することで試料１０６上の領域（ユーザ指定領域）を撮像して非共焦点画像Ｐ１（ユーザ画像）を取得する動作を繰り返していく方法（マニュアルモード）でもよい。なお、マップ画像生成処理の詳細については、後述する。

次に、制御装置１４０は、ステップＳ２でユーザによって指定された複数のユーザ指定領域を含む矩形領域を決定する（図３のステップＳ３、矩形領域決定処理）。即ち、本実施形態では、制御装置１４０は、矩形領域を決定する矩形領域決定部である。

ステップＳ３では、まず、ユーザは、貼り合わせ画像を構成する共焦点画像（要素画像）の取得に用いる対物レンズの倍率を操作部２０３で指定する。さらに、ユーザは、動作モード（オートモードまたはマニュアルモード）を操作部２０５のラジオボタンで選択した後に、操作部２０５の開始／終了ボタンを押下して、矩形領域決定処理の開始を指示する。これを受けて、制御装置１４０は、複数のユーザ指定領域を含む試料１０６上の矩形領域を決定し、図５に示すように、決定した矩形領域に対応する画像表示部２０１上の領域を示す矩形枠Ｆｒを画像表示部２０１に表示する。

なお、図５は、矩形領域が複数のユーザ指定領域を含む最小の矩形領域として決定された場合を例示しているが、ステップＳ３では、図６に示すように、最小の矩形領域よりも大きな矩形領域を矩形領域として決定してもよい。また、貼り合わせ領域決定処理が開始時に、予め、共焦点画像（要素画像）の取得に用いる対物レンズの倍率の指定及び、動作モード（オートモードまたはマニュアルモード）を選択するようにし、ステップＳ２の操作部２０４の開始／終了ボタンによりマップ画像生成処理の終了が指示されたときに、複数のユーザ指定領域を含む試料１０６上の矩形領域を決定し、決定した矩形領域に対応する画像表示部２０１上の領域を示す矩形枠Ｆｒを画像表示部２０１に表示するようにしてもよい。この場合は、ステップＳ３は省略できる。

次に、制御装置１４０は、ステップＳ３で決定した試料１０６上の矩形領域に基づいて、貼り合わせ画像を構成する共焦点画像（要素画像）を取得する候補となる領域（以降、候補領域と記す）を決定する（図３のステップＳ４、候補領域決定処理）。即ち、本実施形態では、制御装置１４０は、候補領域を決定する候補領域決定部である。

ステップＳ４では、制御装置１４０は、まず、ステップＳ３で決定した試料１０６上の矩形領域を満たすように、各々が共焦点画像を取得する要素画像取得部の視野サイズを有する複数の領域を格子状に配置する。そして、格子状に配置された複数の領域の各々を候補領域として決定する。さらに、制御装置１４０は、図７に示すように、複数の候補領域の位置を示す位置画像Ｐｃがマップ画像Ｐｍ上に重ねて表示されるように表示装置１２０を制御する。位置画像Ｐｃは半透明な画像であるため、位置画像Ｐｃを通してマップ画像Ｐｍを視認することができる。

図７では、試料１０６の候補領域に対応する画像表示部２０１上の領域Ｄ２（以降、候補領域に対応する領域と記す）の各々が破線で区切られた網掛けの領域として示されている。図７では、図示を簡略化するため、候補領域に対応する各領域Ｄ２は互いに重複することなく配置されているが、これらの領域Ｄ２は、実際には所定量ずつ重複するように配置される。これは、貼り合わせ画像を生成する際に、共焦点画像（要素画像）間の相対位置関係をパターンマッチングにより判断するためである。なお、以降の図でも同様に候補領域が重複することなく配置されている例が示されているが、これらも図示を簡略化するためであり、実際には所定量ずつ重複して配置されている。また、重複する量については、例えば、１％から５０％の間で設定できるようにしてもよい。また、図７では、図示を簡略化するため、ユーザ指定領域に対応する領域Ｄ１に表示される非共焦点画像Ｐ１の内容についての図示が省略されている。以降の図でも同様に、領域Ｄ１に表示される非共焦点画像Ｐ１の内容についての図示を省略する。

要素画像取得部の視野サイズは、対物レンズ１０５の倍率及び二次元走査部１０３の走査量（つまり、ズーム倍率）に基づいて決定される。このため、例えば、二次元走査部１０３のズーム倍率が１倍のときに図８に示すように要素画像取得部の視野サイズを有する複数の領域の一部が矩形領域からはみ出す場合には、制御装置１４０は、複数の領域がはみ出すことなく矩形領域を満すように二次元走査部１０３の走査量を決定してもよい。この場合、図７に示すように、すべての候補領域の走査量が一律に調整されてもよく、または、図９に示すように、一部の候補領域における二次元走査部１０３の走査量のみを調整しても良い。即ち、制御装置１４０は、異なる複数の走査量を決定してもよい。図９では、走査量の異なる候補領域に対応する領域を異なる濃度の網掛けで示している。

次に、制御装置１４０は、ステップＳ４で決定した複数の候補領域から貼り合わせ画像を構成する共焦点画像（要素画像）を取得する要素領域を選択する（図３のステップＳ５、要素領域決定処理）。即ち、本実施形態では、制御装置１４０は、要素領域を選択する要素領域選択部である。

貼り合わせ領域決定処理の動作モードがオートモードである場合には、ステップＳ５では、制御装置１４０は、ステップＳ４で決定された複数の候補領域のうちのステップＳ２で指定された複数のユーザ指定領域の少なくとも１つと重複する領域を含む候補領域を、要素領域として選択する。ここでは、制御装置１４０は、例えば、各候補領域内に輝度情報が含まれているかどうかで判断する。

さらに、制御装置１４０は、図１０に示すように、複数の候補領域の位置を示し且つ複数の要素領域の位置を要素領域でない候補領域の位置と区別して示す位置画像Ｐｅがマップ画像Ｐｍ上に重ねて表示されるように表示装置１２０を制御する。位置画像Ｐｅは候補領域の部分と要素領域の部分とで透明度が異なる半透明な画像である。このため、位置画像Ｐｅを通してマップ画像Ｐｍを視認することができる。図１０では、試料１０６上の要素領域に対応する画像表示部２０１上の領域Ｄ３（以降、要素領域に対応する領域と記す）の各々が破線で区切られたハッチングされた領域として示されている。

その後、ユーザは、マップ画像Ｐｍ上に位置画像Ｐｅが重ねて表示された画像を確認し、必要があれば、要素領域を手動で調整する。この調整は、例えば、図１１に示すように、ユーザの所定の操作（例えば、クリック操作）により指定された領域を、制御装置１４０が要素領域から除外することにより行われても良い。また、この調整は、例えば、図１２に示すように、矩形枠Ｆｒに対するユーザの所定の操作（例えば、ドラッグ操作）に応じて、制御装置１４０が矩形領域のサイズまたは位置の少なくとも一方を変更することにより行われてもよい。この場合、制御装置１４０は、選択された複数の要素領域のうちの変更後の矩形領域に収まる領域を要素領域として再選択する。即ち、本実施形態では、制御装置１４０はステップＳ３で決定された矩形領域のサイズまたは位置の少なくとも一方を変更する矩形領域変更部である。

なお、制御装置１４０は要素領域の調整前に選択されていた複数の要素領域の座標情報を、例えば、メモリ１４２（記憶部）に一時的に記憶させる。このため、ユーザが操作部２０５の戻るボタンを押下することで、制御装置１４０は、メモリ１４２に記憶されている複数の要素領域の座標情報を読み出して、調整前の状態を復元することができる。

一方、貼り合わせ領域決定処理の動作モードがマニュアルモードである場合には、ステップＳ５では、制御装置１４０は、ユーザによる選択に基づいて、ステップＳ４で決定された複数の候補領域から要素領域を選択する。

なお、ユーザによる選択の方法は、例えば、ステップＳ４で決定された複数の候補領域から要素領域としない候補領域を指定するといった方法であってもよく、ステップＳ４で決定された複数の候補領域から要素領域とする候補領域を指定するといった方法であってもよい。

最後に、制御装置１４０は、ステップＳ５で決定した要素領域に基づいて、貼り合わせ領域を決定し（図３のステップＳ６）、貼り合わせ領域決定処理を終了する。

ステップＳ６では、まず、ユーザが再び操作部２０５の開始／終了ボタンを押下して、貼り合わせ領域決定処理の終了を指示する。これを受けて、制御装置１４０は、ステップＳ５で決定した要素領域からなる領域を貼り合わせ領域として決定し、貼り合わせ領域決定処理を終了する。

そして、貼り合わせ領域決定後に、ユーザがボタン２０６を押下することで、顕微鏡システム１では、貼り合わせ領域を構成する複数の要素領域が要素画像取得部で順番に撮像されて共焦点画像（要素画像）が取得されて、それらを貼り合わせた貼り合わせ画像が生成される。

なお、ユーザは、貼り合わせ領域決定処理の終了を指示する前に、操作部２０５の記録ボタンを押下してもよい。これにより、制御装置１４０は、ステップＳ５で選択された複数の要素領域の座標情報を、例えば、外部記憶装置１４４または可搬記録媒体１４６（記憶部）に記憶させる。

外部記憶装置１４４または可搬記録媒体１４６に記憶された座標情報は、例えば、試料を同種の別の試料に交換して観察を繰り返す場合などに使用されてもよい。具体的には、同種の試料のマップ画像を生成後にユーザが操作部２０５の復元ボタンを押下することで、制御装置１４０は、記憶されている座標情報から要素領域を決定し、マップ画像上に複数の要素領域の位置を示す位置画像を重ねて表示装置１２０に表示させてもよい。

なお、試料の交換前後で試料が配置されるＸ−Ｙステージ１１４上の位置がずれた場合などには、複数の要素領域が試料に対してずれて配置されることになるため、試料の所望の領域が複数の要素領域によって十分にカバーされていないことがある。このような場合には、ユーザの所定の操作に応じて制御装置１４０がマップ画像に対して位置画像を相対的に移動させてもよい。

例えば、ユーザが位置画像中の複数の要素領域に対応する領域の外側の位置を所定の操作（例えば、ダブルクリック）によって指定したときには、制御装置１４０は、指定された位置が位置画像の中心と一致するように、位置画像をマップ画像に対して相対的に移動させてもよい。また、ユーザが位置画像中の複数の要素領域に対応する領域の内側の位置を所定の操作（例えば、ダブルクリック）によって指定したときに、制御装置１４０は、指定された位置がその指定された位置を含む要素領域の中心と一致するように、位置画像をマップ画像に対して相対的に移動させてもよい。

なお、以上ではマップ画像上に位置画像を重ねる例を示したが、マップ画像の代わりに低倍の対物レンズで取得した一枚の画像に、位置画像を重ねても良い。

ここで、マップ画像生成処理における制御装置１４０の動作について補足する。図１４は、制御装置１４０の機能ブロック図である。制御装置１４０は、図１４に示すように、上述した表示制御部１５１、矩形領域決定部１５２、候補領域決定部１５３、要素領域選択部１５４、矩形領域変更部１５５、及び、記憶部１５６に加えて、マップ画像生成部１６０を備えている。

マップ画像生成部１６０は、ライブ画像受信部１６１、相対移動量算出部１６２、撮影画像構築部１６３、ライブ位置枠生成部１６４、及び、画像合成部１６５を備えている。

ライブ画像受信部１６１は、ＣＣＤカメラ１１７から随時送信されるライブ画像を受信して、受信したライブ画像を記憶部１５６に記憶させるとともに、相対移動量算出部１６２及び撮影画像構築部１６３へ送信する。

相対移動量算出部１６２は、ライブ画像受信部１６１から送信されたライブ画像を受信し、直前に受信したライブ画像と比較して、Ｘ−Ｙステージ１１４に対する視野の相対移動量を算出する。そして、算出した相対移動量をライブ位置枠生成部１６３及び画像合成部１６５へ送信する。

ライブ位置枠生成部１６３は、相対移動量算出部１６２から送信された相対移動量を受信し、既に受信した相対移動量の合計に足し合わせることで視野の現在位置を算出し、その位置情報をライブ位置枠の位置情報として表示制御部１５１に送信する。表示制御部１５１は、これを受けて、図４に示すように、ユーザ画像取得部の視野の現在位置を示す位置にライブ位置枠であるカーソルＣ１を表示する。

撮影画像構築部１６４は、ライブ画像受信部１６１から送信されたライブ画像を随時受信する。そして、図４に示す操作部２０４の画像取得ボタンが押下されたタイミングで受信したライブ画像に対して種々の画像処理を施してユーザ画像を生成し、生成したユーザ画像を画像合成部１６５へ送信する。撮影画像構築部１６４で行われる画像処理は、例えば、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理などである。

画像合成部１６５は、撮影画像構築部１６４から送信された相対移動量を受信し、既に受信した相対移動量の合計に足し合わせることで視野の現在位置を算出し、既に受信した相対移動量の合計に足し合わせることで視野の現在位置を算出する。さらに、撮影画像構築部１６４から送信されたユーザ画像を受信し、算出した現在の視野位置に対応する位置に合成する。これにより、複数のユーザ画像をこれらが撮像された領域（つまり視野位置）の並びどおりに並べたマップ画像が生成される。画像合成部１６５は、生成したマップ画像を表示制御部１５１に送信する。表示制御部１５１は、これを受けて、図４に示すように、マップ画像Ｐｍを画像表示部２０１に表示する。

以上で述べたように、顕微鏡システム１では、ユーザによって指定された不定形な領域から貼り合わせ領域が決定されるため、貼り合わせ領域を決定するために事前に試料全体を撮像する必要がない。このため、貼り合わせ領域を決定するまでに要する時間を短縮することができる。また、顕微鏡システム１では、ユーザが画像化を希望しない無駄な領域が少なくなるように貼り合わせ領域が決定されるため、ユーザが画像化を希望しない無駄な領域の撮像が抑制される。このため、貼り合わせ画像を構成する要素画像の取得に要する時間を短縮することができる。従って、顕微鏡システム１によれば、貼り合わせ画像の生成に要する時間を従来よりも大幅に短縮することができる。

なお、顕微鏡システム１は、３次元画像を貼り合わせた３次元貼り合わせ画像を生成しても良い。この場合、要素領域毎にＺ位置の異なる複数の共焦点画像を取得して３次元画像を生成する必要があることから貼り合わせ画像の生成時間が長くなりやすいが、上述した貼り合わせ領域決定方法を用いて貼り合わせ領域を決定することで、貼り合わせ画像生成の時間を大幅に短縮することができる。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこの実施形態に限定されるものではない。顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラムは、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。

例えば、図３では制御装置１４０が矩形領域を決定してから複数の候補領域を決定する例を示したが、矩形領域が複数のユーザ指定領域を含み、尚且つ、複数の候補領域で満たされる限り、複数の候補領域を決定してから矩形領域を決定しても良い。図１３は、複数の候補領域を決定してから矩形領域を決定した場合に画像表示部２０１に表示される画像の一例である。また、操作部２０５の開始／終了ボタン押下後に対物レンズの切り替えが発生した場合には、図３のステップＳ３以降の処理が再度行われて、要素領域が再決定されてもよい。

また、図１では、ユーザ画像取得部が非共焦点光学系を備え、要素画像取得部が共焦点光学系を備える例を示したが、これらは対物レンズ１０５を除き同じ光学系によって構成されていてもよい。例えば、ユーザ画像取得部が５倍の対物レンズを備えた非共焦点光学系であり、要素画像取得部が５０倍の対物レンズを備えた非共焦点光学系であってもよい。また、ユーザ画像取得部が５倍の対物レンズを備えた共焦点光学系であり、要素画像取得部が５０倍の対物レンズを備えた共焦点光学系であってもよい。即ち、ユーザ画像は非共焦点画像に限られず、要素画像は共焦点画像に限られない。

１ 顕微鏡システム
１００ 共焦点顕微鏡本体
１０１ レーザ光源
１０２ ＰＢＳ
１０３ 二次元走査部
１０４ １／４λ板
１０５ 対物レンズ
１０６ 試料
１０７ 結像レンズ
１０８ ピンホール板
１０９ 光検出器
１１０ ＡＤ変換器
１１１ レボルバ
１１４ Ｘ−Ｙステージ
１１５ 白色光源
１１６ 結像レンズ
１１７ ＣＣＤカメラ
１２０ 表示装置
１３０ 入力装置
１４０ 制御装置
１４１ ＣＰＵ
１４２ メモリ
１４３ 入出力Ｉ／Ｆ
１４４ 外部記憶装置
１４５ 可搬記録媒体駆動装置
１４６ 可搬記録媒体
１４７ バス
１５１ 表示制御部
１５２ 矩形領域決定部
１５３ 候補領域決定部
１５４ 要素領域選択部
１５５ 矩形領域変更部
１５６ 記憶部
１６０ マップ画像生成部
１６１ ライブ画像受信部
１６２ 相対移動量算出部
１６３ ライブ位置枠生成部
１６４ 撮影画像構築部
１６５ 画像合成部
２００ 画面
２０１ 画像表示部
２０３、２０４、２０６ 操作部
２０６ ボタン
Ｃ１ カーソル
Ｐ１ 非共焦点画像
Ｐｍ マップ画像
Ｐｃ、Ｐｅ 位置画像
Ｄ１、Ｄ２、Ｄ３ 領域
Ｆｒ 矩形枠

Claims (18)

1. 要素画像を貼り合わせて貼り合わせ画像を生成するための顕微鏡システムであって、
   前記貼り合わせ画像を構成する前記要素画像を取得する要素画像取得部と、
   ユーザによって指定された試料の領域である複数のユーザ指定領域を撮像して、複数のユーザ画像を取得するユーザ画像取得部と、
   前記複数のユーザ指定領域を含む矩形領域を決定する矩形領域決定部と、
   前記矩形領域決定部により決定された前記矩形領域を満たすように前記矩形領域に格子状に配置された前記要素画像取得部の視野サイズを有する複数の領域の各々を、前記要素画像を取得する候補となる領域である候補領域として決定する候補領域決定部と、
   前記候補領域決定部で決定された複数の候補領域から前記要素画像を取得する要素領域を選択する要素領域選択部と、を備え、
   前記要素画像取得部は、前記試料を走査する走査部を有する光学系を備え、
   前記走査部の走査量に基づいて前記要素画像取得部の視野サイズが決定される
   ことを特徴とする顕微鏡システム。
2. 請求項１に記載の顕微鏡システムにおいて、
   前記要素領域選択部は、前記候補領域決定部で決定された複数の候補領域のうちの前記複数のユーザ指定領域の少なくとも１つと重複する領域を含む候補領域を、前記要素領域として選択する
   ことを特徴とする顕微鏡システム。
3. 請求項１に記載の顕微鏡システムにおいて、
   前記要素領域選択部は、前記ユーザによる選択に基づいて、前記候補領域決定部で決定された複数の候補領域から前記要素領域を選択する
   ことを特徴とする顕微鏡システム。
4. 請求項１に記載の顕微鏡システムにおいて、
   前記候補領域決定部は、前記矩形領域に格子状に配置された前記複数の領域が前記矩形領域からはみ出すことなく前記矩形領域を満たすように、前記走査部の走査量を決定する
   ことを特徴とする顕微鏡システム。
5. 請求項４に記載の顕微鏡システムにおいて、
   前記候補領域決定部は、前記矩形領域に格子状に配置された前記複数の領域が前記矩形領域からはみ出すことなく前記矩形領域を満たすように、前記走査部の異なる複数の走査量を決定する
   ことを特徴とする顕微鏡システム。
6. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   表示装置と、
   前記表示装置を制御する表示制御部と、を備え、
   前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記候補領域決定部で決定された複数の候補領域の位置を示す位置画像が重ねて表示されるように、前記表示装置を制御する
   ことを特徴とする顕微鏡システム。
7. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   表示装置と、
   前記表示装置を制御する表示制御部と、を備え、
   前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記要素領域選択部で選択された複数の要素領域の位置を示す位置画像が重ねて表示されるように、前記表示装置を制御する
   ことを特徴とする顕微鏡システム。
8. 請求項６または請求項７に記載の顕微鏡システムにおいて、
   前記マップ画像上に重ねられる前記位置画像は、半透明な画像である
   ことを特徴とする顕微鏡システム。
9. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
   表示装置と、
   前記表示装置を制御する表示制御部と、を備え、
   前記表示制御部は、前記ユーザ画像取得部で取得した前記複数のユーザ画像を前記複数のユーザ指定領域の並びどおりに並べたマップ画像上に、前記候補領域決定部で決定された複数の候補領域の位置を示し且つ前記複数の候補領域のうちの前記要素領域選択部で選択された複数の要素領域の位置を要素領域でない候補領域の位置と区別して示す位置画像が重ねて表示されるように、前記表示装置を制御する
   ことを特徴とする顕微鏡システム。
10. 請求項９に記載の顕微鏡システムにおいて、
    前記マップ画像上に重ねられる前記位置画像は、前記候補領域の部分と前記要素領域の部分とで透明度が異なる半透明な画像である
    ことを特徴とする顕微鏡システム。
11. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記要素領域選択部で選択された複数の要素領域の座標情報を記憶する記憶部を備える
    ことを特徴とする顕微鏡システム。
12. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡システムにおいて、さらに、
    前記矩形領域決定部で決定された矩形領域のサイズまたは位置の少なくとも一方を変更する矩形領域変更部を備え、
    前記要素領域選択部は、前記要素領域選択部で選択された複数の要素領域のうちの前記矩形領域変更部により変更された矩形領域に収まる領域を要素領域として再選択する
    ことを特徴とする顕微鏡システム。
13. 請求項１２に記載の顕微鏡システムにおいて、さらに、
    前記矩形領域変更部により矩形領域が変更される前に前記要素領域選択部で選択された複数の要素領域の座標情報を記憶する記憶部を備える
    ことを特徴とする顕微鏡システム。
14. 請求項１１または請求項１３に記載の顕微鏡システムにおいて、さらに、
    表示装置と、
    前記表示装置を制御する表示制御部と、を備え、
    前記表示制御部は、前記記憶部に記憶された前記複数の要素領域の座標情報に基づいて、試料の画像である試料画像上に、前記複数の要素領域の位置を示す位置画像を重ねて前記表示装置に表示させる
    ことを特徴とする顕微鏡システム。
15. 請求項１４に記載の顕微鏡システムにおいて、
    前記表示制御部は、ユーザによって指定された位置が前記位置画像中の前記複数の要素領域に対応する領域の外側であるときに、前記指定された位置が前記位置画像の中心と一致するように前記位置画像を前記試料画像に対して移動させる
    ことを特徴とする顕微鏡システム。
16. 請求項１４に記載の顕微鏡システムにおいて、
    前記表示制御部は、ユーザによって指定された位置が前記位置画像中の前記複数の要素領域に対応する領域の内側であるときに、前記指定された位置が前記指定された位置を含む要素領域の中心と一致するように前記位置画像を前記試料画像に対して移動させる
    ことを特徴とする顕微鏡システム。
17. 貼り合わせ画像を生成する顕微鏡システムの貼り合わせ領域を決定する方法であって、
    ユーザによって指定された複数のユーザ指定領域を含む矩形領域を満たすように、前記矩形領域に格子状に配置された前記顕微鏡システムの要素画像取得部の視野サイズを有する複数の領域の各々を、前記貼り合わせ画像を構成する要素画像を取得する候補となる領域である候補領域として決定し、
    前記複数の候補領域から、前記要素画像取得部が前記要素画像を取得する要素領域を選択し、前記要素領域からなる貼り合わせ領域を決定し、
    前記要素画像取得部が備える光学系が有する、試料を走査する走査部の走査量に基づいて、前記要素画像取得部の視野サイズを決定する
    ことを特徴とする方法。
18. 貼り合わせ画像を構成する要素画像を取得する要素画像取得部を備える顕微鏡システムのプログラムであって、
    ユーザによって指定された複数のユーザ指定領域を含む矩形領域を満たすように、前記矩形領域に格子状に配置された前記要素画像取得部の視野サイズを有する複数の領域の各々を、前記要素画像を取得する候補となる領域である候補領域として決定し、
    前記複数の候補領域から前記要素画像を取得する要素領域を選択し、前記要素領域からなる貼り合わせ領域を決定し、
    前記要素画像取得部が備える光学系が有する、試料を走査する走査部の走査量に基づいて、前記要素画像取得部の視野サイズを決定する
    処理をコンピュータに実行させることを特徴とするプログラム。

Images